買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉浙江大學(xué)申請(qǐng)的專利一種自然語(yǔ)言指導(dǎo)的視頻摘要方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN115033736B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-15發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202210652477.2，技術(shù)領(lǐng)域涉及：G06F16/738；該發(fā)明授權(quán)一種自然語(yǔ)言指導(dǎo)的視頻摘要方法是由金永剛;鄭婧;馬海鋼設(shè)計(jì)研發(fā)完成，并于2022-06-07向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種自然語(yǔ)言指導(dǎo)的視頻摘要方法在說(shuō)明書摘要公布了：本發(fā)明公開(kāi)了一種自然語(yǔ)言指導(dǎo)的視頻摘要方法，包括：將視頻文件分解成幀序列，提取幀圖像特征；提取幀語(yǔ)義特征和文本語(yǔ)義特征，進(jìn)行空間余弦相似度計(jì)算，得到注意力權(quán)重；搭建自然語(yǔ)言指導(dǎo)的視頻摘要模型；整體網(wǎng)絡(luò)模型進(jìn)行模型訓(xùn)練；根據(jù)幀重要性分?jǐn)?shù)序列，合理選擇視頻摘要。本發(fā)明針對(duì)視頻摘要任務(wù)創(chuàng)新性地提出了自然語(yǔ)言指導(dǎo)的注意力機(jī)制，在視頻摘要框架中引入自然語(yǔ)言指導(dǎo)的注意力機(jī)制，消融實(shí)驗(yàn)表明自然語(yǔ)言指導(dǎo)的注意力機(jī)制明顯提升了摘要模型性能。此外，本發(fā)明提出的自然語(yǔ)言指導(dǎo)的注意力機(jī)制具有更強(qiáng)的客觀性，能夠充分關(guān)注和標(biāo)題文本相關(guān)的視頻片段，標(biāo)題文本在互聯(lián)網(wǎng)視頻中容易獲得且不需要任何成本。

本發(fā)明授權(quán)一種自然語(yǔ)言指導(dǎo)的視頻摘要方法在權(quán)利要求書中公布了：1.一種自然語(yǔ)言指導(dǎo)的視頻摘要方法，包括如下步驟：1將訓(xùn)練集中的視頻文件分解成幀序列，使用預(yù)訓(xùn)練的深度圖像網(wǎng)絡(luò)對(duì)幀序列進(jìn)行圖像特征提取，得到對(duì)應(yīng)的幀圖像特征序列f1，...，fn；2利用預(yù)訓(xùn)練多模態(tài)模型的圖像編碼網(wǎng)絡(luò)對(duì)幀序列進(jìn)行語(yǔ)義特征提取，得到幀語(yǔ)義特征序列x1，...，xn；利用預(yù)訓(xùn)練多模態(tài)模型的文本編碼網(wǎng)絡(luò)對(duì)視頻文件的自然語(yǔ)言文本進(jìn)行語(yǔ)義特征提取，得到文本語(yǔ)義特征t；3根據(jù)幀語(yǔ)義特征序列x1，...，xn和文本語(yǔ)義特征t通過(guò)空間余弦相似度計(jì)算，得到注意力權(quán)重序列α1，...，αn；4搭建基于自然語(yǔ)言指導(dǎo)的注意力機(jī)制的視頻摘要模型，其輸入為幀圖像特征序列f1，...，fn和注意力權(quán)重序列α1，...，αn，輸出為幀重要性分?jǐn)?shù)序列y1，...，yn，進(jìn)而對(duì)視頻摘要模型進(jìn)行訓(xùn)練；5將測(cè)試集視頻文件的幀圖像特征序列f1，...，fn和注意力權(quán)重序列α1，...，αn輸入至訓(xùn)練好的視頻摘要模型，輸出得到該視頻文件的幀重要性分?jǐn)?shù)序列y1，...，yn；6利用幀重要性分?jǐn)?shù)序列y1，...，yn選擇關(guān)鍵鏡頭并合成為視頻摘要。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人浙江大學(xué)，其通訊地址為：310058 浙江省杭州市西湖區(qū)余杭塘路866號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。