買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜南京大學(xué)申請的專利時序邊界檢測方法及時序感知器獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114494314B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202111615241.3，技術(shù)領(lǐng)域涉及：G06T7/13；該發(fā)明授權(quán)時序邊界檢測方法及時序感知器是由王利民;談婧;王雨虹;武港山設(shè)計研發(fā)完成，并于2021-12-27向國家知識產(chǎn)權(quán)局提交的專利申請。

本時序邊界檢測方法及時序感知器在說明書摘要公布了：時序邊界檢測方法及時序感知器，基于變換解碼器結(jié)構(gòu)和注意力機制，建立通用的無類別時序動作檢測模型，檢測模型的編碼器中引入少量隱特征查詢量，通過交叉注意力機制將輸入特征壓縮到固定維度，并使用變換解碼器對特征進行解碼，實現(xiàn)通用無類別時序邊界的稀疏檢測。本發(fā)明通過特征壓縮，有效解決了長視頻的時序冗余問題，并將二次模型的復(fù)雜度降低到線性級別；構(gòu)建邊界查詢量和上下文查詢量這兩種隱特征查詢量，以相應(yīng)處理視頻中語義不連貫的邊界區(qū)域和連貫的上下文區(qū)域，充分利用視頻的語義結(jié)構(gòu)；提出基于交叉注意力計算的對齊損失函數(shù)，使網(wǎng)絡(luò)快速穩(wěn)定收斂；使用變換解碼器稀疏編碼邊界位置，避免復(fù)雜后處理，提高模型泛化性能。

本發(fā)明授權(quán)時序邊界檢測方法及時序感知器在權(quán)利要求書中公布了：1.時序邊界檢測方法，其特征是構(gòu)建一個無類別時序邊界檢測網(wǎng)絡(luò)對視頻進行時序邊界檢測，檢測網(wǎng)絡(luò)包括骨干網(wǎng)絡(luò)和檢測模型，實現(xiàn)方式如下：1由骨干網(wǎng)絡(luò)生成檢測樣例：對視頻間隔采樣得到視頻圖像序列以每一幀生成一個視頻段，第i段視頻段為由第i幀圖像fi的前后連續(xù)k幀組成的圖像序列，由骨干網(wǎng)絡(luò)對輸入的視頻段生成視頻特征和連續(xù)性打分Fi和Si分別為視頻段i的RGB特征和連續(xù)性打分；2由檢測模型基于視頻特征F和連續(xù)性打分S進行無類別時序動作檢測，所述檢測模型包括如下配置：2.1編碼器：編碼器E包括Ne層串聯(lián)的變換解碼層，每層包含一個多頭自注意力層、一個多頭交叉注意力層和一個線性映射層，自注意力層、交叉注意力層及線性映射層分別帶有一個殘差結(jié)構(gòu)，對編碼器引入M個隱特征查詢量Qe，基于連續(xù)性打分S對視頻特征F進行降序排序后輸入編碼器，編碼器將排序后的視頻特征壓縮為M幀的壓縮特征H，初始壓縮特征H0為0，在第j層變換解碼層，隱特征查詢量Qe與當(dāng)層的壓縮特征Hj相加，經(jīng)過自注意力層及其殘差結(jié)構(gòu)，在交叉注意力層和重排序的視頻特征交互，再經(jīng)過殘差結(jié)構(gòu)-線性映射層-殘差結(jié)構(gòu)變換后得到壓縮特征Hj+1，j∈[0,Ne-1]，通過堆疊的Ne個編碼層后，實現(xiàn)輸入特征的壓縮和編碼，得到壓縮特征其中，隱特征查詢量的生成為：隱特征查詢量Qe被分為Mb個邊界查詢量和Mc個上下文查詢量，隨機初始化，在訓(xùn)練檢測模型的過程隨訓(xùn)練樣本學(xué)習(xí)生成；邊界查詢量對應(yīng)處理視頻特征中的邊界區(qū)域特征，上下文查詢量對應(yīng)處理視頻特征中的上下文區(qū)域特征，視頻特征中重排序后前Mb個特征為邊界區(qū)域特征，其他為上下文特征；2.2解碼器：解碼器D包括Nd層串聯(lián)的解碼層，每層包含一個多頭自注意力層、一個多頭交叉注意力層和一個線性映射層，自注意力層、交叉注意力層及線性映射層分別帶有一個殘差結(jié)構(gòu)；對于編碼器獲得的壓縮特征H，解碼器通過變換解碼器結(jié)構(gòu)進行時序邊界點解析，解碼器定義Np個提名查詢量Qd，提名查詢量Qd與隱特征查詢量一樣，隨機初始化后再訓(xùn)練中學(xué)習(xí)生成，并初始化邊界提名B0為0，在第j層，提名查詢量Qd與邊界提名Bj相加，經(jīng)過自注意力層和一次殘差結(jié)構(gòu)，在交叉注意力層和壓縮特征H交互，經(jīng)過殘差結(jié)構(gòu)-線性映射層-殘差結(jié)構(gòu)變換后得到更新后的邊界提名Bj+1；通過堆疊的Nd個解碼層后，實現(xiàn)壓縮特征的解析，得到時序邊界提名表示2.3時序無類別邊界的生成與打分：對于獲得的時序邊界提名表示B，送入兩個不同的全連接層分支：定位分支和分類分支，兩個分支分別用于輸出時序無類別邊界的時刻和置信度分?jǐn)?shù)；2.4分配訓(xùn)練標(biāo)簽：采用嚴(yán)格的一對一訓(xùn)練標(biāo)簽匹配策略：根據(jù)定義的匹配代價C，利用匈牙利算法得到一組最優(yōu)的一對一匹配，每個被分配到一個無類別邊界真值的預(yù)測都獲得正樣本標(biāo)簽，其對應(yīng)的邊界真值為訓(xùn)練目標(biāo)；匹配代價C由位置代價和分類代價兩部分組成，位置代價基于預(yù)測時刻和邊界真值時刻的距離絕對值定義，分類代價基于預(yù)測置信度定義；2.5時序無類別邊界的提交：生成一系列的時序無類別邊界后，通過置信度分?jǐn)?shù)閾值γ篩選出最可信的時序無類別邊界時刻，提交以進行后續(xù)性能度量；3訓(xùn)練階段：對配置的模型采用訓(xùn)練樣例進行訓(xùn)練，使用交叉熵、L1距離和log函數(shù)作為損失函數(shù)，使用AdamW優(yōu)化器，通過反向傳播算法來更新網(wǎng)絡(luò)參數(shù)，不斷重復(fù)步驟1和步驟2，直至達到迭代次數(shù)；4檢測：將待測試數(shù)據(jù)的視頻特征序列和連續(xù)性打分輸入到訓(xùn)練完成的檢測模型中，生成時序無類別邊界時刻及打分，再通過2.3的方法，得到用于性能度量的時序無類別邊界時刻序列。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人南京大學(xué)，其通訊地址為：210023 江蘇省南京市棲霞區(qū)仙林大道163號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。