復(fù)旦大學(xué)顏波獲國家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉復(fù)旦大學(xué)申請的專利一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法獲國家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號為:CN114743069B 。
龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請?zhí)?專利號為:202210427447.1,技術(shù)領(lǐng)域涉及:G06V10/774;該發(fā)明授權(quán)一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法是由顏波;何瑞安;周詩力;譚偉敏設(shè)計(jì)研發(fā)完成,并于2022-04-21向國家知識(shí)產(chǎn)權(quán)局提交的專利申請。
本一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法在說明書摘要公布了:本發(fā)明屬于視頻與場景理解技術(shù)領(lǐng)域,具體為一種對兩幀圖像進(jìn)行密集匹配計(jì)算的方法。本發(fā)明方法包括采用一種新的置信度驅(qū)動(dòng)的自適應(yīng)匹配網(wǎng)絡(luò)模型,從不置信的點(diǎn)中挖掘匹配信息。通過迭代評估置信度和匹配不置信點(diǎn)來實(shí)現(xiàn)自適應(yīng)匹配。其中,采用三種策略來評估置信度,每一種都伴隨有不同的置信度表示、不置信點(diǎn)選擇和損失函數(shù)。這些策略自適應(yīng)地從流預(yù)測結(jié)果中提出了不確定的點(diǎn)。本發(fā)明還將密集匹配與特征匹配方法相結(jié)合,以匹配不確定的點(diǎn),并為流預(yù)測結(jié)果提供指導(dǎo)。本發(fā)明方法促進(jìn)了不置信區(qū)域的成對點(diǎn)的匹配。最終的模型以較低的時(shí)間和參數(shù)成本實(shí)現(xiàn)了最先進(jìn)的性能。
本發(fā)明授權(quán)一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法在權(quán)利要求書中公布了:1.一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法,其特征在于,構(gòu)建一個(gè)置信度驅(qū)動(dòng)的自適應(yīng)匹配網(wǎng)絡(luò)模型,通過迭代評估置信度和匹配不置信度點(diǎn)來實(shí)現(xiàn)自適應(yīng)密集匹配計(jì)算;具體步驟為:1使用深度學(xué)習(xí)網(wǎng)絡(luò)提取輸入圖像的特征;具體采用孿生網(wǎng)絡(luò):匹配特征網(wǎng)絡(luò)Nm和內(nèi)容特征網(wǎng)絡(luò)Nc來提取兩幀輸入圖像I1和I2的匹配特征M1和M2和內(nèi)容特征C1和C2;然后使用匹配特征計(jì)算成本量V,成本量V代表前后兩幀相似度;再使用初始光流F,從成本量V中提取運(yùn)動(dòng)特征T;然后與內(nèi)容特征C一起送入一個(gè)預(yù)測網(wǎng)絡(luò)Np,預(yù)測匹配置信度CF和光流F’;2根據(jù)每次圖像匹配中每次迭代的不同置信度評估來選擇不置信點(diǎn),這是在各種條件下進(jìn)行匹配的一個(gè)自適應(yīng)過程;為此,采用三種評估置信度的策略,每一種策略都伴隨有不同的置信度表示、點(diǎn)選擇和損失函數(shù),以便自適應(yīng)地提出不置信點(diǎn)集P1和P2;3對于不置信點(diǎn)集P1和P2,提取特征向量并自適應(yīng)匹配這些點(diǎn);具體采用特征匹配策略進(jìn)行匹配,然后利用高匹配概率的相互流MF來更新光流,為不確定的點(diǎn)提供指導(dǎo):4迭代地執(zhí)行步驟1-3這個(gè)過程,從初始光流開始迭代預(yù)測置信度CF和光流F’,選擇不置信的點(diǎn)并匹配,然后更新原有光流,最終得到迭代優(yōu)化后的光流以及置信度圖;5訓(xùn)練網(wǎng)絡(luò),輸出每次迭代的流預(yù)測結(jié)果和置信圖結(jié)果來計(jì)算損失函數(shù);使用反向傳播算法迭代更新神經(jīng)網(wǎng)絡(luò),以達(dá)到在給定數(shù)據(jù)集上收斂的結(jié)果,并且泛化到其他數(shù)據(jù)集上;6使用訓(xùn)練的網(wǎng)絡(luò)測試,只需要輸入兩幀圖像,經(jīng)過神經(jīng)網(wǎng)絡(luò)的推理,輸出相應(yīng)的密集匹配;步驟1中:所述采用孿生網(wǎng)絡(luò)提取兩幀輸入圖像的匹配特征M和內(nèi)容特征C;然后使用匹配特征M計(jì)算成本量V,具體流程如下:輸入的兩幀RGB圖像I1和I2,分別通過匹配特征網(wǎng)絡(luò)Nm和內(nèi)容特征網(wǎng)絡(luò)Nc進(jìn)行特征提取,得到匹配特征M1、M2和內(nèi)容特征C1、C2;孿生網(wǎng)絡(luò)代表對兩幀圖像處理的網(wǎng)絡(luò)是相同的,共享同一份參數(shù);根據(jù)提取的匹配特征M計(jì)算成本量V,并在特征匹配階段進(jìn)行特征匹配;成本量V的計(jì)算表示為如下公式:Vijkl=∑hM1ijh·M2klh,1其中,M1和M2是提取的匹配特征,其大小為H×W×C,分別為高,寬,通道數(shù);M1ijh表示匹配特征M1作為矩陣在i,j,h位置的值;運(yùn)算符·表示乘法運(yùn)算,這里針對第三維度h的每項(xiàng)乘積進(jìn)行求和;V有四個(gè)維度,其大小為H×W×H×W,Vijkl表示匹配特征M1的i,j位置與匹配特征M2的k,l位置的相似度;所述使用初始光流F,從成本量V中提取運(yùn)動(dòng)特征T,其過程表示為如下公式:x=u,v,x′=u+f1u,v+f2v,2 其中,x代表特征圖M1中某個(gè)點(diǎn),u,v是其坐標(biāo);f1u、f2v表示初始流F在u,v處的流值,x′表示x經(jīng)過初始流變換后的點(diǎn)坐標(biāo);運(yùn)動(dòng)特征T提取的是成本量V在也即x′的以r為半徑的鄰域的特征;dx是坐標(biāo)偏移量,代表整數(shù)坐標(biāo),||dx||1≤r表示偏移量小于半徑r;將運(yùn)動(dòng)特征T和內(nèi)容特征C輸入預(yù)測網(wǎng)絡(luò)Np,產(chǎn)生匹配置信度CF和光流F’,這里針對兩幀圖像I1和I2都分別計(jì)算前向光流:I1到I2的匹配置信度CF1和光流F′1,和后向光流:I2到I1的匹配置信度CF2和光流F′2;步驟2中,所述的三種評估置信度的策略,每一種策略都伴隨有不同的置信度表示、點(diǎn)選擇和損失函數(shù),以便自適應(yīng)地提出不置信點(diǎn)集P1和P2,具體流程如下:1引入一對值fi,ci來表示一個(gè)點(diǎn)的流預(yù)測結(jié)果以及其置信度,以統(tǒng)一的方式來表示置信度評估的問題: 其中,D是置信度圖上的點(diǎn)集,一共有n個(gè)點(diǎn),每個(gè)點(diǎn)i都有流預(yù)測結(jié)果值fi和置信度ci,置信的點(diǎn)的c值是在0和1之間;2基于概率的置信度評估:目標(biāo)是將特征圖上的點(diǎn)分為兩類,置信和不置信;這樣,置信度預(yù)測和不置信度點(diǎn)的選擇就變成一個(gè)二元分類問題;這兩個(gè)類別的分類標(biāo)準(zhǔn)是一個(gè)偏差閾值;該偏差為光流網(wǎng)絡(luò)預(yù)測的誤差;將置信度作為偏差小于閾值的概率期望:ci=Pδi≤δs,5其中,δi為偏差值,δs為閾值,P為概率;該閾值設(shè)置為實(shí)現(xiàn)過程中成本量的鄰居半徑;該預(yù)測網(wǎng)絡(luò)作為一個(gè)二值分類器,設(shè)置最小置信度cs來區(qū)分不置信點(diǎn),置信度ci低于cs的點(diǎn)被選為不置信的點(diǎn);3基于價(jià)值的置信度評估:采用基于整個(gè)圖像的置信度信息的策略,將方程擴(kuò)展到一個(gè)回歸問題,以避免分類閾值問題: 其中,δi是偏差,以一個(gè)預(yù)測的最大偏差的比值作為變量,用以評估置信度,并在大偏差的情況下選擇不置信點(diǎn),這里同樣使用置信度閾值cs來選取不置信點(diǎn);4為提高匹配效率,進(jìn)一步使用排序來評估置信度,用如下公式來表示; 其中,rank是按降序計(jì)算第i偏差δi的秩,置信度閾值cs控制了匹配點(diǎn)的數(shù)量;從匹配置信度CF1、CF2中得到兩幀針對預(yù)測的光流的不置信點(diǎn)集P1和P2,以方便之后進(jìn)行匹配優(yōu)化;步驟3中,所述采用特征匹配策略進(jìn)行匹配,然后利用高匹配概率的相互流MF來更新光流,為不確定的點(diǎn)提供指導(dǎo),具體流程如下:1自適應(yīng)地匹配所選的點(diǎn),以產(chǎn)生更準(zhǔn)確的流;假設(shè)對于圖像對,語義相似的區(qū)域具有相同的置信度,然后使用圖像對中的不置信點(diǎn)P1和P2進(jìn)行精確匹配;在完成不置信點(diǎn)的選擇后,取出匹配網(wǎng)絡(luò)提取的每個(gè)點(diǎn)的匹配特征M1和M2;2對提取的特征應(yīng)用自注意和交叉注意;使網(wǎng)絡(luò)在計(jì)算相關(guān)性之前學(xué)習(xí)與其他特征的關(guān)系;分別計(jì)算自我注意和交叉注意,并連接在一起以備以后的匹配;3使用一種高效的方法來執(zhí)行匹配;首先對這些特征進(jìn)行歸一化處理,并計(jì)算出相關(guān)矩陣:Ri,j=M1i,M2j,8其中,Ri,j為圖像I1中的點(diǎn)i與圖像I2中的點(diǎn)j之間的相關(guān)性;M1和M2是匹配的特征,·,·是內(nèi)積;4然后,用以下條件對匹配的點(diǎn)對進(jìn)行過濾:使用softmax進(jìn)行匹配過濾;計(jì)算每一對匹配項(xiàng)的分?jǐn)?shù);圖像I1的不置信點(diǎn)集P1的點(diǎn)o和圖像I2的不置信點(diǎn)集P2的點(diǎn)j滿足以下條件:在點(diǎn)集P2中,i的匹配點(diǎn)最有可能為j,在點(diǎn)集P1中,j的匹配點(diǎn)最有可能為i;每個(gè)點(diǎn)對i,j匹配的最終分?jǐn)?shù)Pci,j使用以下公式來計(jì)算:Pci,j=softmaxRi,·j·softmaxR·,ji,9其中,Ri,·表示相關(guān)矩陣的第i列,softmaxRi,·j表示經(jīng)過softmax計(jì)算后第i列第j行的值,運(yùn)算符·表示乘積;Softmax表示為如下公式: 其中,zj是向量z的第j個(gè)數(shù),e表示自然指數(shù),Σ表示對向量z所有數(shù)的自然指數(shù)求和;5不置信的點(diǎn)的特征來自匹配特征M1和M2;設(shè)置兩個(gè)閾值來進(jìn)行匹配:首先,匹配對i,j的相互概率Pci,j高于閾值以減少匹配誤差點(diǎn),這個(gè)準(zhǔn)則被稱為相互最近鄰;其次,匹配對i,j的相關(guān)性Ri,j,也高于一個(gè)閾值,以減少不置信的匹配;匹配選擇策略用以下公式來表示; 其中,MF是產(chǎn)生的匹配或稱為相互流,θp是相互概率的閾值,θr是相關(guān)性的閾值;i,j∈P1,P2表示i,j是從點(diǎn)集P1,P2中生成的點(diǎn)對;6利用相互流MF更新光流的原始預(yù)測F’,然后進(jìn)行下一次迭代,以提前糾正不正確的匹配,這是對密集流估計(jì)的一個(gè)指導(dǎo),并且在后續(xù)迭代之前更準(zhǔn)確;只在迭代的前α百分比中進(jìn)行特征匹配,α取值為0.5;經(jīng)過多次迭代,置信度增加,密集流估計(jì)可以處理匹配和細(xì)化對應(yīng)關(guān)系,節(jié)省冗余匹配的計(jì)算。
如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請人或?qū)@麢?quán)人復(fù)旦大學(xué),其通訊地址為:200433 上海市楊浦區(qū)邯鄲路220號;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- 廣合科技(廣州)有限公司萬小亮獲國家專利權(quán)
- 日產(chǎn)化學(xué)株式會(huì)社遠(yuǎn)藤歲幸獲國家專利權(quán)
- 何哲彥獲國家專利權(quán)
- 廣州汽車集團(tuán)股份有限公司陳宗明獲國家專利權(quán)
- 三星顯示有限公司維賈雅拉加萬·蒂魯瑪萊獲國家專利權(quán)
- 北京百度網(wǎng)訊科技有限公司梁子豪獲國家專利權(quán)
- 夏普株式會(huì)社趙毅男獲國家專利權(quán)
- 柴紅彥獲國家專利權(quán)
- SOTIO有限責(zé)任公司K.麥金尼斯獲國家專利權(quán)
- 中國電力科學(xué)研究院有限公司遲永寧獲國家專利權(quán)


熱門推薦
- 華為技術(shù)有限公司楊剛?cè)A獲國家專利權(quán)
- 費(fèi)斯生物制藥公司J·李獲國家專利權(quán)
- 深圳市銘濠科技有限公司李衛(wèi)華獲國家專利權(quán)
- 索尼互動(dòng)娛樂股份有限公司橫田健一郎獲國家專利權(quán)
- 臺(tái)灣積體電路制造股份有限公司陳憲偉獲國家專利權(quán)
- 華為技術(shù)有限公司譚威獲國家專利權(quán)
- 北京達(dá)佳互聯(lián)信息技術(shù)有限公司張寧獲國家專利權(quán)
- 索尼公司F·盧塞克獲國家專利權(quán)
- 深圳傳音控股股份有限公司陳海軍獲國家專利權(quán)
- 青島海爾智能技術(shù)研發(fā)有限公司張坤獲國家專利權(quán)