国产精品天干天干在线播放,大尺度揉捏胸床戏视频,樱花草www日本在线观看,狠狠躁夜夜躁人人爽天天天天97

Document
拖動(dòng)滑塊完成拼圖
個(gè)人中心

預(yù)訂訂單
服務(wù)訂單
發(fā)布專利 發(fā)布成果 人才入駐 發(fā)布商標(biāo) 發(fā)布需求

在線咨詢

聯(lián)系我們

龍圖騰公眾號
首頁 專利交易 IP管家助手 科技果 科技人才 科技服務(wù) 國際服務(wù) 商標(biāo)交易 會(huì)員權(quán)益 需求市場 關(guān)于龍圖騰
 /  免費(fèi)注冊
到頂部 到底部
清空 搜索
當(dāng)前位置 : 首頁 > 專利喜報(bào) > 復(fù)旦大學(xué)顏波獲國家專利權(quán)

復(fù)旦大學(xué)顏波獲國家專利權(quán)

買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!

龍圖騰網(wǎng)獲悉復(fù)旦大學(xué)申請的專利一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法獲國家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號為:CN114743069B

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請?zhí)?專利號為:202210427447.1,技術(shù)領(lǐng)域涉及:G06V10/774;該發(fā)明授權(quán)一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法是由顏波;何瑞安;周詩力;譚偉敏設(shè)計(jì)研發(fā)完成,并于2022-04-21向國家知識(shí)產(chǎn)權(quán)局提交的專利申請。

一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法在說明書摘要公布了:本發(fā)明屬于視頻與場景理解技術(shù)領(lǐng)域,具體為一種對兩幀圖像進(jìn)行密集匹配計(jì)算的方法。本發(fā)明方法包括采用一種新的置信度驅(qū)動(dòng)的自適應(yīng)匹配網(wǎng)絡(luò)模型,從不置信的點(diǎn)中挖掘匹配信息。通過迭代評估置信度和匹配不置信點(diǎn)來實(shí)現(xiàn)自適應(yīng)匹配。其中,采用三種策略來評估置信度,每一種都伴隨有不同的置信度表示、不置信點(diǎn)選擇和損失函數(shù)。這些策略自適應(yīng)地從流預(yù)測結(jié)果中提出了不確定的點(diǎn)。本發(fā)明還將密集匹配與特征匹配方法相結(jié)合,以匹配不確定的點(diǎn),并為流預(yù)測結(jié)果提供指導(dǎo)。本發(fā)明方法促進(jìn)了不置信區(qū)域的成對點(diǎn)的匹配。最終的模型以較低的時(shí)間和參數(shù)成本實(shí)現(xiàn)了最先進(jìn)的性能。

本發(fā)明授權(quán)一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法在權(quán)利要求書中公布了:1.一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法,其特征在于,構(gòu)建一個(gè)置信度驅(qū)動(dòng)的自適應(yīng)匹配網(wǎng)絡(luò)模型,通過迭代評估置信度和匹配不置信度點(diǎn)來實(shí)現(xiàn)自適應(yīng)密集匹配計(jì)算;具體步驟為:1使用深度學(xué)習(xí)網(wǎng)絡(luò)提取輸入圖像的特征;具體采用孿生網(wǎng)絡(luò):匹配特征網(wǎng)絡(luò)Nm和內(nèi)容特征網(wǎng)絡(luò)Nc來提取兩幀輸入圖像I1和I2的匹配特征M1和M2和內(nèi)容特征C1和C2;然后使用匹配特征計(jì)算成本量V,成本量V代表前后兩幀相似度;再使用初始光流F,從成本量V中提取運(yùn)動(dòng)特征T;然后與內(nèi)容特征C一起送入一個(gè)預(yù)測網(wǎng)絡(luò)Np,預(yù)測匹配置信度CF和光流F’;2根據(jù)每次圖像匹配中每次迭代的不同置信度評估來選擇不置信點(diǎn),這是在各種條件下進(jìn)行匹配的一個(gè)自適應(yīng)過程;為此,采用三種評估置信度的策略,每一種策略都伴隨有不同的置信度表示、點(diǎn)選擇和損失函數(shù),以便自適應(yīng)地提出不置信點(diǎn)集P1和P2;3對于不置信點(diǎn)集P1和P2,提取特征向量并自適應(yīng)匹配這些點(diǎn);具體采用特征匹配策略進(jìn)行匹配,然后利用高匹配概率的相互流MF來更新光流,為不確定的點(diǎn)提供指導(dǎo):4迭代地執(zhí)行步驟1-3這個(gè)過程,從初始光流開始迭代預(yù)測置信度CF和光流F’,選擇不置信的點(diǎn)并匹配,然后更新原有光流,最終得到迭代優(yōu)化后的光流以及置信度圖;5訓(xùn)練網(wǎng)絡(luò),輸出每次迭代的流預(yù)測結(jié)果和置信圖結(jié)果來計(jì)算損失函數(shù);使用反向傳播算法迭代更新神經(jīng)網(wǎng)絡(luò),以達(dá)到在給定數(shù)據(jù)集上收斂的結(jié)果,并且泛化到其他數(shù)據(jù)集上;6使用訓(xùn)練的網(wǎng)絡(luò)測試,只需要輸入兩幀圖像,經(jīng)過神經(jīng)網(wǎng)絡(luò)的推理,輸出相應(yīng)的密集匹配;步驟1中:所述采用孿生網(wǎng)絡(luò)提取兩幀輸入圖像的匹配特征M和內(nèi)容特征C;然后使用匹配特征M計(jì)算成本量V,具體流程如下:輸入的兩幀RGB圖像I1和I2,分別通過匹配特征網(wǎng)絡(luò)Nm和內(nèi)容特征網(wǎng)絡(luò)Nc進(jìn)行特征提取,得到匹配特征M1、M2和內(nèi)容特征C1、C2;孿生網(wǎng)絡(luò)代表對兩幀圖像處理的網(wǎng)絡(luò)是相同的,共享同一份參數(shù);根據(jù)提取的匹配特征M計(jì)算成本量V,并在特征匹配階段進(jìn)行特征匹配;成本量V的計(jì)算表示為如下公式:Vijkl=∑hM1ijh·M2klh,1其中,M1和M2是提取的匹配特征,其大小為H×W×C,分別為高,寬,通道數(shù);M1ijh表示匹配特征M1作為矩陣在i,j,h位置的值;運(yùn)算符·表示乘法運(yùn)算,這里針對第三維度h的每項(xiàng)乘積進(jìn)行求和;V有四個(gè)維度,其大小為H×W×H×W,Vijkl表示匹配特征M1的i,j位置與匹配特征M2的k,l位置的相似度;所述使用初始光流F,從成本量V中提取運(yùn)動(dòng)特征T,其過程表示為如下公式:x=u,v,x′=u+f1u,v+f2v,2 其中,x代表特征圖M1中某個(gè)點(diǎn),u,v是其坐標(biāo);f1u、f2v表示初始流F在u,v處的流值,x′表示x經(jīng)過初始流變換后的點(diǎn)坐標(biāo);運(yùn)動(dòng)特征T提取的是成本量V在也即x′的以r為半徑的鄰域的特征;dx是坐標(biāo)偏移量,代表整數(shù)坐標(biāo),||dx||1≤r表示偏移量小于半徑r;將運(yùn)動(dòng)特征T和內(nèi)容特征C輸入預(yù)測網(wǎng)絡(luò)Np,產(chǎn)生匹配置信度CF和光流F’,這里針對兩幀圖像I1和I2都分別計(jì)算前向光流:I1到I2的匹配置信度CF1和光流F′1,和后向光流:I2到I1的匹配置信度CF2和光流F′2;步驟2中,所述的三種評估置信度的策略,每一種策略都伴隨有不同的置信度表示、點(diǎn)選擇和損失函數(shù),以便自適應(yīng)地提出不置信點(diǎn)集P1和P2,具體流程如下:1引入一對值fi,ci來表示一個(gè)點(diǎn)的流預(yù)測結(jié)果以及其置信度,以統(tǒng)一的方式來表示置信度評估的問題: 其中,D是置信度圖上的點(diǎn)集,一共有n個(gè)點(diǎn),每個(gè)點(diǎn)i都有流預(yù)測結(jié)果值fi和置信度ci,置信的點(diǎn)的c值是在0和1之間;2基于概率的置信度評估:目標(biāo)是將特征圖上的點(diǎn)分為兩類,置信和不置信;這樣,置信度預(yù)測和不置信度點(diǎn)的選擇就變成一個(gè)二元分類問題;這兩個(gè)類別的分類標(biāo)準(zhǔn)是一個(gè)偏差閾值;該偏差為光流網(wǎng)絡(luò)預(yù)測的誤差;將置信度作為偏差小于閾值的概率期望:ci=Pδi≤δs,5其中,δi為偏差值,δs為閾值,P為概率;該閾值設(shè)置為實(shí)現(xiàn)過程中成本量的鄰居半徑;該預(yù)測網(wǎng)絡(luò)作為一個(gè)二值分類器,設(shè)置最小置信度cs來區(qū)分不置信點(diǎn),置信度ci低于cs的點(diǎn)被選為不置信的點(diǎn);3基于價(jià)值的置信度評估:采用基于整個(gè)圖像的置信度信息的策略,將方程擴(kuò)展到一個(gè)回歸問題,以避免分類閾值問題: 其中,δi是偏差,以一個(gè)預(yù)測的最大偏差的比值作為變量,用以評估置信度,并在大偏差的情況下選擇不置信點(diǎn),這里同樣使用置信度閾值cs來選取不置信點(diǎn);4為提高匹配效率,進(jìn)一步使用排序來評估置信度,用如下公式來表示; 其中,rank是按降序計(jì)算第i偏差δi的秩,置信度閾值cs控制了匹配點(diǎn)的數(shù)量;從匹配置信度CF1、CF2中得到兩幀針對預(yù)測的光流的不置信點(diǎn)集P1和P2,以方便之后進(jìn)行匹配優(yōu)化;步驟3中,所述采用特征匹配策略進(jìn)行匹配,然后利用高匹配概率的相互流MF來更新光流,為不確定的點(diǎn)提供指導(dǎo),具體流程如下:1自適應(yīng)地匹配所選的點(diǎn),以產(chǎn)生更準(zhǔn)確的流;假設(shè)對于圖像對,語義相似的區(qū)域具有相同的置信度,然后使用圖像對中的不置信點(diǎn)P1和P2進(jìn)行精確匹配;在完成不置信點(diǎn)的選擇后,取出匹配網(wǎng)絡(luò)提取的每個(gè)點(diǎn)的匹配特征M1和M2;2對提取的特征應(yīng)用自注意和交叉注意;使網(wǎng)絡(luò)在計(jì)算相關(guān)性之前學(xué)習(xí)與其他特征的關(guān)系;分別計(jì)算自我注意和交叉注意,并連接在一起以備以后的匹配;3使用一種高效的方法來執(zhí)行匹配;首先對這些特征進(jìn)行歸一化處理,并計(jì)算出相關(guān)矩陣:Ri,j=M1i,M2j,8其中,Ri,j為圖像I1中的點(diǎn)i與圖像I2中的點(diǎn)j之間的相關(guān)性;M1和M2是匹配的特征,·,·是內(nèi)積;4然后,用以下條件對匹配的點(diǎn)對進(jìn)行過濾:使用softmax進(jìn)行匹配過濾;計(jì)算每一對匹配項(xiàng)的分?jǐn)?shù);圖像I1的不置信點(diǎn)集P1的點(diǎn)o和圖像I2的不置信點(diǎn)集P2的點(diǎn)j滿足以下條件:在點(diǎn)集P2中,i的匹配點(diǎn)最有可能為j,在點(diǎn)集P1中,j的匹配點(diǎn)最有可能為i;每個(gè)點(diǎn)對i,j匹配的最終分?jǐn)?shù)Pci,j使用以下公式來計(jì)算:Pci,j=softmaxRi,·j·softmaxR·,ji,9其中,Ri,·表示相關(guān)矩陣的第i列,softmaxRi,·j表示經(jīng)過softmax計(jì)算后第i列第j行的值,運(yùn)算符·表示乘積;Softmax表示為如下公式: 其中,zj是向量z的第j個(gè)數(shù),e表示自然指數(shù),Σ表示對向量z所有數(shù)的自然指數(shù)求和;5不置信的點(diǎn)的特征來自匹配特征M1和M2;設(shè)置兩個(gè)閾值來進(jìn)行匹配:首先,匹配對i,j的相互概率Pci,j高于閾值以減少匹配誤差點(diǎn),這個(gè)準(zhǔn)則被稱為相互最近鄰;其次,匹配對i,j的相關(guān)性Ri,j,也高于一個(gè)閾值,以減少不置信的匹配;匹配選擇策略用以下公式來表示; 其中,MF是產(chǎn)生的匹配或稱為相互流,θp是相互概率的閾值,θr是相關(guān)性的閾值;i,j∈P1,P2表示i,j是從點(diǎn)集P1,P2中生成的點(diǎn)對;6利用相互流MF更新光流的原始預(yù)測F’,然后進(jìn)行下一次迭代,以提前糾正不正確的匹配,這是對密集流估計(jì)的一個(gè)指導(dǎo),并且在后續(xù)迭代之前更準(zhǔn)確;只在迭代的前α百分比中進(jìn)行特征匹配,α取值為0.5;經(jīng)過多次迭代,置信度增加,密集流估計(jì)可以處理匹配和細(xì)化對應(yīng)關(guān)系,節(jié)省冗余匹配的計(jì)算。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請人或?qū)@麢?quán)人復(fù)旦大學(xué),其通訊地址為:200433 上海市楊浦區(qū)邯鄲路220號;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。

免責(zé)聲明
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
主站蜘蛛池模板: 兴义市| 贵州省| 迁安市| 旌德县| 玉屏| 巴青县| 浏阳市| 吉首市| 香河县| 商城县| 阳山县| 巴青县| 惠安县| 庆元县| 赣榆县| 右玉县| 玛纳斯县| 唐海县| 吴桥县| 运城市| 鸡泽县| 时尚| 彰化市| 吴旗县| 红河县| 凤凰县| 吉林市| 广安市| 社会| 海口市| 沂源县| 汤原县| 玛沁县| 永川市| 海晏县| 梁河县| 焦作市| 张北县| 大理市| 高安市| 太原市|