買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉復(fù)旦大學(xué)申請的專利一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114743069B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202210427447.1，技術(shù)領(lǐng)域涉及：G06V10/774；該發(fā)明授權(quán)一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法是由顏波;何瑞安;周詩力;譚偉敏設(shè)計(jì)研發(fā)完成，并于2022-04-21向國家知識(shí)產(chǎn)權(quán)局提交的專利申請。

本一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法在說明書摘要公布了：本發(fā)明屬于視頻與場景理解技術(shù)領(lǐng)域，具體為一種對兩幀圖像進(jìn)行密集匹配計(jì)算的方法。本發(fā)明方法包括采用一種新的置信度驅(qū)動(dòng)的自適應(yīng)匹配網(wǎng)絡(luò)模型，從不置信的點(diǎn)中挖掘匹配信息。通過迭代評估置信度和匹配不置信點(diǎn)來實(shí)現(xiàn)自適應(yīng)匹配。其中，采用三種策略來評估置信度，每一種都伴隨有不同的置信度表示、不置信點(diǎn)選擇和損失函數(shù)。這些策略自適應(yīng)地從流預(yù)測結(jié)果中提出了不確定的點(diǎn)。本發(fā)明還將密集匹配與特征匹配方法相結(jié)合，以匹配不確定的點(diǎn)，并為流預(yù)測結(jié)果提供指導(dǎo)。本發(fā)明方法促進(jìn)了不置信區(qū)域的成對點(diǎn)的匹配。最終的模型以較低的時(shí)間和參數(shù)成本實(shí)現(xiàn)了最先進(jìn)的性能。

本發(fā)明授權(quán)一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法在權(quán)利要求書中公布了：1.一種對兩幀圖像進(jìn)行自適應(yīng)密集匹配計(jì)算的方法，其特征在于，構(gòu)建一個(gè)置信度驅(qū)動(dòng)的自適應(yīng)匹配網(wǎng)絡(luò)模型，通過迭代評估置信度和匹配不置信度點(diǎn)來實(shí)現(xiàn)自適應(yīng)密集匹配計(jì)算；具體步驟為：1使用深度學(xué)習(xí)網(wǎng)絡(luò)提取輸入圖像的特征；具體采用孿生網(wǎng)絡(luò)：匹配特征網(wǎng)絡(luò)Nm和內(nèi)容特征網(wǎng)絡(luò)Nc來提取兩幀輸入圖像I1和I2的匹配特征M1和M2和內(nèi)容特征C1和C2；然后使用匹配特征計(jì)算成本量V，成本量V代表前后兩幀相似度；再使用初始光流F，從成本量V中提取運(yùn)動(dòng)特征T；然后與內(nèi)容特征C一起送入一個(gè)預(yù)測網(wǎng)絡(luò)Np，預(yù)測匹配置信度CF和光流F’；2根據(jù)每次圖像匹配中每次迭代的不同置信度評估來選擇不置信點(diǎn)，這是在各種條件下進(jìn)行匹配的一個(gè)自適應(yīng)過程；為此，采用三種評估置信度的策略，每一種策略都伴隨有不同的置信度表示、點(diǎn)選擇和損失函數(shù)，以便自適應(yīng)地提出不置信點(diǎn)集P1和P2；3對于不置信點(diǎn)集P1和P2，提取特征向量并自適應(yīng)匹配這些點(diǎn)；具體采用特征匹配策略進(jìn)行匹配，然后利用高匹配概率的相互流MF來更新光流，為不確定的點(diǎn)提供指導(dǎo)：4迭代地執(zhí)行步驟1-3這個(gè)過程，從初始光流開始迭代預(yù)測置信度CF和光流F’，選擇不置信的點(diǎn)并匹配，然后更新原有光流，最終得到迭代優(yōu)化后的光流以及置信度圖；5訓(xùn)練網(wǎng)絡(luò)，輸出每次迭代的流預(yù)測結(jié)果和置信圖結(jié)果來計(jì)算損失函數(shù)；使用反向傳播算法迭代更新神經(jīng)網(wǎng)絡(luò)，以達(dá)到在給定數(shù)據(jù)集上收斂的結(jié)果，并且泛化到其他數(shù)據(jù)集上；6使用訓(xùn)練的網(wǎng)絡(luò)測試，只需要輸入兩幀圖像，經(jīng)過神經(jīng)網(wǎng)絡(luò)的推理，輸出相應(yīng)的密集匹配；步驟1中：所述采用孿生網(wǎng)絡(luò)提取兩幀輸入圖像的匹配特征M和內(nèi)容特征C；然后使用匹配特征M計(jì)算成本量V，具體流程如下：輸入的兩幀RGB圖像I1和I2，分別通過匹配特征網(wǎng)絡(luò)Nm和內(nèi)容特征網(wǎng)絡(luò)Nc進(jìn)行特征提取，得到匹配特征M1、M2和內(nèi)容特征C1、C2；孿生網(wǎng)絡(luò)代表對兩幀圖像處理的網(wǎng)絡(luò)是相同的，共享同一份參數(shù)；根據(jù)提取的匹配特征M計(jì)算成本量V，并在特征匹配階段進(jìn)行特征匹配；成本量V的計(jì)算表示為如下公式：Vijkl＝∑hM1ijh·M2klh，1其中，M1和M2是提取的匹配特征，其大小為H×W×C，分別為高，寬，通道數(shù)；M1ijh表示匹配特征M1作為矩陣在i，j，h位置的值；運(yùn)算符·表示乘法運(yùn)算，這里針對第三維度h的每項(xiàng)乘積進(jìn)行求和；V有四個(gè)維度，其大小為H×W×H×W，Vijkl表示匹配特征M1的i，j位置與匹配特征M2的k，l位置的相似度；所述使用初始光流F，從成本量V中提取運(yùn)動(dòng)特征T，其過程表示為如下公式：x＝u，v，x′＝u+f1u，v+f2v，2 其中，x代表特征圖M1中某個(gè)點(diǎn)，u，v是其坐標(biāo)；f1u、f2v表示初始流F在u,v處的流值，x′表示x經(jīng)過初始流變換后的點(diǎn)坐標(biāo)；運(yùn)動(dòng)特征T提取的是成本量V在也即x′的以r為半徑的鄰域的特征；dx是坐標(biāo)偏移量，代表整數(shù)坐標(biāo)，||dx||1≤r表示偏移量小于半徑r；將運(yùn)動(dòng)特征T和內(nèi)容特征C輸入預(yù)測網(wǎng)絡(luò)Np，產(chǎn)生匹配置信度CF和光流F’，這里針對兩幀圖像I1和I2都分別計(jì)算前向光流：I1到I2的匹配置信度CF1和光流F′1，和后向光流：I2到I1的匹配置信度CF2和光流F′2；步驟2中，所述的三種評估置信度的策略，每一種策略都伴隨有不同的置信度表示、點(diǎn)選擇和損失函數(shù)，以便自適應(yīng)地提出不置信點(diǎn)集P1和P2，具體流程如下：1引入一對值fi，ci來表示一個(gè)點(diǎn)的流預(yù)測結(jié)果以及其置信度，以統(tǒng)一的方式來表示置信度評估的問題： 其中，D是置信度圖上的點(diǎn)集，一共有n個(gè)點(diǎn)，每個(gè)點(diǎn)i都有流預(yù)測結(jié)果值fi和置信度ci，置信的點(diǎn)的c值是在0和1之間；2基于概率的置信度評估：目標(biāo)是將特征圖上的點(diǎn)分為兩類，置信和不置信；這樣，置信度預(yù)測和不置信度點(diǎn)的選擇就變成一個(gè)二元分類問題；這兩個(gè)類別的分類標(biāo)準(zhǔn)是一個(gè)偏差閾值；該偏差為光流網(wǎng)絡(luò)預(yù)測的誤差；將置信度作為偏差小于閾值的概率期望：ci＝Pδi≤δs，5其中，δi為偏差值，δs為閾值，P為概率；該閾值設(shè)置為實(shí)現(xiàn)過程中成本量的鄰居半徑；該預(yù)測網(wǎng)絡(luò)作為一個(gè)二值分類器，設(shè)置最小置信度cs來區(qū)分不置信點(diǎn)，置信度ci低于cs的點(diǎn)被選為不置信的點(diǎn)；3基于價(jià)值的置信度評估：采用基于整個(gè)圖像的置信度信息的策略，將方程擴(kuò)展到一個(gè)回歸問題，以避免分類閾值問題： 其中，δi是偏差，以一個(gè)預(yù)測的最大偏差的比值作為變量，用以評估置信度，并在大偏差的情況下選擇不置信點(diǎn)，這里同樣使用置信度閾值cs來選取不置信點(diǎn)；4為提高匹配效率，進(jìn)一步使用排序來評估置信度，用如下公式來表示； 其中，rank是按降序計(jì)算第i偏差δi的秩，置信度閾值cs控制了匹配點(diǎn)的數(shù)量；從匹配置信度CF1、CF2中得到兩幀針對預(yù)測的光流的不置信點(diǎn)集P1和P2，以方便之后進(jìn)行匹配優(yōu)化；步驟3中，所述采用特征匹配策略進(jìn)行匹配，然后利用高匹配概率的相互流MF來更新光流，為不確定的點(diǎn)提供指導(dǎo)，具體流程如下：1自適應(yīng)地匹配所選的點(diǎn)，以產(chǎn)生更準(zhǔn)確的流；假設(shè)對于圖像對，語義相似的區(qū)域具有相同的置信度，然后使用圖像對中的不置信點(diǎn)P1和P2進(jìn)行精確匹配；在完成不置信點(diǎn)的選擇后，取出匹配網(wǎng)絡(luò)提取的每個(gè)點(diǎn)的匹配特征M1和M2；2對提取的特征應(yīng)用自注意和交叉注意；使網(wǎng)絡(luò)在計(jì)算相關(guān)性之前學(xué)習(xí)與其他特征的關(guān)系；分別計(jì)算自我注意和交叉注意，并連接在一起以備以后的匹配；3使用一種高效的方法來執(zhí)行匹配；首先對這些特征進(jìn)行歸一化處理，并計(jì)算出相關(guān)矩陣：Ri，j＝M1i，M2j，8其中，Ri，j為圖像I1中的點(diǎn)i與圖像I2中的點(diǎn)j之間的相關(guān)性；M1和M2是匹配的特征，·，·是內(nèi)積；4然后，用以下條件對匹配的點(diǎn)對進(jìn)行過濾：使用softmax進(jìn)行匹配過濾；計(jì)算每一對匹配項(xiàng)的分?jǐn)?shù)；圖像I1的不置信點(diǎn)集P1的點(diǎn)o和圖像I2的不置信點(diǎn)集P2的點(diǎn)j滿足以下條件：在點(diǎn)集P2中，i的匹配點(diǎn)最有可能為j，在點(diǎn)集P1中，j的匹配點(diǎn)最有可能為i；每個(gè)點(diǎn)對i，j匹配的最終分?jǐn)?shù)Pci,j使用以下公式來計(jì)算：Pci,j＝softmaxRi，·j·softmaxR·，ji，9其中，Ri，·表示相關(guān)矩陣的第i列，softmaxRi，·j表示經(jīng)過softmax計(jì)算后第i列第j行的值，運(yùn)算符·表示乘積；Softmax表示為如下公式： 其中，zj是向量z的第j個(gè)數(shù)，e表示自然指數(shù)，Σ表示對向量z所有數(shù)的自然指數(shù)求和；5不置信的點(diǎn)的特征來自匹配特征M1和M2；設(shè)置兩個(gè)閾值來進(jìn)行匹配：首先，匹配對i，j的相互概率Pci，j高于閾值以減少匹配誤差點(diǎn)，這個(gè)準(zhǔn)則被稱為相互最近鄰；其次，匹配對i，j的相關(guān)性Ri，j，也高于一個(gè)閾值，以減少不置信的匹配；匹配選擇策略用以下公式來表示; 其中，MF是產(chǎn)生的匹配或稱為相互流，θp是相互概率的閾值，θr是相關(guān)性的閾值；i，j∈P1，P2表示i，j是從點(diǎn)集P1，P2中生成的點(diǎn)對；6利用相互流MF更新光流的原始預(yù)測F’，然后進(jìn)行下一次迭代，以提前糾正不正確的匹配，這是對密集流估計(jì)的一個(gè)指導(dǎo)，并且在后續(xù)迭代之前更準(zhǔn)確；只在迭代的前α百分比中進(jìn)行特征匹配，α取值為0.5；經(jīng)過多次迭代，置信度增加，密集流估計(jì)可以處理匹配和細(xì)化對應(yīng)關(guān)系，節(jié)省冗余匹配的計(jì)算。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人復(fù)旦大學(xué)，其通訊地址為：200433 上海市楊浦區(qū)邯鄲路220號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。