買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉復旦大學申請的專利一種對兩幀圖像進行自適應密集匹配計算的方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114743069B 。

龍圖騰網通過國家知識產權局官網在2025-05-06發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210427447.1，技術領域涉及：G06V10/774；該發明授權一種對兩幀圖像進行自適應密集匹配計算的方法是由顏波;何瑞安;周詩力;譚偉敏設計研發完成，并于2022-04-21向國家知識產權局提交的專利申請。

本一種對兩幀圖像進行自適應密集匹配計算的方法在說明書摘要公布了：本發明屬于視頻與場景理解技術領域，具體為一種對兩幀圖像進行密集匹配計算的方法。本發明方法包括采用一種新的置信度驅動的自適應匹配網絡模型，從不置信的點中挖掘匹配信息。通過迭代評估置信度和匹配不置信點來實現自適應匹配。其中，采用三種策略來評估置信度，每一種都伴隨有不同的置信度表示、不置信點選擇和損失函數。這些策略自適應地從流預測結果中提出了不確定的點。本發明還將密集匹配與特征匹配方法相結合，以匹配不確定的點，并為流預測結果提供指導。本發明方法促進了不置信區域的成對點的匹配。最終的模型以較低的時間和參數成本實現了最先進的性能。

本發明授權一種對兩幀圖像進行自適應密集匹配計算的方法在權利要求書中公布了：1.一種對兩幀圖像進行自適應密集匹配計算的方法，其特征在于，構建一個置信度驅動的自適應匹配網絡模型，通過迭代評估置信度和匹配不置信度點來實現自適應密集匹配計算；具體步驟為：1使用深度學習網絡提取輸入圖像的特征；具體采用孿生網絡：匹配特征網絡Nm和內容特征網絡Nc來提取兩幀輸入圖像I1和I2的匹配特征M1和M2和內容特征C1和C2；然后使用匹配特征計算成本量V，成本量V代表前后兩幀相似度；再使用初始光流F，從成本量V中提取運動特征T；然后與內容特征C一起送入一個預測網絡Np，預測匹配置信度CF和光流F’；2根據每次圖像匹配中每次迭代的不同置信度評估來選擇不置信點，這是在各種條件下進行匹配的一個自適應過程；為此，采用三種評估置信度的策略，每一種策略都伴隨有不同的置信度表示、點選擇和損失函數，以便自適應地提出不置信點集P1和P2；3對于不置信點集P1和P2，提取特征向量并自適應匹配這些點；具體采用特征匹配策略進行匹配，然后利用高匹配概率的相互流MF來更新光流，為不確定的點提供指導：4迭代地執行步驟1-3這個過程，從初始光流開始迭代預測置信度CF和光流F’，選擇不置信的點并匹配，然后更新原有光流，最終得到迭代優化后的光流以及置信度圖；5訓練網絡，輸出每次迭代的流預測結果和置信圖結果來計算損失函數；使用反向傳播算法迭代更新神經網絡，以達到在給定數據集上收斂的結果，并且泛化到其他數據集上；6使用訓練的網絡測試，只需要輸入兩幀圖像，經過神經網絡的推理，輸出相應的密集匹配；步驟1中：所述采用孿生網絡提取兩幀輸入圖像的匹配特征M和內容特征C；然后使用匹配特征M計算成本量V，具體流程如下：輸入的兩幀RGB圖像I1和I2，分別通過匹配特征網絡Nm和內容特征網絡Nc進行特征提取，得到匹配特征M1、M2和內容特征C1、C2；孿生網絡代表對兩幀圖像處理的網絡是相同的，共享同一份參數；根據提取的匹配特征M計算成本量V，并在特征匹配階段進行特征匹配；成本量V的計算表示為如下公式：Vijkl＝∑hM1ijh·M2klh，1其中，M1和M2是提取的匹配特征，其大小為H×W×C，分別為高，寬，通道數；M1ijh表示匹配特征M1作為矩陣在i，j，h位置的值；運算符·表示乘法運算，這里針對第三維度h的每項乘積進行求和；V有四個維度，其大小為H×W×H×W，Vijkl表示匹配特征M1的i，j位置與匹配特征M2的k，l位置的相似度；所述使用初始光流F，從成本量V中提取運動特征T，其過程表示為如下公式：x＝u，v，x′＝u+f1u，v+f2v，2 其中，x代表特征圖M1中某個點，u，v是其坐標；f1u、f2v表示初始流F在u,v處的流值，x′表示x經過初始流變換后的點坐標；運動特征T提取的是成本量V在也即x′的以r為半徑的鄰域的特征；dx是坐標偏移量，代表整數坐標，||dx||1≤r表示偏移量小于半徑r；將運動特征T和內容特征C輸入預測網絡Np，產生匹配置信度CF和光流F’，這里針對兩幀圖像I1和I2都分別計算前向光流：I1到I2的匹配置信度CF1和光流F′1，和后向光流：I2到I1的匹配置信度CF2和光流F′2；步驟2中，所述的三種評估置信度的策略，每一種策略都伴隨有不同的置信度表示、點選擇和損失函數，以便自適應地提出不置信點集P1和P2，具體流程如下：1引入一對值fi，ci來表示一個點的流預測結果以及其置信度，以統一的方式來表示置信度評估的問題： 其中，D是置信度圖上的點集，一共有n個點，每個點i都有流預測結果值fi和置信度ci，置信的點的c值是在0和1之間；2基于概率的置信度評估：目標是將特征圖上的點分為兩類，置信和不置信；這樣，置信度預測和不置信度點的選擇就變成一個二元分類問題；這兩個類別的分類標準是一個偏差閾值；該偏差為光流網絡預測的誤差；將置信度作為偏差小于閾值的概率期望：ci＝Pδi≤δs，5其中，δi為偏差值，δs為閾值，P為概率；該閾值設置為實現過程中成本量的鄰居半徑；該預測網絡作為一個二值分類器，設置最小置信度cs來區分不置信點，置信度ci低于cs的點被選為不置信的點；3基于價值的置信度評估：采用基于整個圖像的置信度信息的策略，將方程擴展到一個回歸問題，以避免分類閾值問題： 其中，δi是偏差，以一個預測的最大偏差的比值作為變量，用以評估置信度，并在大偏差的情況下選擇不置信點，這里同樣使用置信度閾值cs來選取不置信點；4為提高匹配效率，進一步使用排序來評估置信度，用如下公式來表示； 其中，rank是按降序計算第i偏差δi的秩，置信度閾值cs控制了匹配點的數量；從匹配置信度CF1、CF2中得到兩幀針對預測的光流的不置信點集P1和P2，以方便之后進行匹配優化；步驟3中，所述采用特征匹配策略進行匹配，然后利用高匹配概率的相互流MF來更新光流，為不確定的點提供指導，具體流程如下：1自適應地匹配所選的點，以產生更準確的流；假設對于圖像對，語義相似的區域具有相同的置信度，然后使用圖像對中的不置信點P1和P2進行精確匹配；在完成不置信點的選擇后，取出匹配網絡提取的每個點的匹配特征M1和M2；2對提取的特征應用自注意和交叉注意；使網絡在計算相關性之前學習與其他特征的關系；分別計算自我注意和交叉注意，并連接在一起以備以后的匹配；3使用一種高效的方法來執行匹配；首先對這些特征進行歸一化處理，并計算出相關矩陣：Ri，j＝M1i，M2j，8其中，Ri，j為圖像I1中的點i與圖像I2中的點j之間的相關性；M1和M2是匹配的特征，·，·是內積；4然后，用以下條件對匹配的點對進行過濾：使用softmax進行匹配過濾；計算每一對匹配項的分數；圖像I1的不置信點集P1的點o和圖像I2的不置信點集P2的點j滿足以下條件：在點集P2中，i的匹配點最有可能為j，在點集P1中，j的匹配點最有可能為i；每個點對i，j匹配的最終分數Pci,j使用以下公式來計算：Pci,j＝softmaxRi，·j·softmaxR·，ji，9其中，Ri，·表示相關矩陣的第i列，softmaxRi，·j表示經過softmax計算后第i列第j行的值，運算符·表示乘積；Softmax表示為如下公式： 其中，zj是向量z的第j個數，e表示自然指數，Σ表示對向量z所有數的自然指數求和；5不置信的點的特征來自匹配特征M1和M2；設置兩個閾值來進行匹配：首先，匹配對i，j的相互概率Pci，j高于閾值以減少匹配誤差點，這個準則被稱為相互最近鄰；其次，匹配對i，j的相關性Ri，j，也高于一個閾值，以減少不置信的匹配；匹配選擇策略用以下公式來表示; 其中，MF是產生的匹配或稱為相互流，θp是相互概率的閾值，θr是相關性的閾值；i，j∈P1，P2表示i，j是從點集P1，P2中生成的點對；6利用相互流MF更新光流的原始預測F’，然后進行下一次迭代，以提前糾正不正確的匹配，這是對密集流估計的一個指導，并且在后續迭代之前更準確；只在迭代的前α百分比中進行特征匹配，α取值為0.5；經過多次迭代，置信度增加，密集流估計可以處理匹配和細化對應關系，節省冗余匹配的計算。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人復旦大學，其通訊地址為：200433 上海市楊浦區邯鄲路220號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。