買(mǎi)專利賣(mài)專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜廈門(mén)崛鼎科技股份有限公司申請(qǐng)的專利一種基于分工決策的視覺(jué)問(wèn)答模型的視覺(jué)問(wèn)答方法及系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114283292B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202111483361.2，技術(shù)領(lǐng)域涉及：G06V10/44；該發(fā)明授權(quán)一種基于分工決策的視覺(jué)問(wèn)答模型的視覺(jué)問(wèn)答方法及系統(tǒng)是由豐江帆;劉睿國(guó);龍仁華;易成杰設(shè)計(jì)研發(fā)完成，并于2021-12-07向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于分工決策的視覺(jué)問(wèn)答模型的視覺(jué)問(wèn)答方法及系統(tǒng)在說(shuō)明書(shū)摘要公布了：本發(fā)明屬于圖像問(wèn)答領(lǐng)域，具體涉及一種基于分工決策的視覺(jué)問(wèn)答模型的視覺(jué)問(wèn)答方法及系統(tǒng)，該方法包括：獲取視覺(jué)圖像和待回答的問(wèn)題，將視覺(jué)圖像和待回答的問(wèn)題輸入到LRBNet模型中，得到問(wèn)答結(jié)果；LRBNet模型包括視覺(jué)理解模塊、文本理解模塊以及交換模塊；所述視覺(jué)理解模塊用于得到視覺(jué)特征圖，所述文本理解模塊用于得到文本特征圖，所述交換模塊用于對(duì)視覺(jué)特征圖和文本特征圖進(jìn)行數(shù)據(jù)交互，根據(jù)交互數(shù)據(jù)更新節(jié)點(diǎn)；視覺(jué)空間特征圖和文本語(yǔ)義信息進(jìn)行關(guān)聯(lián)和更新，得到最終的問(wèn)答結(jié)果；本發(fā)明將文本語(yǔ)義信息和視覺(jué)空間信息分離處理，只在最后將處理的結(jié)果融合，降低了其他VQA模型因跨模態(tài)融合而提高的推理難度。

本發(fā)明授權(quán)一種基于分工決策的視覺(jué)問(wèn)答模型的視覺(jué)問(wèn)答方法及系統(tǒng)在權(quán)利要求書(shū)中公布了：1.一種基于分工決策的視覺(jué)問(wèn)答模型的視覺(jué)問(wèn)答系統(tǒng)，其特征在于，該系統(tǒng)包括：特征獲取模塊、分工決策模塊以及答案輸出模塊；所述特征獲取模塊用于獲取圖像的視覺(jué)特征和問(wèn)題的文本特征，并輸入到分工決策模塊中；所述分工決策模塊包括預(yù)處理模塊、視覺(jué)理解模塊、文本理解模塊、交換模塊以及答案預(yù)測(cè)模塊；所述預(yù)處理模塊用于將問(wèn)題文本轉(zhuǎn)化為視覺(jué)特征，并提取圖像的局部視覺(jué)特征和局部文本信息，將問(wèn)題文本轉(zhuǎn)化的視覺(jué)特征和圖像的局部視覺(jué)特征輸入到視覺(jué)理解模塊，將局部文本信息輸入到文本理解模塊；數(shù)據(jù)預(yù)處理模塊將問(wèn)題文本轉(zhuǎn)化為視覺(jué)特征的過(guò)程包括：采用文本-圖像網(wǎng)絡(luò)DM-GAN對(duì)訓(xùn)練集中與圖像有關(guān)的問(wèn)題進(jìn)行轉(zhuǎn)化，得到該問(wèn)題的圖像，并采用ResNet50網(wǎng)絡(luò)對(duì)轉(zhuǎn)化后的圖像進(jìn)行特征提取，得到與問(wèn)題有關(guān)的視覺(jué)特征Q2Ifeature；所述視覺(jué)理解模塊用于處理來(lái)自預(yù)處理模塊的輸出，經(jīng)過(guò)篩選、圖構(gòu)建和空間關(guān)系建模，得到視覺(jué)特征圖并輸入到交換模塊；具體包括：采用邊界框裁剪模塊BoundingBoxClipping和矩陣創(chuàng)建模塊AdjacencyMatrixCreating對(duì)圖像局部特征Imagefeatures和Q2Ifeature進(jìn)行篩選和圖構(gòu)建，得到鄰接矩陣和視覺(jué)特征圖；將Imagefeatures與Q2Ifeature進(jìn)行拼接并和鄰接矩陣一起輸入到空間關(guān)系學(xué)習(xí)模塊SpatialRelationLearning中進(jìn)行空間關(guān)系建模；采用殘差連接模塊AddNorm將關(guān)系建模后的視覺(jué)特征與建模之前的特征相加并歸一化，得到視覺(jué)空間特征；所述文本理解模塊用于處理文本信息，經(jīng)過(guò)篩選、計(jì)數(shù)和語(yǔ)義關(guān)系建模，將得到的文本特征圖輸入到交換模塊，將計(jì)數(shù)結(jié)果的one-hot向量輸入到問(wèn)題預(yù)測(cè)模塊；文本信息包括問(wèn)題文本和來(lái)自數(shù)據(jù)預(yù)處理模塊的圖像的局部文本信息；具體包括：采用LSTM對(duì)圖像的文本信息Imagecaptions和問(wèn)題文本Question進(jìn)行編碼；采用邊界框裁剪模塊BoundingBoxClipping和鄰接矩陣構(gòu)建模塊Createadjacencymatrix對(duì)編碼后的Imagecaptions和Question進(jìn)行篩選和圖構(gòu)建，得到鄰接矩陣和文本特征圖；將篩選的結(jié)果送入Count模塊中進(jìn)行計(jì)數(shù)得到C；將編碼后的Imagecaptions和Question進(jìn)行拼接并和鄰接矩陣一起輸入到語(yǔ)義關(guān)系學(xué)習(xí)模塊SemanticRelationLearning進(jìn)行語(yǔ)義關(guān)系建模；采用AddNorm模塊將關(guān)系建模后的特征與建模之前的特征相加并歸一化，得到文本語(yǔ)義特征；所述交換模塊用于在視覺(jué)理解模塊和文本理解模塊之間進(jìn)行數(shù)據(jù)交互，接收來(lái)自視覺(jué)理解模塊的視覺(jué)特征圖和文本理解模塊的文本特征圖，通過(guò)數(shù)據(jù)交互，對(duì)視覺(jué)特征圖和文本特征圖進(jìn)行一輪或多輪迭代更新，并將最后一輪迭代更新的視覺(jué)特征圖和文本特征圖分別反饋給視覺(jué)理解模塊和文本理解模塊；迭代更新的具體包括：分別獲取視覺(jué)特征圖和文本特征圖中每個(gè)節(jié)點(diǎn)的特征值集合，利用兩個(gè)特征值集合計(jì)算兩個(gè)特征圖之間的注意力系數(shù)矩陣，利用注意力系數(shù)矩陣分別和兩個(gè)特征圖的每個(gè)節(jié)點(diǎn)進(jìn)行加權(quán)平均，并利用特征線性調(diào)制對(duì)每個(gè)節(jié)點(diǎn)進(jìn)行更新；所述問(wèn)題預(yù)測(cè)模塊用于獲取文本理解模塊和視覺(jué)理解模塊中的更新后的文本特征圖、更新后的視覺(jué)特征圖以及one-hot向量，并根據(jù)得到的特征得到問(wèn)題的答案；具體包括：采用注意力機(jī)制計(jì)算問(wèn)題文本特征和文本語(yǔ)義特征的注意力系數(shù)，將注意力系數(shù)和文本語(yǔ)義特征進(jìn)行加權(quán)平均得到文本語(yǔ)義嵌入capemb，將capemb送入多層感知機(jī)MLP中得到文本理解模塊預(yù)測(cè)的概率p2；采用注意力機(jī)制計(jì)算問(wèn)題轉(zhuǎn)化的視覺(jué)特征Q2Ifeature和視覺(jué)空間特征的注意力系數(shù)，將注意力系數(shù)和視覺(jué)空間特征進(jìn)行加權(quán)平均得到視覺(jué)空間嵌入Vemb，將Vemb送入多層感知機(jī)MLP中得到視覺(jué)理解模塊預(yù)測(cè)的概率p3；將capemb,Vemb以及C進(jìn)行拼接送入多層感知機(jī)MLP中得到聯(lián)合嵌入預(yù)測(cè)的概率p1；所述答案輸出模塊用于輸出問(wèn)題預(yù)測(cè)模塊得到的問(wèn)題答案。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人廈門(mén)崛鼎科技股份有限公司，其通訊地址為：361008 福建省廈門(mén)市軟件園二期觀日路44號(hào)401單元A區(qū)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。