恭喜之江實(shí)驗(yàn)室;廈門大學(xué)嚴(yán)嚴(yán)獲國(guó)家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)恭喜之江實(shí)驗(yàn)室;廈門大學(xué)申請(qǐng)的專利基于歧義指導(dǎo)互標(biāo)簽更新的魯棒知識(shí)蒸餾方法獲國(guó)家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN114330580B 。
龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為:202111676330.9,技術(shù)領(lǐng)域涉及:G06F18/2413;該發(fā)明授權(quán)基于歧義指導(dǎo)互標(biāo)簽更新的魯棒知識(shí)蒸餾方法是由嚴(yán)嚴(yán);姜潤(rùn)青;王菡子;王彪;張吉設(shè)計(jì)研發(fā)完成,并于2021-12-31向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。
本基于歧義指導(dǎo)互標(biāo)簽更新的魯棒知識(shí)蒸餾方法在說明書摘要公布了:本發(fā)明公開了基于歧義指導(dǎo)互標(biāo)簽更新的魯棒知識(shí)蒸餾方法,包括:A、構(gòu)建訓(xùn)練數(shù)據(jù)集;B、構(gòu)建教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò);C、通過魯棒學(xué)習(xí)方法對(duì)教師網(wǎng)絡(luò)進(jìn)行訓(xùn)練;D、對(duì)數(shù)據(jù)集中的每個(gè)樣本進(jìn)行歧義感知權(quán)重估計(jì)和權(quán)重分配;E、根據(jù)小損失標(biāo)準(zhǔn)對(duì)數(shù)據(jù)集中的樣本進(jìn)行標(biāo)簽重新標(biāo)注,結(jié)合教師網(wǎng)絡(luò)特征的標(biāo)簽傳播算法更新標(biāo)簽,再計(jì)算損失和更新網(wǎng)絡(luò)參數(shù);F、在學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)之間進(jìn)行互標(biāo)簽傳播算法,并更新樣本標(biāo)簽、計(jì)算損失和更新網(wǎng)絡(luò)參數(shù);G、將測(cè)試圖像數(shù)據(jù)導(dǎo)入學(xué)生網(wǎng)絡(luò),由其得到預(yù)測(cè)結(jié)果且用于圖像分類;本方案可以有效地提升知識(shí)蒸餾對(duì)噪聲標(biāo)簽的魯棒性,從而可以在噪聲標(biāo)簽的環(huán)境下獲取一個(gè)高性能的輕量級(jí)網(wǎng)絡(luò),其更能適用于實(shí)際情況。
本發(fā)明授權(quán)基于歧義指導(dǎo)互標(biāo)簽更新的魯棒知識(shí)蒸餾方法在權(quán)利要求書中公布了:1.一種基于歧義指導(dǎo)互標(biāo)簽更新的魯棒知識(shí)蒸餾方法,其特征在于,其包括:A、構(gòu)建訓(xùn)練數(shù)據(jù)集,并按預(yù)設(shè)條件對(duì)其進(jìn)行預(yù)處理;B、構(gòu)建教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò);C、通過魯棒學(xué)習(xí)方法將訓(xùn)練數(shù)據(jù)集導(dǎo)入教師網(wǎng)絡(luò)中進(jìn)行訓(xùn)練,獲得預(yù)設(shè)性能的教師模型;D、將訓(xùn)練數(shù)據(jù)集導(dǎo)入學(xué)生網(wǎng)絡(luò)中,然后對(duì)訓(xùn)練數(shù)據(jù)集中的每個(gè)樣本進(jìn)行歧義感知權(quán)重估計(jì)和權(quán)重分配;E、學(xué)生網(wǎng)絡(luò)按預(yù)設(shè)條件根據(jù)小損失標(biāo)準(zhǔn)對(duì)訓(xùn)練數(shù)據(jù)集中的樣本進(jìn)行標(biāo)簽重新標(biāo)注,再結(jié)合教師網(wǎng)絡(luò)特征的標(biāo)簽傳播算法更新標(biāo)簽,然后計(jì)算損失,更新網(wǎng)絡(luò)參數(shù);F、在學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)之間進(jìn)行互標(biāo)簽傳播算法,并更新樣本標(biāo)簽,然后計(jì)算損失,更新網(wǎng)絡(luò)參數(shù);G、將測(cè)試圖像數(shù)據(jù)導(dǎo)入學(xué)生網(wǎng)絡(luò),由學(xué)生網(wǎng)絡(luò)的學(xué)生模型前向傳播得到預(yù)測(cè)結(jié)果且將其用于圖像分類;其中,步驟E具體包括:使用教師網(wǎng)絡(luò)的特征構(gòu)建k-nn圖G=V,E,其中V和E分別表示頂點(diǎn)集合和邊集合,頂點(diǎn)之間的相似度矩陣被描述如下: 其中,代表樣本xi在教師網(wǎng)絡(luò)下的特征,NNkxi表示樣本xi的k近鄰,然后,可得到一個(gè)對(duì)稱鄰接矩陣?yán)^而進(jìn)行歸一化Wt得到其中,D為對(duì)角度矩陣;同時(shí),根據(jù)小損失標(biāo)準(zhǔn),訓(xùn)練數(shù)據(jù)集原始的標(biāo)注將被根據(jù)學(xué)生網(wǎng)絡(luò)小損失標(biāo)準(zhǔn)重新標(biāo)注,其公式如下: 其中,表示學(xué)生網(wǎng)絡(luò)對(duì)樣本xi的預(yù)測(cè),為樣本的原始標(biāo)簽,為指示函數(shù),表示被學(xué)生網(wǎng)絡(luò)選擇的干凈樣本集合;聯(lián)合k-nn圖G,將更新后的標(biāo)簽矩陣Z和樣本權(quán)重矩陣進(jìn)行標(biāo)簽傳播,其公式如下: 其中,LP可被定義為式中,⊙表示對(duì)應(yīng)元素間相乘,β為超參數(shù)用于平衡損失;計(jì)算得到更新后的標(biāo)簽Yt后,按如下公式計(jì)算損失: 其中,定義為: 使用mixup算法得到混合樣本數(shù)據(jù),所述混合樣本數(shù)據(jù)為虛擬樣本,其公式如下: 在上述虛擬樣本下構(gòu)建蒸餾損失其公式如下: 其中, τ為溫度參數(shù);同樣的,定義混合樣本的分類損失其公式如下: 最后,定義了如下?lián)p失使學(xué)生網(wǎng)絡(luò)模仿教師網(wǎng)絡(luò)的樣本間的相似度,其公式如下: 步驟F包括:首先,利用步驟D中歧義感知的權(quán)重估計(jì)模塊為每個(gè)樣本估計(jì)權(quán)重,得到權(quán)重矩陣并按照如下過程更新標(biāo)簽: 最后,通過公式4計(jì)算損失更新網(wǎng)絡(luò)參數(shù)。
如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請(qǐng)人或?qū)@麢?quán)人之江實(shí)驗(yàn)室;廈門大學(xué),其通訊地址為:310012 浙江省杭州市文一西路1818號(hào);或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- 恭喜英特爾公司A·R·阿普獲國(guó)家專利權(quán)
- 恭喜英特爾公司K·庫(kù)馬爾獲國(guó)家專利權(quán)
- 恭喜科沃斯家用機(jī)器人有限公司胡建鋒獲國(guó)家專利權(quán)
- 恭喜南京冉亞電子技術(shù)有限公司顧椿獲國(guó)家專利權(quán)
- 恭喜徐工集團(tuán)工程機(jī)械股份有限公司科技分公司張振國(guó)獲國(guó)家專利權(quán)
- 恭喜福特全球技術(shù)公司謝里·林·漢森獲國(guó)家專利權(quán)
- 恭喜英特爾公司A·S·賈殷獲國(guó)家專利權(quán)
- 恭喜洋馬株式會(huì)社福吉真也獲國(guó)家專利權(quán)
- 恭喜中央研究院楊泮池獲國(guó)家專利權(quán)
- 恭喜何太陽(yáng)獲國(guó)家專利權(quán)


熱門推薦
- 恭喜福特全球技術(shù)公司迪安·M·賈拉迪獲國(guó)家專利權(quán)
- 恭喜株式會(huì)社杰士湯淺國(guó)際今中佑樹獲國(guó)家專利權(quán)
- 恭喜上海康達(dá)化工新材料股份有限公司葛于晶獲國(guó)家專利權(quán)
- 恭喜應(yīng)用材料公司V·D·帕克荷獲國(guó)家專利權(quán)
- 恭喜浙江錦源實(shí)業(yè)有限公司施俊杰獲國(guó)家專利權(quán)
- 恭喜瑞典愛立信有限公司M.C.巴托洛梅羅德里戈獲國(guó)家專利權(quán)
- 恭喜珠海格力電器股份有限公司劉華獲國(guó)家專利權(quán)
- 恭喜英特爾公司V·馬杜里獲國(guó)家專利權(quán)
- 恭喜華為技術(shù)有限公司阮望超獲國(guó)家專利權(quán)
- 恭喜夏敬懿獲國(guó)家專利權(quán)