北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所程耀開獲國(guó)家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所申請(qǐng)的專利基于多任務(wù)學(xué)習(xí)的層次類別命名實(shí)體識(shí)別模型設(shè)計(jì)方法獲國(guó)家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN114881032B 。
龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為:202210462583.4,技術(shù)領(lǐng)域涉及:G06F40/295;該發(fā)明授權(quán)基于多任務(wù)學(xué)習(xí)的層次類別命名實(shí)體識(shí)別模型設(shè)計(jì)方法是由程耀開;田宗凱;宋穎毅;楊雨婷;王又辰設(shè)計(jì)研發(fā)完成,并于2022-04-28向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。
本基于多任務(wù)學(xué)習(xí)的層次類別命名實(shí)體識(shí)別模型設(shè)計(jì)方法在說(shuō)明書摘要公布了:本發(fā)明涉及一種基于多任務(wù)學(xué)習(xí)的層次類別命名實(shí)體識(shí)別模型設(shè)計(jì)方法,屬于自然語(yǔ)言處理技術(shù)領(lǐng)域。本發(fā)明通過(guò)在命名實(shí)體識(shí)別模型中加入對(duì)于類別關(guān)系的建模,使得模型能夠同時(shí)識(shí)別出命名實(shí)體的多個(gè)類別,同時(shí),本發(fā)明提出了基于多任務(wù)學(xué)習(xí)的模型來(lái)解決具有層次類別的命名實(shí)體識(shí)別問(wèn)題。模型使用多任務(wù)學(xué)習(xí)機(jī)制同時(shí)學(xué)習(xí)多個(gè)層次的命名實(shí)體識(shí)別任務(wù),這些任務(wù)共享同一個(gè)編碼層,這樣可以使得編碼層學(xué)習(xí)到的編碼向量可以同時(shí)適應(yīng)多個(gè)層次的命名實(shí)體識(shí)別而不是過(guò)擬合于某一個(gè)單獨(dú)的層次。最后,還分別設(shè)計(jì)了兩種信息傳遞機(jī)制傳遞不同層次間的識(shí)別信息,以提高模型的識(shí)別效果。
本發(fā)明授權(quán)基于多任務(wù)學(xué)習(xí)的層次類別命名實(shí)體識(shí)別模型設(shè)計(jì)方法在權(quán)利要求書中公布了:1.一種基于多任務(wù)學(xué)習(xí)的層次類別命名實(shí)體識(shí)別模型設(shè)計(jì)方法,其特征在于,該方法中,將所設(shè)計(jì)的基于多任務(wù)學(xué)習(xí)的層次類別的命名實(shí)體識(shí)別模型命名為MTBP,該模型設(shè)計(jì)時(shí),將不同層次的命名實(shí)體識(shí)別視為多個(gè)任務(wù),使用一個(gè)模型訓(xùn)練多個(gè)任務(wù),使用多任務(wù)學(xué)習(xí)機(jī)制進(jìn)行多個(gè)層次之間的命名實(shí)體識(shí)別預(yù)測(cè),多個(gè)任務(wù)之間共享編碼器,其中設(shè)計(jì)兩種不同的信息傳遞機(jī)制以進(jìn)行不同層次任務(wù)間識(shí)別信息的傳遞,第一種采用自頂向下的信息傳遞順序,先預(yù)測(cè)頂層的類,再將頂層信息傳遞給下一層進(jìn)行預(yù)測(cè),將其稱之為MTBP-T,第二種為自底向上的傳遞順序,將其稱之為MTBP-B;該方法中,MTBP-T模型的設(shè)計(jì)原理為:將粗粒度類別的模型輸出作為信息傳入下一層以輔助細(xì)粒度的命名實(shí)體識(shí)別;MTBP-T模型使用BERT作為編碼器,輸入字符通過(guò)所述編碼器得到初步的字向量,低層的表示向量由BERT輸出結(jié)果與上一層標(biāo)簽預(yù)測(cè)結(jié)果拼接而成;該方法中,將MTBP-T模型設(shè)計(jì)為一個(gè)面向具有三層類別結(jié)構(gòu)命名實(shí)體識(shí)別任務(wù)的MBTP-T模型結(jié)構(gòu):第一層使用BERT的輸出作為嵌入向量,計(jì)算過(guò)程如下公式所示:E0=BERTX第二層之后均使用上一層的嵌入與上一層的識(shí)別結(jié)果的拼接作為嵌入向量:Ek=ConcatEk-1,labelk-1其中,E0表示BERT輸出,其形狀為m×l,l為輸入序列的字符數(shù)量,m為BERT的字向量的尺寸;Ek代表每一層使用的輸入字符向量,0k≤N,N為類別的層次數(shù)量;labelk-1是由上一層模型輸出的抽取結(jié)果;得到每一層字向量后通過(guò)線性層和sigmoid激活層得到一個(gè)概率矩陣作為預(yù)測(cè)矩陣,概率矩陣中每一列映射輸入序列中的一個(gè)字,概率矩陣中每?jī)尚杏成湟粋€(gè)類別,兩行中第一行對(duì)應(yīng)該字為該類別實(shí)體開始的概率,第二行為結(jié)束的概率,具體計(jì)算過(guò)程如下公式所示:predj=sigmoidWjEj其中,Ej表示第j個(gè)字的向量表示,predj即為預(yù)測(cè)得到的字符為實(shí)體開始和結(jié)束位置的概率,其中Cj代表第j層類別的類別個(gè)數(shù);該方法中,將MTBP-B模型設(shè)計(jì)為:自下而上傳遞信息的基于多任務(wù)學(xué)習(xí)的命名實(shí)體識(shí)別模型,其設(shè)計(jì)原理為:由于類別之間的從屬關(guān)系,在實(shí)體預(yù)測(cè)中預(yù)測(cè)出子類實(shí)體實(shí)際上就已經(jīng)預(yù)測(cè)出了父類實(shí)體,模型預(yù)測(cè)的低層次的實(shí)體輸出中包含了父類分布的信息,所以可從子類的預(yù)測(cè)分布中得到父類的預(yù)測(cè)分布;該方法中,將MTBP-B模型設(shè)計(jì)為一個(gè)面向?qū)嶓w類別具有三層結(jié)構(gòu)的MTBP-B模型;MTBP-B模型也使用BERT作為編碼器來(lái)將輸入序列編碼為字符向量,如下公式所示:E=BertXE為輸入字符的向量,其中,MTBP-B模型直接使用字符向量進(jìn)行最細(xì)粒度的命名實(shí)體預(yù)測(cè),預(yù)測(cè)過(guò)程仍然是將字符向量通過(guò)兩個(gè)全連接層和sigmoid激活層得到一個(gè)表示字符是否為一類實(shí)體開始和結(jié)束的矩陣,計(jì)算過(guò)程如下公式所示:predn=sigmoidWnE其中,Wn為全連接層的參數(shù),n表示第n層命名實(shí)體識(shí)別,MTBP-B模型使用低層次的預(yù)測(cè)結(jié)果得到高層次的預(yù)測(cè)結(jié)果,其將同一父類的子類預(yù)測(cè)數(shù)據(jù)聚合,得到父類的預(yù)測(cè)數(shù)據(jù),對(duì)于開始矩陣,具體轉(zhuǎn)化過(guò)程為:將子類的兩個(gè)預(yù)測(cè)矩陣按類別進(jìn)行分割,形成若干個(gè)小矩陣,每個(gè)矩陣中行映射的類型具有相同的父類;取每一個(gè)小矩陣的列最大值形成一個(gè)新的行,再將這些行進(jìn)行拼接得到新的矩陣,這個(gè)新的矩陣即為父類的預(yù)測(cè)矩陣,這個(gè)轉(zhuǎn)化過(guò)程稱之為levelmax操作,整體過(guò)程如下公式所示:predj=levelmaxpredj+1其中0≤j<n。
如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請(qǐng)人或?qū)@麢?quán)人北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所,其通訊地址為:100854 北京市海淀區(qū)永定路51號(hào);或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- 上海析維醫(yī)療科技有限公司陳勇獲國(guó)家專利權(quán)
- 長(zhǎng)興金潤(rùn)大正機(jī)械有限公司吳建豐獲國(guó)家專利權(quán)
- 北京動(dòng)力源新能源科技有限責(zé)任公司翟龍獲國(guó)家專利權(quán)
- 內(nèi)蒙古拉鎖式新型建材科技有限公司姚井祥獲國(guó)家專利權(quán)
- 中國(guó)人民解放軍陸軍工程大學(xué)熊飛獲國(guó)家專利權(quán)
- 啟東吉萊電子有限公司張鵬獲國(guó)家專利權(quán)
- 三星顯示有限公司全祐奭獲國(guó)家專利權(quán)
- 無(wú)錫先導(dǎo)智能裝備股份有限公司請(qǐng)求不公布姓名獲國(guó)家專利權(quán)
- 武漢大學(xué)陳志文獲國(guó)家專利權(quán)
- 深圳市安拓浦科技有限公司楊瑞典獲國(guó)家專利權(quán)


熱門推薦
- 廣東聯(lián)大光電有限公司饒欽和獲國(guó)家專利權(quán)
- 中冶天工集團(tuán)有限公司王海量獲國(guó)家專利權(quán)
- 洛陽(yáng)方晨智能裝備有限公司馬永奇獲國(guó)家專利權(quán)
- 無(wú)錫先導(dǎo)智能裝備股份有限公司請(qǐng)求不公布姓名獲國(guó)家專利權(quán)
- 偉創(chuàng)力電子技術(shù)(蘇州)有限公司康健獲國(guó)家專利權(quán)
- 中興通訊股份有限公司阮志明獲國(guó)家專利權(quán)
- 杭州友邦演藝設(shè)備有限公司楊全明獲國(guó)家專利權(quán)
- 南京博瑞吉工程技術(shù)有限公司劉其偉獲國(guó)家專利權(quán)
- 廣東邦普循環(huán)科技有限公司許帥軍獲國(guó)家專利權(quán)
- 高露潔-棕欖公司納丁·德夫德尼獲國(guó)家專利權(quán)