買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉北京計算機技術及應用研究所申請的專利基于多任務學習的層次類別命名實體識別模型設計方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114881032B 。

龍圖騰網通過國家知識產權局官網在2025-05-06發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210462583.4，技術領域涉及：G06F40/295；該發明授權基于多任務學習的層次類別命名實體識別模型設計方法是由程耀開;田宗凱;宋穎毅;楊雨婷;王又辰設計研發完成，并于2022-04-28向國家知識產權局提交的專利申請。

本基于多任務學習的層次類別命名實體識別模型設計方法在說明書摘要公布了：本發明涉及一種基于多任務學習的層次類別命名實體識別模型設計方法，屬于自然語言處理技術領域。本發明通過在命名實體識別模型中加入對于類別關系的建模，使得模型能夠同時識別出命名實體的多個類別，同時，本發明提出了基于多任務學習的模型來解決具有層次類別的命名實體識別問題。模型使用多任務學習機制同時學習多個層次的命名實體識別任務，這些任務共享同一個編碼層，這樣可以使得編碼層學習到的編碼向量可以同時適應多個層次的命名實體識別而不是過擬合于某一個單獨的層次。最后，還分別設計了兩種信息傳遞機制傳遞不同層次間的識別信息，以提高模型的識別效果。

本發明授權基于多任務學習的層次類別命名實體識別模型設計方法在權利要求書中公布了：1.一種基于多任務學習的層次類別命名實體識別模型設計方法，其特征在于，該方法中，將所設計的基于多任務學習的層次類別的命名實體識別模型命名為MTBP，該模型設計時，將不同層次的命名實體識別視為多個任務，使用一個模型訓練多個任務，使用多任務學習機制進行多個層次之間的命名實體識別預測，多個任務之間共享編碼器，其中設計兩種不同的信息傳遞機制以進行不同層次任務間識別信息的傳遞，第一種采用自頂向下的信息傳遞順序，先預測頂層的類，再將頂層信息傳遞給下一層進行預測，將其稱之為MTBP-T，第二種為自底向上的傳遞順序，將其稱之為MTBP-B；該方法中，MTBP-T模型的設計原理為：將粗粒度類別的模型輸出作為信息傳入下一層以輔助細粒度的命名實體識別；MTBP-T模型使用BERT作為編碼器，輸入字符通過所述編碼器得到初步的字向量，低層的表示向量由BERT輸出結果與上一層標簽預測結果拼接而成；該方法中，將MTBP-T模型設計為一個面向具有三層類別結構命名實體識別任務的MBTP-T模型結構：第一層使用BERT的輸出作為嵌入向量，計算過程如下公式所示：E0＝BERTX第二層之后均使用上一層的嵌入與上一層的識別結果的拼接作為嵌入向量：Ek＝ConcatEk-1,labelk-1其中，E0表示BERT輸出，其形狀為m×l，l為輸入序列的字符數量，m為BERT的字向量的尺寸；Ek代表每一層使用的輸入字符向量，0k≤N，N為類別的層次數量；labelk-1是由上一層模型輸出的抽取結果；得到每一層字向量后通過線性層和sigmoid激活層得到一個概率矩陣作為預測矩陣，概率矩陣中每一列映射輸入序列中的一個字，概率矩陣中每兩行映射一個類別，兩行中第一行對應該字為該類別實體開始的概率，第二行為結束的概率，具體計算過程如下公式所示：predj＝sigmoidWjEj其中，Ej表示第j個字的向量表示，predj即為預測得到的字符為實體開始和結束位置的概率，其中Cj代表第j層類別的類別個數；該方法中，將MTBP-B模型設計為：自下而上傳遞信息的基于多任務學習的命名實體識別模型，其設計原理為：由于類別之間的從屬關系，在實體預測中預測出子類實體實際上就已經預測出了父類實體，模型預測的低層次的實體輸出中包含了父類分布的信息，所以可從子類的預測分布中得到父類的預測分布；該方法中，將MTBP-B模型設計為一個面向實體類別具有三層結構的MTBP-B模型；MTBP-B模型也使用BERT作為編碼器來將輸入序列編碼為字符向量，如下公式所示：E＝BertXE為輸入字符的向量，其中，MTBP-B模型直接使用字符向量進行最細粒度的命名實體預測，預測過程仍然是將字符向量通過兩個全連接層和sigmoid激活層得到一個表示字符是否為一類實體開始和結束的矩陣，計算過程如下公式所示：predn＝sigmoidWnE其中，Wn為全連接層的參數，n表示第n層命名實體識別，MTBP-B模型使用低層次的預測結果得到高層次的預測結果，其將同一父類的子類預測數據聚合，得到父類的預測數據，對于開始矩陣，具體轉化過程為：將子類的兩個預測矩陣按類別進行分割，形成若干個小矩陣，每個矩陣中行映射的類型具有相同的父類；取每一個小矩陣的列最大值形成一個新的行，再將這些行進行拼接得到新的矩陣，這個新的矩陣即為父類的預測矩陣，這個轉化過程稱之為levelmax操作，整體過程如下公式所示：predj＝levelmaxpredj+1其中0≤j＜n。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京計算機技術及應用研究所，其通訊地址為：100854 北京市海淀區永定路51號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。