北京郵電大學(xué)胡燕祝獲國家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費!專利年費監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉北京郵電大學(xué)申請的專利一種基于融合列空洞卷積的標(biāo)準(zhǔn)內(nèi)容關(guān)鍵詞識別方法獲國家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予,授權(quán)公告號為:CN114757175B 。
龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請?zhí)?專利號為:202210492445.0,技術(shù)領(lǐng)域涉及:G06F40/279;該發(fā)明授權(quán)一種基于融合列空洞卷積的標(biāo)準(zhǔn)內(nèi)容關(guān)鍵詞識別方法是由胡燕祝;趙興昊;王珂璠;莊育鋒設(shè)計研發(fā)完成,并于2022-04-29向國家知識產(chǎn)權(quán)局提交的專利申請。
本一種基于融合列空洞卷積的標(biāo)準(zhǔn)內(nèi)容關(guān)鍵詞識別方法在說明書摘要公布了:本發(fā)明公開了一種基于融合列空洞卷積的《標(biāo)準(zhǔn)》內(nèi)容關(guān)鍵詞識別方法,步驟是:1確定標(biāo)準(zhǔn)內(nèi)容文本的序列化向量;2提取每個詞的局部特征;3確定詞語上下文權(quán)重信息;4得到最終的標(biāo)注序列條件分布;5優(yōu)化參數(shù)得到最優(yōu)標(biāo)注序列。本發(fā)明使用列空洞卷積與BiLSTM?Fusion結(jié)合的形式,利用列空洞卷積進(jìn)行局部特征信息提取,有效提高模型對長程依賴的信息提取能力,同時保留了文本的空間信息,為標(biāo)準(zhǔn)內(nèi)容的關(guān)鍵詞提取提供了一種準(zhǔn)確率高的提取方法。
本發(fā)明授權(quán)一種基于融合列空洞卷積的標(biāo)準(zhǔn)內(nèi)容關(guān)鍵詞識別方法在權(quán)利要求書中公布了:1.一種基于融合列空洞卷積的標(biāo)準(zhǔn)內(nèi)容關(guān)鍵詞識別方法,其特征在于,包括以下步驟:步驟一:確定標(biāo)準(zhǔn)內(nèi)容文本的序列化向量Ε:在文本中獲取某句子的表示:X=[x1,x2,…,xn]T;式中,X是句子的向量表示,xi表示該句子文本中的第i個詞,通過將文本X輸入到層進(jìn)行BERT序列化操作,得到序列化后的文本向量;F=[F1,F2,…,Fn]T;其中F表示句子文本經(jīng)序列化后的字符數(shù)組,F(xiàn)i表示文本中第i個字的序列化詞;步驟二:提取每個詞的局部特征m:在詞方向形成空洞,構(gòu)成列空洞卷積,卷積核尺寸為3、空洞率為2的列空洞卷積核如下: 卷積核k∈R3×l,其中第一行和第三行有卷積參數(shù),第二行不參與卷積運算,不做參數(shù)更新; F∈Rn×l表示文本輸入矩陣,其為n個詞嵌入文本的二維矩陣,l為詞嵌入維度,選用卷積核k的大小為W×l的空洞卷積核,W為卷積核寬度,l為詞向量的嵌入長度,將卷積按詞拼接方向進(jìn)行卷積操作;Fo表示卷積核參數(shù)與文本嵌入矩陣的元素對應(yīng)乘積之和,其中卷積核空洞部分不參與計算,WS,r表示尺寸為S、空洞率為r的卷積核的寬度,經(jīng)過列空洞卷積核處理過后的輸出f[x][y]表示第x個行元素的第y個特征;引入并行卷積層和堆疊池化層,并行卷積層與列空洞卷積為并行運行,其用于原始數(shù)據(jù)的特征提取;堆疊池化層將并行卷積層于列空洞卷積的特征進(jìn)行縱向堆疊,將兩方面特征進(jìn)行融合,最后通過最大池化得到特征信息,即M′=maxM[0][y],M[1][y],…,M[G+1-WS,r][y],1≤y≤l;步驟三:確定詞語上下文權(quán)重信息對經(jīng)過列空洞卷積處理后的維度特征信息與詞嵌入融合得到:Ei=[FiT,M′]T;Ε=[E1,E2,…,En];Ei表示第i個經(jīng)列空洞卷積與BERT詞嵌入之后的詞向量表示,Ε表示句子的詞向量表示;BiLSTM-fusion在最后輸出層中將BiLSTM輸入與BiLSTM輸出層又做了一次融合;公式如下: 上式為前向LSTM的三個門,即輸入門、遺忘門、輸出門,為后向LSTM的三個門,這六個門可以控制信息流向;在前向LSTM中,隱藏層狀態(tài)rt-1對rt的更新有影響,對于后向LSTM,隱藏層狀態(tài)lt+1對lt的更新有影響;W為權(quán)重矩陣;b為偏置項;σ為sigmoid激活函數(shù);c為狀態(tài)變量,其與輸出門共同控制最后的隱藏層狀態(tài);*為哈達(dá)瑪積;tanh為雙曲正切函數(shù);為向量的拼接操作,經(jīng)過BiLSTM-fusion處理之后的具有上下文信息的字符數(shù)組為: 步驟四:得到最終的標(biāo)注序列條件分布Py|x:經(jīng)過BiLSTM-Fusion得到: 在CRF模型中,標(biāo)注序列的條件分布概率Py|x有: 和表示標(biāo)簽對yi-1,yi的狀態(tài)轉(zhuǎn)移矩陣和偏置參數(shù),這些參數(shù)能夠不斷被優(yōu)化;步驟五:優(yōu)化參數(shù)得到最優(yōu)標(biāo)注序列Y=y(tǒng)1,y2,…,yn:最后選取極大似然函數(shù)L作為目標(biāo)函數(shù): X是所有訓(xùn)練樣本,Y是所有標(biāo)簽的集合,訓(xùn)練采用Adam優(yōu)化器;在經(jīng)過參數(shù)調(diào)整后,產(chǎn)生最優(yōu)標(biāo)注序列,Y=y(tǒng)1,y2,…,yn。
如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請人或?qū)@麢?quán)人北京郵電大學(xué),其通訊地址為:100876 北京市海淀區(qū)西土城路10號;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報告中的分析和結(jié)論僅反映本公司于發(fā)布本報告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。


熱門推薦
- 武漢大學(xué)陳志文獲國家專利權(quán)
- 深圳市安拓浦科技有限公司楊瑞典獲國家專利權(quán)
- 深圳市創(chuàng)益通技術(shù)股份有限公司莫金堂獲國家專利權(quán)
- 華為技術(shù)有限公司王俊偉獲國家專利權(quán)
- 中節(jié)能晶和照明有限公司曾平獲國家專利權(quán)
- 蘇州晶湛半導(dǎo)體有限公司程凱獲國家專利權(quán)
- 應(yīng)用材料公司康宋坤獲國家專利權(quán)
- 柳州上汽汽車變速器有限公司柳東分公司李哲宇獲國家專利權(quán)
- 廣東聯(lián)大光電有限公司饒欽和獲國家專利權(quán)
- 電化株式會社石原庸介獲國家專利權(quán)