買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉北京郵電大學(xué)申請的專利一種基于融合列空洞卷積的標(biāo)準(zhǔn)內(nèi)容關(guān)鍵詞識別方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114757175B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202210492445.0，技術(shù)領(lǐng)域涉及：G06F40/279；該發(fā)明授權(quán)一種基于融合列空洞卷積的標(biāo)準(zhǔn)內(nèi)容關(guān)鍵詞識別方法是由胡燕祝;趙興昊;王珂璠;莊育鋒設(shè)計研發(fā)完成，并于2022-04-29向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于融合列空洞卷積的標(biāo)準(zhǔn)內(nèi)容關(guān)鍵詞識別方法在說明書摘要公布了：本發(fā)明公開了一種基于融合列空洞卷積的《標(biāo)準(zhǔn)》內(nèi)容關(guān)鍵詞識別方法，步驟是：1確定標(biāo)準(zhǔn)內(nèi)容文本的序列化向量；2提取每個詞的局部特征；3確定詞語上下文權(quán)重信息；4得到最終的標(biāo)注序列條件分布；5優(yōu)化參數(shù)得到最優(yōu)標(biāo)注序列。本發(fā)明使用列空洞卷積與BiLSTM?Fusion結(jié)合的形式，利用列空洞卷積進(jìn)行局部特征信息提取，有效提高模型對長程依賴的信息提取能力，同時保留了文本的空間信息，為標(biāo)準(zhǔn)內(nèi)容的關(guān)鍵詞提取提供了一種準(zhǔn)確率高的提取方法。

本發(fā)明授權(quán)一種基于融合列空洞卷積的標(biāo)準(zhǔn)內(nèi)容關(guān)鍵詞識別方法在權(quán)利要求書中公布了：1.一種基于融合列空洞卷積的標(biāo)準(zhǔn)內(nèi)容關(guān)鍵詞識別方法，其特征在于，包括以下步驟：步驟一：確定標(biāo)準(zhǔn)內(nèi)容文本的序列化向量Ε：在文本中獲取某句子的表示：X＝[x1,x2,…,xn]T；式中，X是句子的向量表示，xi表示該句子文本中的第i個詞，通過將文本X輸入到層進(jìn)行BERT序列化操作，得到序列化后的文本向量；F＝[F1,F2,…,Fn]T；其中F表示句子文本經(jīng)序列化后的字符數(shù)組，F(xiàn)i表示文本中第i個字的序列化詞；步驟二：提取每個詞的局部特征m：在詞方向形成空洞，構(gòu)成列空洞卷積，卷積核尺寸為3、空洞率為2的列空洞卷積核如下： 卷積核k∈R3×l，其中第一行和第三行有卷積參數(shù)，第二行不參與卷積運算，不做參數(shù)更新； F∈Rn×l表示文本輸入矩陣，其為n個詞嵌入文本的二維矩陣，l為詞嵌入維度，選用卷積核k的大小為W×l的空洞卷積核，W為卷積核寬度，l為詞向量的嵌入長度，將卷積按詞拼接方向進(jìn)行卷積操作；Fo表示卷積核參數(shù)與文本嵌入矩陣的元素對應(yīng)乘積之和，其中卷積核空洞部分不參與計算，WS,r表示尺寸為S、空洞率為r的卷積核的寬度，經(jīng)過列空洞卷積核處理過后的輸出f[x][y]表示第x個行元素的第y個特征；引入并行卷積層和堆疊池化層，并行卷積層與列空洞卷積為并行運行，其用于原始數(shù)據(jù)的特征提取；堆疊池化層將并行卷積層于列空洞卷積的特征進(jìn)行縱向堆疊，將兩方面特征進(jìn)行融合，最后通過最大池化得到特征信息，即M′＝maxM[0][y],M[1][y],…,M[G+1-WS,r][y],1≤y≤l；步驟三：確定詞語上下文權(quán)重信息對經(jīng)過列空洞卷積處理后的維度特征信息與詞嵌入融合得到：Ei＝[FiT,M′]T；Ε＝[E1,E2,…,En]；Ei表示第i個經(jīng)列空洞卷積與BERT詞嵌入之后的詞向量表示，Ε表示句子的詞向量表示；BiLSTM-fusion在最后輸出層中將BiLSTM輸入與BiLSTM輸出層又做了一次融合；公式如下： 上式為前向LSTM的三個門，即輸入門、遺忘門、輸出門，為后向LSTM的三個門，這六個門可以控制信息流向；在前向LSTM中，隱藏層狀態(tài)rt-1對rt的更新有影響，對于后向LSTM，隱藏層狀態(tài)lt+1對lt的更新有影響；W為權(quán)重矩陣；b為偏置項；σ為sigmoid激活函數(shù)；c為狀態(tài)變量，其與輸出門共同控制最后的隱藏層狀態(tài)；*為哈達(dá)瑪積；tanh為雙曲正切函數(shù)；為向量的拼接操作，經(jīng)過BiLSTM-fusion處理之后的具有上下文信息的字符數(shù)組為： 步驟四：得到最終的標(biāo)注序列條件分布Py|x：經(jīng)過BiLSTM-Fusion得到： 在CRF模型中，標(biāo)注序列的條件分布概率Py|x有： 和表示標(biāo)簽對yi-1,yi的狀態(tài)轉(zhuǎn)移矩陣和偏置參數(shù)，這些參數(shù)能夠不斷被優(yōu)化；步驟五：優(yōu)化參數(shù)得到最優(yōu)標(biāo)注序列Y＝y(tǒng)1,y2,…,yn：最后選取極大似然函數(shù)L作為目標(biāo)函數(shù)： X是所有訓(xùn)練樣本，Y是所有標(biāo)簽的集合，訓(xùn)練采用Adam優(yōu)化器；在經(jīng)過參數(shù)調(diào)整后，產(chǎn)生最優(yōu)標(biāo)注序列，Y＝y(tǒng)1,y2,…,yn。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人北京郵電大學(xué)，其通訊地址為：100876 北京市海淀區(qū)西土城路10號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。