買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉華南理工大學;華南理工大學珠?，F代產業創新研究院申請的專利一種基于雙流注意力圖卷積的異常行為識別方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115171206B 。

龍圖騰網通過國家知識產權局官網在2025-05-06發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210161226.4，技術領域涉及：G06V40/20；該發明授權一種基于雙流注意力圖卷積的異常行為識別方法是由杜啟亮;向照夷;田聯房設計研發完成，并于2022-02-22向國家知識產權局提交的專利申請。

本一種基于雙流注意力圖卷積的異常行為識別方法在說明書摘要公布了：本發明公開了一種基于雙流注意力圖卷積的異常行為識別方法，針對人體的運動特點，在現有圖卷積網絡的基礎上提出時間注意力模塊、空間注意力模塊、通道注意力模塊，上述模塊可以直接插入任何圖卷積之中，以增強圖卷積的模型性能，推理時，將人體的關節點信息和骨骼信息分別輸入對應的關節點特征提取的圖卷積網絡及骨骼特征提取的圖卷積網絡，獲得初步的分類結果，再將結果送入訓練好的雙流融合網絡，計算出最優的融合參數，繼而得到最終的分類結果。本發明可以提高圖卷積網絡模型的特征提取性能，并增強雙流結果融合的效果，有效提高人體異常行為識別準確率。

本發明授權一種基于雙流注意力圖卷積的異常行為識別方法在權利要求書中公布了：1.一種基于雙流注意力圖卷積的異常行為識別方法，其特征在于，包括以下步驟：1）獲取攝像機拍攝的含有人異常行為的視頻段，并對每個人異常行為類別進行標注；2）使用關鍵點提取網絡獲取視頻中的人體關節點序列，將其與對應的異常行為類別組合制作行為分類關節點數據集，將人體關節點序列轉換為人體骨骼序列制作行為分類骨骼數據集，并將行為分類關節點數據集和行為分類骨骼數據集按同樣比例劃分訓練集和驗證集；3）分別使用行為分類關節點數據集和行為分類骨骼數據集的訓練集訓練兩個改進MS-G3D網絡，并使用對應驗證集驗證模型精度以選取最優模型參數；所述改進MS-G3D網絡的改進部分情況具體如下：在MS-G3D網絡的基礎上添加了三個模塊，分別是時間注意力模塊、空間注意力模塊、通道注意力模塊；所述時間注意力模塊包括幀差異信息提取子模塊、多時間尺度特征提取模塊和輸出模塊，所述空間注意力模塊包括結點差異信息提取子模塊、多結點尺度特征提取模塊和輸出模塊；所述通道注意力模塊包含平均池化層、1×1卷積層、ReLU激活函數、Sigmoid激活函數、BN層和兩個跨越連接，其中平均池化層用于壓縮通道注意力模塊原始輸入的時間空間信息，而后使用1×1卷積層及ReLU激活函數進行通道降維減少計算量，再使用1×1卷積層及Sigmoid激活函數進行通道升維并獲取每個通道的權重系數，使用第一個跨越連接將與權重系數相乘并將結果使用第二個跨越連接與疊加，最后連接BN層及ReLU激活函數調整數據分布并增加模型的非線性擬合能力得到最終的通道注意力模塊輸出結果；所述幀差異信息提取子模塊包含兩個平均池化層、平方層及跨越連接，其中，第一個平均池化層用于獲取時間注意力模塊原始輸入每個結點在所有幀的平均特征，并將該特征作為平均骨架，而后通過跨越連接與作差，再經過平方層對每個元素求平方，最后經過第二個平均池化層對空間維度求平均得到幀差異信息提取子模塊輸出結果，即將一幀所有結點特征的平均值作為該幀的重要性，從而達到與平均骨架差異越大的幀重要性越高的效果；所述多時間尺度特征提取模塊包含空洞卷積層、Concat層、平均池化層及Sigmoid層，其中，多個擴張系數分別為1、5、9、13、17、21、24的13×1空洞卷積層并聯，輸入同時為幀差異信息提取子模塊輸出結果，使用Concat層將所有空洞卷積層的輸出按通道維度拼接，而后使用平均池化層壓縮通道維度，并經過Sigmoid層獲得不同幀的重要性系數；所述輸出模塊包含跨越連接層、BN層和ReLU激活函數，其中，跨越連接層將不同幀的重要性系數或不同結點的重要性系數與時間注意力模塊原始輸入或空間注意力模塊原始輸入相乘，而后與或相加，最后連接BN層及ReLU激活函數獲得最終的時間注意力模塊或空間注意模塊的輸出結果；所述結點差異信息提取子模塊包含兩個平均池化層、平方層及跨越連接，其中，第一個平均池化層用于獲取空間注意力模塊原始輸入每個結點在所有幀的平均特征，而后通過跨越連接與作差，再經過平方層對每個元素求平方，最后經過第二個平均池化層對時間維度求平均得到結點差異信息提取子模塊輸出結果，即將一個結點所有幀特征的平均值作為該結點的重要性，從而達到變化越劇烈的結點重要性越高的效果；所述多結點尺度特征提取模塊包含空洞卷積層、Concat層、平均池化層及Sigmoid激活函數，其中，多個擴張系數分別為1、3、5、7、9、11、12的3×1空洞卷積層并聯，輸入同時為結點差異信息提取子模塊輸出結果，使用Concat層將所有空洞卷積層的輸出按通道維度拼接，而后使用平均池化層壓縮通道維度，并經過Sigmoid激活函數獲得不同結點的重要性系數；4）對同一人的人體關節點序列和人體骨骼序列分別使用訓練好的對應改進MS-G3D網絡進行預測，并將得到的兩個預測結果以及該人的異常行為類別組合制作雙流融合數據集，并劃分訓練集和驗證集；5）使用雙流融合數據集的訓練集訓練雙流融合網絡，并使用對應驗證集驗證模型精度以選取最優模型參數；6）對待檢測視頻的每一幀進行乘客骨架提取并跟蹤得到人體關節點序列和人體骨骼序列，將兩個序列分別送入訓練好的對應改進MS-G3D網絡進行預測，將得到的兩個預測結果送入訓練好的雙流融合網絡進行預測，該預測結果即為最終的該乘客異常行為類別。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人華南理工大學;華南理工大學珠?，F代產業創新研究院，其通訊地址為：510640 廣東省廣州市天河區五山路381號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。