南京航空航天大學(xué)余天洋獲國(guó)家專(zhuān)利權(quán)
買(mǎi)專(zhuān)利賣(mài)專(zhuān)利找龍圖騰,真高效! 查專(zhuān)利查商標(biāo)用IPTOP,全免費(fèi)!專(zhuān)利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉南京航空航天大學(xué)申請(qǐng)的專(zhuān)利一種卷積神經(jīng)網(wǎng)絡(luò)壓縮方法及邊緣側(cè)FPGA加速器獲國(guó)家發(fā)明授權(quán)專(zhuān)利權(quán),本發(fā)明授權(quán)專(zhuān)利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN114925823B 。
龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專(zhuān)利申請(qǐng)?zhí)?專(zhuān)利號(hào)為:202210515197.7,技術(shù)領(lǐng)域涉及:G06N3/082;該發(fā)明授權(quán)一種卷積神經(jīng)網(wǎng)絡(luò)壓縮方法及邊緣側(cè)FPGA加速器是由余天洋;劉偉強(qiáng);吳比設(shè)計(jì)研發(fā)完成,并于2022-05-12向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專(zhuān)利申請(qǐng)。
本一種卷積神經(jīng)網(wǎng)絡(luò)壓縮方法及邊緣側(cè)FPGA加速器在說(shuō)明書(shū)摘要公布了:本專(zhuān)利提供了一種卷積神經(jīng)網(wǎng)絡(luò)的壓縮方法,以及匹配于此方法的邊緣側(cè)加速器。壓縮方法包括包括一種有利于硬件加速的新型細(xì)粒度剪枝,其通過(guò)超參數(shù)N和M控制剪枝后模型的壓縮比,通過(guò)超參數(shù)P控制剪枝過(guò)程中的分組大小以及加速器的結(jié)構(gòu);采用提出的增量動(dòng)態(tài)剪枝及重訓(xùn)練方法以恢復(fù)剪枝后神經(jīng)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率;對(duì)卷積神經(jīng)網(wǎng)絡(luò)中所有的非零權(quán)重進(jìn)行量化至目標(biāo)精度。本專(zhuān)利通過(guò)提出的壓縮方法,得到一個(gè)壓縮比可調(diào)的模型,其能夠被提供的加速器高效計(jì)算。本專(zhuān)利中的邊緣側(cè)加速器匹配于提出的壓縮方法,針對(duì)邊緣側(cè)應(yīng)用場(chǎng)景的資源限制,可以進(jìn)行結(jié)構(gòu)調(diào)整以適應(yīng)于不同具體場(chǎng)景。
本發(fā)明授權(quán)一種卷積神經(jīng)網(wǎng)絡(luò)壓縮方法及邊緣側(cè)FPGA加速器在權(quán)利要求書(shū)中公布了:1.一種卷積神經(jīng)網(wǎng)絡(luò)邊緣側(cè)FPGA加速器,其特征在于,應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的壓縮方法壓縮后的卷積神經(jīng)網(wǎng)絡(luò)的加速,所述卷積神經(jīng)網(wǎng)絡(luò)的壓縮方法,應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的卷積層和全連接層,包括:步驟一,采用細(xì)粒度剪枝方法對(duì)選定的需要剪枝的卷積層和全連接層進(jìn)行動(dòng)態(tài)剪枝;步驟二,采用增量動(dòng)態(tài)剪枝及重訓(xùn)練的方法控制剪枝帶來(lái)的網(wǎng)絡(luò)性能下降;步驟三,對(duì)卷積神經(jīng)網(wǎng)絡(luò)中所有的非零權(quán)重進(jìn)行量化至目標(biāo)精度;所述的步驟一中,包括:設(shè)置第L層的k×k卷積層為被剪枝層,其權(quán)重參數(shù)矩陣WL鋪平成k×k個(gè)二維矩陣,每個(gè)二維矩陣的兩個(gè)維度分別對(duì)應(yīng)權(quán)重參數(shù)矩陣WL的輸入通道和輸出通道維度;設(shè)置超參數(shù)P對(duì)每個(gè)二維矩陣進(jìn)行分組,每組有P個(gè)元素;設(shè)置超參數(shù)N和M,在相鄰的M個(gè)分組中,僅保留L1范數(shù)最大的N個(gè)分組;構(gòu)建一個(gè)掩膜矩陣TL,其形狀與所述的權(quán)重參數(shù)矩陣WL相同,TL中對(duì)應(yīng)于WL中保留權(quán)重位置設(shè)置為1,剪去權(quán)重位置設(shè)置為0;神經(jīng)網(wǎng)絡(luò)前向計(jì)算時(shí),用TL與WL逐元素相乘的結(jié)果作為權(quán)重參數(shù)進(jìn)行計(jì)算;反向傳播時(shí),用梯度更新WL而非對(duì)于暫時(shí)未被設(shè)置為需要剪枝的卷積層和全連接層,其前向計(jì)算與反向計(jì)算過(guò)程無(wú)改變;當(dāng)前重訓(xùn)練結(jié)束后,被剪枝層保存的參數(shù)為WL而非卷積神經(jīng)網(wǎng)絡(luò)邊緣側(cè)FPGA加速器包括:稀疏計(jì)算加速模塊、權(quán)重緩沖區(qū)、輸入特征圖緩沖區(qū)、輸出特征圖緩沖區(qū)、激活與池化模塊、權(quán)重寄存器組、控制模塊;稀疏計(jì)算加速模塊包含脈動(dòng)陣列、部分和累加器、輸入通道選擇器,用于并行計(jì)算多個(gè)輸入通道,輸出多個(gè)通道的部分和數(shù)據(jù);權(quán)重緩沖區(qū)、輸入特征圖緩沖區(qū)和輸出特征圖緩沖區(qū)用于臨時(shí)存放從內(nèi)存中讀出或即將寫(xiě)入的數(shù)據(jù);激活與池化模塊在卷積層或全連接層的輸出通道結(jié)果計(jì)算完成后,從稀疏計(jì)算加速模塊的部分和累加器中取出結(jié)果進(jìn)行ReLu操作或池化操作,再寫(xiě)入輸出特征圖緩沖區(qū)中,以待寫(xiě)入內(nèi)存中進(jìn)行保存;權(quán)重寄存器組用于輔助稀疏計(jì)算加速模塊的運(yùn)行;控制模塊包含指令讀取子模塊、指令譯碼子模塊,以及連接稀疏計(jì)算加速模塊、權(quán)重緩沖區(qū)、輸入特征圖緩沖區(qū)、輸出特征圖緩沖區(qū)、激活與池化模塊和權(quán)重寄存器組的控制邏輯;所述的稀疏計(jì)算加速模塊包括多個(gè)輸入通道選擇器,每個(gè)輸入通道選擇器分別與脈動(dòng)陣列中的每行第一個(gè)PE單元相連;稀疏計(jì)算加速模塊中脈動(dòng)陣列的行數(shù)和列數(shù)受邊緣側(cè)FPGA加速器的資源限制,其通過(guò)約束方程組求解出,而求解出的列數(shù)將會(huì)影響神經(jīng)網(wǎng)絡(luò)壓縮方法里超參數(shù)P的選擇;所述的稀疏計(jì)算加速模塊中脈動(dòng)陣列的行數(shù)和列數(shù)與邊緣側(cè)FPGA加速器中DSP資源的約束關(guān)系為:設(shè)置脈動(dòng)陣列的行數(shù)為R,列數(shù)為C,其中列數(shù)C與超參數(shù)P在數(shù)值上相等,列出以下約束方程組: 其中:R×C為脈動(dòng)陣列中使用的DSP數(shù)量;R×MN為稀疏計(jì)算加速模塊的輸入并行度。
如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專(zhuān)利技術(shù),可聯(lián)系本專(zhuān)利的申請(qǐng)人或?qū)@麢?quán)人南京航空航天大學(xué),其通訊地址為:211106 江蘇省南京市江寧區(qū)將軍大道29號(hào);或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話(huà)0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開(kāi)、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- 航天晨光股份有限公司楊慧獲國(guó)家專(zhuān)利權(quán)
- 蘇州樂(lè)儀智能科技有限公司方勇獲國(guó)家專(zhuān)利權(quán)
- 天津市科林模具制造技術(shù)有限公司王克誠(chéng)獲國(guó)家專(zhuān)利權(quán)
- 鋒利刀具制造(深圳)有限公司呂小燕獲國(guó)家專(zhuān)利權(quán)
- 上海析維醫(yī)療科技有限公司陳勇獲國(guó)家專(zhuān)利權(quán)
- 廣州地鐵設(shè)計(jì)研究院股份有限公司靳守杰獲國(guó)家專(zhuān)利權(quán)
- 高露潔-棕欖公司納丁·德夫德尼獲國(guó)家專(zhuān)利權(quán)
- 無(wú)錫先導(dǎo)智能裝備股份有限公司請(qǐng)求不公布姓名獲國(guó)家專(zhuān)利權(quán)
- 東莞泰銘燈萃科技有限公司時(shí)光獲國(guó)家專(zhuān)利權(quán)
- 河北藝能鍋爐有限責(zé)任公司牟春濤獲國(guó)家專(zhuān)利權(quán)


熱門(mén)推薦
- 浙江佳奔電子有限公司倪圣瓏獲國(guó)家專(zhuān)利權(quán)
- OPPO廣東移動(dòng)通信有限公司張治獲國(guó)家專(zhuān)利權(quán)
- 內(nèi)蒙古拉鎖式新型建材科技有限公司姚井祥獲國(guó)家專(zhuān)利權(quán)
- 蘇州晶湛半導(dǎo)體有限公司程凱獲國(guó)家專(zhuān)利權(quán)
- 中興通訊股份有限公司阮志明獲國(guó)家專(zhuān)利權(quán)
- 沈陽(yáng)硅基科技有限公司賈文博獲國(guó)家專(zhuān)利權(quán)
- 馬鞍山市雙益機(jī)械制造有限公司王飛獲國(guó)家專(zhuān)利權(quán)
- 中節(jié)能晶和照明有限公司曾平獲國(guó)家專(zhuān)利權(quán)
- 華為技術(shù)有限公司王俊偉獲國(guó)家專(zhuān)利權(quán)
- 偉創(chuàng)力電子技術(shù)(蘇州)有限公司康健獲國(guó)家專(zhuān)利權(quán)