最近，低位寬量化（如 INT8）已普遍用于深度神經(jīng)網(wǎng)絡(luò)推理加速，但很少有研究人員關(guān)注低精度訓(xùn)練量化技術(shù)?？紤]到深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的反向傳播計算量更大，并且比推理過程具有更大的能量開銷，反向傳播的量化對于超大規(guī)模神經(jīng)網(wǎng)絡(luò)的訓(xùn)練以及低-具有在線培訓(xùn)需求的功率器件。然而，梯度分布的形狀特異性和連續(xù)可變性使得梯度量化變得困難，許多研究提出了各種復(fù)雜的梯度量化方法以減少訓(xùn)練精度損失。在本文中，我們提出了兩種主要用于 INT8 量化訓(xùn)練的創(chuàng)新技術(shù)，包括用于量化各種特殊梯度分布的數(shù)據(jù)感知動態(tài)分段量化方案和用于實現(xiàn)較低量化誤差的更新方向周期性搜索策略。然后，我們基于這兩種方法構(gòu)建了一個分布感知的 INT8 量化訓(xùn)練框架，并在各種模型和任務(wù)上進行了實驗。實驗結(jié)果表明，與不同模型（包括 ResNet、MobileNetV2、VGG、AlexNet 和 LSTM）上的全精度浮點對應(yīng)方法相比，我們提出的 INT8 量化訓(xùn)練方法在最終訓(xùn)練精度上的損失可以忽略不計。通過用8位整數(shù)計算代替浮點計算進行網(wǎng)絡(luò)訓(xùn)練，

"點擊查看英文標(biāo)題和摘要"

相關(guān)知識

感統(tǒng)訓(xùn)練知識百科
感統(tǒng)訓(xùn)練是什么？這些訓(xùn)練項目您需要知道
感統(tǒng)訓(xùn)練≠體育訓(xùn)練
感統(tǒng)訓(xùn)練方法.pdf
吳江感統(tǒng)訓(xùn)練
【產(chǎn)麻新譚】前置胎盤產(chǎn)婦產(chǎn)后出血人工智能神經(jīng)網(wǎng)絡(luò)預(yù)測模型的建立與驗證
感統(tǒng)訓(xùn)練方法介紹 感統(tǒng)訓(xùn)練方法
感統(tǒng)訓(xùn)練和體育訓(xùn)練的區(qū)別
兒童感統(tǒng)認知訓(xùn)練，加力健康智能感統(tǒng)認知訓(xùn)練系統(tǒng)
感統(tǒng)訓(xùn)練跟體育運動沒區(qū)別？錯?。?感統(tǒng)訓(xùn)練≠體育運動！

網(wǎng)址: 神經(jīng)網(wǎng)絡(luò)的梯度分布感知 INT8 訓(xùn)練,Neurocomputing http://m.u1s5d6.cn/newsview484925.html