摘要
本发明公开了一种基于神经网络权重分布的子区间量化方法及装置,涉及权重量化领域,包括:获取神经网络中待量化的权重数据,并统计其分布特征;根据所述权重数据的分布特征,将其划分为多个子区间;基于均方误差最小原则,对每个子区间的范围进行微调;为每个子区间确定量化参数,对所述权重数据进行量化,所述量化参数包括缩放因子和零点偏移量。主要技术方案和效果:充分利用了权重数据在训练后呈现近似正态分布、中心密集、两侧快速衰减的统计特性。通过基于数据分布进行子区间划分,克服了传统方法在数据分布不均匀、尤其是多模态分布下精度损失严重的缺陷。