模型训练方法、装置、设备及存储介质

本公开提供了模型训练方法、装置、设备及存储介质，涉及计算机技术领域，尤其涉及神经网络模型、模型训练技术领域。具体实现方案为：由计算单元对存储于存储器中的目标模型的激活张量和权重张量，执行基于哈达玛预变换的量化矩阵乘法，以基于数据位宽更小的低精度张量生成线性层的输出张量；利用输出张量和所述目标模型的后续网络层完成前向传播，以得到损失值；根据损失值，通过反向传播算法更新存储于存储器中的目标模型的模型参数。利用本公开的技术方案，能够在保证模型训练精度的前提下，显著降低计算过程中的存储器资源占用和计算量，降低了训练成本。