摘要
本公开提供了模型训练方法、装置、设备及存储介质,涉及数据处理技术领域,尤其涉及人工智能、大数据、大模型以及深度学习等技术领域。具体实现方案为:获取分布式训练的当前训练周期内所需的N个分路中各分路所对应的目标样本数据;基于各分路所对应的T个数据块,对分布式训练所使用的N个训练节点中各训练节点所部署的预设模型的网络参数进行T次更新操作,以得到各分路所对应的第一全量参数集;将各分路所对应的第一全量参数集进行模型参数融合,得到融合全量参数集;基于融合全量参数集,更新各训练节点所部署的预设模型的网络参数,进入下一训练周期,以得到目标模型。