如何从零开始训练大模型(minicpm分享&讨论) 关键词: 训练大模型,scaling law,模型训练,chatGPT,minicpm 根据scaling law,模型越大,高质量数据越多,效果越好。 但还有一个很直观的情况,随着预训练样本的质量不断提升,训练手段的优化。新的模型,往往效果能轻松反超参数量两倍于它的模型。 来自主题: AI技术研报 1684 点击 2024-03-19 15:55