如何从零开始训练大模型（minicpm分享&讨论）
如何从零开始训练大模型（minicpm分享&讨论）根据scaling law，模型越大，高质量数据越多，效果越好。 但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。
来自主题: AI技术研报
2306 点击 2024-03-19 15:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
根据scaling law，模型越大，高质量数据越多，效果越好。 但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。