关键词: LLM,模型训练,LLM训练

自从ChatGPT发布后，各种基于大模型的产品也快速融入了普通人的生活中，但即便非AI从业者在使用过几次后也可以发现，大模型经常会胡编乱造，生成错误的事实。

关键词: 小模型训练,LLM训练,上下文训练

我们都知道，大语言模型（LLM）能够以一种无需模型微调的方式从少量示例中学习，这种方式被称为「上下文学习」（In-context Learning）。这种上下文学习现象目前只能在大模型上观察到。比如 GPT-4、Llama 等大模型在非常多的领域中都表现出了杰出的性能，但还是有很多场景受限于资源或者实时性要求较高，无法使用大模型。

关键词: Scaling Law,模型训练,LLM训练

计划训练一个10B的模型，想知道至少需要多大的数据？收集到了1T的数据，想知道能训练一个多大的模型？老板准备1个月后开发布会，给的资源是100张A100，那应该用多少数据训一个多大模型最终效果最好？