小米大模型第二代来了! 相比第一代,训练数据规模更大、品质更高,训练策略与微调机制上也进行了深入打磨。
来自主题: AI技术研报
3583 点击 2024-11-13 09:12
小米大模型第二代来了! 相比第一代,训练数据规模更大、品质更高,训练策略与微调机制上也进行了深入打磨。
大模型推理速度提升50%以上,还能保证少样本学习性能!
2023年4月,由王斌牵头负责,小米技术委员会AI实验室大模型团队负责人栾剑带队,在小米内部正式成立了一支自研大模型团队。小米内部认为,轻量级模型亦有其存在的市场空间,且在某些特定任务上相比千亿大模型亦能具备一定的优势。