LLM 规模扩展的一个根本性挑战是缺乏对涌现能力的理解。特别是，语言模型预训练损失是高度可预测的。然而，下游能力的可预测性要差得多，有时甚至会出现涌现跳跃（emergent jump），这使得预测未来模型的能力变得具有挑战性。
Skild AI 是一家位于匹兹堡的初创公司，由两位前 CMU 教授创立，旨在打造具身智能的通用大脑。Skild 宣称其模型展示了无与伦比的泛化和涌现能力，并且有多于竞争对手 1000 倍的训练数据。
研究发现：大模型尚无法独立学习或获得新技能。
Jason Wei 是思维链提出者，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 进行工作。
人类对人工智能学的潜心钻研终于再度获得重大突破，大模型的涌现能力与AIGC的应用普及为那不一定是AGI但一定更AI的未来提供了确定性的加速度。AI2.0时代的加速到来，不仅是把AI能力融入到现有应用中，更是未来产业范式的再塑造。AI正跳跃式地加速渗透进各行各业，推动一场新的生产力与创造力革命。
大模型究竟从下一个词预测任务中学到了什么呢？还记得 Jason Wei 吗？这位思维链的提出者还曾共同领导了指令调优的早期工作，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。
现代认知科学认为，人类会在头脑中构建关于周围真实世界的抽象模型——世界模型（world model）。获取“世界模型”的问题一直是人工智能研究的焦点。OpenAI 联合创始人兼首席科学家 Ilya Sutskever 认为， ChatGPT 已经学到了关于真实世界的复杂抽象模型。
