Ilya Sutskever 在 NeurIPS 会上直言：大模型预训练这条路可能已经走到头了。上周的 CES 2025，黄仁勋有提到，在英伟达看来，Scaling Laws 仍在继续，所有新 RTX 显卡都在遵循三个新的扩展维度：预训练、后训练和测试时间（推理），提供了更佳的实时视觉效果。
近日，资深机器学习研究科学家 Cameron R. Wolfe 更新了一篇超长的博客文章，详细介绍了 LLM scaling 的当前状况，并分享了他对 AI 研究未来的看法。
明天就是辞旧迎新的春节假期，咱来点不一样的——送上一份「年初展望」，站在2025年伊始，把AI科技领域不同领域的热点趋势，浅浅盘了一圈。从人型机器人、AI眼镜，从推理模型到AI Coding……分别从产品侧和技术侧，把今年最有料的8个大热门趋势一网打尽，干货过年。
2028年，预计高质量数据将要耗尽，数据Scaling走向尽头。2025年，测试时计算将开始成为主导AI通向通用人工智能（AGI）的新一代Scaling Law。近日，CMU机器学习系博客发表新的技术文章，从元强化学习（meta RL）角度，详细解释了如何优化LLM测试时计算。
就在本周，Kimi 的新模型打开了强化学习 Scaling 新范式，DeepSeek R1 用开源的方式「接班了 OpenAI」，谷歌则把 Gemini 2.0 Flash Thinking 的上下文长度延伸到了 1M。1 月 24 日上午，百川智能重磅发布了国内首个全场景深度思考模型，把这一轮军备竞赛推向了高潮。
视觉版o1的初步探索，阶跃星辰&北航团队推出“慢感知”。研究人员认为：1）目前多模领域o1-like的模型，主要关注文本推理，对视觉感知的关注不够。2）精细/深度感知是一个复杂任务，且是未来做视觉推理的重要基础。
瞄准推理时扩展（Inference-time scaling），DeepMind新的进化搜索策略火了！ 所提出的“Mind Evolution”（思维进化），能够优化大语言模型（LLMs）在规划和推理中的响应。
OpenAI的新Scaling Law，含金量又提高了。
对 LLM 来说，Pre-training 的时代已经基本结束了。视频模型的 Scaling Law，瓶颈还很早。具身智能：完全具备人类泛化能力的机器人，在我们这代可能无法实现
下一代 AI 的发展，似乎遇到了难以逾越的瓶颈。去年 12 月，OpenAI 在 ChatGPT 两周年期间连续发布了 12 天，我们期待的新一代大模型 GPT-5 却从头到尾没有踪影。
