在 2024 年的 NeurIPS 会议上，Ilya Sutskever 提出了一系列关于人工智能发展的挑战性观点，尤其集中于 Scaling Law 的观点：「现有的预训练方法将会结束」，这不仅是一次技术的自然演进，也可能标志着对当前「大力出奇迹」方法的根本性质疑。
谷歌开发者暗示，我们直接进入ASI的可能性，正在逐月增加！Ilya早就看到了这一点，因为扩展测试时计算的成功，证明目前的路径能够到达ASI。与此同时，AI学会自我改进、取代人类研究员的未来似乎也愈发逼近，到时再拔网线来得及吗？
2024 年 12 月 10-15 日，今年度的 NeurIPS 已在加拿大温哥华成功举办。今年的会议上，我们看到了 Ilya Sutskever 关于预训练即将终结的预测，也看到了引发广泛争议的 MIT 教授 NeurIPS 演讲公开歧视中国学生的事件。
GPT-5被曝效果远不达预期。 OpenAI连续12场发布会刚刚结束，大家最想看的GPT-5/4.5影子都没有，于是华尔街日报这边爆料了。
Ilya Sutskever（前 OpenAI 联合创始人兼首席科学家）在前几天召开的 NeurIPS 会议上表示，大模型的预训练已经走到了尽头。而 Noam Brown（OpenAI 研究员，曾带领团队开发出在德州扑克中战胜职业选手的 AI 系统 Pluribus）在近期关于 OpenAI O1 发布的采访中提到，提升 Test-Time Compute 是提升大模型答案质量的关键。
Ilya「预训练结束了」言论一出，圈内哗然。谷歌大佬Logan Klipatrick和LeCun站出来反对说：预训练还没结束！Scaling Law真的崩了吗？Epoch AI发布报告称，我们已经进入「小模型」周期，但下一代依然会更大。
在Ilya探讨完「预训练即将终结」之后，关于Scaling Law的讨论再次引发热议。
继李飞飞、Bengio、何恺明之后，在刚刚的NeurIPS 2024中，Ilya Sutskever最新演讲也来了。
2023年10月的某一天，在OpenAI的实验室里，一个被称为Q*的模型展现出了某种前所未有的能力。
NeurIPS 2024时间检验奖公布，Ilya和Ian Goodfellow凭借Seq2Seq和GAN同时获奖！十年里，这两篇论文对研究领域产生了巨大影响，奠定了当今基础模型的研究，催生了今天的全世界大模型热，可谓实至名归。
