2024 年 12 月 10-15 日，今年度的 NeurIPS 已在加拿大温哥华成功举办。今年的会议上，我们看到了 Ilya Sutskever 关于预训练即将终结的预测，也看到了引发广泛争议的 MIT 教授 NeurIPS 演讲公开歧视中国学生的事件。
GPT-5被曝效果远不达预期。 OpenAI连续12场发布会刚刚结束，大家最想看的GPT-5/4.5影子都没有，于是华尔街日报这边爆料了。
Ilya Sutskever（前 OpenAI 联合创始人兼首席科学家）在前几天召开的 NeurIPS 会议上表示，大模型的预训练已经走到了尽头。而 Noam Brown（OpenAI 研究员，曾带领团队开发出在德州扑克中战胜职业选手的 AI 系统 Pluribus）在近期关于 OpenAI O1 发布的采访中提到，提升 Test-Time Compute 是提升大模型答案质量的关键。
Ilya「预训练结束了」言论一出，圈内哗然。谷歌大佬Logan Klipatrick和LeCun站出来反对说：预训练还没结束！Scaling Law真的崩了吗？Epoch AI发布报告称，我们已经进入「小模型」周期，但下一代依然会更大。
在Ilya探讨完「预训练即将终结」之后，关于Scaling Law的讨论再次引发热议。
继李飞飞、Bengio、何恺明之后，在刚刚的NeurIPS 2024中，Ilya Sutskever最新演讲也来了。
2023年10月的某一天，在OpenAI的实验室里，一个被称为Q*的模型展现出了某种前所未有的能力。
NeurIPS 2024时间检验奖公布，Ilya和Ian Goodfellow凭借Seq2Seq和GAN同时获奖！十年里，这两篇论文对研究领域产生了巨大影响，奠定了当今基础模型的研究，催生了今天的全世界大模型热，可谓实至名归。
什么？Scaling Law最早是百度2017年提的？！ Meta研究员翻出经典论文： 大多数人可能不知道，Scaling law原始研究来自2017年的百度，而非三年后（2020年）的OpenAI。
马斯克新官上任，也是OpenAI董事会内讧将近一周年之际，重启对OpenAI的诉讼。
