OpenAI附议Ilya预训练终结！“但Scaling Law还没死”
OpenAI附议Ilya预训练终结！“但Scaling Law还没死”在Ilya探讨完「预训练即将终结」之后，关于Scaling Law的讨论再次引发热议。
来自主题: AI资讯
7239 点击 2024-12-16 09:48
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在Ilya探讨完「预训练即将终结」之后，关于Scaling Law的讨论再次引发热议。
继李飞飞、Bengio、何恺明之后，在刚刚的NeurIPS 2024中，Ilya Sutskever最新演讲也来了。
2023年10月的某一天，在OpenAI的实验室里，一个被称为Q*的模型展现出了某种前所未有的能力。
NeurIPS 2024时间检验奖公布，Ilya和Ian Goodfellow凭借Seq2Seq和GAN同时获奖！十年里，这两篇论文对研究领域产生了巨大影响，奠定了当今基础模型的研究，催生了今天的全世界大模型热，可谓实至名归。
什么？Scaling Law最早是百度2017年提的？！ Meta研究员翻出经典论文： 大多数人可能不知道，Scaling law原始研究来自2017年的百度，而非三年后（2020年）的OpenAI。
马斯克新官上任，也是OpenAI董事会内讧将近一周年之际，重启对OpenAI的诉讼。
真・覆盖当前 AI 领域 90% 重要知识。
Ilya终于承认，自己关于Scaling的说法错了！现在训练模型已经不是「越大越好」，而是找出Scaling的对象究竟应该是什么。他自曝，SSI在用全新方法扩展预训练。而各方巨头改变训练范式后，英伟达GPU的垄断地位或许也要打破了。
让 AI 与人类价值观对齐一直都是 AI 领域的一大重要且热门的研究课题，甚至很可能是 OpenAI 高层分裂的一大重要原因 ——CEO 萨姆・奥特曼似乎更倾向于更快实现 AI 商业化，而以伊尔亚・苏茨克维（Ilya Sutskever）为代表的一些研究者则更倾向于先保证 AI 安全。
OpenAI前首席科学家、联合创始人Ilya Sutskever曾在多个场合表达观点： 只要能够非常好的预测下一个token，就能帮助人类达到通用人工智能（AGI）。