
连OpenAI都推不动Scaling Law了?MIT把「测试时训练」系统研究了一遍,发现还有路
连OpenAI都推不动Scaling Law了?MIT把「测试时训练」系统研究了一遍,发现还有路昨天,The Information 的一篇文章让 AI 社区炸了锅。
昨天,The Information 的一篇文章让 AI 社区炸了锅。
去年以来,包括纽约时报、Raw Story、The Intercept和AlterNet等在内的多家机构,针对ChatGPT所属的公司OpenAI提起诉讼,指控ChatGPT非法使用了新闻网站文章用于训练。近日,纽约联邦法官驳回了Raw Story和Alternet对OpenAI聊天机器人的训练数据提起的版权诉讼。
Ilya终于承认,自己关于Scaling的说法错了!现在训练模型已经不是「越大越好」,而是找出Scaling的对象究竟应该是什么。他自曝,SSI在用全新方法扩展预训练。而各方巨头改变训练范式后,英伟达GPU的垄断地位或许也要打破了。
OpenAI推出SearchGPT没几天,开源版本也来了。 港中文MMLab、上海AI Lab、腾讯团队简易实现了Vision Search Assistant,模型设计简单,只要两张RTX3090就可复现。
这可能是最懂 AI 产品的两位 PM 之间的对谈。Kevin Weil,OpenAI CPO(首席产品官),之前曾是 Instagram、Twitter 的产品副总裁。Mike Kreiger,Anthropic CPO,曾担任 Instagram 的联合创始人、CTO。
猛料来了,OpenAI下一代旗舰模型被曝提升不如预期。消息来自The Information,具体指代号“猎户座”(Orion)的模型相对GPT-4的提升幅度,小于GPT-4相对GPT-3,已进入收益递减阶段。或许这也是奥特曼曾说,可能不会把新模型命名为GPT-5的原因之一。
Epoch AI推出数学基准FrontierMath,目前前沿模型测试成功率均低于2%!OpenAI研究科学家Noam Brown说道:「我喜欢看到新评估的前沿模型通过率如此之低。这种感觉就像一觉醒来,外面是一片崭新的雪地,完全没有人迹。」或许,FrontierMath测试成功率突破的那一天,会是AI发展过程中一个全新的里程碑。
openai最近又放出了Sora最新的宣传片,有内部人士小道消息称sora将在2周后正式发布。
AGI 2025年到来,ASI几千天内降临,奥特曼在最新专访中金句频出。不仅如此,他的话还得到了德扑之父、自家员工的证实。
OpenAI o1风格的推理大模型,有行业垂直版了。HK-O1aw,是由香港生成式人工智能研发中心(HKGAI)旗下AI for Reasoning团队(HKAIR) 联合北京大学对齐团队(PKU-Alignment Team)推出的全球首个慢思考范式法律推理大模型。