
对话AI科学家刘威:“Ilya预训练终结论”对中国大模型公司影响不大
对话AI科学家刘威:“Ilya预训练终结论”对中国大模型公司影响不大过去一段时间,“预训练终结”成为了 AI 领域最热烈的讨论之一。OpenAI的GPT系列模型此前大踏步的前进,预训练是核心推动力。而前 OpenAI 首席科学家 Ilya Sutskever、预训练和scaling law(规模定律)最忠实的倡导者,却宣称预训练要终结了、scaling law要失效。由此,引发了大量争议。
过去一段时间,“预训练终结”成为了 AI 领域最热烈的讨论之一。OpenAI的GPT系列模型此前大踏步的前进,预训练是核心推动力。而前 OpenAI 首席科学家 Ilya Sutskever、预训练和scaling law(规模定律)最忠实的倡导者,却宣称预训练要终结了、scaling law要失效。由此,引发了大量争议。
近年来,视觉语言基础模型(Vision Language Models, VLMs)大放异彩,在多模态理解和推理上展现出了超强能力。现在,更加酷炫的视觉语言动作模型(Vision-Language-Action Models, VLAs)来了!通过为 VLMs 加上动作预测模块,VLAs 不仅能 “看” 懂和 “说” 清,还能 “动” 起来,为机器人领域开启了新玩法!
量化是使AI模型更高效的最广泛使用的技术之一,但它存在局限性——并且业界可能很快就会碰到这些局限。
12月31日,上海高级别自动驾驶引领区数据采集车发车仪式在上海浦东举行,30辆全新的智己L6数据采集车盛装列队并集中发车。上海正谋划打造人工智能“模塑申城”,建设高级别自动驾驶引领区,按照“单车智能为基础,车路云协同为关键支撑”技术路线,持续推动上海智能网联汽车产业生态培育。
没有GPU Poor,只有卷得不够多。 DeepSeek-V3的横空出世,用一组惊人的数据完美诠释了这句话。
ViT核心作者Lucas Beyer,长文分析了一篇改进Transformer架构的论文,引起推荐围观。
多模态理解与生成一体化模型,致力于将视觉理解与生成能力融入同一框架,不仅推动了任务协同与泛化能力的突破,更重要的是,它代表着对类人智能(AGI)的一种深层探索。
在上一篇的评论区里,大家发生了争吵: 《DeepSeek-V3 是怎么训练的|深度拆解》 有的读者指出:DeepSeek V3 有“训练数据抄袭”的问题。
昨天写完DeepSeek-V3的文章,看到一段吐槽: OpenAI 是一家以创造先进人工智能技术为目标的公司。DeepSeek-V3,是在一个开源系统上进行性能和成本效益优化的。看起来有点偷懒。
视觉价值模型(VisVM)通过「推理时搜索」来提升多模态视觉语言模型的图像描述质量,减少幻觉现象。实验表明,VisVM能显著提高模型的视觉理解能力,并可通过自我训练进一步提升性能。