传统预训练正走向终结，推理优化与后训练提升有限，大模型今后如何突破发展瓶颈？
传统预训练正走向终结，推理优化与后训练提升有限，大模型今后如何突破发展瓶颈？高质量数据枯竭，传统预训练走向终点，大模型如何突破瓶颈？
来自主题: AI技术研报
6606 点击 2025-04-12 13:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
高质量数据枯竭，传统预训练走向终点，大模型如何突破瓶颈？
近日，PitchBook发布Q1 2025 Global VC First Look，这份报告统计了覆盖全球、欧洲和美国的风险投资市场，从2015年至2025年Q1的投资、募资和退出数据。
港中文、清华等高校提出SICOG框架，通过预训练、推理优化和后训练协同，引入自生成数据闭环和结构化感知推理机制，实现模型自我进化，为大模型发展提供新思路。
OpenAI o1/o3-mini级别的代码推理模型竟被抢先开源！UC伯克利和Together AI联合推出的DeepCoder-14B-Preview，仅14B参数就能媲美o3-mini，开源代码、数据集一应俱全，免费使用。
浏览器的使用者正在逐渐从人类用户转移到 AI Agent，Agent 与互联网环境互动的底层设施也因此正在变得越来越重要。传统浏览器无法满足 AI Agent 自动化抓取、交互和实时数据处理的需求。Browserbase 的创始人 Paul Klein 早在 23 年底就敏锐地洞察到 AI Agent 亟需一个全新的交互载体——一个“为 AI 而生”的云端浏览器。
本文主要描述了具身合成数据两条主要技术路线之争：“视频合成+3D重建”or “端到端3D生成”。参考自动驾驶的成功经验，前者模态转换链路过长导致误差累积，'直接合成3D数据'理论上有信息效率优势，但需要克服“常识欠缺”等挑战。
大规模数据集和标准化评估基准显著促进了自然语言处理和计算机视觉领域的发展。然而，机器人领域在如何构建大规模数据集并建立可靠的评估体系方面仍面临巨大挑战。
图文大模型通常采用「预训练 + 监督微调」的两阶段范式进行训练，以强化其指令跟随能力。受语言领域的启发，多模态偏好优化技术凭借其在数据效率和性能增益方面的优势，被广泛用于对齐人类偏好。目前，该技术主要依赖高质量的偏好数据标注和精准的奖励模型训练来提升模型表现。然而，这一方法不仅资源消耗巨大，训练过程仍然极具挑战。
如何让大模型更懂「人」？
让大语言模型更懂特定领域知识，有新招了！