万分之一——大模型后训练中的极端稀疏监督
万分之一——大模型后训练中的极端稀疏监督亚马逊公司与杜克大学的研究表明，在大模型后训练的在线策略蒸馏（OPD）中，仅保留万分之一的极端稀疏监督信号即可显著提升学生模型的推理能力，且性能可匹配甚至超越密集全信号训练。
来自主题: AI技术研报
8031 点击 2026-10-04 22:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
亚马逊公司与杜克大学的研究表明，在大模型后训练的在线策略蒸馏（OPD）中，仅保留万分之一的极端稀疏监督信号即可显著提升学生模型的推理能力，且性能可匹配甚至超越密集全信号训练。
何恺明团队提出VISTA方法，将ARC-AGI-3的数字表换回图像并配备可随时翻看的视觉记忆相册，使Claude Opus 5拿下满分100分、GPT-5.6 Sol获得99分，证明卡住大模型的是眼睛和记性而非模型能力本身。
给定一个基座模型、一个目标能力和算力预算，RSI Agent 自己设计后训练算法、收集和整理数据、写代码、跑实验、迭代改进，最终交出一个训练好的模型，全程无人介入。在自主后训练基准 PostTrain
港科大团队在NeurIPS 2026上提出AccelEval基准，覆盖6个领域42项任务和43类CUDA优化策略，评测大模型能否从可信CPU程序生成端到端更快的GPU实现，其中Gemini 3.1 Pro在中规模通过正确性验证的任务上取得71.2倍几何平均加速比。
至知创新研究院开源320B大模型IQuest-Q1，该模型在代码生成、安全漏洞挖掘等评测中表现优异，并能自主排查训练Bug，在交通调度、仓库管理、电梯调度等真实场景中展现出强大的任务解决能力。
至知创新研究院开源了采用稀疏 MoE 架构的代码与复杂任务导向大模型 IQuest-Q1，该模型总参数约 320B、激活参数仅约 15B，在代码生成、终端操作、智能体任务等多项评测中表现均衡，并展示了从前端交互、游戏开发到强化学习训练调试等场景的可交付能力。
清华大学联合无问芯穹与上海交通大学开源了面向具身模型的端侧推理引擎APXInf，通过全栈优化在Thor芯片上将π0.5推理速度提高约10.7倍，并引入可由Agent执行的工程化流程以适配模型的持续迭代。
中国人民大学代文林、孟澄研究员团队提出的ME-Decoding方法被EMNLP 2026接收，该方法在解码时同时利用token概率与embedding相似度，从集合层面筛选低冗余候选token，在GSM8K和GPQA上取得所比较方法中最高的平均准确率，端到端GPU延迟仅增加约3%。
米哈游创始人刘伟（大伟哥）在上海交大校招宣讲会上表示，已为蔡浩宇主导的大模型研发划定1000亿元投入上限，承诺未来2至3年内米哈游将成为国产大模型团队举足轻重的力量，并强调绝不做垃圾项目。
Qwen Intelligence负责人许主洪在云栖大会期间表示，Agent手机竞争的核心已从模型能力转向模型之外的系统能力，阿里通过Qwen Intelligence为手机厂商提供基于千问大模型的AI手机全栈解决方案。