只需一次指令微调，大模型变身全能专家天团，8B模型性能反超全微调基线 | ACL25 Oral
只需一次指令微调，大模型变身全能专家天团，8B模型性能反超全微调基线 | ACL25 Oral只需一次指令微调，即可让普通大模型变身“全能专家天团”？
来自主题: AI技术研报
6924 点击 2025-07-29 10:45
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
只需一次指令微调，即可让普通大模型变身“全能专家天团”？
在人工智能模型规模持续扩大的今天，数据集蒸馏（Dataset Distillation,DD）方法能够通过使用更少的数据，达到接近完整数据的训练效果，提升模型训练效率，降低训练成本。
一句话概括：与其训练一个越来越大的“六边形战士”AI，不如组建一个各有所长的“复仇者联盟”，这篇论文就是那本“联盟组建手册”。
Claude Code中的Sub Agents是专门化的AI助手，可以被调用来处理特定类型的任务。
上海交通大学研究团队提出了一种融合无人机物理建模与深度学习的端到端方法，实现了轻量、可部署、可协同的无人机集群自主导航方案，其鲁棒性和机动性大幅领先现有方案。
大模型伦理竟然无法对齐？
本文由上海 AI Lab 和北京航空航天大学联合完成。 主要作者包括上海 AI Lab 和上交大联培博士生卢晓雅、北航博士生陈泽人、上海 AI Lab 和复旦联培博士生胡栩浩（共同一作）等。
近年来，大型语言模型（LLMs）在复杂推理任务中展现出惊人的能力，这在很大程度上得益于过程级奖励模型（PRMs）的赋能。PRMs 作为 LLMs 进行多步推理和决策的关键「幕后功臣」，负责评估推理过程的每一步，以引导模型的学习方向。
新一代大型推理模型，如 OpenAI-o3、DeepSeek-R1 和 Kimi-1.5，在复杂推理方面取得了显著进展。该方向核心是一种名为 ZERO-RL 的训练方法，即采用可验证奖励强化学习（RLVR）逐步提升大模型在强推理场景 (math, coding) 的 pass@1 能力。
目前将AI当作能力更强的信息提供者，才是个最好的选择。 AI正在变得越来越有“人味”，偷懒、撒谎、谄媚等现象的出现使得让AI不再只是冷冰冰的机器。如果说OpenAI o3等模型篡改代码拒绝关机指令是“求生本能”在作祟，那么AI又为何会化身“赛博舔狗”，选择近乎无底线地迎合用户呢？