调整训练数据出场顺序，大模型就能变聪明！无需扩大模型/数据规模
调整训练数据出场顺序，大模型就能变聪明！无需扩大模型/数据规模模型训练重点在于数据的数量与质量？其实还有一个关键因素—— 数据的出场顺序。
来自主题: AI技术研报
5634 点击 2025-09-07 11:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
模型训练重点在于数据的数量与质量？其实还有一个关键因素—— 数据的出场顺序。
训练大模型时，有时让它“记性差一点”，反而更聪明！ 大语言模型如果不加约束，很容易把训练数据原封不动地复刻出来。为解决这个问题，来自马里兰大学、图宾根大学和马普所的研究团队提出了一个新方法——金鱼损失（Goldfish Loss）。
“Agent元年”进程过半，Agent虽已从处理简单任务转向复杂交付，却仍卡在“信息断层”的关键瓶颈—— 受限于训练数据截止日期，难以及时获取实时动态信息，企业级场景落地始终差临门一脚。
作为开放世界游戏的标杆，GTA 系列不仅在游戏圈声名赫赫。尤其是在 AI 驱动的视频生成、三维生成或是世界模型等领域里，研究者们不仅采用游戏内场景为训练数据，更将生成类 GTA 的完整世界作为长久以来的目标。
有史规模最大的开源科学推理后训练数据集来了！ 上海创智学院、上海交通大学（GAIR Lab）发布MegaScience。该数据集包含约125万条问答对及其参考答案，广泛覆盖生物学、化学、计算机科学、经济学、数学、医学、物理学等多个学科领域，旨在为通用人工智能系统的科学推理能力训练与评估提供坚实的数据。
机器人能通过普通视频来学会实际物理操作了！ 来看效果，对于所有没见过的物品，它能精准识别并按照指令完成动作。
在噪声污染严重影响预训练数据的质量时，如何能够高效且精细地精炼数据？ 中科院计算所与阿里Qwen等团队联合提出RefineX，一个通过程序化编辑任务实现大规模、精准预训练数据精炼的新框架。
现有视频异常检测（Video Anomaly Detection, VAD）方法中，有监督方法依赖大量领域内训练数据，对未见过的异常场景泛化能力薄弱；而无需训练的方法虽借助大语言模型（LLMs）的世界知识实现检测，但存在细粒度视觉时序定位不足、事件理解不连贯、模型参数冗余等问题。
自适应语言模型框架SEAL，让大模型通过生成自己的微调数据和更新指令来适应新任务。SEAL在少样本学习和知识整合任务上表现优异，显著提升了模型的适应性和性能，为大模型的自主学习和优化提供了新的思路。
Meta挖走OpenAI大批员工后，又用OpenAI的技术搞出新突破。新架构名为2-Simplicial Transformer，重点是通过修改标准注意力，让Transformer能更高效地利用训练数据，以突破当前大模型发展的数据瓶颈。