20K合成数据就能让大模型能力飙升！还能实现模型自我迭代，上海AI Lab数据合成新范式
20K合成数据就能让大模型能力飙升！还能实现模型自我迭代，上海AI Lab数据合成新范式仅使用20K合成数据，就能让Qwen模型能力飙升——
来自主题: AI技术研报
5829 点击 2025-01-23 11:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
仅使用20K合成数据，就能让Qwen模型能力飙升——
已与多家国内外头部主机厂、Tier1供应商、具身智能公司签约
数学界对AI在数学中应用的看法存在分歧，但年轻一代更支持AI和验证工具。Vlad指出，通过递归自我改进，AI有潜力在数学和其他复杂问题上取得重大突破。随着AI在模式识别和自我改进方面的进步，它可能参与解决大型数学难题，如黎曼猜想。同时，数学家仍将在引导AI方向、规划研究领域和解释结果方面起关键作用。
视频多模态大模型（LMMs）的发展受限于从网络获取大量高质量视频数据。为解决这一问题，我们提出了一种替代方法，创建一个专为视频指令跟随任务设计的高质量合成数据集，名为 LLaVA-Video-178K。
数学界对AI在数学中应用的看法存在分歧，但年轻一代更支持AI和验证工具。Vlad指出，通过递归自我改进，AI有潜力在数学和其他复杂问题上取得重大突破。随着AI在模式识别和自我改进方面的进步，它可能参与解决大型数学难题，如黎曼猜想。同时，数学家仍将在引导AI方向、规划研究领域和解释结果方面起关键作用。
1%的合成数据，就让LLM完全崩溃了？ 7月，登上Nature封面一篇论文证实，用合成数据训练模型就相当于「近亲繁殖」，9次迭代后就会让模型原地崩溃。
如何处理小众数据，如何让这些模型高效地学习专业领域的知识，一直是一个挑战。斯坦福大学的研究团队最近提出了一种名为EntiGraph的合成数据增强算法，为这个问题带来了新的解决思路。
浏览器里直接能跑的SOTA小模型来了，分别在2亿、5亿和20亿级别获胜，抱抱脸出品。
合成数据2.0秘诀曝光了！来自微软的研究人员们提出了智能体框架AgentInstruct，能够自动创建大量、多样化的合成数据。经过合成数据微调后的模型Orca-3，在多项基准上刷新了SOTA。
如今一场席卷人工智能圈的“石油危机”已经出现，几乎每一家AI厂商都在竭力寻求新的语料来源，但再多的数据似乎也填不满AI大模型的胃口。更何况越来越多的内容平台意识到了手中数据的价值，纷纷开始敝帚自珍。为此，“合成数据”也成为了整个AI行业探索的新方向。