20K合成数据就能让大模型能力飙升！还能实现模型自我迭代，上海AI Lab数据合成新范式
20K合成数据就能让大模型能力飙升！还能实现模型自我迭代，上海AI Lab数据合成新范式仅使用20K合成数据，就能让Qwen模型能力飙升——
来自主题: AI技术研报
6155 点击 2025-01-23 11:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
仅使用20K合成数据，就能让Qwen模型能力飙升——
可灵，视频生成领域的佼佼者，近来动作不断。继发布可灵 1.6 后，又公开了多项研究揭示视频生成的洞察与前沿探索 ——《快手可灵凭什么频繁刷屏？揭秘背后三项重要研究》。
就在刚刚，Verses团队研发的Genius智能体，在Pong中超越了人类顶尖玩家！而且它仅仅训练2小时，用了1/10数据，就秒杀了其他顶级AI模型。
模型蒸馏也有「度」，过度蒸馏，只会导致模型性能下降。最近，来自中科院、北大等多家机构提出全新框架，从两个关键要素去评估和量化蒸馏模型的影响。结果发现，除了豆包、Claude、Gemini之外，大部分开/闭源LLM蒸馏程度过高。
该技术报告的主要作者 Lu Wang, Fangkai Yang, Chaoyun Zhang, Shilin He, Pu Zhao, Si Qin 等均来自 Data, Knowledge, and Intelligence (DKI) 团队，为微软 TaskWeaver, WizardLLM, Windows GUI Agent UFO 的核心开发者。
我亲眼见证了数据量的爆炸式增长以及行业的巨额投入。当时就很明显，AI是推动这些数据增长背后的关键动力。那是一个非常有趣的时刻——Meta正在完成“移动优先”的过渡，开始迈向“AI 优先”。
昨天晚上，DeepSeek 又开源了 DeepSeek-R1 模型（后简称 R1），再次炸翻了中美互联网： R1 遵循 MIT License，允许用户通过蒸馏技术借助 R1 训练其他模型。 R1 上线 API，对用户开放思维链输出 R1 在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版，小模型则超越 OpenAI o1-mini
ittor Geometric 1.0是由中国人民大学与东北大学联合开发的图机器学习库，基于国产Jittor框架，高效灵活，可助力处理复杂图结构数据，性能优于同类型框架，支持多种前沿图神经网络模型，已开源供用户使用。
来了来了，月之暗面首个「满血版o1」来了！这是除OpenAI之外，首次有多模态模型在数学和代码能力上达到了满血版o1的水平。
AI具备的能力，本质上来自算法和训练大模型所用的数据，数据的数量和质量会对大模型起到决定性作用。此前OpenAI工作人员表示，因没有足够多的高质量数据，Orion项目（即GPT-5）进展缓慢。不得已之下，OpenAI招募了许多数学家、物理学家、程序员原创数据，用于训练大模型。