字节最新大模型秘籍：只挑能有推理潜力的数据训练！1.3B模型无需标签自动挑选
字节最新大模型秘籍：只挑能有推理潜力的数据训练！1.3B模型无需标签自动挑选和人工标记数据说拜拜，利用预训练语言模型中的注意力机制就能选择可激发推理能力的训练数据！
来自主题: AI技术研报
5752 点击 2025-05-16 10:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
和人工标记数据说拜拜，利用预训练语言模型中的注意力机制就能选择可激发推理能力的训练数据！
字节拿出了国际顶尖水平的视觉–语言多模态大模型。
5月13日，在 FORCE LINK AI 创新巡展·上海站，火山引擎发布豆包·视频生成模型 Seedance 1.0 lite、豆包1.5·视觉深度思考模型，升级豆包·音乐模型。同时，Data Agent 正式亮相、Trae 接入豆包深度思考模型并全新升级。火山引擎正在以更强大的模型矩阵、更丰富的智能体工具，帮助企业打通从业务到智能体的应用链路。
字节Seed首次开源代码模型！Seed-Coder，8B规模，超越Qwen3，拿下多个SOTA。它证明“只需极少人工参与，LLM就能自行管理代码训练数据”。通过自身生成和筛选高质量训练数据，可大幅提升模型代码生成能力。
最近，DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后训练阶段探索了长度扩展（length scaling），通过强化学习（比如 PPO、GPRO）训练模型生成很长的推理链（CoT），并在奥数等高难度推理任务上取得了显著的效果提升。
继吴永辉担任字节 AI 研发部门 Seed 的负责人后，Seed 组织正在陆续调整。
霸榜数天的神秘文生图模型 Mogao，什么来头？
字节跳动豆包团队今天发布了自家新推理模型 Seed-Thinking-v1.5 的技术报告。从报告中可以看到，这是一个拥有 200B 总参数的 MoE 模型，每次工作时会激活其中 20B 参数。其表现非常惊艳，在各个领域的基准上都超过了拥有 671B 总参数的 DeepSeek-R1。有人猜测，这就是字节豆包目前正在使用的深度思考模型。
清华智能产业研究院（AIR）博三在读，去年六月份，出于对语言模型 LLM 的强烈兴趣，加入了字节 as Top Seed Intern，在人工智能的最前沿进行探索。刚好这个话题和我现在做的工作强相关，我分享一下自己的观点和亲身体验。
3 月 18 日上午，字节跳动豆包大模型部门（Seed）召开全员会，由负责模型应用相关工作的朱文佳，与新近加入的负责 AI 基础研究探索工作的吴永辉共同主持。两人谈到了未来的目标，明确 Seed 部门的最重要目标是探索智能上限；同时强调进一步加强组织文化，提高技术开放程度，并考虑推进开源。