HuggingFace发布超200页「实战指南」，从决策到落地「手把手」教你训练大模型
HuggingFace发布超200页「实战指南」，从决策到落地「手把手」教你训练大模型近期，HuggingFace 发布的超过 200 页的超长技术博客，系统性地分享训练先进 LLM 的端到端经验。
来自主题: AI技术研报
8107 点击 2025-11-10 09:57
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
近期，HuggingFace 发布的超过 200 页的超长技术博客，系统性地分享训练先进 LLM 的端到端经验。
近期，Google DeepMind 发布新一代具身大模型 Gemini Robotics 1.5，其核心亮点之一便是被称为 Motion Transfer Mechanism（MT）的端到端动作迁移算法 —— 无需重新训练，即可把不同形态机器人的技能「搬」到自己身上。不过，官方技术报告对此仅一笔带过，细节成谜。
大语言模型（LLM）的「炼丹师」们，或许都曾面临一个共同的困扰：为不同任务、不同模型手动调整解码超参数（如 temperature 和 top-p）。这个过程不仅耗时耗力，而且一旦模型或任务发生变化，历史经验便瞬间失效，一切又得从头再来。
现在，NTU联合StepFun提出了IGGT (Instance-Grounded Geometry Transformer) ，一个创新的端到端大型统一Transformer，首次将空间重建与实例级上下文理解融为一体。
国内首个利用世界模型生成数据实现真机泛化的端到端VLA具身基础模型GigaBrain-0重磅发布。
自回归（AR）大语言模型逐 token 顺序解码的范式限制了推理效率；扩散 LLM（dLLM）以并行生成见长，但过去难以稳定跑赢自回归（AR）模型，尤其是在 KV Cache 复用、和 可变长度 支持上仍存挑战。
为破解大模型长思维链的效率难题，并且为了更好的端到端加速落地，我们将思考早停与投机采样无缝融合，提出了 SpecExit 方法，利用轻量级草稿模型预测 “退出信号”，在避免额外探测开销的同时将思维链长度缩短 66%，vLLM 上推理端到端加速 2.5 倍。
每隔一阵子，总有人宣告“RAG已死”：上下文越来越长、端到端多模态模型越来越强，好像不再需要检索与证据拼装。但真正落地到复杂文档与可溯源场景，你会发现死掉的只是“只切文本的旧RAG”。
本文介绍了一种用高数据效率强化学习算法 SAC 训练流策略的新方案，可以端到端优化真实的流策略，而无需采用替代目标或者策略蒸馏。SAC FLow 的核心思想是把流策略视作一个 residual RNN，再用 GRU 门控和 Transformer Decoder 两套速度参数化。
一张图，一个3D世界！今天，李飞飞团队重磅放出实时生成世界模型「RTFM」，通过端到端学习大规模视频数据，直接从输入2D图像生成同一场景下新视角的图像。值得一提的是，它仅需单块H100 GPU便能实时渲染出持久且3D一致的世界。