多模态检索头首次被锁定:揭开大模型长文档内部检索真相 | EMNLP'26
多模态检索头首次被锁定:揭开大模型长文档内部检索真相 | EMNLP'26随着Office AI和文档智能体的发展,大模型开始直接处理财报、合同、研究报告等长篇图文材料。
搜索
随着Office AI和文档智能体的发展,大模型开始直接处理财报、合同、研究报告等长篇图文材料。
先学会画,再学会听话。 LLaDA-Image 在预训练和中期训练阶段直接从图片学习视觉先验,超过 90% 的累计生成训练样本采用 image-only 监督;图文对则集中用于后续语言对齐。模型权重、训练代码和完整配方同步开放。
在大模型的发展中,提升能力的主要手段一直是 "做大"—— 更多参数、更多数据、更多算力。如今,另一条思路开始受到关注:与其不断堆叠新的层,不如让已有的层再跑一遍。这就是 Looped Transformer。普通 Transformer 的每一层只执行一次,而 Looped Transformer 会把其中一部分层重复执行,让模型在不增加参数的情况下获得更深的计算。
近年来,视频生成模型在清晰度、时序一致性和可控性上快速进步。给定文本、图像、相机轨迹或玩家动作,模型已经能够合成连贯的后续画面,也让「可交互视频世界」逐渐从概念走向可观看、可操作的原型。
奥特曼亲口承认,GPT-6 Astra其实早就训练完了。
AI视频生成正从质量竞争转向实时速度竞争,AI互动内容公司Yoroll基于开源MiniMax H3模型推出后训练模型Yoroll H3 Superfast,可在4秒内生成10秒768p带音频视频,并上线由其驱动的实时互动叙事产品YoLive。
红杉资本合伙人Sonya Huang指出,随着开放权重模型逼近前沿水平、后训练基础设施逐渐成熟,越来越多AI应用公司开始通过纵向整合构建自有AI能力、掌握模型权重,以降低成本并掌控产品命运。
芝诺机器人发布全球首个协作具身智能基础模型Zeno-1,该3B参数模型专为去中心化多机器人协作设计,能在本地以30Hz频率进行闭环视觉—运动推理,通过四阶段递进训练让机器人从同一策略副本中自发涌现协作行为,实现1+1>2的效果。
从「会执行」到「会掌舵」,长程 Agent 还缺什么?
机器人 VLA 还在疯狂卷数据,StarVLA 团队这次却把目光放到了另一个问题上:除了继续 scale 数据以外,能不能让每一条数据都学得更值?