NeurIPS 2026｜AI搜索时搜到的图，为什么用不了？港科大给每张图编了号

这张雪山照片是在哪里拍的？

智能体裁出照片里的一段山脊，以图搜图，找到了 “折多山” 这个地名。它接着查阅网页，又把搜到的另一张照片放大核对，最后把拍摄地点锁定在折多山垭口。

难点在最后这次放大。在不少多模态搜索系统里，模型能看见刚搜回的照片，想放大细节时，却没法把这张图交给下一个工具。

港科大 MMSense Lab 为此设计了视觉原生智能体框架（Visual-Native Agent Harness）。它给每张图分配一个编号，让不同工具接着用同一张图。工具接通了，模型还得学会什么时候该继续搜，什么时候该回头看图。

为此，团队提出了数据合成方法 On-policy Data Evolution（ODE）。模型拿到题目，搜索、调用工具，直到给出答案，这整个过程称为一次 rollout。为强化学习出题时，做 rollout 的就是即将接受训练的目标模型。从递归自我改进（RSI）的角度看，除了智能体本身，给它出题的方法也值得改进。ODE 让数据合成器根据智能体的解题记录调整出题规则，再用下一轮的 rollout 检验这些调整是否合适。这项工作已被 NeurIPS 2026 接收。

在同一套框架下，用 ODE 数据训练后，8B 模型在八项评测上的平均准确率从 24.9% 升至 39.0%，30B 模型从 30.6% 升至 41.5%。单独比较出题方式时，两组 8B 模型用等量的题做强化学习。按 rollout 调整出题规则的一组，在八项评测上都优于沿用固定规则的一组。

• 论文题目：Towards On-Policy Data Evolution for Visual-Native Multimodal Deep Search Agents
• 论文链接：https://arxiv.org/abs/2605.10832
• 项目代码：https://github.com/JoeYing1019/ODE

让搜索和看图的工具接力

在该工作中我们支持了九种工具，让智能体可以检索网页、论文和图片，也可以打开来源网页、放大或旋转图片，或者用 Python 计算。题目自带的原图和工具返回的新图都存入同一个图像库（image bank）。每张图都有独立的编号，在这次解题过程中，后续工具随时可以按编号取图。

以折多山为例，原始照片是 <image:0>，裁出的山脊是 <image:1>。智能体把 <image:1> 交给以图搜图工具，找回的清晰照片另存为 <image:3>。即使中间又查过网页，要放大新照片时，模型仍然能把 <image:3> 准确地传给放大工具。

图 1：左图为折多山案例中图片在工具间的传递过程。右图为 ODE 从搜集证据、合成题目到根据 rollout 修订出题规则的流程。

这套框架也给 ODE 提供了出题的手段。系统先找一个能从至少两个独立来源核实的对象，再选一张相关图片。图中要有值得辨认的细节，比如图例、数字或标记。随后，系统沿网页搜集线索，为每条线索记下事实和出处。有用的图片也一并留下，记下它在图像库里的编号。

系统把相关线索组织成一张证据图。图中要核实的标记可以放大，网页上的数字可以到另一个来源交叉核对。出题器从图上选取一组相连的线索，编成有明确答案的问题，再删去会泄露答案或解题步骤的提示。

题目编好后，接下来轮到模型解题。ODE 每轮按当前规则出 32 道题，让模型逐题完成 rollout。这几轮里，做 rollout 的模型参数始终不变。模型只拿到问题和原图，参考答案用于作答后的核验。分析器对照整批解题记录和出题时的证据，诊断哪些环节需要改进。通过审核的改动随即写入下一轮的出题规则。

一道地图题怎样改变下一轮的出题规则

在为强化学习合成数据的一轮演化中，ODE 从联合国地图资料入手，找到了 1948 年 9 月的世界地图，又查到联合国最初共有 11 个托管领土。把这两条线索放在一起，就有了一道题：当时地图上标出的托管领土，占最初总数的百分之几？题目隐去了总数。作答者既要查出分母，也要读懂图例，数出分子。

图 2：1948 年 9 月的世界地图。不同的阴影分别表示托管领土和其他属地。

完成这次 rollout 的是之后要做强化学习的目标模型。它只拿到题目和原图，自己决定查哪些网页、调用哪些工具。模型漏数了几处托管领土，又把西南非洲算了进去。等它答完，系统才拿出参考答案核验。图上共有 10 个，占原来 11 个的约 91%。

错的不只是最后那个百分数。分析器把 rollout 和出题时搜集的材料对照起来，发现部分小字地名和图例缺少逐项核实的证据。综合这批题的解题记录，ODE 调整了出题规则：涉及数量的线索要逐项用以图搜图核实，整理证据时可做的视觉操作从最多四步增至五步。同时，带图线索的目标占比从 50% 降到 40%，给逐条核查留出余地。

新规则下一轮就用在了巴尔的摩港的航道图上。同一个模型来回放大、搜图，始终没能认出码头。这一批 rollout 暴露了另一种困难：可供比对的图片线索不足，题目对当前模型太难。ODE 随后把带图线索的比例从 40% 调回 50%。上一轮通过审核的改动，到下一轮仍然可以凭新的解题记录撤回。

这个例子也说明了为什么要区分两种 rollout。为强化学习（RL）准备训练题时，做题的是已完成监督微调（SFT）、即将接受 RL 训练的目标模型。它能否找到新线索，还是反复搜索却毫无进展，直接关系到这道题适不适合它。为 SFT 准备示范时，换成教师模型 GPT-5.2 做 rollout。此时更关心解题过程值不值得模仿，例如哪一次放大帮助核实了答案，哪一次搜索只是重复。

这样调整出题规则，最多进行五轮。各轮都要看新规则能否合成适合当前模型的训练样本。演化结束后，团队从通过审核的规则中选出表现最好的一套，再用它批量合成正式训练所需的数据。

用于监督微调的 8,855 条示范，是团队从教师模型的解题记录里筛选出来的。强化学习的题目则按目标模型分别准备：8B 和 30B-A3B 模型各有 4,000 道，合成后直接用于各自的训练。

三套数据都覆盖 11 个主题，区别在于题有多难。按出题器的难度标注，“困难” 和 “专家级” 题目在 SFT 示范中合计约占 29%，在 8B 和 30B-A3B 模型的 RL 题中分别约占 62% 和 94%（图 3）。换了更强的目标模型，出题范围没有缩窄，但难题在这批练习里的比重明显增加了。

图 3：上图为 SFT 示范涉及的主题，下图比较三套训练数据中各难度等级的题目占比。

从换工具到做训练，

八项评测的成绩怎样变

八项评测各有侧重。MM-BrowseComp（MMBC）要求模型跨网页查找图文线索，SimpleVQA 更侧重事实问答。以 Qwen3-VL-30B 为例，先看换框架的收益：同一个基座模型使用标准搜索流程时，八项平均准确率为 24.8%，换用视觉原生智能体框架后达到 30.6%。再看训练的收益：保持框架不变，用 ODE 数据做监督微调，准确率升到 39.5%，继续做强化学习则达到 41.5%。

在要求主动检索外部证据的 MMSearch 上，8B 模型也呈现出同样的趋势。三次评测使用同一套工具，基座模型、监督微调和强化学习之后的准确率依次为 47.3%、61.7% 和 66.0%。

表 1：八项评测的准确率（%）。横线表示未报告，Δ 为相对同一框架下基座模型的提升（百分点）。

换用这套框架的收益也体现在商业模型上。Gemini 2.5 Flash 的八项平均准确率从标准搜索流程下的 32.0% 升至 35.55%，Gemini 2.5 Pro 从 37.9% 升至 42.21%。GPT-5 在两种设置都报告了成绩的七项评测上也全部提高。

当商业模型也能反复调用搜索中找到的图片，训练后的 30B 模型依然有竞争力。在相同框架下，ODE-30B-A3B-RL 的八项平均准确率为 41.53%，与 Gemini 2.5 Pro 的 42.21% 相差 0.68 个百分点。GPT-5 的八项平均准确率为 44.41%。

表 2：各模型使用同一视觉原生智能体框架时，在八项评测上的准确率（%）。

图像复用和数据演化分别起了什么作用

先看图像复用。在 MMBC 上，约四成题目用到了先前搜回或裁出的图片，复用率是八项评测中最高的。团队用同一个 ODE-8B-RL 做了对照。无论在哪种设置下，模型都看得见工具返回的图片。区别发生在下一步：有多少张旧图还能作为输入，再交给一个工具？

图 4：ODE-8B-RL 在 MMBC 上的准确率。横轴为后续工具能取回的最近图片数，0 表示关闭复用，Full 表示保留全部图片。

关闭复用时，准确率为 7.59%。把可取回的图片数依次放宽到最近 4 张、8 张和 16 张，准确率随之上升。保留全部图片时达到 12.50%。对 MMBC 这类需要来回核查证据的题目，最新的几张图不能完全替代较早找到的图片。

图 5：左图比较各项评测中复用过图片的题目占比，以及开启复用后准确率的变化。右图按工具类型统计复用次数。

复用图片后，模型主要拿它做什么？MMBC 共记录到 306 次图片复用，191 次用于放大，113 次用于以图搜图。折多山的例子把这两类行为串了起来：裁出的山脊能拿去搜，搜回来的照片还能放大细看。

要看出数据演化的作用，就得把训练样本数也固定下来。团队保留了同样的材料搜集、证据整理和出题流程，只改变一点：一组始终沿用最初的出题规则，另一组让 ODE 根据每批 rollout 修订规则。两组分别准备等量的 SFT 示范和 RL 训练题。

图 6：两组各使用 2,000 条 SFT 示范。左图比较训练后 8B 模型的成绩，右图比较示范中的图像和工具使用情况。

每组同样是 2,000 条 SFT 示范，内容却不一样。沿用初始出题规则时，只有 10.5% 的示范包含至少四张工具返回的图片，ODE 组这一比例为 42.9%。同时包含图像操作和搜索的示范也从 35.3% 增至 54.8%。因此，学生模型能看到更多把搜索和看图结合起来的解题过程。用两批示范分别训练 8B 模型，ODE 组在八项评测中有七项领先，例外是 SimpleVQA。

图 7：两组从同一个完成 SFT 的 8B 模型开始，各用 4,000 道题做强化学习。图中比较两种出题规则下的训练结果。

强化学习的对照更直观。两组从同一个已完成 SFT 的 8B 模型出发，各练 4,000 道题。在 MMBC 上，这个模型做完 SFT 的准确率是 8.5%。用固定规则出的题继续训练后，准确率为 5.8%。换成 ODE 为它出的题，则达到 12.5%。放到全部八项评测上，ODE 组也都更高。两组使用的训练题一样多，ODE 额外的计算花在训练前的 rollout 和分析上。

ODE 为两种训练选出的数据，究竟好在哪里？到第五轮演化，SFT 示范和 8B RL 题目的评分都高于第一轮（图 8）。更能说明差别的是同一教师模型或目标模型在新旧两套规则合成的题目上留下的工具调用记录（图 9）。

图 8：五轮 ODE 数据演化中，SFT 示范（左）和 8B RL 题目（右）的平均评分。图中分数均在原评分基础上加 5。

图 9：按初始规则和演化后的规则出题，比较每道题的工具调用次数、工具返回的图片数和以图片为输入的调用次数。左图为教师示范，右图为 8B 目标模型在 RL 题上的 rollout。

在 SFT 示范里，教师平均每题调用工具的次数从 15.94 降至 12.19，工具返回的图片却从 1.25 张增至 3.75 张，把图片再交给工具的次数也从 1.06 增至 2.12。也就是说，教师用更少的步骤示范了更多借助图片查证的操作。轮到 8B 目标模型做 RL 题，变化方向恰好相反：平均每题调用工具的次数从 6.14 升至 15.33，返回的图片从 3.07 张增至 11.00 张。规则调整后，同一个模型需要多查几步，才能推进解题过程。

回到 1948 年的地图：一个答错的百分比，只够用来给答案判分。沿着 rollout 回看，才能发现模型漏数了哪些阴影、又把哪里的标记认错了。结合整批题的诊断，ODE 才有依据改到具体的一步：下一轮遇到数量线索，出题器要逐项搜图核实。

作者介绍

第一作者黄仕爵（Shijue Huang）是香港科技大学 MMSense Lab 的二年级博士生，研究方向为多模态智能体与强化学习。通讯作者冯一人（May Fung）是香港科技大学计算机科学与工程学系助理教授，研究方向为多模态知识推理与智能体。

文章来自于微信公众号 “机器之心”，作者 “机器之心”