
ICCV 2025 | 打造通用工具智能体的基石:北大提出ToolVQA数据集,引领多模态多步推理VQA新范式
ICCV 2025 | 打造通用工具智能体的基石:北大提出ToolVQA数据集,引领多模态多步推理VQA新范式本文提出了一个旨在提升基础模型工具使用能力的大型多模态数据集 ——ToolVQA。现有研究已在工具增强的视觉问答(VQA)任务中展现出较强性能,但在真实世界中,多模态任务往往涉及多步骤推理与功能多样的工具使用,现有模型在此方面仍存在显著差距。
本文提出了一个旨在提升基础模型工具使用能力的大型多模态数据集 ——ToolVQA。现有研究已在工具增强的视觉问答(VQA)任务中展现出较强性能,但在真实世界中,多模态任务往往涉及多步骤推理与功能多样的工具使用,现有模型在此方面仍存在显著差距。
大模型耗电惊人,舆论一浪高过一浪。 现在,谷歌用硬核数据强势还击。
精心设计了一个由多个AI智能体组成的强大团队,期望它们能像人类专家一样协作解决复杂问题,但却发现这个团队聊着聊着就“精神涣散”,忘记了最初的目标,甚至连彼此的角色都开始混乱。
在科研、新闻报道、数据分析等领域,图表是信息传递的核心载体。要让多模态大语言模型(MLLMs)真正服务于科学研究,必须具备以下两个能力
在AI浪潮席卷全球的2025年,大语言模型(LLM)已从单纯的聊天工具演变为能规划、决策的智能体。但问题来了:这些智能体一旦部署,就如「冻结的冰块」,难以适应瞬息万变的世界。
这真的是一种平衡艺术——要搞清楚模型应该具备哪些特性,以及我们希望它给人的“感觉”是什么。GPT-5发布时,我们觉得正好是一次重置和重新思考的机会。尤其是,现在要让一个模型变得很“有互动感”其实很容易,但有时候这种互动可能是不健康的,所以我们想让它成为一个健康、有帮助的助手。
AI 有意识吗? 无论是古今中外的文艺作品中,还是 AI 迅猛发展的当下,好像都难以给出一个绝对的答案。
AI 下半场,模型评估比模型训练更重要。我们需要从根本上重新思考评估的方式。
推理大模型(Large Reasoning Model)极大的促进了自然语言处理领域的发展,而信息检索领域的核心问题之一是文档排序,如何利用强大的推理大模型通过主动推理来判断文档的相关性,进而再对文档进行排序是一个值得探索的方向。
在Openai 发布o3后,think with image功能得到了业界和学术界的广泛关注。