多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！
多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！表现最好的GPT-o4 mini，物理推理能力也远不及人类！
来自主题: AI技术研报
8536 点击 2025-05-28 09:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
表现最好的GPT-o4 mini，物理推理能力也远不及人类！
在大型推理模型（例如 OpenAI-o3）中，一个关键的发展趋势是让模型具备原生的智能体能力。具体来说，就是让模型能够调用外部工具（如网页浏览器）进行搜索，或编写/执行代码以操控图像，从而实现「图像中的思考」。
当你在搜索“中国队在多哈乒乓球锦标赛的成绩”时，一篇新闻报道的文本部分和你的查询的相关性是 0.7，配图的相关性 0.5；另一篇则是文本相关性为 0.6，图片也是 0.6。那么，哪一篇报道才是你真正想要的呢？
近年来，LLM 及其多模态扩展（MLLM）在多种任务上的推理能力不断提升。然而， 现有 MLLM 主要依赖文本作为表达和构建推理过程的媒介，即便是在处理视觉信息时也是如此 。
在文档理解领域，多模态大模型（MLLMs）正以惊人的速度进化。从基础文档图像识别到复杂文档理解，它们在扫描或数字文档基准测试（如 DocVQA、ChartQA）中表现出色，这似乎表明 MLLMs 已很好地解决了文档理解问题。然而，现有的文档理解基准存在两大核心缺陷：
MedGemma是谷歌 “健康人工智能开发者基础”（Health AI Developer Foundations）计划的核心项目。基于 Gemma 3 架构， MedGemma提供多模态和纯文本两种模型变体，旨在降低医疗 AI 开发门槛。
字节最近真的猛猛开源啊……这一次，他们直接开源了GPT-4o级别的图像生成能力。不止于此，其最新融合的多模态模型BAGEL主打一个“大一统”， 将带图推理、图像编辑、3D生成等功能全都集中到了一个模型。
来自香港科技大学、腾讯西雅图AI Lab、爱丁堡大学、Miniml.AI、英伟达的研究者联合提出了MMLongBench，旨在全面评估多模态模型的长文本理解能力。
在谷歌I/O大会后，创始人谢尔盖·布林惊喜现身，与Hassabis深入探讨AI的推理能力、规模与算法、测试时计算及多模态智能体的应用前景。布林强调AI时代是计算科学家不应退休的黄金期，AI影响将远超互联网与手机。
OpenAI 的 GPT-4o 在图像理解、生成和编辑任务上展现了顶级性能。流行的架构猜想是：