小红书&上交多模态大模型新基准，Gemini 1.5 Pro准确率仅48%
小红书&上交多模态大模型新基准，Gemini 1.5 Pro准确率仅48%多模态大模型理解真实世界的水平到底如何？
来自主题: AI技术研报
4934 点击 2025-02-13 09:49
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
多模态大模型理解真实世界的水平到底如何？
人类通过课堂学习知识，并在实践中不断应用与创新。那么，多模态大模型（LMMs）能通过观看视频实现「课堂学习」吗？新加坡南洋理工大学S-Lab团队推出了Video-MMMU——全球首个评测视频知识获取能力的数据集，为AI迈向更高效的知识获取与应用开辟了新路径。
以 GPT-4o 为代表的实时交互多模态大模型（LMMs）引发了研究者对高效 LMM 的广泛关注。现有主流模型通过将视觉输入转化为大量视觉 tokens，并将其嵌入大语言模型（LLM）上下文来实现视觉信息理解。
就在除夕前的晚上（2025 年 1 月 27 日），Deepseek 发布了多模态模型 Janus-Pro-7B，该模型在图像生成和多模态理解方面都超过了OpenAI的DALL-E 3（虽然也一般般），我相信能文生图功能一定很优秀了，今天搞点特殊的，测试下图像理解能力对专业的医学影像有没有应用的可行性，以下是常见的五种医学影像测试。
VARGPT是一种新型多模态大模型，能够在单一框架内实现视觉理解和生成任务。通过预测下一个token完成视觉理解，预测下一个scale完成视觉生成，展现出强大的混合模态输入输出能力。
论文一作刘少腾，Adobe Research实习生，香港中文大学博士生（DV Lab），师从贾佳亚教授。主要研究方向是多模态大模型和生成模型，包含图像视频的生成、理解与编辑。作者Tianyu Wang、Soo Ye Kim等均为Adobe Research Scientist。
随着语言大模型的成功，视觉 - 语言多模态大模型 (Vision-Language Multimodal Models, 简写为 VLMs) 发展迅速，但在长上下文场景下表现却不尽如人意，这一问题严重制约了多模态模型在实际应用中的潜力。
茶百道与阶跃星辰已达成深度合作，双方积极探索大模型在茶饮行业的应用场景，通过多模态技术助力智能巡检、AIGC 营销，打造新型数字化门店生产运营方式，为用户带来更加安全、便捷和丰富的消费体验。
在多模态大语言模型（MLLMs）的发展中，视觉 - 语言连接器作为将视觉特征映射到 LLM 语言空间的关键组件，起到了桥梁作用。
终于，5202年了，手机助手也乘着AI的快车，变得越来越好用了！ 不仅内置了多模态大模型“大脑”，拥有超强的思考和对话能力，还长出了“眼睛”，可以看到屏幕内外的世界。