7 月 1 日，国际顶级学术期刊《Nature》旗下子刊《Nature Communications》正式刊登了来自清华、面壁等研究团队联合研发的高效端侧多模态大模型MiniCPM-V 核心研究成果。
多模态大模型通常是在大型预训练语言模型（LLM）的基础上扩展而来。尽管原始的 LLM 并不具备视觉理解能力，但经过多模态训练后，这些模型却能在各类视觉相关任务中展现出强大的表现。
近年来，多模态大模型（MLLMs）发展迅猛，从看图说话到视频理解，似乎无所不能。
Stream-Omni：同时支持各种模态组合交互的文本-视觉-语音多模态大模型
MLA-Trust 是首个针对图形用户界面（GUI）环境下多模态大模型智能体（MLAs）的可信度评测框架。该研究构建了涵盖真实性、可控性、安全性与隐私性四个核心维度的评估体系，精心设计了 34 项高风险交互任务，横跨网页端与移动端双重测试平台，对 13 个当前最先进的商用及开源多模态大语言模型智能体进行深度评估，系统性揭示了 MLAs 从静态推理向动态交互转换过程中所产生的可信度风险。
今天，百度AI Day上双杀全场！自研多模态大模型MuseSteamer携「绘想」平台重磅上线，视频创作直接杀进电影级AI时代。同时，百度搜索迎十年最大改版，体验全面开挂。
本文第一作者是上海交通大学计算机学院三年级博士生程彭洲，研究方向为多模态大模型推理、AI Agent、Agent 安全等。通讯作者为张倬胜助理教授和刘功申教授。
又一家A股上市公司冲刺“A+H”！6月26日，上海AI产品公司合合信息递表港交所。招股书显示，合合信息是一家原生AI（AI-native）公司，已成为全球多模态大模型文本智能技术的领先者，业务已覆盖全球超过200个国家和地区，3款C端产品拥有数亿全球用户群，是少有的同时在中国和全球拥有成规模用户量的原生AI公司。
本周五凌晨，谷歌正式发布、开源了全新端侧多模态大模型 Gemma 3n。谷歌表示，Gemma 3n 代表了设备端 AI 的重大进步，它为手机、平板、笔记本电脑等端侧设备带来了强大的多模式功能，其性能去年还只能在云端先进模型上才能体验。
GUI智能体总是出错， 甚至是不可逆的错误。 即使是像GPT-4o这样的顶级多模态大模型，也会因为缺乏常识而在执行GUI任务时犯错。在它即将执行错误决策时，需要有人提醒它出错了。
