多模态大模型存在「内心预警」，无需训练，就能识别越狱攻击
多模态大模型存在「内心预警」，无需训练，就能识别越狱攻击多模态大模型崛起，安全问题紧随其后 近年来，大语言模型（LLMs）的突破式进展，催生了视觉语言大模型（LVLMs）的快速兴起，代表作如 GPT-4V、LLaVA 等。
来自主题: AI技术研报
8115 点击 2025-07-22 09:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
多模态大模型崛起，安全问题紧随其后 近年来，大语言模型（LLMs）的突破式进展，催生了视觉语言大模型（LVLMs）的快速兴起，代表作如 GPT-4V、LLaVA 等。
尽管多模态大模型在数学、科学等结构化任务中取得了长足进步，但在需要灵活解读视觉信息的通用场景下，其性能提升瓶颈依然显著。
近日，基于自研多模态大模型，旨在打造AI应用的“超级感官”与“真大脑”的创业公司——无界方舟（AutoArk）宣布连续完成Pre-A & Pre-A+轮亿元级别融资
7 月 1 日，国际顶级学术期刊《Nature》旗下子刊《Nature Communications》正式刊登了来自清华、面壁等研究团队联合研发的高效端侧多模态大模型MiniCPM-V 核心研究成果。
多模态大模型通常是在大型预训练语言模型（LLM）的基础上扩展而来。尽管原始的 LLM 并不具备视觉理解能力，但经过多模态训练后，这些模型却能在各类视觉相关任务中展现出强大的表现。
近年来，多模态大模型（MLLMs）发展迅猛，从看图说话到视频理解，似乎无所不能。
Stream-Omni：同时支持各种模态组合交互的文本-视觉-语音多模态大模型
MLA-Trust 是首个针对图形用户界面（GUI）环境下多模态大模型智能体（MLAs）的可信度评测框架。该研究构建了涵盖真实性、可控性、安全性与隐私性四个核心维度的评估体系，精心设计了 34 项高风险交互任务，横跨网页端与移动端双重测试平台，对 13 个当前最先进的商用及开源多模态大语言模型智能体进行深度评估，系统性揭示了 MLAs 从静态推理向动态交互转换过程中所产生的可信度风险。
今天，百度AI Day上双杀全场！自研多模态大模型MuseSteamer携「绘想」平台重磅上线，视频创作直接杀进电影级AI时代。同时，百度搜索迎十年最大改版，体验全面开挂。
本文第一作者是上海交通大学计算机学院三年级博士生程彭洲，研究方向为多模态大模型推理、AI Agent、Agent 安全等。通讯作者为张倬胜助理教授和刘功申教授。