多模态生成框架新SOTA：文本+空间+图像随意组合，20W+数据开源，复旦腾讯优图出品
多模态生成框架新SOTA：文本+空间+图像随意组合，20W+数据开源，复旦腾讯优图出品能处理任意条件组合的新生成框架来了！
来自主题: AI技术研报
6420 点击 2025-04-16 14:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
能处理任意条件组合的新生成框架来了！
让大模型进入多模态模式，从而能够有效感知世界，是最近 AI 领域里人们一直的探索目标。
北京大学团队继VARGPT实现视觉理解与生成任务统一之后，再度推出了VARGPT-v1.1版本。该版本进一步提升了视觉自回归模型的能力，不仅在在视觉理解方面有所加强，还在图像生成和编辑任务中达到新的性能高度
多模态大语言模型（MLLM）在具身智能和自动驾驶“端到端”方案中的应用日益增多，但它们真的准备好理解复杂的物理世界了吗？
从 ChatGPT 引发认知革命到 GPT-4o 实现多模态跨越，AI 技术的每次跃迁都在印证一个底层逻辑 —— 数据质量决定智能高度。而今，这场 AI 浪潮正在反哺数据库领域，推动其从幕后走向台前，完成智能时代的华丽转身。
近年来，随着大型语言模型（LLMs）的快速发展，多模态理解领域取得了前所未有的进步。像 OpenAI、InternVL 和 Qwen-VL 系列这样的最先进的视觉-语言模型（VLMs），在处理复杂的视觉-文本任务时展现了卓越的能力。
前些天，GPT-4o的多模态生图上线之后，引发全球AI社区广泛的关注，吉卜力图画全网风靡。
来自Meta和NYU的团队，刚刚提出了一种MetaQuery新方法，让多模态模型瞬间解锁多模态生成能力！令人惊讶的是，这种方法竟然如此简单，就实现了曾被认为需要MLLM微调才能具备的能力。
商汤最新升级的日日新SenseNova V6解锁的新能力—— 原生多模态通用大模型，采用6000亿参数MoE架构，实现文本、图像和视频的原生融合。从性能评测来看，SenseNova V6已经在纯文本任务和多模态任务中，多项指标均已超越GPT-4.5、Gemini 2.0 Pro，并全面超越DeepSeek V3：
统一多模态大模型（U-MLLMs）逐渐成为研究热点，近期GPT-4o，Gemini-2.0-flash都展现出了非凡的理解和生成能力，而且还能实现跨模态输入输出，比如图像+文本输入，生成图像或文本。