全球最大开源具身大模型！中国机器人跑完马拉松后开始学思考
全球最大开源具身大模型！中国机器人跑完马拉松后开始学思考昨天，全球参数量最大的具身智能多模态大模型——Pelican-VL 1.0正式开源。它不仅覆盖了7B到72B级别，能够同时理解图像、视频和语言指令，并将这些感知信息转化为可执行的物理操作。
来自主题: AI资讯
7705 点击 2025-11-15 10:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
昨天，全球参数量最大的具身智能多模态大模型——Pelican-VL 1.0正式开源。它不仅覆盖了7B到72B级别，能够同时理解图像、视频和语言指令，并将这些感知信息转化为可执行的物理操作。
多模态大语言模型（MLLMs）在处理来自图像和文本等多种来源的信息时能力强大 。 然而，一个关键挑战随之而来：当这些模态呈现相互冲突的信息时（例如，图像显示一辆蓝色汽车，而文本描述它为红色），MLLM必须解决这种冲突 。模型最终输出与某一模态信息保持一致的行为，称之为“模态跟随”（modality following）
华中科技大学团队推出首个水下多模态大模型NAUTILUS，支持8种水下场景理解任务，并开源145万图文对的NautData数据集。模型通过视觉特征增强模块解决水下图像模糊和颜色失真问题，性能超越现有模型，恶劣环境下表现更佳。
全开源多模态大模型（MLLM）的性能，长期被闭源和半开源模型“卡脖子”。
多模态大模型（MLLMs）虽然在图像理解、视频分析上表现出色，但多停留在整体场景级理解。
在 AI 技术飞速发展的今天，如何高效地将多个专业模型的能力融合到一个通用模型中，是当前大模型应用面临的关键挑战。全量微调领域已经有许多开创性的工作，但是在高效微调领域，尚未有对模型合并范式清晰的指引。
本文来自于香港中文大学 MMLab 和 vivo AI Lab，其中论文第一作者肖涵，主要研究方向为多模态大模型和智能体学习，合作作者王国志，研究方向为多模态大模型和 Agent 强化学习。项目 le
人类之所以能与复杂的物理世界高效互动，很大程度上源于对「工具」的使用、理解与创造能力。对任何通用型智能体而言，这同样是不可或缺的基本技能，对物理工具的使用会大大影响任务的成功率与效率。
多模态大模型（MLLM）在自然图像上已取得显著进展，但当问题落在图表、几何草图、科研绘图等结构化图像上时，细小的感知误差会迅速放大为推理偏差。
在科幻作品描绘的未来，人工智能不仅仅是完成任务的工具，更是为人类提供情感陪伴与生活支持的伙伴。在实现这一愿景的探索中，多模态大模型已展现出一定潜力，可以接受视觉、语音等多模态的信息输入，结合上下文做出反馈。