如今，多模态大模型（MLLM）已经在视觉理解领域取得了长足进步，其中视觉指令调整方法已被广泛应用。该方法是具有数据和计算效率方面的优势，其有效性表明大语言模型（LLM）拥有了大量固有的视觉知识，使得它们能够在指令调整过程中有效地学习和发展视觉理解。
Meta斯坦福大学联合团队全面研究多模态大模型（LMM）中驱动视频理解的机制，扩展了视频多模态大模型的设计空间，提出新的训练调度和数据混合方法，并通过语言先验或单帧输入解决了已有的评价基准中的低效问题。
多模态大模型内嵌语言模型总是出现灾难性遗忘怎么办？
距离 POINT1.0 的发布已经过去两个月时间来，在这段时间业界不断涌现出一系列优秀的模型。我们通过不断紧跟前沿技术，并结合过去开发多模态模型沉淀下来的经验，对 POINTS1.0 进行了一系列更新，推出了 POINTS1.5。
本文介绍了首个多模态大模型（MLLM）可解释性综述
OpenAI 放出了 o1 Pro、GPT-4o 高级语音、GPTCanavas，就跟孔雀开屏一样 ～ 谷歌最近的大动作是发布了 Gemini 2.0 嘛！2.0 比 1.5 版本快一倍，而且是原生的多模态大模型，能输入和生成语言、声音、图片、视频等。
在探索迈向AGI（通用人工智能）物理世界的路径中，通用机器人被视作关键载体。
多模态大模型在听觉上，居然也出现了「9.11>9.8」的现象，音量大小这种简单问题都识别不了！港中文、斯坦福等大学联合发布的AV-Odyssey基准测试，包含26个视听任务，覆盖了7种声音属性，跨越了10个不同领域，确保测试的深度和广度。
以 GPT4V 为代表的多模态大模型（LMMs）在大语言模型（LLMs）上增加如同视觉的多感官技能，以实现更强的通用智能。虽然 LMMs 让人类更加接近创造智慧，但迄今为止，我们并不能理解自然与人工的多模态智能是如何产生的。
在 Minecraft 中构造一个能完成各种长序列任务的智能体，颇有挑战性。现有的工作利用大语言模型 / 多模态大模型生成行动规划，以提升智能体执行长序列任务的能力。
