2023-2024年，以 GPT-4V、Gemini、Claude、LLaVA 为代表的多模态大模型（Multimodal LLMs）已经在文本和图像等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。
多模态融合是多模态智能中的基础任务之一。
全球首个超小型多模态AI Agent模型Octopus V3，来自斯坦福大学的NEXA AI团队，让Agent更加智能、快速、能耗及成本降低。
随着 Llama 3 发布，未来大模型的参数量已飙升至惊人的 4000 亿。尽管每周几乎都有一个声称性能超强的大模型出来炸场，但 AI 应用还在等待属于它们的「ChatGPT 时刻」。其中，AI 智能体无疑是最被看好的赛道。
在过去一年中，通义千问系列模型持续开源。
万万没想到，与任务无直接关联的多模态数据也能提升Transformer模型性能。
文生图、文生音频、文生视频、AI搜索引擎……大模型在多模态的进程可谓是愈演愈烈。
多模态 AI 系统的特点在于能够处理和学习包括自然语言、视觉、音频等各种类型的数据，从而指导其行为决策。近期，将视觉数据纳入大型语言模型 (如 GPT-4V) 的研究取得了重要进展，但如何有效地将图像信息转化为 AI 系统的可执行动作仍面临挑战。
在 4 月 27 日召开的中关村论坛通用人工智能平行论坛上，人大系初创公司智子引擎隆重发布全新的多模态大模型 Awaker 1.0。
ChatGPT-4 被认为是人工智能技术发展的重要节点，语言大模型之后的多模态大模型初步显现了世界模型的影子。大模型最终将通过硬件与物理世界产生交互。人工智能的应用实现从数字世界到物理世界的扩展，具身智能是非常关键的技术方向。
