近年来，视频大语言模型在理解动态视觉信息方面展现出强大能力，成为处理真实世界多模态数据的重要基础模型。然而，它们在真实性、安全性、公平性、鲁棒性和隐私保护等方面仍面临严峻挑战。
北大团队发布化学大模型基准SUPERChem，这是一个多模态、高难度的化学推理基准。它针对现有化学评测的不足，系统构建了评估大语言模型化学推理能力的新体系。
不仅能“听懂”物体的颜色纹理，还能“理解”深度图、人体姿态、运动轨迹……
在深入技术细节之前，我们先用一张漫画来直观理解 COIDO (Coupled Importance-Diversity Optimization) 解决的核心问题与方案：正如钟离在漫画中所言，面对海量视觉指令数据的选择任务，传统方法需要遍历全部数据才能进行筛选造成大量「磨损」（高昂计算成本）。同时在面对数据重要性和多样性问题时，传统方法往往顾此失彼。
在AI医疗的技术路线和商业模式上，双方走向了不同的方向：百川押注语言模型和ToC，邓江拥抱多模态和ToB。
12月伊始，可灵AI接连放出大招。全球首个统一的多模态视频及图片创作工具“可灵O1”、具备“音画同出”能力的可灵2.6模型、可灵数字人2.0功能……5天内5次“上新”，直接让生成式AI领域的竞争“卷”出新高度。
原生工具调用、128K上下文，图文创作仍有短板。
随着多模态大模型（MLLMs）在各类视觉语言任务中展现出强大的理解与交互能力，如何高效地处理原生高分辨率图像以捕捉精细的视觉信息，已成为提升模型性能的关键方向。
国内记忆框架首开源，企业实战已上线运行。在海外巨头已经将“记忆系统”提升到基础设施层的同时，红熊AI便是其中之一。公司成立于2024年，围绕多模态大模型与记忆科学开展研发，并将这些能力用于为企业提供智能客服、营销自动化与AI智能体服务。
全球首个可大规模落地的开源原生多模态架构（Native VLM），名曰NEO。要知道，此前主流的多模态大模型，例如我们熟悉的GPT-4V、Claude 3.5等，它们的底层逻辑本质上其实玩的就是拼接。
