李飞飞团队统一动作与语言，新的多模态模型不仅超懂指令，还能读懂隐含情绪
李飞飞团队统一动作与语言，新的多模态模型不仅超懂指令，还能读懂隐含情绪人类的沟通交流充满了多模态的信息。为了与他人进行有效沟通，我们既使用言语语言，也使用身体语言，比如手势、面部表情、身体姿势和情绪表达。
来自主题: AI技术研报
6212 点击 2024-12-18 14:38
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
人类的沟通交流充满了多模态的信息。为了与他人进行有效沟通，我们既使用言语语言，也使用身体语言，比如手势、面部表情、身体姿势和情绪表达。
Florence-VL 提出了使用生成式视觉编码器 Florence-2 作为多模态模型的视觉信息输入，克服了传统视觉编码器（如 CLIP）仅提供单一视觉表征而往往忽略图片中关键的局部信息。
距离 POINT1.0 的发布已经过去两个月时间来，在这段时间业界不断涌现出一系列优秀的模型。我们通过不断紧跟前沿技术，并结合过去开发多模态模型沉淀下来的经验，对 POINTS1.0 进行了一系列更新，推出了 POINTS1.5。
全球首个端侧全模态理解开源模型来了！
本文介绍了首个多模态大模型（MLLM）可解释性综述
继量子芯片之后，谷歌又来抢“OpenAI双12直播”的流量了！ 就在刚刚，谷歌新一代大模型Gemini 2.0突然登场，再次由谷歌CEO皮猜亲自官宣。
以 GPT4V 为代表的多模态大模型（LMMs）在大语言模型（LLMs）上增加如同视觉的多感官技能，以实现更强的通用智能。虽然 LMMs 让人类更加接近创造智慧，但迄今为止，我们并不能理解自然与人工的多模态智能是如何产生的。
多模态检索增强生成（mRAG）也有o1思考推理那味儿了！ 阿里通义实验室新研究推出自适应规划的多模态检索智能体。 名叫OmniSearch，它能模拟人类解决问题的思维方式，将复杂问题逐步拆解进行智能检索规划。
围剿英伟达，数十万颗自研二代芯片超算在建！亚马逊祭出地表最强全家桶，多模态Nova击败GPT-4o。
AtomThink 是一个包括 CoT 注释引擎、原子步骤指令微调、政策搜索推理的全流程框架，旨在通过将 “慢思考 “能力融入多模态大语言模型来解决高阶数学推理问题。量化结果显示其在两个基准数学测试中取得了大幅的性能增长，并能够轻易迁移至不同的多模态大模型当中。