i人小助手：Meta推出多模态对话图，帮你轻松识别社交状态
i人小助手：Meta推出多模态对话图，帮你轻松识别社交状态近年来兴起的第一人称视角视频研究为理解人类社交行为提供了无法取代的直观视角，然而，绝大多数的既往工作都侧重于分析与摄像机佩戴者相关的行为，并未关注处于社交场景中其他社交对象的状态。
来自主题: AI技术研报
8674 点击 2024-06-10 15:02
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近年来兴起的第一人称视角视频研究为理解人类社交行为提供了无法取代的直观视角，然而，绝大多数的既往工作都侧重于分析与摄像机佩戴者相关的行为，并未关注处于社交场景中其他社交对象的状态。
近期，由清华大学自然语言处理实验室联合面壁智能推出的全新开源多模态大模型 MiniCPM-Llama3-V 2.5 引起了广泛关注
图像与视频合成、3D 视觉、人体行为识别、视觉与语言推理等研究方向论文最多，属于最热门的方向，体现当前学界对视觉生成、三维感知、人机交互等方向的高度重视。另外，多模态学习、以人为本的设计和自适应机器人可能构成人形机器人的未来。
最新版本大模型，6 分钱 100 万 Token。
只用强化学习来微调，无需人类反馈，就能让多模态大模型学会做决策！
多模态，已经成为大模型最重要的发展方向之一。
最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态 - 动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。
虽然多模态大模型都能挑西瓜了，但理解复杂文档方面还是差点意思。
Aya23在模型性能和语言种类覆盖度上达到了平衡，其中最大的35B参数量模型在所有评估任务和涵盖的语言中取得了最好成绩。
多模态大模型，也有自己的CoT思维链了！ 厦门大学&腾讯优图团队提出一种名为“领唱员（Cantor）”的决策感知多模态思维链架构，无需额外训练，性能大幅提升。