可信度超越GPT-4V，清华&面壁揭秘「小钢炮」模型背后的高效对齐技术
可信度超越GPT-4V，清华&面壁揭秘「小钢炮」模型背后的高效对齐技术近期，由清华大学自然语言处理实验室联合面壁智能推出的全新开源多模态大模型 MiniCPM-Llama3-V 2.5 引起了广泛关注
来自主题: AI技术研报
10244 点击 2024-06-09 17:56
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近期，由清华大学自然语言处理实验室联合面壁智能推出的全新开源多模态大模型 MiniCPM-Llama3-V 2.5 引起了广泛关注
图像与视频合成、3D 视觉、人体行为识别、视觉与语言推理等研究方向论文最多，属于最热门的方向，体现当前学界对视觉生成、三维感知、人机交互等方向的高度重视。另外，多模态学习、以人为本的设计和自适应机器人可能构成人形机器人的未来。
最新版本大模型，6 分钱 100 万 Token。
只用强化学习来微调，无需人类反馈，就能让多模态大模型学会做决策！
多模态，已经成为大模型最重要的发展方向之一。
最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态 - 动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。
虽然多模态大模型都能挑西瓜了，但理解复杂文档方面还是差点意思。
Aya23在模型性能和语言种类覆盖度上达到了平衡，其中最大的35B参数量模型在所有评估任务和涵盖的语言中取得了最好成绩。
多模态大模型，也有自己的CoT思维链了！ 厦门大学&腾讯优图团队提出一种名为“领唱员（Cantor）”的决策感知多模态思维链架构，无需额外训练，性能大幅提升。
AI能够帮助我们给产业提供更好的产品和服务，同时生长出来的合成数据服务反哺到AI，能够让AI产生更大的加速度。