当前主流的视觉语言模型（VLM）主要基于大语言模型（LLM）进一步微调。因此需要通过各种方式将图像映射到 LLM 的嵌入空间，然后使用自回归方式根据图像 token 预测答案。
来自主题: AI技术研报
7846 点击 2024-06-17 19:35
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
当前主流的视觉语言模型（VLM）主要基于大语言模型（LLM）进一步微调。因此需要通过各种方式将图像映射到 LLM 的嵌入空间，然后使用自回归方式根据图像 token 预测答案。
智源研究院公布大模型全家桶及全栈开源技术基座全新版图。
给人才充足的GPU，是很重要的！
今年年初发布的Mobile-Agent凭借强大的自动化手机操作能力，引起了AI界和手机厂商的广泛关注，仅5个月的时间就已在Github上收获了2,000个Star。
只要一个大模型，就能解决打工人遇到的表格难题！
GPT-4o再次掀起多模态大模型的浪潮。
近年来兴起的第一人称视角视频研究为理解人类社交行为提供了无法取代的直观视角，然而，绝大多数的既往工作都侧重于分析与摄像机佩戴者相关的行为，并未关注处于社交场景中其他社交对象的状态。
只用强化学习来微调，无需人类反馈，就能让多模态大模型学会做决策！
多模态，已经成为大模型最重要的发展方向之一。
最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态 - 动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。