统一transformer与diffusion！Meta融合新方法剑指下一代多模态王者
统一transformer与diffusion！Meta融合新方法剑指下一代多模态王者本文引入了 Transfusion，这是一种可以在离散和连续数据上训练多模态模型的方法。
来自主题: AI技术研报
9786 点击 2024-08-25 12:39
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
本文引入了 Transfusion，这是一种可以在离散和连续数据上训练多模态模型的方法。
就在刚刚，Meta最新发布的Transfusion，能够训练生成文本和图像的统一模型了！完美融合Transformer和扩散领域之后，语言模型和图像大一统，又近了一步。也就是说，真正的多模态AI模型，可能很快就要来了！
以 GPT 为代表的大型语言模型预示着数字认知空间中通用人工智能的曙光。这些模型通过处理和生成自然语言，展示了强大的理解和推理能力，已经在多个领域展现出广泛的应用前景。无论是在内容生成、自动化客服、生产力工具、AI 搜索、还是在教育和医疗等领域，大型语言模型都在不断推动技术的进步和应用的普及。
微软Phi 3.5系列上新了！mini模型小而更美，MoE模型首次亮相，vision模型专注多模态。
随着大模型研究的深入，如何将其推广到更多的模态上已经成为了学术界和产业界的热点。最近发布的闭源大模型如 GPT-4o、Claude 3.5 等都已经具备了超强的图像理解能力，LLaVA-NeXT、MiniCPM、InternVL 等开源领域模型也展现出了越来越接近闭源的性能。
本期我们邀请到了 纽约大学计算机科学院博士 童晟邦 带来【多模态大模型：视觉为中心的探索】的主题分享。
现在，最强数学大模型，人人都可上手玩了！
4秒看完2小时电影，阿里团队新成果正式亮相——
大语言模型 (LLM) 经历了重大的演变，最近，我们也目睹了多模态大语言模型 (MLLM) 的蓬勃发展，它们表现出令人惊讶的多模态能力。 特别是，GPT-4o 的出现显著推动了 MLLM 领域的发展。然而，与这些模型相对应的开源模型却明显不足。开源社区迫切需要进一步促进该领域的发展，这一点怎么强调也不为过。
上海交通大学王德泉教授课题组在最新研究中提出了这样的一个问题。