DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩
DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩基于 Diffusion Transformer（DiT）又迎来一大力作「Flag-DiT」，这次要将图像、视频、音频和 3D「一网打尽」。
来自主题: AI技术研报
8060 点击 2024-05-12 15:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
基于 Diffusion Transformer（DiT）又迎来一大力作「Flag-DiT」，这次要将图像、视频、音频和 3D「一网打尽」。
DeepMind新发布的AlphaFold 3是科技圈今天的绝对大热门，成为了Hacker News等许多科技媒体的头版头条。
在机器学习和计算机视觉中，让机器准确地识别和理解手和物体之间的交互动作，那是相当费劲。
如今的生成式AI在人工智能领域迅猛发展，在计算机视觉中，图像和视频生成技术已日渐成熟，如Midjourney、Stable Video Diffusion [1]等模型广泛应用。然而，三维视觉领域的生成模型仍面临挑战。
两天前，图灵奖得主 Yann LeCun 转载了「自己登上月球去探索」的长篇漫画，引起了网友的热议。
传统的 3D 重建算法需要不同视角拍摄的多张图片作为输入从而重建出 3D 场景。近年来，有相当多的工作尝试从单张图片构建 3D 场景。然而，绝大多数此类工作都依赖生成式模型（如 Stable Diffusion），换句话说，此类工作仍然需要通过预训练的生成式模型推理场景中的 3D 信息。
最近，扩散模型（Diffusion Model）在图像生成领域取得了显著的进展，为图像生成和视频生成任务带来了前所未有的发展机遇。尽管取得了令人印象深刻的结果，扩散模型在推理过程中天然存在的多步数迭代去噪特性导致了较高的计算成本。
纵观生成式AI领域中的两个主导者：自回归和扩散模型。 一个专攻文本等离散数据，一个长于图像等连续数据。 如果，我们让后者来挑战前者的主场，它能行吗？
提出图像生成新范式，从预测下一个token变成预测下一级分辨率，效果超越Sora核心组件Diffusion Transformer（DiT
Stable Diffusion数位核心开发者离职，紧接着该公司创始人、首席执行官Emad Mostaque宣布卸任相关职务，并表示未来将专注开发去中心化AI。如今更是有消息称，据Stability AI内部文件和数十位知情人士透露，该公司的现金储备已经枯竭。