搜索
在 HyperAI超神经联合出品的 COSCon’24 AI for Science 论坛中，来自清华大学电子工程系城市科学与计算研究中心的博士后研究员丁璟韬带来了深度分享，以下为演讲精华实录。
VQAScore是一个利用视觉问答模型来评估由文本提示生成的图像质量的新方法；GenAI-Bench是一个包含复杂文本提示的基准测试集，用于挑战和提升现有的图像生成模型。两个工具可以帮助研究人员自动评估AI模型的性能，还能通过选择最佳候选图像来实际改善生成的图像。
随着扩散生成模型的发展，人工智能步入了属于 AIGC 的新纪元。扩散生成模型可以对初始高斯噪声进行逐步去噪而得到高质量的采样。当前，许多应用都涉及扩散模型的反演，即找到一个生成样本对应的初始噪声。当前的采样器不能兼顾反演的准确性和采样的质量。
多模态模型，统一图像生成。
大型语言模型（LLM）的出现统一了语言生成任务，并彻底改变了人机交互。然而，在图像生成领域，能够在单一框架内处理各种任务的统一模型在很大程度上仍未得到探索。近日，智源推出了新的扩散模型架构 OmniGen，一种新的用于统一图像生成的多模态模型。
两位清华校友，在OpenAI发布最新研究—— 生成图像，但速度是扩散模型的50倍。 路橙、宋飏再次简化了一致性模型，仅用两步采样，就能使生成质量与扩散模型相媲美。
在NLP领域，研究者们已经充分认识并认可了表征学习的重要性，那么视觉领域的生成模型呢？最近，谢赛宁团队发表的一篇研究就拿出了非常有力的证据：Representation matters！
多项改进实现规模空前的连续时间一致性模型。
性能不输SOTA模型，计算开销却更低了——
是什么让纽约大学著名研究者谢赛宁三连呼喊「Representation matters」？他表示：「我们可能一直都在用错误的方法训练扩散模型。」即使对生成模型而言，表征也依然有用。基于此，他们提出了 REPA，即表征对齐技术，其能让「训练扩散 Transformer 变得比你想象的更简单。」