语言是离散的，所以适合用自回归模型来生成；而图像是连续的，所以适合用扩散模型来生成。在生成模型发展早期，这种刻板印象广泛存在于很多研究者的脑海中。
块离散去噪扩散语言模型（BD3-LMs）结合自回归模型和扩散模型的优势，解决了现有扩散模型生成长度受限、推理效率低和生成质量低的问题。通过块状扩散实现任意长度生成，利用键值缓存提升效率，并通过优化噪声调度降低训练方差，达到扩散模型中最高的预测准确性，同时生成效率和质量优于其他扩散模型。
大语言模型长序列文本生成效率新突破——生成10万Token的文本，传统自回归模型需要近5个小时，现在仅需90分钟！
近年来，大语言模型（LLMs）取得了突破性进展，展现了诸如上下文学习、指令遵循、推理和多轮对话等能力。目前，普遍的观点认为其成功依赖于自回归模型的「next token prediction」范式。
消失一天后的Aurora，正式上线了。一大早，马斯克官宣了Grok集成了自研图像新模型Aurora，MoE架构自回归模型，直接将生成编辑能力一统。在人物肖像生成上，已经逼真到肉眼无法辨别。
随着计算机视觉领域的不断发展，自回归模型作为一种强大的生成模型，在图像生成、视频生成、3D 生成和多模态生成等任务中展现出了巨大的潜力。然而，由于该领域的快速发展，及时、全面地了解自回归模型的研究现状和进展变得至关重要。本文旨在对视觉领域中的自回归模型进行全面综述，为研究人员提供一个清晰的参考框架。
自回归方法，在图像生成中观察到了 Scaling Law。 「Scaling Law 撞墙了？」这恐怕是 AI 社区最近讨论热度最高的话题。
何恺明入职MIT副教授后，首次带队的新作来了！
纵观生成式AI领域中的两个主导者：自回归和扩散模型。 一个专攻文本等离散数据，一个长于图像等连续数据。 如果，我们让后者来挑战前者的主场，它能行吗？
大模型能否理解自己所说，Hinton和LeCun再次吵起来了。LeCun新论文证明，GPT-4回答问题准确率仅为15%，自回归模型不及人类。AI大佬的激战再次掀起。Hinton在线直接点名LeCun，说他对AI接管风险的看法对人类的影响微乎其微。 这意味着，他把自己的意见看得很重，而把许多其他同样有资格的专家的意见看得很轻
