Llama模仿Diffusion多模态涨分30%！不卷数据不烧卡，只需共享注意力分布
Llama模仿Diffusion多模态涨分30%！不卷数据不烧卡，只需共享注意力分布这次不是卷参数、卷算力，而是卷“跨界学习”——
来自主题: AI技术研报
7162 点击 2025-02-17 14:43
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
这次不是卷参数、卷算力，而是卷“跨界学习”——
梁文锋带领着DeepSeek，还在继续搅动大模型行业。继用R1模型炸场之后，1月28日凌晨，除夕夜前一晚，DeepSeek又开源了其多模态模型Janus-Pro-7B，宣布在GenEval和DPG-Bench基准测试中击败了DALL-E 3（来自 OpenAI）和Stable Diffusion。
在过去的两年里，城市场景生成技术迎来了飞速发展，一个全新的概念 ——世界模型（World Model）也随之崛起。当前的世界模型大多依赖 Video Diffusion Models（视频扩散模型）强大的生成能力，在城市场景合成方面取得了令人瞩目的突破。然而，这些方法始终面临一个关键挑战：如何在视频生成过程中保持多视角一致性？
DeepSeek大爆出圈，现在连夜发布新模型——多模态Janus-Pro-7B，发布即开源。在GenEval和DPG-Bench基准测试中击败了DALL-E 3和Stable Diffusion。
本文介绍了一篇由浙江大学章国锋教授和商汤科技研究团队联合撰写的论文《StarGen: A Spatiotemporal Autoregression Framework with Video Diffusion Model for Scalable and Controllable Scene Generation》。
近些年来，以 Stable Diffusion 为代表的扩散模型为文生图（T2I）任务树立了新的标准，PixArt，LUMINA，Hunyuan-DiT 以及 Sana 等工作进一步提高了图像生成的质量和效率。然而，目前的这些文生图（T2I）扩散模型受限于模型尺寸和运行时间，仍然很难直接部署到移动设备上。
北京大学等研究团队优化了Sdcpp框架，通过引入Winograd算法和多项策略，显著提升了图像生成速度和内存效率，最高可提速4.79倍。
近年来，随着 Stable Diffusion 等文本到图像生成模型的发展，这些技术使得在保留内容准确性的同时，实现出色的风格转换成为可能。这项技术在数字绘画、广告和游戏设计等领域具有重要的应用价值。
具备原生中文理解能力，还兼容Stable Diffusion生态。 最新模型结构Bridge Diffusion Model来了。 与Dreambooth模型结合，它生成的穿中式婚礼礼服的歪国明星长这样。
近年来，扩散模型（Diffusion Models）已成为生成模型领域的研究前沿，它们在图像生成、视频生成、分子设计、音频生成等众多领域展现出强大的能力。