扩散模型也能推荐短视频！港大腾讯提出新范式DiffMM
扩散模型也能推荐短视频！港大腾讯提出新范式DiffMM想象一下你在刷短视频，系统想要推荐你可能会喜欢的内容。
来自主题: AI技术研报
8776 点击 2024-07-07 13:56
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
想象一下你在刷短视频，系统想要推荐你可能会喜欢的内容。
只需Image Tokenizer，Llama也能做图像生成了，而且效果超过了扩散模型。
事实证明，扩散模型不仅能用于生成图像和视频，也能用于合成新程序。
超越扩散模型！自回归范式在图像生成领域再次被验证——
3D场景理解让人形机器人「看得见」周身场景，使汽车自动驾驶功能能够实时感知行驶过程中可能出现的情形，从而做出更加智能化的行为和反应。而这一切需要大量3D场景的详细标注，从而急剧提升时间成本和资源投入。
在生成式模型的迅速发展中，Image Tokenization 扮演着一个很重要的角色，例如Diffusion依赖的VAE或者是Transformer依赖的VQGAN。这些Tokenizers会将图像编码至一个更为紧凑的隐空间（latent space），使得生成高分辨率图像更有效率。
从任意单目视频重建可渲染的动态场景是计算机视觉研究领域的一个圣杯。
拯救4bit扩散模型精度，仅需时间特征维护——以超低精度量化技术重塑图像内容生成！
语言将是获得更智能系统的重要组成部分。
在三维生成建模的研究领域，现行的两大类 3D 表示方法要么基于拟合能力不足的隐式解码器，要么缺乏清晰定义的空间结构难以与主流的 3D 扩散技术融合。来自中科大、清华和微软亚洲研究院的研究人员提出了 GaussianCube，这是一种具有强大拟合能力的显式结构化三维表示，并且可以无缝应用于目前主流的 3D 扩散模型中。