视频生成模型变身智能体：斯坦福Percy Liang等提出VideoAgent，竟能自我优化
视频生成模型变身智能体：斯坦福Percy Liang等提出VideoAgent，竟能自我优化现在正是「文本生视频」赛道百花齐放的时代，而且其应用场景非常多，比如生成创意视频内容、创建游戏场景、制作动画和电影。
来自主题: AI技术研报
3777 点击 2024-10-20 16:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
现在正是「文本生视频」赛道百花齐放的时代，而且其应用场景非常多，比如生成创意视频内容、创建游戏场景、制作动画和电影。
腾讯 AI Lab 联合中科大发布了一份针对类 SORA 视频生成模型的测评报告，重点聚焦目前最前沿的类 SORA DiT 架构的高质量视频生成闭源模型
是什么让纽约大学著名研究者谢赛宁三连呼喊「Representation matters」？他表示：「我们可能一直都在用错误的方法训练扩散模型。」即使对生成模型而言，表征也依然有用。基于此，他们提出了 REPA，即表征对齐技术，其能让「训练扩散 Transformer 变得比你想象的更简单。」
来自约翰斯·霍普金斯大学和腾讯AI实验室的研究人员推出了EzAudio，这是一种新的文本到音频（T2A）生成模型，承诺以前所未有的效率从文本提示中生成高质量的音效。这一进步标志着人工智能和音频技术的重大飞跃，解决了人工智能生成音频中的几个关键挑战。
视频生成模型大乱斗
自去年以来，文本到图像生成模型取得了巨大进展，模型的架构从传统的基于UNet逐渐转变为基于Transformer的模型。
面对以 Sora 为代表的各种「后辈」视频生成模型的冲击，Pika 迟迟没有大的版本更新。
要论最近最火的AI视频生成模型，无疑就属字节豆包了。
3D生成也能支持检索增强（RAG）了。
近期，来自字节跳动的视频生成模型 Loopy，一经发布就在 X 上引起了广泛的讨论。Loopy 可以仅仅通过一张图片和一段音频生成逼真的肖像视频，对声音中呼吸，叹气，挑眉等细节都能生成的非常自然，让网友直呼哈利波特的魔法也不过如此。