
剑指Sora!120秒超长AI视频模型免费开玩
剑指Sora!120秒超长AI视频模型免费开玩120秒超长AI视频模型来了!不但比Sora长,而且免费开源
120秒超长AI视频模型来了!不但比Sora长,而且免费开源
去年 4月, 生成式 AI在国内热度正盛的时候,毒眸造访了几家 AI公司, 创业者们对于 AI的态度是大胆、积极和乐观的。
近年来,LLM 已经一统所有文本任务,展现了基础模型的强大潜力。一些视觉基础模型如 CLIP 在多模态理解任务上同样展现出了强大的泛化能力,其统一的视觉语言空间带动了一系列多模态理解、生成、开放词表等任务的发展。然而针对更细粒度的目标级别的感知任务,目前依然缺乏一个强大的基础模型。
谷歌发布了一个新的视频框架:只需要一张你的头像、一段讲话录音,就能得到一个本人栩栩如生的演讲视频。
以上效果来自一个新的图生视频模型Follow-Your-Click,由腾讯混元、清华大学和香港科技大学联合推出。任意一张照片输入模型,只需要点击对应区域,加上少量简单的提示词,就可以让图片中原本静态的区域动起来,一键转换成视频。
在 2024 世界经济论坛的一次会谈中,图灵奖得主 Yann LeCun 提出用来处理视频的模型应该学会在抽象的表征空间中进行预测,而不是具体的像素空间 [1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征,
谷歌DeepMind、UC伯克利和MIT的研究人员认为,如果用大语言模型的思路来做大视频模型,能解决很多语言模型不擅长的问题,可能能更进一步接近世界模型。
根据 OpenAI 披露的技术报告,Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式,并通过 Transformer 和扩散模型结合,展现了卓越的扩展(scale)特性。
这两天,Sora横空出世让字节也跟着上了热搜。有传言称,字节跳动在Sora引爆文生视频赛道之前,已经研发“中文版Sora”:一款名为Boximator的创新性视频模型。紧接着,字节快速辟谣,积极否认。
谷歌Research Lead,负责VideoPoet项目的蒋路,即将加入TikTok,负责视频生成AI的开发。