ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
OpenAI颠覆导演!首批7个Sora超现实大片震惊好莱坞
2774点击    2024-03-26 14:06
Sora再次给全世界带来亿点点震撼!首批导演、艺术家们与Sora合作的视频短片出炉了。谈及初印象,他们盛赞Sora能把不可能的想法带入现实,最惊艳的是还可以创造完全超现实的内容。


Sora给好莱坞的震撼,就在刚刚变成了现实!


几天前,「OpenAI正在向好莱坞推销Sora」的消息才刚刚传出。



而今天一早,首批拿到Sora授权的导演、艺术家们,就已经公开自己创作的最新短片了。堪称神速!


OpenAI为之配文——Sora初印象。



Hollywood,果然一夜之间变Sorawood。



OpenAI联创Greg转发了最经典的一个励志小短片——气球人。



有网友称,「Sora会把每个人都变成Steven Spielberg,它将永远颠覆好莱坞」!



还有人表示,「我的初步收获是:(人类)创意方向是关键,而Sora的魔力在于将超现实带入生活。我们是否正在进入下一个新达达主义时代」?



Sora最新短片,究竟有多震撼?


我们来一一感受下。


害羞的孩子:「气球人」鸡汤短片


第一部是关于「气球人」的励志故事短片。


仅用1分21秒向人们传递了满满的正能量——「每个人都有那么一点儿独特之处,让他们与众不同」。


镜头场景由小拉大,一位男子慢慢走向自行车,骑着车走在路上,直到视频20秒的时,才看到男子的完整形象——「气球人」。



接下来视频中,讲述了气球人生活面对的一些挑战。


比如,「有一次,女朋友非让他去仙人掌店,给叔叔Jerry挑一份结婚礼物」。


正是「气球人」的身份,让他拥有了看世界不同视角的机会。


视频后半部分,是气球升空后,随风飘到世界各个地方去看、去听、去感受。


整个短片看下来,完全是一碗鸡汤,告诉我们「异」是上天赋予每个人的礼物,要积极面对生活。



值得一提的是,背后创作者来自一家多媒体制作公司(总部设在多伦多)的三人团队:Walter Woodman、Sidney Leeder和Patrick Cederberg。


他们分享道,「我们现在有能力扩展我们曾经认为不可能实现的故事」。


导演Walter表示,「尽管Sora在生成看似真实的事物方面表现出色,但真正让我们兴奋的是它创造完全超现实事物的能力。这是抽象表现主义的新时代」。


「来自世界各地的人们,有故事急于倾诉的人们,终于有机会向世界展示他们的内心世界了」。



金色唱片:从地球原材料,到人类生活的时间胶囊


下面是由导演Paul Trillo生成的短片。他也曾是Runway Gen-2放出之后,首批用户。


整体采用了快镜头的方式,以金属人的视角探索世界。


从海底,到现实世界商店、图书馆、金字塔、悬崖,再到接近混沌的世界,还配上了动感的音乐。



Paul Trillo是一位才华横溢的多领域艺术家、作家及导演,他的作品曾受到《滚石》和《纽约客》等知名媒体的高度评价。


他已经荣获19次「Vimeo Staff Picks」奖项,这是对Vimeo平台上最优秀短片的一种认可。


Paul表示,「与Sora合作,我第一次感觉到作为电影人的自我释放。不再受时间、资金或他人许可的限制,我能够自由地探索和尝试,以大胆和创新的方式进行创作」。


他的实验性视频作品,正体现了这种创作理念。


只有你不再简单复制旧的东西,而是创造新颖且不可能的想法时,Sora的能力才能得到最大发挥,让我们有机会见证那些原本无法实现的创意。


就在刚刚,Paul又放出了自己与Sora合作的最新短片——「金色唱片」,也算是接上一个短片的续作。


这个纪录片描述了,从地球的原材料到人类地球生活的时间胶囊。


Paul表示,制作过程是是把Sora生成的11个不同片段剪辑在一起。



网友评论道,「关于控制/保留率,你有什么可以分享的吗」?


Paul表示,「现在还不能说太多,但我可以说,它的功能与众不同,我尽了最大努力去打破它的美学风格」。



「异种生物」纪录片:飞猪来了!


再来看看,这个堪称史诗级「动物纪录预告片」。


各种你没有见过的异种生物,Sora仅凭想象,都造出来了。



猫有着鱼一样的尾巴、长颈鹿有着鹤一样的下半身、鲨鱼突然多出了与章鱼一样的触角、蜜蜂有着马头。


还有二师兄也变成了「飞猪」。


视频中,简要介绍了从第一集,到第八集,分别将要深入带你了解的异种动物。



背后的创作者Don Allen III是一位跨领域的艺术家、演说家和顾问,曾在梦工厂动画(DreamWorks Animation)开启了他的职业路程。


他曾与众多科技和娱乐巨头合作,探索混合现实、虚拟现实和AI的应用领域。


「我一直在创造增强现实中的异种生物,这些在我脑海中构思的有趣组合,现在可以更轻松地原型化,然后再将这些3D角色完整地构建并置于空间计算机中」。


Don提到,Sora非同寻常是其最大的优势,它不受常规物理规律或传统思维方式的限制。


他表示,通过与Sora的合作,他的创作重心从「技术难题转向了纯粹的创意……开启了即时可视化和快速原型设计的新世界」。


同时,Don也表示,「这让我能够更专注地投入时间和精力在更重要的地方……以及我期望我的角色所传达的情感深度」。


梦幻美人鱼


大海中3位「美人鱼」的短片,简直让人惊吓下巴。


他们身上透明,斑斓的鳞片,在太阳照射下,给人一种如梦如幻般的感觉。



Josephine Miller是伦敦Oraar Studio的联合创始人及创意总监。该工作室专注于3D视觉、增强现实和数字时尚的设计。


「Sora让我能够实现多年来一直梦想,但技术上无法实现的创意」。


「这种快速将想法以高品质进行创意概念化的能力,不仅对我的创作过程构成了挑战,也促使我在讲故事的艺术上不断改进。Sora让我能够在更少的技术限制下,将想象力转化为现实」。


用AI探寻人性


艺术家Alexander Reben在过去十年,深入到了一项独特的探索中:通过AI挖掘人性中的幽默与荒谬。


他还手动将AI生成的图像转换成三维模型,并将这些模型具象化于现实世界中,创造出一系列雕塑作品。


而下面的视频中,通过与Sora的合作,Alexander实现了各种3D立体雕塑的艺术生成。



他表示,「我尝试使用Sora作为开拓3D雕塑的新起点。我开始对摄影测量学(一种通过照片测量物体的技术)及其在雕塑中的应用前景深感兴趣。特别是,将视频转化为3D模型的可能性激发了我的好奇心,这不仅仅是技术上的突破,更暗示着将AI的应用推向一个全新的维度」。


人类寄给外星人的地球名片


下面这则视频讲述的是人类与外星人的第三类接触。


开篇就是一个钻石在旋转。



随后出现的这个画面,概念与「旅行者」号寄给外星人的地球名片非常类似。




它是由身兼音乐家、研究员、创意活动家及多学科艺术家多重身份的August Kamp制作。



August解释道,「Sora对我来说是一个历史性的转折点。作为一个艺术家,我的视野一直受到想象力和实际条件之间矛盾的限制,得以如此直观地打造和改进电影级视觉效果,我感觉自己踏入了艺术的全新领域...我真的非常期待,随着这些工具的发展,将会出现哪些新的故事讲述方式」。


多元素组合


再来看看另一家创意机构Native Foreign制作的短片。


这个视频是由修钟人,上个世纪大城市街景,酒吧喝酒男子对女子一见钟情,海洋上浮起一辆汽车等多个元素组成的内容。



总部位于加州洛杉矶Native Foreign,是一家获得艾美奖提名的创意机构。


它因擅长品牌故事讲述、动效和标题的设计,以及先进的生成式AI工作流程而闻名。


联合创始人Nik Kleverov正利用Sora将「概念可视化」,并为品牌合作伙伴快速迭代创意。


他认为,创意的叙述不再受预算的严格限制。


「我是那种喜欢用动态思维来思考的创意工作者,因此在使用Sora时,我深感任何创意都能变成现实」。


Sora模型成本猜测


虽然以上这些测试效果的确惊艳,但所要花费的成本,却是难以想象的高昂。


最近的一篇来自Factoral Funds的报道中,估算了Sora模型在训练和推理时的成本。



文章highlight中介绍:


- Sora训练需要大量的计算资源,预计需要4211——10528个H100 GPU运行一个月 


- 推理成本:一个H100 GPU大约,每小时能生成5分钟的视频。 


训练计算估算:从DiT到Sora的推算


根据OpenAI的报告,虽然可以获取Sora的详细信息有限,但可以基于DiT(Diffusion Transformers)论文的数据,将Sora看作是DiT在视频生成方面的扩展。


DiT-XL模型有675M参数,使用了大约1021 FLOPS的总计算量,相当于大约0.4 Nvidia H100运行一个月(或12天使用一台H100)。


- 计算乘数:假设视频以24fps编码,1分钟的视频包含1440帧。考虑到Sora的空间和时间压缩,如果按DiT论文的8倍压缩率,就可以得到180帧在潜在空间中的表示。



因此,相较于DiT处理图像,处理视频的计算量至少增加了180倍。


- 模型大小和数据集:估计Sora的模型参数数量远超675M。如果假设一个20B参数的模型,相对于DiT,计算需求增加了30倍。此外,Sora训练的数据集比DiT大很多倍,增加了数据集规模的乘数4-10倍。


综合考虑,因此得出Sora训练所需的计算量。


推理与训练计算


推理与训练计算比较:训练计算是一次性的大量计算,而推理计算虽然较小,但随着模型的广泛应用,会被频繁调用。



平衡点是指花费在推理上的计算量超过训练所需计算量的时刻。


基于DiT到Sora的推算,Sora每生成一段视频的计算成本约为708×10^15 FLOPS,相当于每个H100 GPU大约能每小时生成5分钟视频。


在生成15.3M到38.1M分钟视频后,推理计算将超过训练计算。


根据估算,YouTube每天上传的视频量约为43M分钟,Sora这个平衡点在实际应用中很快就会达到。


好莱坞浅试一把AI,观众先骂开了


显然,不会用Sora的影视从业人员,是真的要out了。



OpenAI此前就早已向好莱坞发起攻势,鼓励电影制作人在新拍摄的电影中用上Sora。


但此前,对于打翻自己饭碗的AI,众多好莱坞导演、编剧、演员显然是不满意的,他们曾发动多次罢工。


且不说好莱坞对于Sora的态度,观众们对电影中的AI是否买账呢?


在最近的电影《魔鬼深夜秀》中,就已经出现了AI创作的画面——「骷髅跳舞」。


这些画面会在电影虚构的电视直播中,作为广告播放。



对此,愤怒的观众们纷纷发起控诉。


对此,已经有观众打出了一星评论——「到处都是AI,不要让这成为开始,否则我们的娱乐中会充斥着狗屎。」


还有观众表示对于这部电影非常失望,号召大家不要为它花钱。



在他的留言区,有人劝他冷静:「这只是电影中一个小元素,我们没必要因此抵制整部电影,否定所有人的辛勤劳动。」



随着争议和争吵声越来越大,编剧、导演卡梅隆和科林不得不发表澄清——


感谢出色的图形和制作团队,为电影赋予了我们想要的70年代美学。其中三张静态图片,我们对其进行了进一步编辑,它们最终在电影中以非常简短的插页式广告出现。

另一部漫威电影《秘密入侵》,开场画面是用AI创作的。


在这段画面里,一艘气势磅礴的宇宙飞船来到了地球,随着绿色的云层在城市上空不详地盘旋,人类面孔变成了斯克鲁人。



当然,AI的画面也有漏洞,比如Samuel L. Jackson的脸部不太准确,伦敦天际线有两个大本钟。


同样,这也受到了观众的强烈抵制。



而《真探:夜之国》的背景海报,也因为疑似AI生成被许多观众炮轰。



看起来,让好莱坞真正拥抱AI,还有一段时间。


本文来源于公众号新智元,作者新智元编辑部


















01:2




关键词: openai , sora , AI , AI视频 , Runway Gen-2
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI工作流

【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。

项目地址:https://github.com/n8n-io/n8n

在线使用:https://n8n.io/(付费)


【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。

项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file



【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。

项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用:https://vectorvein.ai/(付费)

2
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales