尽管好莱坞正卷入涉及人工智能的持续劳工争议,但这项技术早在很久以前就已经渗透到电影和电视领域。在洛杉矶举行的SIGGRAPH大会上,算法和生成工具在无数的演讲和公告中得到了展示。或许我们还不知道GPT-4和Stable Diffusion等技术将如何融入其中,但制作的创意方面已准备好拥抱它们——前提是能以一种增强而非取代艺术家的方式进行。
SIGGRAPH并非一场关于电影和电视制作的会议,而是关于计算机图形和视觉效果的会议(已有50年历史了!),这些话题在近年来自然而然地越来越交叉重叠。
今年,罢工成了会场中不言而喻的话题,虽然在演讲和讨论中很少涉及到,但在派对和社交活动中,这几乎成了任何人的首要话题。即便如此,SIGGRAPH大会非常注重将技术和创意人才聚集在一起,我感受到的氛围是:“很糟糕,但与此同时,我们可以继续提升我们的技艺。”
对生产中使用人工智能会产生一系列问题的担忧确有其事,但肯定有点误导。像图像和文本模型这样的生成式人工智能取得了巨大的进步,人们担心它们会取代作家和艺术家。当然,影视制片公司的高管们曾提出过有害且不切实际的希望有巨大关系。他们希望通过使用人工智能工具来部分取代作家和演员。实际上,人工智能在电影和电视领域已经存在了相当长的时间,并且发挥着重要的驱动作用。
我在许多小组讨论、技术演示和采访中都讲到了这一点。探讨人工智能在视觉效果领域的历史也会很有趣,但就目前而言,以下是人工智能以各种形式在效果和制作工作的前沿展示的一些方式。
皮克斯的两场关于他们最新电影《元素》中使用的动画技术的演示就是一个早期的例子。这部电影中的角色比其他电影更加抽象,塑造一个由火、水或空气构成的人物并不容易。想象一下,将这些物质的分形复杂性编织成一个既能清晰地行动和表达,同时又能看起来“真实”的身体。
正如动画师和特效协调员一个接一个地解释的那样,程序生成是制作过程的核心,模拟和参数化构成数十个角色的火焰、波浪或蒸汽。手工雕刻和动画化每一个从角色身上飘出的微小火焰或云朵从来不是一个选项——这将会极其繁琐、劳动密集和技术性而非创意性的工作。
但正如演讲所清楚地表明的,虽然他们在创建所需效果时严重依赖于模拟和复杂的材质着色器,但艺术团队和过程与工程领域是深度交织在一起的。(为此,他们还与苏黎世联邦理工学院的研究人员合作。)
当然,动画师们对他们只是使用人工智能制作电影的想法很敏感,但事实并非如此。
“如果有人告诉你皮克斯使用人工智能来制作《元素》,那就错了,”皮克斯的保罗·坎纽克在演示中尖锐地说。“我们使用体积 NST 来塑造她的轮廓边缘。”
(需要明确的是,NST 是一种我们认为属于人工智能范畴的机器学习技术,但 Kanyuk 提出的观点是,它被用作实现艺术成果的工具——没有什么是简单的“用人工智能制造的”。 )
随后,动画和设计团队的其他成员解释了他们如何使用程序、生成或风格转移工具来完成诸如重新着色景观以适应艺术家的调色板或情绪板之类的事情,或者用从“英雄”变异而来的独特建筑填充城市街区。手绘的。明确的主题是人工智能和人工智能相关工具的存在是为了服务于艺术家的目的,加快繁琐的手动流程并提供与所需外观的更好匹配。
图片来自 Nimona,由 DNEG 制作动画。图片来源: DNEG
我从 DNEG 的高级人工智能研究员 Martine Bertrand 那里听到了类似的说法,DNEG 是一家视觉特效和后期制作机构,最近为出色且视觉效果令人惊叹的《妮莫娜》制作了动画。他解释说,许多现有的效果和制作流程都非常耗费人力,特别是外观开发和环境设计。(DNEG 还做了一个演讲,“程序主义与性能的结合”,涉及这些主题。)
“人们没有意识到在创作过程中浪费了大量的时间,”伯特兰告诉我。与导演一起寻找合适的镜头效果,每次尝试可能需要数周的时间,在此期间,不频繁或糟糕的沟通往往会导致这几周的工作被废弃。他继续说道,这令人难以置信,而人工智能是加速这一过程和其他过程的好方法,这些过程远非最终产品,而只是探索性和通用性的。
他说,艺术家使用人工智能来加倍努力“使创作者和导演之间能够进行对话”。外星丛林,当然——但像这样吗?或者像这样?神秘的山洞,就这样?或者像这样?对于像 Nimona 这样由创作者主导、视觉效果复杂的故事,获得快速反馈尤为重要。浪费一周时间渲染导演在一周后拒绝的外观,这是严重的制作延误。
事实上,正如Sokrispy 首席执行官 Sam Wickert 在一次演讲中所解释的那样,在预可视化等早期创意工作中,协作和交互性正在达到新的水平。他的公司的任务是为 HBO 的《最后生还者》一开始的疫情爆发场景进行预览——一个复杂的汽车“人”,有无数的群众演员、摄像机运动和效果。
虽然人工智能的使用在更基础的场景中受到限制,但很容易看出改进的语音合成、程序环境生成和其他工具如何能够并且确实为这个日益技术进步的过程做出了贡献。
最终镜头、动作捕捉数据、蒙版和由 Wonder Studio 生成的 3D 环境。图片来源: Wonder Studio
Wonder Dynamics在多个主题演讲和演示中被引用,提供了在生产中使用机器学习流程的另一个例子 - 完全在艺术家的控制下。先进的场景和物体识别模型可以解析正常的镜头,并立即用 3D 模型取代人类演员,这个过程曾经需要数周或数月的时间。
但正如他们几个月前告诉我的那样,他们自动化的任务并不是创造性的任务——而是艰苦的死记硬背(有时是机械式)劳动,几乎不涉及创造性决策。“这不会扰乱他们正在做的事情;它可以自动化 80-90% 的客观视觉特效工作,而让他们完成主观工作。”联合创始人尼古拉·托多罗维奇 (Nikola Todorovic) 当时说道。我在 SIGGRAPH 采访了他和他的联合创始人、演员 Tye Sheridan,他们很享受成为全镇的焦点:很明显,这个行业正在朝着他们几年前开始的方向发展。(顺便说一句,请来看看 Sheridan 在9 月份TechCrunch Disrupt 人工智能舞台上的表现。)
尽管如此,视觉特效界并没有忽视编剧和演员罢工的警告。事实上,他们呼应了他们的观点,而且他们的担忧是相似的——即使不是那么关乎存在。对于演员来说,一个人的肖像或表演(或者对于一个作家来说,一个人的想象力和声音)就是一个人的生计,而它被盗用和完全自动化的威胁是一个可怕的威胁。
对于制作过程中其他地方的艺术家来说,自动化的威胁也是真实存在的,而且更多的是人的问题而不是技术的问题。我采访过的许多人都同意,不知情的领导人做出的错误决定才是真正的问题。
“人工智能看起来非常聪明,你可以将决策过程交给机器,”伯特兰说。“当人类将自己的责任推给机器时,这就是可怕的地方。”
如果可以利用人工智能来增强或简化创作过程,例如减少花在重复性任务上的时间,或者使团队或预算较小的创作者能够与资源更好的同行相匹配,那么这可能会带来变革。但如果创意过程被借调给人工智能(一些高管似乎热衷于探索这条道路),那么尽管这项技术已经遍及好莱坞,但罢工才刚刚开始。
文章转载自techcrunch,作者德文·科尔杜威