"毒液"AI宣传片惊艳刷屏,导演杨晟与Vidu揭秘幕后细节!

极客电影 2024-11-05 11:21:24

文| 刘澍

这是好莱坞“五大”首次在华拥抱AI,不仅自破了曾经公开抵制AI的宣言,而且扶持了本土创作者和技术公司,是全球头部电影公司合作国内科技文化人才和成果的一次成功尝试。

泼墨成画,万物皆可毒药。

随着一点墨迹晕染整个屏幕,毒液以自由灵动之姿变幻为战马、鱼、鹤等形态,肆意穿梭于海陆空,更能化身“毒液孔明灯”露出顽皮笑容,最后以本姿态落在中式楼阁的屋顶上,傲视周围。

10月23日,正值《毒液:最后一舞》登陆全国院线,索尼电影官微发布了一支由AI制作的水墨风宣传片,引发了业内外的剧烈热议。

 

△ 《毒液:最后一舞》水墨风获网友好评

一方面在内容画面维度,众人惊叹于AI创作的精细度和丝滑度,另一方面在行业趋势维度,这是好莱坞“五大”首次在华拥抱AI,不仅仅只是制作了一部好看的预告片,而且帮助了本土创作者和技术公司,是全球头部电影公司合作国内科技文化人才和成果的一次成功尝试。

日前,基于这支AI宣传片,极客电影独家专访了视频的幕后核心——导演杨晟和北京生数科技有限公司(以下简称:生数科技)产品总监张旭东,邀请他们各自从内容和技术的角度,分享了宣传片的制作过程、相关难点和所用的AI模型Vidu,以及AI应用于影视行业的趋势观点。 △ 杨晟导演

 △ 北京生数科技有限公司产品总监张旭东

01 合规之内,AI支持和增强创意实现:

索尼对AI的支持态度体现在尊重艺术家的需求,而不是强加功能或限制。

杨晟直言,AI宣传片是索尼、生数科技和他自己三方碰撞出来的结果。

最开始,索尼的要求是制作一支足够具有东方元素和中国特色的视频,但是不能透露太多剧情,方式则不限定。

这显然是一个开放性命题,给了艺术家很大空间,杨晟很兴奋。

作为索尼重点扶持的导演,他认为索尼更深层次的想法是:内容本身优质之外,制作方式也要走在行业前沿,产生广泛的影响力。

就此,杨晟选择联合生数科技,共同完成命题。

生数科技是一家成立于2023年3月的新兴科技公司,核心成员来自清华大学人工智能研究院,其自研的AI模型Vidu是国内首个长时长、高一致性、高动态性的视频大模型,支持文生视频、图生视频、主体参照等功能,这次的AI宣传片即由艺术家与Vidu合作执行。

 

△ Vidu

据杨晟透露,索尼曾专门派人到生数科技,用一张2018年出圈的水墨风海报去检验Vidu的能力。

现场,张旭东演示了数个版本的效果,得到了索尼的认可,合作得以继续推进。

特别要提的是,考虑到合规性,索尼直接购买了艺术家与杨晟团队所使用的200余张水墨风原稿,然后再授权给杨晟团队基于Vidu创作。”

简言之:承制方创作画稿→索尼购买画稿→索尼授权画稿→承制方使用画稿生成视频→索尼验收并发布。

整个流程类似于动画制作,而且是结合了日式和欧美式的动画生产方式,形成了一种新的工作流。

使用的过程里,Vidu相当于摄影机、手机、PS或者Premiere,是创意实现的高效生产力工具。

这样一来,索尼获得了所需的创意效果,承制方则得到了实际操作的空间和自由度。

不过相关过程并非一蹴而就,在实际执行环节里,杨晟与生数科技曾遇到过一个巨大挑战,即艺术家与AI 技术人员在创作逻辑、主观审美和工作方式等方面的理解差异。

对比来说,技术人员可能更注重技术和流程,而艺术家更注重创意和表现。

对于这种差异,转译工作就显得尤为重要。杨晟和张旭东正式担任了这种角色。

张旭东回忆,开始他不能对齐艺术家的需求和标准,比如什么样的效果是导演更想要的。直到资深动画导演凯伦坐在工位旁,从艺术的角度下讲解后,他逐渐理解了导演的艺术偏好,并和内部美学专家讨论后,转译成相应的指令输入给模型。

Vidu 作为一个通用模型,能够理解和表达很多风格,但如何写出合适的 prompt 和生成模型进行“沟通”,调动起模型的能力来生成出艺术家想要的东西,确实需要懂模型技术的人和艺术家来共同完成。

△ Vidu参考文森特·梵高《星月夜》生成的视频

双方深入沟通理解后,自然会促进效能快速提升,张旭东分享到,根据策划和原稿,Vidu仅用半个工作日就生成了上千支视频,供给艺术家挑选和优化,再从中选出最优质的作品。

这种合作模式使得双方都能充分发挥各自优势,极大节省了时间成本,提高了工作效率和产出效率,实现了高效率和高质量的创意实现。

02 AI大模型Vidu:节省近90%的后期投入

用传统影视的方式,制作一支30s的预告片大约需要30天,但是用Vidu只需要10个工作日。

谈及应用的技术原理,张旭东介绍,在图生视频之外,Vidu的首尾帧功能同样对《毒液:最后一舞》的生成起到了重要作用。

这种作用特别体现在IP图像的一致性上,比如经常会看到这样一种AI创作的情景,一个老爷爷牵着小女孩过马路,一辆车驶过,下一秒老爷爷换了一个人。

首尾帧功能正好能尽力降低偏差率,以开头和结尾的图片约束和纠正影像细节,让IP图像前后高精度一致。

众所周知,索尼在IP图像上有严谨的要求,一丝一毫都不能有差错,而Vidu有效避免了图变bug,这是国内AI技术的一大进步,也是AI应用于影视IP的重大突破口。

张旭东进一步表示,基于模型的不断升级,当下Vidu的一键生成视频能力可以极大简化短片的制作流程,同步显著提升相关生产效率。

制作同样一支宣传片,对比传统影视的投入,Vidu节省了近90%的后期投入,驱动总体的时间效率提升3倍。

数据规格上,Vidu能够同时支持中英文指令输入;时长方面,模型最长可支持一键32s视频的生成,产品端开放了4s/8s的视频时长;画面质感方面,最高可输出1080p分辨率。

张旭东还提到了Vidu未来的升级方向,他们起了一个名为“参考生视频”的概念,希望Vidu可以参考相对多的物体,现在它能够参考单个物体,例如用一双鞋,模拟人穿鞋在月球上,生成一支广告片;或者提供一个“怪兽”的形象,安排怪兽做一些事情,都能保持很好的一致性。

△ Vidu产品中的“参考生视频”功能

未来,据生数科技介绍,Vidu也将补充风格参考能力,提升生成视频的品质感和艺术性,并且在同种风格呈现中,同并保持人物、场景、道具等多个物体的一致性。

另外,张旭东和杨晟还提到,Vidu的设计也能启发艺术家,提供超出预期的创作新思路。

在《毒液:最后一舞》的宣传片里,中式楼阁就是典型案例。

本来只是给了Vidu一个很大概的想法,做一个中式屋顶,但是Vidu既做出了合理性的补全预测和3D模型,也自动生出了很惊艳的运镜和各类细节。

△ 《毒液:最后一舞》AI宣传片的“神运镜”

值得说明一点,对于这支宣传片,区别于绝大多数AI模型,Vidu的主要指令不是提示词,而是首尾帧图像。

这能更直观地表达创作意图,减少误解,可以让承制方更好地控制视频的质量和效果。

03 艺术家,只有跟科技公司结合才有未来

我们都在说影视工业化,真的到了那一天,就是创作者和科技公司紧密协作。宣传片的艺术家团队都说,只有跟科技公司结合才有未来。

就在索尼发布AI宣传片的同期,全球影视行业亦传来两大重磅消息。

一个是大导演詹姆斯·卡梅隆(James Cameron)官宣加入Stability AI公司,这家公司的开源模型Stable Diffusion在图像生成领域有着举足轻重的地位。

△ 詹姆斯·卡梅隆加入Stability AI公司

詹姆斯·卡梅隆,面对生成式AI技术的崛起,他看到了AI与影像创作交汇的巨大潜力。

这两种完全不同的创作引擎的融合,将为艺术家开启全新的讲故事方式,这是他们从未想象过的。

另一个是张艺谋谈执导《三体》,他直言,网友的正向或负向评价,他都接受,这会倒逼团队创新视听表达。

△ 张艺谋执导《三体》

他已经精选十余位AI人才,组成AI小组,将运用“中国制造”的新科技、新观念开展创作。

随着詹姆斯·卡梅隆和张艺谋的公开支持,影视行业将会加速AI应用的进程。反之,这也会驱动AI科技公司快速精进技术,全球范围内皆是如此。

就现在的AI水平,张旭东和杨晟说到,如果将AI模型的发展阶段比作电影学院的学生,ChatGPT3.5相当于初中生,可以理解部分内容;GPT4相当于研究生,思考较为全面;OpenAI o1则更进一步,具有独特的思维方式。

而随着应用案例和经验愈多,AI 的“学历”将更高。

现在,AI能够记住更多的专业词汇,理解并执行复杂的微调任务,如3D动态故事板着色;

其学习能力使得它在不同场景中的应用更加灵活,可以根据具体需求进行定制化训练,从而提高工作效率和效果。

通过AI的这些能力,可以降低对上层构造数据的训练难度,使整个流程更加智能化和高效。

细分到镜头运动,AI通过学习和训练,能够理解和应用镜头运动的基本原理,如推拉摇移等,从而提升视频的视觉效果。

以及,通过对大量电影和视频的分析,AI能够学习到镜头运动的基本规律,并在实际应用中加以运用。

△ Vidu生成的俯视视角视频

△ Vidu生成的第一人称视角视频

这种对镜头运动的理解和应用,使得AI在视频制作中的应用更加广泛和深入,提升了整体的视觉体验和艺术效果。

而鉴于AI模型规模的扩大和技术的升级,其性能和应用范围将得到进一步提升。

未来,AI模型有望在更多领域发挥作用,如绿幕特效、视频补全等,这会更大地降低视频制作的难度和成本,更快速地提高创作效率。

然而,尽管效能在一直升级,但是现阶段AI并不能完全替代人类的创造性劳动,而是作为辅助工具存在。

许多人错误地认为AI可以直接生成商业化的内容,但实际上,生成的内容需要经过一系列的加工和优化,才能达到最终的商业标准。

毕竟,艺术作品的评价往往依赖于人的主观感受。

但不能否认,按照这样的趋势,AI将拓宽创作者的门槛,同时也提高了对艺术家的要求,它更重要地强调了艺术创作力的重要性,会让强者会变得更强大。

预计在未来,AI能够帮助更多有创意的人实现他们的想法,诞生更多优秀的作品。

感谢【故事接龙StoryStorm】友情支持。

0 阅读:1