不搭景、不用屏、无后期,2天能速成科幻大片的虚拍系统,是真的!

影视独舌 2024-04-06 11:05:06

是导演也是工程师,是“车库”影棚也是AI虚拍系统研发基地,公司贴满影视海报但员工几乎一水儿的程序员……

来到图拉古作为创始人的公司天图万境,第一印象跟见到他本人时很相似——跨界。

尽管在对国内XR技术和AIGC内容赛道稍作了解,便会知道天图万境公司的“独角兽”地位,但作为一个剧集行业观察者,对图拉古和天图万境产生浓厚兴趣还是因为今年3月底,首都电视节目春推会的圆桌论坛。

在那场以“新质生产力”为关键词的行业对谈中,图拉古与一众著名导演、编剧、学者,和制片人同台。

因为是影视内容行业的“堂会”,“技术派”导演图拉古的发言机会有限。但他总结的三个观点锋芒毕露,让现场所有对虚拟制作感兴趣的从业者都精神一振。

他的表达逻辑非常清晰:

第一,所有LED虚拍都是中间产物,将在三到五年之内消退成非主流;

第二,所有的AI感知虚拟制片将会成为兼并空间计算的脱形态;

第三,AI创意时代,电影生产和剧集生产开启去中心化创作的新生态。

这三个观点看上去很“冷感”,实则很有挑战性。

目前,主流长视频平台配置的最先进虚拍棚,采用的都是LED虚拟拍摄技术。就是这套技术,愿意用并且会用的制作团队,在业内都屈指可数。

现在,来了一个不知道是导演还是工程师的跨界者,上来先革了LED虚拍的命,接着又说自己专注研发的AI感知虚拟制片领域才是未来。更进一步又说AI解放的创意生产力,可能让影视行业的“制片人中心制”“导演中心制”“明星中心制”都成为过去时。

没有前因后果和背景资料,图拉古的这三个句话,很容易让人联想到《三体》中大史的一句名言,“邪乎到家必有鬼”。

但在实地探访天图万境后,“有鬼”这两个字从我脑海中擦除了,换上了新的两个字:“抬头”。

这个两个字是对自己说的,也是想让年轻影视创作者听到的。抬头看看,在AI技术、算力和相关硬件的支持下,影视创作的人力成本和时间成本已经能降到了多低,想象力的赋形已经变得多么触手可及。

前沿技术总是抽象的。

当被问及“搞AI虚拍究竟想干什么”这个问题时,图拉古总会说,我虽然是导演,但我现在想做的不是内容,而是想做AI时代影视制作的“水电煤”。

再说具体一点,就是开发AI虚拟制片系统,让影视创作者能在一个棚里拍出无限场景,而且“即拍即得”,能改能调,用最低的成本最快的时间,实现最天马行空的创意。

如果朴素概括,就是天图万境自研了一套好用且便宜的AI虚拟制片系统,比“抠绿”、LED虚拍都先进,包括硬件设备和软件,且具备了量产的可能性,可以产品化售卖给需要的影视制作方。

在探访的前四十分钟,图拉古为我们演示了这套AI虚拟制片系统的关键部分:鬼斧引擎和幻境引擎。

鬼斧引擎从功能上看,类似于“抠绿”系统,但因为应用了AI技术,影像捕捉能力对传统“抠绿”系统实现了降维打击。

演示是在一个并不完全合格的“绿棚”中进行的。摄影棚的墙面和地面虽然涂成了绿色,但地面污渍不少、墙面也有一些深浅不一的记号。

进行拍摄的摄影机是厂商说明上不适合“抠绿”的BMD BJ摄影机,视频信号分别连上顶级“抠绿”系统和鬼斧引擎,能发现鬼斧引擎捕捉到的被拍摄对象,完全与背景分离,比“抠绿”系统“干净”很多。

幻境引擎实现的是“合成”功能。幻境引擎中有大量AI辅助生成的场景以及相关“素材库”(数字资产),创作者可以在其中像“摆积木”一样地生成自己需要的场景,再将摄影机实拍的素材放到场景中。

幻境引擎中,不仅场景可随时调改,镜头调度、布光等也可实现零成本的变化调配,让实拍的素材和背景融为一体。

一番体验下来,核心感受是,使用天图万境的AI虚拟制片系统,即便科幻、玄幻影视剧,也可以多、快、好、省地拍出来。现实题材影视剧使用AI虚拟制片系统,也可以有效减少转场,告别纯手工时代。

可图拉古怎么想到要做AI虚拟制片系统的?研发这套系统用了多长时间,经历了多少阶段、曲折?他对AI虚拟制片系统在影视行业的应用,有什么预期?

我们还是听听图拉古本人的讲述。

科班导演,爱好编程

我本身是一个艺术生,在南加州大学艺术学院学的电影,大概2013年回到国内开始从事导演工作。

我也会编程,从小就开始接触,后来也做过安卓系统设计,卖给手机厂商。

但编程只是我的爱好,做技术不能表达自我。要把想法传递给别人,这是我学电影的主要初心。

刚开始做导演时,网络段子剧特别火,我拍了一部《日记》,被搜狐买走了。接着又去做当时流行的微电影、网络短片之类,一直拍到2014年前后。

当时国内的影视制作体系很落后,我想找一套实时剪辑功能的设备,全国就只有四套,根本轮不到我。

我不是会编程吗?干脆自力更生,在苹果系统下写了个软件,买了张采集卡,做了套系统,拍了《为你打官司》这部普法剧。

做完以后,我觉得这事能干,就把它做成了产品,卖给了各大剧组,卖了不少钱。

钱还不是第一位的,做了那套实时剪辑软件之后,我发现自己突然有话语权了。

我学电影是为了表达,但当小导演的时候,根本没有表达的可能。直到我做了那套实时剪辑软件,到剧组探班时,他们用我的产品,我再跟他说不能怎么乱拍,否则就没法保证安全生产的时候,他们都会听。

所以,就决定要扎根在电影和科技融合这条线上。而且,这件事情老导演不会,新导演也不在行,工程师没这个思维做不了,那我们这些既懂技术又懂创作的人不做,谁来做?

接着我又开发了两个新系统:一个是实时返送系统,能够把通告等信息通过iPad,分发给剧组所有人;第二个是简单的特效现场实时合成系统。

我后面拍的几部院线电影,像《青春后驱动》《遇见明天》都是现场实时剪辑,实时合成,实时的渲染,速度非常快。

当时,我最快一年能拍4-5部电影。质量及格线以上,但符合一些电影制片方的速度要求,所以也不愁没片拍。但拍了一段时间后,还是觉得没有表达空间,不起劲儿。

再后来,我又做了一段时间群集动画,就是用游戏引擎渲染背景的人、动物,成本不高、速度很快,但那时候很少有人用这个办法给电影做特效。

做成之后放在大银幕上,效果还不错。当时接到了很多项目,我就找到了一群懂编程的小伙伴,一起做,这个团队也是今天跟我一起开发AI虚拟制片系统的公司团队雏形。

三支短片,从实时渲染到空间计算

到了2018年,虚幻引擎发布了一个即时演算的面部动作演示Demo,我看了之后非常兴奋。

在它发布之前,所有的制作都是离线渲染,不能实时看到。虚拟引擎发布的这个Demo,完全在虚幻引擎中实时呈现,“数字人”的细节程度也极其惊人。

我当时就觉得,如果虚幻引擎的游戏制作能这样,那也一定能够实时拍电影。我就开始往这个技术研发方向努力了。

最开始,我们的技术还叫“实时渲染”技术,2019年9月30日我们发布了第一支用这个技术拍摄的科幻短片《2045》,是一个机甲打斗的太空题材。

我们拿着影片和幕后解析去给业内人士包括投资人看,当时业内的主流拍法还是“抠绿”,连LED虚拍都还没普及。

大家看了我们的短片后,都说我们是骗子,说你这绝对是后期做的,根本不可能是实时拍摄的。

《2045》短片

所以,我们第一轮融资就很难。但我们又不想引入急求产品转化的风投,至今一直是几个股东投钱攻关,完善技术。目前这个技术已经接近我们设想的80%了。

首先,我们解决了“抠像”问题,现在不管多么复杂的环境,有没有绿幕,系统都能处理。

第二是,我们自研了一套摄影机跟踪系统,不需要再用国外的技术,成本从25万人民币一套,降到了7000块一套,而且更加稳定,更适应电影拍摄。

第三,是空间计算技术,当时还叫空间推理还原。

《2045》里有个镜头,一个虚拟的栏杆,人可以在前面也可以在后面。这是怎么实现的呢?需要用激光雷达来定位人在哪里,花费比较高,而且每拍一个镜头就需要至少1个小时来校准。

现在我们的AI虚拟制作系统,可以用人工智能的方式自动测算深度,只需要一个摄像机就可以定位人物,附加成本为零。

《2045》幕后特辑

也是这次做完空间深度还原后,我们发现需要继续做空间计算的研发。

2021年11月,我们发布了一套升级后的系统“超级电影工业”。其中有一个板块,就叫空间推理还原。当这套系统和一系列的硬件都研发出来后,华为看到了我们的技术,在调研后开始合作,一直深度合作到今天。

2022年9月的中国科幻大会时,我们正式发布了用“感知虚拟制作技术平台”做的一支短片《幻》,把古装玄幻、怪兽、元宇宙等元素结合在了一起。

这主要是为了回应业界的需要,证明我们研发的这套AI感知虚拟制作系统,既可以拍科幻也可以拍古装玄幻,当时网络电影流行的怪兽,以及新概念“元宇宙”,这套系统都有能力实现。

《幻》

不过也可以看到《幻》当中的一些动作、场景实现,还是有一些游戏感的。

到了2023年,我们又用完善后的系统拍摄了一部科幻短片《中间代号》,这时候场景、人物和动作就完全是写实感的,看不出合成的痕迹,不再是游戏动画感的。

《中间代号》

现在提到空间计算,大家都多少有所了解。因为苹果的Vision pro发布了,这个头盔的系统就是根据AI推断你周围的物理空间,然后合成呈现。

但我们在2022年发布空间计算1.0框架,包括2023年6月1日发布空间计算2.0框架时,很多人对空间计算根本没有概念。

苹果的Vision Pro发布以后,我们非常开心,因为AI虚拟制作系统天然为其而生。我们了解空间计算是怎么实现的,如何控制成本,所以就马上把这个AI虚拟制作系统封装产品。

这套系统不仅可以用来实现高效、即时的虚拟拍摄,还可以为Vision Pro创造多元化的空间计算内容。

现在能做什么

虽然我是个导演,但天图万境只做工具,不做内容,也不是一个后期公司。

我们研发的AI虚拟制作系统就是工具,客户把这套设备和系统买到手之后,想带到哪个影棚里,怎么用,想拍什么,都完全自由。

系统也会迭代,在有限时间内免费升级,但是超过这个时限或者要升级硬件,就需要付费迭代了。

用这套系统拍摄,无论是古装、民国还是当代题材的戏,都能拍。如果跟实拍相比,在钱、时间和质量三个指标其中两个恒定的情况下,AI虚拟拍摄总能在第三个指标上胜出。

比如,在相同成本投入和相同时间里,AI虚拟拍摄的影像完成质量一定比实拍好。

我们的AI感知虚拟制作系统,目前已经产品化,可以售卖。我们提供培训、书籍和过往的经验案例,供客户学习。

这个系统也非常轻便,4个航空箱大小的硬件,拉到影棚里就可以拍摄。

中国很多影视内容公司和平台都想做成迪士尼,但他们都只看到了迪士尼“浮出水面”的那一部分,也就是内容IP化的部分,没有看到迪士尼之所以成为迪士尼,靠的是下半部分那些技术,它通过收购皮克斯、工业光魔,让故事有技术路径,可以更低成本地变成标准化电影。

天图万境研发的AI感知虚拟制作系统,就是为了IP转化而生的,它能够以更低的成本把内容IP变成标准化的电影。

我们自研的AI感知虚拟制作系统中的“抠绿”系统,已经开始售卖,采用的是鸿蒙系统,自主AI技术,售卖价格不过几万块钱,比现在市占率最高的“抠绿”设备便宜很多。

在这个产品赛道上,我们无论是售价还是“抠绿”的效果,竞争力都很强,但也并非不存在梗阻。

最大的问题就是生产端的芯片“卡脖子”问题。目前,我们正在加紧与华为的芯片适配,有两套替代方案。一旦成功,马上批量生产。

这是一个百亿级的市场,哪怕只占一小部分,也足够支撑天图万境在AI感知虚拟制作和空间计算的赛道上,继续走下去。

【文/铁皮小鼓】

0 阅读:13

影视独舌

简介:此用户有点懒,还没有正式介绍自己