导语
本文是由未来影像高精尖创新中心举办的ICEVE2017(北京国际先进影像大会暨展览会)的精华演讲等整理而成的系列专题文章,本系列内容涵盖专家专访、大会报道、行业纪实等,致力于梳理和提炼ICEVE大会的精华内容并传播给行业和大众。
Bill Collis
Foundry 公司总裁
我是Bill Collis,在The Foundry软件公司已经任职了二十年,其中十年担任公司的首席执行官,现在我是The Foundry的董事长。
今天我想谈三个方面的内容。首先简单探讨一下,我们视效行业在处理所授任务的复杂度时面临的一些挑战;接着聊一聊,我们的产品Nuke是如何解决这些复杂度问题的;第三个方面,可能是最吸引人的一方面,即为了促进Nuke的新版本以及新发布,我们目前在The Foundry所做的一些研究项目。
我觉得,可以这样说,现在的消费者总是在追求更震撼的视觉效果。当你去电影院看电影,你会期望这场电影具有相当高的品质。其实,不仅是电影院里的观众,客户也是这么想的,无论你是在跟哪个品牌沟通合作,任何一个大的品牌,他们都期望能够看到与顶级电影程度相当的视觉效果,而且,设计师们也期望看到相当程度的视效,因为他们就是要使用这种高视效品质的画面,对我们现在使用的这些产品进行数字化样机开发和可视化。
而且,现在有很多大的技术趋势促使复杂度比以往更高。VR(虚拟现实)/AR(增强现实)可以等同于一个Lytro光场相机,全部的这些东西,只是增加了我们必须要做的图像处理的复杂度,并且增加了要处理的数据量。
现在,电影是世界上最复杂的视觉效果项目。那就让我们看一看,如果要做一部顶级的好莱坞电影,你要处理哪些内容?首先是千万亿字节的数据,这海量的数据是由艺术家们创作出来的,他们通常分布在世界各地。一部大电影有几千位艺术家参与制作,他们可能会在多个地方工作,或者,可能分别在各大洲工作。大多数情况下,每一部电影都有自己的需求,所以,一部最新的电影,制作团队会再次启动并建立一个团队开展工作。所以,你要一直不断地吸收新的项目组进来。除此之外,还要进行非常非常复杂的现场图像捕捉,不仅要捕捉图像,也要捕捉其他各种数据,比如深度、动作和材质的数据信息。对,还有预算,数百万美元的预算,远远不只一百万美元,现在,一部典型的视效电影可能有上千条非常复杂的视效镜头。如果再加上VR(虚拟现实)/AR(增强现实)、光场,工作量就会更加繁重:要处理更多的数据,对于图像处理的需求也会多很多。
The Foundry是做什么的呢?我希望大家听说过我们。我们是一家软件公司,艺术家们做很多这种高端项目时使用的工具,有很多是由我们提供的。我们主要在三个领域开展工作,同样,在这里我也无需探讨很多细节——制作影片是最重要的一个领域,比如媒体制作类服务、电影、电视剧集、商业广告;然后是设计可视化,比如产品设计以及与一些大品牌合作,帮助他们实现产品的可视化;最后是VR(虚拟现实)和AR(增强现实),我们总是能听到说,这是一个很大的不断发展的领域。
让我们来快速地看一下Nuke这个软件是什么。Nuke是一个合成软件。它主要是用来将非常非常复杂的镜头集合起来,但是现在,它更多地是被很多专业人士用做一个枢纽。任何一个人,他们都可以在Nuke上使用运动序列做复杂的图像处理。
我们的第一个示例里面,完全没有很繁重的视效处理。基本上,艺术家在这里要做的工作就是给这个镜头加上雪,让它从原本的夏季景色变成一个冬季镜头。如果你仔细看里面的复杂度,它根本不是一个很繁重的视效镜头。它是很普通的一个镜头,而一部电影里可能有上千个镜头。第一步是对事物的位置做一些数字校准的工作。生成点云,这样我们就能得到原始的几何。利用几何做一个模型出来。然后,我们可以开始在上面投射一些材质。投射更多的材质。对UV做一些绘制。添加一些颗粒,然后雪就飘下来了。再做一些颜色分级,看,这就是最终效果。现在,这是非常稀松平常的,对任何一个数字合成软件,大家都期望它能做到这样,而且,里面的复杂度、我们实际在做的工作是巨量的,包括制作出来一些2D画面,实现这个场景的3D几何,在上面投射新的材质,然后增加一些颗粒,呈现出最终的镜头。
还有一个更复杂的例子,是由Iloura制作完成的作品,这是他们在澳大利亚做的《权力的游戏》剧集中宏大的战斗场景,这些场景真正地体现出了现在普遍的视效作品的规模有多大。让人感到神奇的是,这些战斗场景里使用的素材,只有很少一部分是真正的电影素材,很多实际上是CG镜头。而且,这里面的复杂度也令人震惊,包括数据的数量、3D元素的纯数量、合成和动画。
虽然,这些作品都是通过Nuke作为一个合成软件来完成的,但是我觉得,可以这样说,现在你去看的任何高端的大制作电影,它们都在图像处理流程线上都把Nuke放在了非常核心的位置。我认为,在过去的9年,每一个获得“学院特别视效奖”提名的电影都使用了Nuke。所以,它是相当符合行业标准的软件,适用于电影、电视、广告、VR、AR、全景电影和其他内容的媒介。
在The Foundry,围绕着Nuke(我不准备讨论其他产品范围的任何细节),Flix是我们的剧情梗概故事板软件,Modo是我们的3D动画软件,Mari是材质绘制软件,Katana是灯光软件,所有的这些软件都是The Foudry流程线的一部分。
还有一些The Foundry的新产品,其中可能最吸引人的一个是Elara。为什么云计算变得相当重要,就是因为现在有海量的数据。在The Foundry, 我们创建了一个视效流程线,这是一个完全用于视效的流程,它通过云来运行,由Elara这个浏览器进入。现在它还在测试,我们会在明年早些时候发布它。把所有的数据保存起来,然后通过云对这些大量的数据集合进行全部的处理,这样操作是非常有意义的。
最后,我非常想要探讨的是我们在The Foundry的一些研究,因为我觉得这对研究员们来说,也是最令人激动的一部分内容。相对于公司规模来说,我们总是保有一个很大的研究团队,大概有13个或14个博士生辛勤地进行研究工作,与很多不同的公司、不同的合伙人在很多项目上展开了合作。接下来,我只从中取其中几个例子来说。
第一个是Fame项目,遗憾的是,我不能把这个项目的视效画面展示给你们看,我们的合作伙伴是ILM,我们不可以展示相关影片素材。它们的内容都是有关于使用AR将电影质量的动画嵌入某个AR场景的。意思是说,我们想要取一个电影质量的模型,计算出场景中的灯光,将灯光应用到角色上,然后让角色实时与场景互动,并且使观众能够通过一个平板、一部手机或头盔显示器,任何一种头盔显示器,都能看到互动。这个设想的实现,需要对场景进行大量的非常迅速的实时分析和实时合成。
这些项目和研发团队最棒的一点就是,在这些研发项目中,我们研发出某种技术,技术会被反馈到产品中,最终,新的技术又能在该产品的新发布和新型产品中得以体现。
下一个例子我要说的是Alive, 实际上这是一个光场的项目,而且,从The Foundry的角度来看,它的设立与设计是为了展示Nuke可以如何被用来处理光场数据,以及我们在用Nuke处理光场数据时所面临的一些挑战。我们正在做的事情,实际上是用一个GoPro相机装置来捕捉场景,这里被拍摄的场景是一个拱门。我们接着往前,在同一个地方做一次激光雷达扫描来获取3D几何。接着,现在我们来到工作室里面使用一个相机阵列,这个相机阵列可能达不到Lytro的标准,它不是一个商业型的阵列,但是,我们要用它捕捉几个演员的光场信息。我们捕捉实时动作元素,用这个阵列来捕捉与实时动作相关的深度地图信息,然后我们用Nuke把3D的数据合成到3D的场景中,从而制作出一种体验。这是常见的电影工作流程,过去我们的工作流程是,在绿幕前面捕捉2D的演员动作及信息,然后将它们合成到序列里面,但是,如果你试图转动头部从另一个角度看序列里的他们,当然你是不会看到任何视差的,看上去会非常不自然。
但是,Nuke可以合成光场信息,然后用Unreal引擎回放,你就可以转动头部,获得正确的视差。你显然不能绕着这些场景转来转去,但是,你可以转动头部并能够以一个更自然的视野看到正在发生的事情。这就是Alive。
接下来是Dreamspace。过去的三四年,我们在The Foundry与很多合作伙伴展开了Dreamspace这个项目,这个项目也是把很多虚拟制作的工作流程结合到了一起。我觉得,有一点很有意思,三四年前,我们就在期盼,此时此刻会有更多更多的电影是用虚拟制作技术制作的,但是这还没有完全实现。现在还只是有大工作室制作的预算高的电影经常使用虚拟制作,我觉得这主要是因为虚拟制作涉及到的复杂度。但是,我们仍然期望,随着时间推移,会有更多的电影以这种方式制作。对于虚拟制作工作流程,Nuke也处于中心的地位,而且我想再一次表达,这项工作很棒的一点是,它让我们能够使用Nuke研发出大量的技术去进行实时的合成。你真的可以做一个Nuke节点图,对它进行汇编,然后使用Nuke引擎实时播放。
最后做个总结。视觉效果、品牌、AR/VR、光场体验对于质量的要求都在不断地增长。Nuke是一种自然的默认图像处理解决办法,它可以将这些东西归在一起,在The Foundry公司,这20年来,我们一直致力于研发这项技术,未来,我们的研发团队和项目也将持续研发,不断地突破高质量的图像处理所能达到的边界。
领取专属 10元无门槛券
私享最新 技术干货