科技：研究人员使用AI为电影添加4D效果

导语：詹姆斯卡梅隆的三维电影“阿凡达”试图在2009年首次发行时改变电影体验，为观众创造一个身临其境的世界。但是，如果您还想直接从电影院座位上飞过女妖，那么您还想感受热和风吗？

虽然已经存在少量所谓的添加物理元素的“4D” 电影，但多伦多大学的研究人员正致力于更广泛地应用该功能。

“通常情况下椅子会摇晃，观看电影时可能会有晃动或其他一些互动，”Yu Yu Zhou说，他是爱德华S.罗杰斯电气与计算机工程系高级四年级本科生娱乐。“现在所有这些效果都是从第一阶段的制作中产生的。我们希望为最初不是为4-D影院创作的电影自动化这种过程。”

周先生正在与计算机科学博士后研究员Makarand Tapaswi和密西沙加大学数学与计算科学系助理教授Sanja Fidler以及计算机科学三校区研究生部门合作。他们最近在犹他州盐湖城举行的计算机视觉和模式识别（CVPR）会议上发表了他们的作品“现在你摇晃我：走向自动4D电影”。

周说，一部四维电影通常是从第一人称视角或相机中看到的。如果加勒比海盗中的威尔特纳感觉到风吹过他的脸，而电影观众想体验特纳，那么他们也必须经历风。

“我们希望有一个功能，你只需翻转开关，体验角色的感受，”周说。为了将普通或3D电影用于4D，研究人员使用自由网站来评论电影对其4D预测模型的影响。

“例如，在指环王：戒指的团契，佛罗多将萨姆从水中拉出来，但同时发生了几种影响，”周说，他在第三年的本科学习期间开始与菲德勒合作。“首先，他拉他，与手有物理交互。当Sam回到水中时，他拉着佛罗多，船摇了摇。

“相机是你的输入，”Tapaswi补充道。“但在这种情况下，你不仅要体验相机所看到的东西，还要体验其中一个角色， 重温角色感受到的震动等等。”

虽然4D技术仍处于物理交互范围之外，也就是说，拉手，Tapaswi设想压力传感器在技术进步时模拟触摸。该模型可以证明在虚拟现实或增强现实等其他领域非常有用。“我们正在为将来的研究收集这些类型的注释，”周说。

对于他们的数据集，他们应用了效果分类和检测。对于效果分类，周说他们的神经网络，机器学习的功能，允许深入分析和学习数据，从短片中提取功能，包括运动和音频。他说，为了进行检测，神经网络可以在长视频片段中预测效果是什么以及它们发生在何处。

“你不仅想知道特定镜头中角色会发生什么。你想能够说， 效果现在是风，不仅因为我现在看到了风，而且[因为]可能之前风很大，“塔帕斯维说。

研究人员发现，某些类型的电影往往具有相似的效果。例如，像星际或重力这样的太空电影。Tapaswi说，这可以看作是一种新颖的聚类方式。

结语：“通常有三维电影，电影观众戴眼镜，坐在椅子上，”周说。“通过自动4-D影院，神经网络将处理2-D和3-D电影信息，将其送入椅子，并模拟效果。”