首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Google机器学习新研究InfiniteNature-Zero,可生成任意长度飞越自然地景的视频

Google研究出能够不断生成3D自然地景的技术InfiniteNature-Zero,系统只要通过观看照片,就能够学习生成丰富的3D环境景物。InfiniteNature-Zero仅使用单张图片,生成高分辨率、高品质的飞越地景的画面,研究人员表示,这是前所未有的突破性能力。

InfiniteNature-Zero可用于游戏和虚拟现实生成新内容,像是在无限自然场景进行沉浸式飞行。研究人员将这个研究问题称为无限景色生成,通过给定场景单张景色照,使系统能够生成照片级,通过该场景任意长度,并受用户控制的3D路径画面。

研究人员提到,无限景色生成非常具有挑战性,因为系统需要在山脉这类大型地标的另一侧生成新内容,并且渲染出逼真且高分辨率内容。难以使用视频作为训练资料的原因,是由于研究人员难以找到具有正确相机运动的高品质视频,而且单个视频影格的美学水准,通常也难以跟刻意捕捉的照片相提并论。

InfiniteNature-Zero是这个研究的初期成果,研究人员运用渲染、调整合重复循环策略,设计一种从静态照片集,学习生成无限景色的方法。用单一照片训练一个模型生成场景穿越视频,其中一个重要的设计,是照片与渲染的图像会成为一个循环的相机路径(下图),也就是第一张照片与最后一张合成照片是相同的,这一个训练约束,限制模型学习生成中间缺少的景色,并且提高图像分辨率。

研究人员在InfiniteNature-Zero,使用可从网络上大量取得的风景照片集进行训练,并且使用对抗网络生成高品质图像,最后添加了一个经过训练的组件,生成高品质天空区域,提高最终结果的真实度。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20221110A05Y4700?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券