新智元报道 来源：grail.cs.washington.edu 编辑：肖琴 【新智元导读】你有没有想过让 C罗、梅西或者内马尔在你家桌子上踢一场比赛会是什么样子？...用CNN重建一场足球比赛 “对一场足球比赛进行单目重建有很多挑战。...图1：以足球比赛的 YouTube 视频为输入，系统输出比赛的动态 3D 重建，可以使用增强现实设备在桌面上以交互式的方式观看。...其结果令人惊叹，并且可以通过 3D 查看器或 AR 设备从任何角度观看比赛。 图3：训练数据：从《FIFA》游戏中提取图像和对应的深度，这里展示了几个可视化为深度图和网格的例子。...图4：合成数据集的结果以及与当前最优技术和 ground truth 的比较，可视化为depth maps 和 3D 网格。我们的方法更准确，实现了更好的网格重构。
机器之心报道 编辑：rome rome 创建逼真的动态虚拟角色，要么在训练期间需要准确的 3D 配准，要么在测试期间需要密集的输入图像，有时则两者都需要，也许 D3GA 是你需要的。...在驱动型的神经辐射场的基础上，作者对 3D 的人类的外观及变形进行建模，将其放置在一个规范化的空间中，但使用 3D 高斯而不是辐射场。...在本研究中，作者采用基于人体姿势的更紧凑输入，包括以四元数形式的骨骼关节角度和 3D 面部关键点。...FFD 代表自由形变网格，其包含比 LBS 网格更丰富的训练信号 (图 9)。 与其基于体积方法相比，作者的方法可以将虚拟角色的服装分离出来，并且服装也是可驱动的。...图 5 显示了每个单独的服装层，可以仅通过骨骼关节角度控制，而不需要特定的服装配准模块。 © THE END 转载请联系本公众号获得授权 投稿或寻求报道：content@jiqizhixin.com
机器之心报道 机器之心编辑部 不再需要任何 3D 或 4D 数据，来自 Meta 的研究者首次提出了可以从文本描述中生成三维动态场景的方法 MAV3D (Make-A-Video3D)。...论文链接：https://arxiv.org/abs/2301.11280 项目链接：https://make-a-video3d.github.io/ 具体而言，该方法运用 4D 动态神经辐射场（NeRF...任意机位或角度都可以观看到提供的文本生成的动态视频输出，并可以合成到任何 3D 环境中。 MAV3D 不需要任何 3D 或 4D 数据，T2V 模型只对文本图像对和未标记的视频进行训练。...第四，实验描述了将动态 NeRF 转换为动态网格的过程，最终将模型扩展到 Image-to-4D 任务。...首先，使用 marching cube 算法从每个时刻 t 生成的不透明度场中提取一个简单网格，然后进行网格抽取（为了提高效率）并且去除小噪声连接组件。
他们还能够从虚幻引擎 5 中的其他功能中获益，包括如下： 重新设计的虚幻编辑器（Unreal Editor） 更强大的性能 对艺术家友好的动画工具 更丰富的网格体创建和编辑工具集 改进的路径追踪 ……...此外，Epic 还发布了一款名为 Lyra 的多人射击游戏，它内置于 UE5 中，看起来很像虚幻竞技场 (Unreal Tournament) 第一人称射击游戏，游戏设置是让一对简单的蓝色和红色化身在竞技场中相互对抗...首先是 Lumen，这是一个全动态全局光照解决方案，能够对场景和光照变化做出实时反应，而且不需要专门的光线追踪硬件。...美术师和设计师可以使用 Lumen 创建出更动态的场景，例如，改变白天的光照角度，打开手电，或者在天花板上开个洞，系统会根据情况调整间接光照。...20%； Nanite 网格体现在支持常规视图模式，如线框（Wireframe）和着色器复杂度优化（Shader Complexity Optimization）模式； 改进了 Nanite 网格体，
Ctrl+3：打开工具选项板 Ctrl+6：打开图象数据原子 Ctrl+8或QC：快速计算器 三 尺寸标注 DRA：半径标注 DDI：直径标注 DAL：对齐标注 DAN：角度标注... O：偏移 P：移动 Z：缩放 以下包括3ds max快捷键 显示降级适配（开关） 【O】 适应透视图格点 【Shift】+【Ctrl】+【A】 排列 【Alt】+【A】 角度捕捉...【M】 最大化当前视图 （开关） 【W】 脚本编辑器 【F11】 新的场景 【Ctrl】+【N】 法线（Normal）对齐 【Alt】+【N】 向下轻推网格小键盘【-】 向上轻推网格小键盘...【Ctrl】+【P】 交互式平移视图 【I】 放置高光(Highlight) 【Ctrl】+【H】 播放/停止动画 【/】 快速（Quick）渲染 【Shift】+【Q】 回到上一场景...【+】 减小动态坐标 【-】 激活动态坐标（开关） 【X】 精确输入转变量 【F12】 全部解冻 【7】 根据名字显示隐藏的物体 【5】 刷新背景图像（Background)
然而，时间一致性可以支持高级下游任务，例如 3D 编辑、运动分析或虚拟资产创建。我们提出 SceNeRFlow 以时间一致的方式重建一般的非刚性场景。...与之前的动态 NeRF 方法一样，我们使用向后变形模型。...我们发现该模型的重要适应需要处理更大的运动：我们将变形分解为强正则化的粗分量和弱正则化的精细分量，其中粗分量还将变形场扩展到物体周围的空间，这使得随着时间的推移进行跟踪。...为了解决现有作品中控制粒度不足的问题，我们同时引入文本、图像和轨迹信息，从语义、空间和时间角度对视频内容进行细粒度控制。...我们采用高效的基于密度的网格表示，并重新参数化管道中的反射辐射率。与竞争方法相比，我们提出的反射感知方法实现了有竞争力的质量效率权衡。
动态场景重建。大量的研究致力于扩展神经辐射场，以涵盖动态场景重建。一般来说，动态NeRF可以大致分为两组。一种是通过连续变形场将坐标映射到规范空间的可变形神经辐射场。...LiDAR4D的目标是将这种动态场景重建为基于神经场的连续隐式表示。...类似地，在三线性插值和级联之前，4D坐标被投影到静态（xyz）和动态（xyt，xzt，yzt）多级哈希网格中，其中使用Hadamard乘积来乘以动态特征。...以与神经激光雷达场相同的方式，我们在视场内以特定的角度间隔发射激光，使用激光雷达传感器的中心作为原点o。激光的方向d由极坐标系下的方位角θ和仰角 \phi 决定，如下所示。...我们相信，未来更多的工作将集中在将激光雷达点云与神经辐射场相结合，探索动态场景重建和合成的更多可能性。
NeRF 极大地提高了渲染的逼真度，并启发了许多后续工作，包括多尺度、重新照明、编辑、3D 感知生成等。然而，NeRF 假设场景是静态的，不能处理随时间变化的场景。...其他方法学习从当前场景到每个时间戳的学习规范辐射场的空间偏移。在 NeRF 的基础上添加了额外的高维坐标来处理连续变形场之外的不连续拓扑变化。通过建模场景中每个点的轨迹来处理场景动态变化。...使用明确的体素来模拟动态场景的规范空间和变形场。通过傅里叶系数来建模时间变化的密度和颜色，以将基于八叉树的辐射场扩展到动态场景。...因此，静态辐射场的显式网格表示包括特征网格 {f} 和一个小型MLP \Phi 作为隐式特征解码器。...为了进一步表示动态辐射场，本方法采用坐标为基础的小型MLP \Phi 作为空间-时间特征空间的全局特征解码器。
，并且从任何角度查看。...这是一个非常好的属性，因为可以重用所有现有的视频工具和工作流程来存储传输编辑或更改数据集。...对于动态对象，作者不是对空间上最近的源视图进行采样，而是对时间上最接近的源视图进行采样。该功能仍然用Unity实现，使用了引擎中可应用于动态对象的shader。...前景光场 采集设备采用一个麦克风-相机阵列，它由 11 个摄像头和 16 个麦克风组成，旨在捕捉动态的前景表演。...而最终的重建是 3D 网格的形式。它是动画的，可以放置到虚拟场景中。 随后讲者展示了一个demo，观看者可以以任意角度、从任意位置观看该场景，并且还可以查看该场景的几何代理场景。
1.Dynamic Mesh-Aware Radiance Fields 标题：动态网格感知辐射场 作者：Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng...https://arxiv.org/abs/2309.04581 项目代码：https://mesh-aware-rf.github.io/ 摘要： 我从将 NeRF 集成到传统图形管道的系统角度来看...，将多边形网格资产嵌入真实感神经辐射场 (NeRF) 体积中，以便可以以与 NeRF 物理一致的方式渲染它们并模拟其动态。...本文设计了渲染和仿真过程中网格和 NeRF 之间的双向耦合。我们首先回顾网格和 NeRF 的光传输方程，然后将它们提炼成一种有效的算法，用于更新沿具有任意反射次数的投射光线的辐射率和吞吐量。...我们表明，混合系统方法在网格插入的视觉真实感方面优于替代方案，因为它允许真实的光从体积 NeRF 介质传输到表面，这会影响反射/折射表面的外观以及动态场景通知的漫射表面的照明。
F10: 极轴模式控制 F11: 对象追 踪式控制 二、CAD快捷键：常用CTRL快捷键 Ctrl+B: 栅格捕捉模式控制(F9) dra:半径标注 ddi:直径标注 dal:对齐标注 dan:角度标注...【M】 最大化当前视图 (开关) 【W】 脚本编辑器 【F11】 新的场景 【Ctrl】+【N】 法线(Normal)对齐 【Alt】+【N】 向下轻推网格 小键盘【-】 向上轻推网格 小键盘【+】...【+】 减小动态坐标 【-】 激活动态坐标(开关) 【X】 精确输入转变量 【F12】 全部解冻 【7】 根据名字显示隐藏的物体 【5】 刷新背景图像(Background) 【Alt】+【Shift...【M】 最大化当前视图 (开关) 【W】 脚本编辑器 【F11】 新的场景 【Ctrl】+【N】 法线(Normal)对齐 【Alt】+【N】 向下轻推网格 小键盘...【+】 减小动态坐标 【-】 激活动态坐标(开关) 【X】 精确输入转变量 【F12】 全部解冻 【7】 根据名字显示隐藏的物体 【5】 刷新背景图像(
Im4D 包含两部分：基于全局网格的动态几何表示和基于多视角图像的外观表示。 图 1 模型的整体流程示意图 基于网格的动态几何表示 作者利用基于网格的模型来表征场景的几何特征。...oplus\textbf{P}_{xt}\oplus\textbf{P}_{yt}\oplus\textbf{P}_{zt}) \quad (2) 作者提出的基于网格动态几何模型在时空上是全局和连续的...个相机视角位置到点 (x,y,z) 的视角方向， \textbf{diff}(\textbf{d},\textbf{d}_i) 是方向 \textbf{d} 与 \textbf{d}_i 的归一化角度差...高效的渲染 作者计算了一个二进制场，该场指示每个体素是被占用还是为空。然后，该二进制场可以用于指导采样，跳过空区域中的采样，从而加快渲染过程。这个二进制场的存储非常小。...如图4所示，作者首先研究了所提出方法的核心组成部分，即基于多视角图像的外观模型和基于网格的全局几何模型的作用。
图扑 SDK 开放灵活的架构也使得用户开发扩展功能非常方便，比如热力图（体）插件，流场粒子展示插件，体绘制插件等。强大灵活的 3D 引擎可以让用户轻松实现三维模型的呈现编辑功能。...模型三维网格三维网格展示在一个二维面上的属性在上一节 “模型表面贴图” 已介绍过。这里主要介绍三维网格展示三维信息，比如三维速度场，三维温度场等。...由于是一个三维的体，无法用贴图的方式给出网格的颜色信息。此时需要用插值算法计算出规则空间网格的场信息。比如在 x，y， z 整数值的点插值采样。将采样获得的空间场信息以材质的方式传给图扑 SDK。...粒子流贴图对于需要在一个面上展示的流体场，比如风场，水流场，压力场等，需要以动态的方式呈现，可以使用图扑粒子插件实现。系统基本原理如下图：二维流体场信息作为贴图资源传给图扑 SDK。...图扑粒子插件可以实现以下参数可调节：粒子的大小粒子的形状粒子的流速粒子数量现实的阈值仿真精度等粒子流体对于需要展示三维空间的矢量场，比如风场，速度场等，需要以动态的方式呈现。可以使用图扑粒子插件实现。
机器之心报道 编辑：杜伟 3D 生成领域迎来新的「SOTA 级选手」，支持商用和非商用。 Stability AI 的大模型家族来了一位新成员。...以往的方法通常倾向于解决有限视角和输入不一致的问题，而 Stable Video 3D 能够从任何给定角度提供连贯视图，并能够很好地泛化。...此外，Stable Video 3D 利用其多视角一致性来优化 3D 神经辐射场（Neural Radiance Fields，NeRF），以提高直接从新视图生成 3D 网格的质量。...下图为使用 Stable Video 3D 模型及其输出时，通过 3D 优化改进后的 3D 网格生成示例。...而在动态轨道上，方位角可以不等距，每个视图的仰角也可以不同。 为了构建动态轨道，Stability AI 对静态轨道采样，向方位角添加小的随机噪声，并向其仰角添加不同频率的正弦曲线的随机加权组合。
Ctrl+3：打开工具选项板 Ctrl+6：打开图象数据原子 Ctrl+8或QC：快速计算器 尺寸标注 DRA：半径标注 DDI：直径标注 DAL：对齐标注 DAN：角度标注...恢复上一次操做 O：偏移 P：移动 Z：缩放 以下包括3ds max快捷键 显示降级适配(开关) 【O】 适应透视图格点 【Shift】+【Ctrl】+【A】 排列 【Alt】+【A】 角度捕捉...【M】 最大化当前视图 (开关) 【W】 脚本编辑器 【F11】 新的场景 【Ctrl】+【N】 法线(Normal)对齐 【Alt】+【N】 向下轻推网格小键盘【-】 向上轻推网格小键盘...【Ctrl】+【P】 交互式平移视图 【I】 放置高光(Highlight) 【Ctrl】+【H】 播放/停止动画 【/】 快速(Quick)渲染 【Shift】+【Q】 回到上一场景...【+】 减小动态坐标 【-】 激活动态坐标(开关) 【X】 精确输入转变量 【F12】 全部解冻 【7】 根据名字显示隐藏的物体 【5】 刷新背景图像(Background)
机器之心报道 编辑：陈萍、小舟 不能说完全相同，只能说表情一模一样。 防不住，根本防不住，现在 AI 模仿能力已经发展到这种程度了？...一直以来，神经辐射场（NeRF ）及其变体在从多视图观察中重建静态场景方面显示出了令人印象深刻的结果。后续研究又进行了扩展，使得 NeRF 可用于人类定制场景的动态场景建模。...本文提出了 GaussianAvatars，这是一种基于三维高斯 splats 的动态 3D 人头表示方法。...然后，3D 高斯在网格顶部形成辐射场，补偿网格未准确对齐或无法再现某些视觉元素的区域。 为了实现重建虚拟人物的高保真度，本文引入了绑定继承策略。...FLAME 网格的顶点位于不同的位置，但共享相同的拓扑，因此研究团队可以在网格三角形和 3D 高斯splat之间建立一致的连接。
转载自：亚信科技新技术探索编辑：东岸因为@一点人工一点智能公众号NeRF作为一种新型的视场合成和三维重建方法，在多个领域中都有广泛的应用，如城市测绘、机器人技术、虚拟现实/增强现实、电影制作和游戏开发...不同于传统的三维重建方法把场景表示为点云、网格、体素等显式的表达，NeRF独辟蹊径，将场景建模成一个连续的5D辐射场隐式存储在神经网络中，只需输入稀疏的多角度的2D图像，就可以通过训练得到一个神经辐射场模型...此外，因为NeRF生成的是连续的3D模型，而不是像传统的3D重建方法那样生成离散的3D体素或三角形网格，所以NeRF生成的模型可以具有更高的解析度和更细的细节。...当然，NeRF也有一些局限性，例如训练和渲染过程需要大量的计算资源，而且对于有大量动态内容和复杂反射的场景，NeRF可能无法处理得很好。...数据收集：收集一组2D图像，这些图像从不同的角度和位置捕获了同一场景。这些图片都是对同一3D场景的拍摄，所以在这个场景中，每个物体都会在多个图像中出现，只是视角和位置不同。2.
机器之心报道 编辑：张倩、陈萍 本文提出了一种突破性的点云表示 4K4D，能够以 4K 分辨率对动态 3D 场景进行高保真实时渲染，达到了前所未有的渲染速度和令人印象深刻的渲染质量。...传统方法将动态 3D 场景表示为纹理网格序列，并使用复杂的硬件进行重建。因此，它们通常仅限于受控环境。 最近，隐式神经表示在通过可微渲染从 RGB 视频重建动态 3D 场景方面取得了巨大成功。...例如《Neural 3d video synthesis from multi-view video》将目标场景建模为动态辐射场，利用体渲染合成图像，并与输入图像进行对比优化。...模型架构图如图 2 所示： 接着文中介绍了用点云建模动态场景的相关知识，他们从 4D 嵌入、几何模型以及外观模型等角度展开。...4D 嵌入：给定目标场景的粗点云，本文使用神经网络和特征网格表示其动态几何和外观。
Neural Impostor: Editing Neural Radiance Fields with Explicit Shape Manipulation 标题：神经冒名顶替者：通过显式形状操作编辑神经辐射场...为了解决有效编辑神经隐式场的问题，我们引入了 Neural Impostor，这是一种混合表示，将显式四面体网格与为显式网格内的每个四面体指定的多重网格隐式场结合在一起。...我们的框架通过利用多重网格重心坐标编码，将显式形状操作和隐式场的几何编辑联系起来，从而提供了一种实用的解决方案来变形、合成和生成神经隐式场，同时保持复杂的体积外观。...此外，我们提出了一种基于一组显式几何编辑操作来编辑神经隐式场的综合管道。我们通过各种示例和实验展示了我们系统的稳健性和适应性，包括编辑合成对象和真实捕获的数据。...为了有效构建神经场，我们采用多分辨率网格编码和符号距离函数（SDF）表示。这使我们能够使地图始终保持最新状态，并通过循环关闭立即适应全局更新。
Subjects: cs.CV 1.Zip-NeRF: Anti-Aliased Grid-Based Neural Radiance Fields 标题：Zip-NeRF：基于网格的抗锯齿神经辐射场...，可以加速神经辐射场训练。...然而，这些基于网格的方法缺乏对比例的明确理解，因此经常引入锯齿，通常以锯齿或场景内容缺失的形式出现。...SEEM 有四个要求：i) 多功能性：通过为不同类型的提示引入多功能提示引擎，包括点、框、涂鸦、遮罩、文本和另一幅图像的引用区域；ii) 组合性：通过学习视觉和文本提示的联合视觉语义空间来动态组合查询以进行推理...在这里，我们探索视觉提示工程的想法，通过在图像空间而不是文本中进行编辑来解决分类以外的计算机视觉任务。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
