在智能制造、AR、机器人、室内导航等领域，三维重建都有很广泛的应用前景。随着消费级RGB-D相机的普及，三维重建的应用场景也得到了进一步的扩展。奥比中光自主研发的深度相机Astra Pro的成本相对较低，同时也可以方便、快捷地对物体进行3D成像，并且具有精度高的优点。针对三维重建相关技术进行研究和加以应用，必将极大程度地促进计算机视觉等领域的发展，并进一步深度影响工业生产活动以及人们的生活方式。
上周末刚在原神里抽到了“火花骑士”可莉，于是就心血来潮，想用three.js来实现一种火系的特效，不是炸弹的爆炸，而是炸弹爆炸后在草上留下的火花效果
最小路径提取算法在很多领域都有广泛应用，医学图像分析，机器人导航等。2008年来自昆士兰科技大学的Dan Mueller开源了基于Fast Marching方式的最小路径提取算法，原理：利用Fast Marching到达函数T的梯度是与波前正交的事实来求解仅有一个的局部最小值，这也是全局最小值。通过从给定种子（路径终点）反向传播到起点来提取最小路径。起点和终点是隐式嵌入在T中的，反向传播可以通过梯度下降和正阶梯度下降来实现。
问题是，简单粗暴的加一个边框，并不能满足需求。很多时候，人们需要的是轮廓的效果，也就是图片的有像素和无像素的边缘处。如下图的效果所示：
通过图像分割和显著性检测这两个系列，我认为在开始写算法之前先放一篇综述整理会更好一些。
本书试图提炼Rust社区对Rust宏的知识集，目前还在完善中，欢迎添加PR和issue。
opencv的inpaint函数就是采用了Telea的基于FMM的图像修复算法，本文基于opencv的inpaint函数，该函数源码位于（我的）：
每天好论文太多了，我决定开个标签来放论文。要是有侵权什么的，请踢我一脚，我赶紧删除。
聊天机器人知识主要是自然语言处理。包括语言分析和理解、语言生成、机器学习、人机对话、信息检索、信息传输与信息存储、文本分类、自动文摘、数学方法、语言资源、系统评测。
OpenVDB 是一个获得奥斯卡奖的数据结构，在github上有对应的C++开源库，包含一个分层数据结构和一套工具，用于高效存储和操作在三维网格上离散化的稀疏体积数据。它由 DreamWorks Animation 开发，用于故事片制作中通常遇到的体积应用程序，现在由 Academy Software Foundation (ASWF) 维护，采用 MPL2.0 协议。
其实本来最近想写一些别的内容的，不过疫情当前我们就介绍一点医疗相关的。“紧接着”去年的这篇种草文，介绍一下这个案例。我们之前整理的一些基础概念翻译可以看这里。
商汤研究院和浙江大学 CAD&CG 国家重点实验室合作研发了一个手机端实时单目三维重建系统 Mobile3DRecon。与现有的基于 RGBD 的在线三维重建或离线生成表面网格的系统不同，该系统结合前端位姿跟踪结果，允许用户使用单目摄像头在线重建场景表面网格。在深度估计方面，提出结合多视图半全局匹配算法和深度神经网络优化后处理过程鲁棒地估计场景深度。在表面网格生成过程，本文提出的在线网格生成算法可以实时增量地融合关键帧深度到稠密网格中，从而重建场景表面。通过定性和定量的实验验证，所研制的单目三维重建系统能够正确处理虚拟物体与真实场景之间的遮挡和碰撞，在手机端实现逼真的 AR 效果和交互。
但基于现有的表示方法，如参数化模型、体素栅格、三角网格和隐式神经表示，难以构筑兼顾高质量结果和实时速度的系统。
坐标系统简析 左边是笛卡尔坐标系，右边是canvas坐标系。 笛卡尔坐标系（Cartesian coordinate system）： 也称直角坐标系，是一种正交坐标系。二维的直角坐标系是由两条相互垂
本文主要探讨静态人群对行人行为的影响，并介绍了一种基于广义能量图的行人行为建模方法。该方法包括场景布局、移动行人和静态人群等因素对行人路径选择的影响，并利用Fast Marching算法进行路径生成。该方法能够对行人行为进行建模，并在多个场景中进行应用，包括路径预测、目的地预测、人群行为分类和异常行为检测等。
随着深度神经网络的到来，基于学习的三维重建方法逐渐变得流行。但是和图像不同的是，在3D中没有规范的表示，既能高效地进行计算，又能有效地存储，同时还能表示任意拓扑的高分辨率几何图形。
链接：https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_photo/py_inpainting/py_inpainting.html#inpainting
我们可以凭借丰富的视觉先验知识，仅凭一张照片轻松推断出其3D几何形态及在不同视角下的样貌。这种能力得益于我们对视觉世界的深入理解。而今，恰如人类，一些卓越的图像生成模型，如Stable Diffusion和Midjourney，同样拥有丰富的视觉先验知识，展现出高质量的图像生成效果。基于这样的观察，研究员们提出假设：一个高质量预训练图像生成模型具有和人类一样的能力，即可以从一个真实或AI生成的图像中推理出3D内容。
方法名为神经流向图（Neural Flow Maps，NFM），四个涡旋的烟雾也能精确模拟的那种：
无人驾驶规划系统的分层结构设计源于2007年举办的DAPRA城市挑战赛，在比赛中多数参赛队都将无人车的规划模块分为三层设计：任务规划，行为规划和动作规划，其中，任务规划通常也被称为路径规划或者路由规划（Route Planning），其负责相对顶层的路径规划，例如起点到终点的路径选择。
上一篇从渲染史的角度，通过栅格化和光线追踪两个渲染技术，给出了真实感渲染的三个标准：照片级别，物理正确和高性能。本篇是系列二，从技术角度介绍当前真实感渲染。
---- 新智元报道 来源：arxiv 编辑：LRS 【新智元导读】还在发愁3D 模型渲染的速度太慢吗？最近ICCV 2021 上一个作者提出了一个全新方法RtS，可以让渲染在质量不变的情况下，速度提升128倍！ 在三维计算机图形学中，多边形造型是用多边形表示或者近似表示物体曲面的物体造型方法。多边形造型非常适合于扫描线渲染，因此实时计算机图形处理中的一项可以使用的方法。其它表示三维物体的方法有 NURBS 曲面、细分曲面以及光线跟踪中所用的基于方程的表示方法。 但计算渲染表面的底层场景参数仍然是
1965年，英特尔的创始人之一戈登·摩尔提出了“摩尔定律”。半个世纪以来，“摩尔定律”一直推动着人类社会不断向前进步。
衡宇 发自 凹非寺 量子位 | 公众号 QbitAI AI画师，技术又精进了—— 直接一句话/一张图，生成3D模型、环绕视频、NeRF实例那种。 还是带颜色的。 输入“一幅美丽的花树画，作者Chiho Aoshima，长镜头，超现实主义”，就能瞬间得到一个长这样的花树视频，时长13秒。 这个文本/图片-3D生成AI，叫Dreamfields-3D，来自一个自称编程菜鸟的建筑学在读博士。 Demo刚被小哥放在微博、推特等平台，许多网友已经急着蹲内测了： 现在，小哥已经将它开源，colab上也能运行。 一起
这是有关渲染的系列教程的第20部分。上一部分介绍了GPU实例化。在这一部分中，我们将添加到目前为止尚不支持的标准着色器的最后一部分，即视差贴图。
机器之心报道 机器之心编辑部 不再需要任何 3D 或 4D 数据，来自 Meta 的研究者首次提出了可以从文本描述中生成三维动态场景的方法 MAV3D (Make-A-Video3D)。 仅输入一行文本，就能生成 3D 动态场景？ 没错，已经有研究者做到了。可以看出来，目前的生成效果还处于初级阶段，只能生成一些简单的对象。不过这种「一步到位」的方法仍然引起了大量研究者的关注： 在最近的一篇论文中，来自 Meta 的研究者首次提出了可以从文本描述中生成三维动态场景的方法 MAV3D (Make-A-Vide
本文从自动三维数字内容创建的研究背景入手，探讨了这一领域在数字游戏、广告、电影以及元宇宙等多个领域的应用前景。特别强调了图像到3D和文本到3D这两种核心技术如何通过减少专业艺术家的手动劳动需求，以及赋予非专业用户参与3D资产创建的能力，带来显著优势。文章借鉴了2D内容生成领域的最新突破，讨论了3D内容创建领域的快速发展，将现有的研究分为两大类：仅推理的3D原生方法和基于优化的2D提升方法。
选自aXriv作者：Qiangeng Xu等 机器之心编译编辑：陈萍 Point-NeRF：基于点的神经辐射场，一种高质量神经场景重建和渲染的新方法。 2020 年是立体神经渲染（Volumetric neural rendering）爆发的一年，比如 NeRF 可以生成高质量的视图合成结果，但这种方法需要对每个场景进行优化，导致重建时间过长。另一方面，深度多视图立体（multi-view stereo）方法可以通过网络推理快速重建场景几何。 来自南加州大学、Adobe Research 的研究者们提出了
最近，来自 Waabi AI、多伦多大学、滑铁卢大学和麻省理工的研究者们在 NeurIPS 2023 上提出了一种全新的自动驾驶光照仿真平台 LightSim。研究者们提出了从真实数据中生成配对的光照训练数据的方法，解决了数据缺失和模型迁移损失的问题。LightSim 利用神经辐射场（NeRF）和基于物理的深度网络渲染车辆驾驶视频，首次在大规模真实数据上实现了动态场景的光照仿真。
IMU(加速度计)的测量频率高，即可以精确的测量到物体的姿态运动，对运动灵敏，同时成本低，体积小，抗干扰能力强，基本上在多传感器融合中是一个必备的传感器。
OpenCV源码下载地址: https://opencv.org/releases/
图 1：DeepSDF 通过潜在编码和前馈解码器网络来表征形状的符号距离函数。以上图像是 DeepSDF 在学习到的形状潜在空间中进行两个形状的插值后的光线投射渲染。
在计算机图形学中，「三角形网格」是 3D 几何物体的主要表现形式，也是游戏、电影和 VR 界面中主要使用的 3D 资产表示方法。业界通常基于三角形网格来模拟复杂物体的表面，如建筑、车辆、动物，常见的几何变换、几何检测、渲染着色等动作，也需要基于三角形网格进行。
FoundationPose是一个「用于6D物体姿态估计和跟踪」的统一大模型，支持基于模型和无模型设置，无需微调即可应用于新颖的物体上，只要给出其CAD模型，或者拍摄少量参考图像即可。
在当今不断发展的业务环境中，每个运营决策都是至关重要的-包括管理客户的最佳实践。客户关系管理平台是该过程的组成部分。实际上，拥有11名以上员工的公司中有91％使用CRM系统。
物体姿态估计对于各种应用至关重要，例如机器人操纵和混合现实。实例级方法通常需要纹理 CAD 模型来生成训练数据，并且不能应用于测试时未见过的新物体；而类别级方法消除了这些假设（实例训练和 CAD 模型），但获取类别级训练数据需要应用额外的姿态标准化和检查步骤。
论文信息：Newcombe R A, Izadi S, Hilliges O, et al. KinectFusion: Real-time dense surface mapping and tracking[C]//2011 10th IEEE International Symposium on Mixed and Augmented Reality. IEEE, 2011: 127-136.
图像修复(Image Inpainting)技术，又称为图像填充(Region Filling)或物体删除(Object Removal)技术，是一种通过背景填充、替换的方法，去除图像中指定区域的算法，最终目标是达到用户难以感知感知、效果自然的图像修复。
CV codes代码分类整理合集(http://www.sigvc.org/bbs/thread-72-1-1.html)
注：下面有project网站的大部分都有paper和相应的code。Code一般是C/C++或者Matlab代码。
作为最久负盛名的机器学习顶会之一，今年 NeurIPS 2019 在召开之前就消息不断：在今年论文审稿期间，NeurIPS 2019 程序委员会主席专门发布声明称，19 篇论文因一稿多投被拒收，一时造成热议；而在会议近一个月前，多位黑人参会者们申请加拿大签证被拒的消息引起了AI学者们纷纷为其发声并对近年来签证问题的讨论展开了激烈讨论，为本次大会的召开埋下了一丝令人忧心的伏笔。
Papers & Archives Graphics Conference Paper Link Archive (Ke-Sen Huang) Reproducible Research archive (image processing, vision, machine learning) (Xin Li) Mesh Libraries and Tools Surface_Mesh (D. Sieger, M. Botsch) GTS (2D dynamic/constrained Delaunay tr
人类具有一种与生俱来的能力，可以轻松地想象3D几何和虚构出从不同角度看物体的外观，这基于他们对世界的先验知识。
StyleGAN 架构展示了高质量 RGB 图像生成，但是它们仅针对生成单个 RGB 视图，而不是 3D 内容。本文提出的 StyleSDF 是一种生成 3D 一致的高分辨率（1024 × 1024） RGB 图像和几何图形的方法。相关的 3D 生成模型通过基于坐标的多层感知器(MLP)实现形状和外观的合成，然而这些工作往往需要 3D 或多视图数据进行监督，这些数据很难收集，并且由于它们依赖于昂贵的体积场采样，现有算法大多仅限于低分辨率的渲染输出。
三维重建是计算机视觉领域的研究重点之一，利用视觉图像中的色彩、纹理、深度等信息进行三维空间中物体的形状和位置信息的恢复，对真实世界环境中的物体进行数字化。利用三维重建技术将目标物体构建为便于处理的数据模型，得到的三维模型能够被应用到后续的不同场景中。
在论文方面，今年大会投稿数量也创下了历史新高，一度使 NeurIPS 服务器宕机。最终，共提交6743 篇有效论文，接收 1428 篇，接受率为 21.17%。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
