文章：TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo
文章：SLAM and 3D Semantic Reconstruction Based on the Fusion of Lidar and Monocular Vision
本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经允许请勿转载！
这系列的笔记来自著名的图形学虎书《Fundamentals of Computer Graphics》，这里我为了保证与最新的技术接轨看的是英文第五版，而没有选择第二版的中文翻译版本。不过在记笔记时多少也会参考一下中文版本
在计算图形学领域，材质外观刻画了真实物体与光线之间的复杂物理交互，通常可表达为随空间位置变化的双向反射分布函数（Spatially-Varying Bidirectional Reflectance Distribution Function，缩写为 SVBRDF）。它是视觉计算中不可或缺的组成部分，在文化遗产、电子商务、电子游戏和视觉特效等领域中有着广泛的应用。
本文针对 ILSVRC14 提出了一个名叫 Inception 的深度卷积网络架构，主要是通过充分利用网络内的计算资源来提升网络性能，具体是通过在增加网络的宽度和深度同时控制住计算量来实现的。小尺寸滤波器组合 + 1*1滤波器降维
物体的 3D 形状测量有许多应用领域，如机器人，3D接口、存档和复制等，而 3D 扫描仪已经商用。尽管如此，现存大多数 3D 形状测量系统捕获多个子帧，来测量单个深度图或单个点云，帧速率仅为 30 fps。这种方法在测量动态对象时，系统可能会因子帧之间的模糊或位移而导致噪声和误差。因此，需要单帧高速测量方法来处理移动或变形的目标，例如传送带上的产品、手势和非刚体。另一方面，在仅具有单帧的基于三角测量的方法中，测量的 3D 点云将是稀疏的，因为它难以获得密集的对应关系。而在使用飞行时间 (ToF)相机的情况下，由于散粒噪声，单帧深度的精度也相对较低。因此，为了实现对动态物体的密集、准确和高速的 3D 形状测量，不仅需要简单地在单帧中加速过程，还需要用别的方式提升测量精度和效率。
近日，来自德国埃尔兰根-纽伦堡大学的学者提出了一种新颖的神经网络方法，用于3D图像的场景细化和新视图合成。
本文介绍了一种名为长短距离循环更新（LRRU）网络的轻量级深度网络框架，用于深度补全。深度补全是指从稀疏的距离测量估计密集的深度图的过程。现有的深度学习方法使用参数众多的大型网络进行深度补全，导致计算复杂度高，限制了实际应用的可能性。相比之下，本文提出的LRRU网络首先利用学习到的空间变体核将稀疏输入填充以获得初始深度图，然后通过迭代更新过程灵活地更新深度图。迭代更新过程是内容自适应的，可以从RGB图像和待更新的深度图中学习到核权重。初始深度图提供了粗糙但完整的场景深度信息，有助于减轻直接从稀疏数据回归密集深度的负担。实验证明，LRRU网络在减少计算复杂度的同时实现了最先进的性能，更适用于深度补全任务。
（温馨提示：本系列知识是循序渐进的，推荐第一次阅读的同学从第一章看起，链接在文章底部）
从视觉图像估计场景中完整的几何结构和语义信息对于认知和理解至关重要。为了在人工智能系统中实现这种能力，论文提出了VoxFromer，一个基于Transformer的语义场景补全(SSC，Semantic Scene Completion)框架，可以仅从二维图像中预测空间中的体素占据和类别信息。VoxFromer的框架采用两阶段设计，首先从深度估计得到一组稀疏的可见和占据的体素查询，然后进从稀疏体素生成密集的三维体素。
新视角合成是计算机视觉和图形学领域中一项长期存在并且富有挑战的任务。过去两年，NeRF及其衍生工作的提出将该任务提升到了新的高度。然而，基于NeRF的方法的训练和渲染需要大量的成本才能达到理想的效果，比如稠密的输入视角和耗时的训练与渲染。尽管后续的一些稀疏视角NeRF的工作以及InstantNGP的提出在一定程度上解决了部分缺陷，但NeRF方法始终没有做到实时和高质量的高分辨率渲染。
深度学习中的自编码器。图源：https://debuggercafe.com/autoencoders-in-deep-learning/
透视变换原理 透视变换是将图像从一个视平面投影到另外一个视平面的过程，所以透视变换也被称为投影映射（Projection Mapping）。我们知道在图像的仿射变换中需要变换矩阵是一个2x3的两维平面变换矩阵，而透视变换本质上空间立体三维变换，根据其次坐标方差，要把三维坐标投影到另外一个视平面，就需要一个完全不同的变换矩阵M，所以这个是透视变换跟OpenCV中几何仿射变换最大的不同。 OpenCV中透视变换的又分为两种： - 密集透视变换 - 稀疏透视变换 我们经常提到的对图像的透视变换都是指密集透视变换，
三维点云分割既需要了解全局几何结构，又需要了解每个点的细粒度细节。根据分割粒度的不同，三维点云分割方法可以分为三类:语义分割(场景级)、实例分割(对象级)和部分分割(部分级)。
论文地址：https://arxiv.org/pdf/2102.03725v2.pdf
对于自动驾驶汽车和机器人，使用激光雷达是必不可少的，以实现精确的深度预测。许多应用程序依赖于周围环境的意识，并使用深度信息来推理和做出相应的反应。一方面，单目深度预测方法无法生成绝对和精确的深度图。另一方面，双目立体匹配方法仍然明显优于基于LiDAR的方法。深度补全任务的目标是从稀疏和不规则点云生成密集的深度预测，然后将预测的深度信息映射到2D平面。最近有一些优秀的工作，提出了一种精确完成RGB图像引导的稀疏LiDAR图的新方法。
这是有关渲染的系列教程的第20部分。上一部分介绍了GPU实例化。在这一部分中，我们将添加到目前为止尚不支持的标准着色器的最后一部分，即视差贴图。
https://openaccess.thecvf.com/content_cvpr_2018/papers/Yu_PU-Net_Point_Cloud_CVPR_2018_paper.pdf
导语 伪 3D 效果一般是在二维平面上对贴图纹理进行拉伸变形制造出透视效果，从而模拟 3D 的视觉效果。但通过 OpenGL 直接渲染不规则四边形时，不进行透视纹理矫正，就会出现纹理缝隙裂痕等问题。本文将分析透视矫正原理并给出解决方案。 问题概述 一般要实现近大远小的透视景深效果，都是通过透视投影的方式在 OpenGL 渲染得到的。如果在 OpenGL 中不开启透视投影，使用简单四边形面片来达到 3D 效果则需要对四边形面片进行旋转或者进行拉伸变形。但不经过透视投影矩阵的计算，得到的纹理渲染结果就会有缝隙
这里补充一下上一节遗漏的一丢丢知识点，见下图。左边是渲染后的平面图，右边是对应的纹理。另外无论纹理平面原始有多大，最后都会被映射在
渲染简单的理解可能可以是这样：就是将三维物体或三维场景的描述转化为一幅二维图像，生成的二维图像能很好的反应三维物体或三维场景（如图1）：
有一种计算机的技术，专门用于计算图像之间像素的相对运动。硬件使用复杂的算法来产生高度准确的流向量，这些向量对帧到帧的强度变化具有鲁棒性，并跟踪真实的物体运动。
💡💡💡本文摘要：介绍了学生课堂行为检测，并使用YOLOv7进行训练模型，以及引入BRA注意力和多种IoU改进来提升检测能力
原标题：Google 6DOF videos review: move inside VR videos
这是关于渲染的系列教程的第十部分。上一次，我们使用了多个纹理来创建复杂的材质。这次我们再增加一些复杂度，并且还支持多材质编辑。
论文及代码地址：Learning a Deep Convolutional Network for Image Super-Resolution)
这里补充一下上一节遗漏的一丢丢知识点，见下图。左边是渲染后的平面图，右边是对应的纹理。另外无论纹理平面原始有多大，最后都会被映射在$U-V$坐标，又称纹理坐标，并且规定坐标范围是0~1。
透视变换是将图像从一个视平面投影到另外一个视平面的过程，所以透视变换也被称为投影映射（Projection Mapping）。在图像的仿射变换中需要变换矩阵是一个2x3的两维平面变换矩阵，而透视变换本质上空间立体三维变换，根据其次坐标方差，要把三维坐标投影到另外一个视平面，就需要一个完全不同的变换矩阵M，所以这个是透视变换跟OpenCV中几何仿射变换最大的不同。变换公式为：
翻译论文汇总：https://github.com/SnailTyan/deep-learning-papers-translation
对场景进行高分辨率的高保真渲染是计算机视觉和图形学领域的一个长期目标。实现这一目标的主要范式是精心设计一个场景的三维模型，再加上相应的光照模型，使用逼真的相机模型渲染输出高保真图像。生成对抗网络（GAN）已经成为一类强大的可以实现高保真高分辨率图像合成的生成模型。这种二维模型的好处之一是他们可以使用便于获得的大量图像进行训练。然而，将 GAN 扩展到三维则相对困难，因为用于监督的三维真实模型难以获得。近期，3D-aware GAN 解决了人工制作的三维模型以及缺乏三维约束的用于图像合成的 2D GAN 之间的不匹配问题。3D-aware GAN 由三维生成器、可微分渲染以及对抗训练组成，从而对新视角图像合成过程中的相机位姿以及潜在的场景的对象形状、外观等其他场景性质进行显式控制。GRAF 采用了 NeRF 中基于坐标的场景表示方法，提出了一种使用基于坐标的 MLP 和体渲染的 3D-aware GAN，将基于 3D 感知的图像合成推进到更高的图像分辨率，同时基于物理真实且无参数的渲染，保持了场景的三维一致性。然而在三维场景进行密集采样会产生巨大的消耗，同时三维的内容经常与观察视角纠缠在一起，而进行下游应用时，场景的三维表征往往需要集成到物理引擎中，因此难以直接获得场景三维内容的高分辨率表征。许多近期的方法通过将 MLP 移出场景表征从而加速了新视角合成的训练速度，通过优化稀疏体素证明了 NeRF能够获得高保真图像的原因不是由于其使用了 MLP ，而是由于体渲染和基于梯度的优化模式。
玩过 P 图软件的朋友一定对这个功能有所了解，P 图我们可以简单地看做把一个区域的像素按照某一方向进行移动，产生一定形变效果，基于这个原理，我们可以手动实现瘦脸、长腿、瘦腰、大眼、丰胸等等一系列效果，从而达到美颜、美型的目的。
目标跟踪是计算机视觉领域的一个重要问题，目前广泛应用在体育赛事转播、安防监控和无人机、无人车、机器人等领域。
研究目的：通过改进SRGAN（Super-Resolution Generative Adversarial Network）来提高视觉质量。
这是有关创建自定义可编程渲染管道的系列教程的第八部分。通过增加对遮罩，细节和法线贴图的支持，可以创建复杂的表面。
这是自定义可编程渲染管线的第六篇。使用阴影遮罩来烘焙阴影，并且将其加入到实时光的计算中。
真实的自由视角视频（Free-Viewpoint Videos，FVVs），尤其是人物表演这一类的动态场景，可以缩小表演者与观众之间的距离。但是将生成和观看 FVVs 变得像点击和观看常规 2D 视频一样简单，仍然是非常困难的目标。面临包括从数据处理和压缩到流媒体和渲染的各个方面的挑战。
Games101 lecture7-8-9-10 Shading(着色)定义为对不同对象应用不同材质的过程。不同的材质也就是不同的着色方法。有许多着色模型，例如Blinn-Phong Reflectance Model(经验模型)。如下图着色模型：
山西省政府办公厅印发了《关于促进全省煤炭绿色开采的意见》(简称《意见》)，提出在确保安全的前提下，持续探索煤炭绿色开采技术路线，积极应用成熟技术，高标准建设不同类型的示范煤矿。
好消息，小伙伴以后可以通过问答的形式在文章下方进行留言，并且小白也会及时回复大家哦！
提出了一种充分利用立体图像中稀疏、密集、语义和几何信息的自主驾驶三维目标检测方法。我们的方法，称为Stereo R-CNN，扩展了Faster R-CNN的立体输入，以同时检测和关联目标的左右图像。我们在立体区域建议网络(RPN)之后添加额外的分支来预测稀疏的关键点、视点和目标维数，并结合二维左右框来计算粗略的三维目标边界框。然后，我们恢复准确的三维包围框，以区域为基础的光度比对使用左和右ROI。我们的方法不需要深度输入和三维位置监督，但是，优于所有现有的完全监督的基于图像的方法。在具有挑战性的KITTI数据集上的实验表明，我们的方法在三维检测和三维定位任务上都比目前最先进的基于立体的方法高出30%左右的AP。
Retinex模型是微光图像增强的有效工具。假设观测图像可以分解为反射率和光照。大多数现有的基于retinx的方法都为这种高度病态分解精心设计了手工制作的约束条件和参数，当应用于各种场景时，可能会受到模型容量的限制。在本文中，我们收集了一个包含低/正常光图像对的低光数据集(LOL)，并提出了在该数据集上学习的深度视网膜网络，包括用于分解的解分解网和用于光照调整的增强网。在解压网络的训练过程中，分解的反射率和光照没有ground truth。该网络仅在关键约束条件下学习，包括成对低/正常光图像共享的一致反射率和光照的平滑度。在分解的基础上，通过增强网络对光照进行亮度增强，联合去噪时对反射率进行去噪操作。Retinex-Net是端到端可训练的，因此学习的分解本质上有利于亮度调整。大量实验表明，该方法不仅在弱光增强方面具有良好的视觉效果，而且能很好地表征图像的分解。
1.Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models
本文提供了与SRCNN论文的总结和回顾，如果你对于图像的超分辨率感兴趣，一定要先阅读这篇论文，他可以说是所有基于深度学习的超分辨率模型的鼻祖
今天将分享CBCT牙槽神经分割完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
