谁说偷窥一定要趴墙头？这个系统可用声波「看见」墙后物体

机器之心报道

参与：路、张倩

传统的非视距成像方法多是利用光波进行图像重建，最近斯坦福和英特尔实验室的研究者提出一种新方法，用声波的方式进行穿墙探测，并进行图像重建。该研究表示，声学方法可以「看到」墙那面的多个事物，且允许的距离范围较大，同时成本较低、时间较短。相关研究已被 CVPR 2019 接收。

我站在墙前，想看到拐角处我视线范围之外的事物，除了伸长脖子或者走过去，还有别的方法吗？

非视距成像（Non-line-of-sight (NLOS) imaging）技术利用角落或障碍物周围墙壁反射的光波，重建出图像，从而看到视线之外的事物。但这种光学方法中用到的硬件非常昂贵，且对距离的要求较高。

那么，如果不使用光波，转而使用声波呢？

来自斯坦福大学与英特尔实验室的研究人员想要试试看，他们构建了一个硬件原型 ：一个装有现成麦克风和小型汽车扬声器的垂直杆，参见下图：

原型系统图。该原型包括一个垂直安装在 1 米平移台上的 16 个扬声器和麦克风线性阵列。功率放大器和一组音频接口驱动扬声器并从麦克风录音。

在实际操作中，扬声器会发出一串啾啾声，声音以一定角度弹到附近的墙壁上，然后撞到另一面墙上的隐藏物体：一张字母 H 形状的海报板。然后，科学家们一点一点地移动设备，每次都发出更多的声音，最后声音以同样的方式反弹回麦克风。

2D 声学 NLOS 扫描系统的可视化。

接下来，研究人员使用地震成像的算法，对字母 H 的外观进行粗糙重建。

地震学中有类似的问题，利用冲击波进行探测并重建地下结构的图像。

该研究对字母 H 的重建结果如下图所示：

上图只是一个「隐藏物体」的图像重建结果，那么如果有多个隐藏物体，系统也能够很好地执行图像重建吗？

答案是：YES！

下图展示了该系统对 4 个隐藏物体的图像重建结果：

从这些实验结果上来看，利用声音信号进行 NLOS 成像是可行的。那么，它的效果能不能比得上基于光波的 NLOS 成像方法呢？

研究者也进行了对比。如下图所示，给出两个字母 L 和 T，光学方法需要使用的设备比较昂贵，且只能生成 T 的图像，对于距离较远的字母 L 则没有成功重建图像，此外，该方法需要花费的时间较长，超过一小时。

相比之外，该研究所提出的声学方法能够重建出两个字母的图像，且时间较短，只用了四分半钟！距离也比光学方法高出 2 倍。

这项技术距离应用还需要数年的时间，但作者表示，该技术的超声波版本最终可能会应用于自动驾驶汽车上，用来探测看不见的障碍物。或者，你可以用它来监视隔板另一边的同事（可怕！

原理介绍

研究者参数化了声学波场，使得发射扬声器和接收麦克风位于 {(x, y, z)∈R×R×R | z = 0} 平面上。该波场是 τ (x_t, y_t, x_r, y_r, t) 的 5D 函数，其中，x_t、y_t 表示扬声器的空间位置，x_r、y_r 表示麦克风位置，t 表示时间（见图 1 和图 2）。

图 1. 该研究提出的声学 NLOS 成像方法概览图。调制声波从扬声器发出，穿过墙角到达隐藏物体，在反射回来时由一个麦克风记录下来。处理后的测量值（左下）包含峰值，表示声音从扬声器直接传播到麦克风的路径长度（A，峰值被剪切）、传播到墙并回返的路径长度（B），以及到隐藏物体并回返的路径长度（C）。从一系列扬声器和麦克风的位置捕捉这些测量值，用于重建隐藏物体的 3D 几何形状（右下）。

图 2：场景几何和测量值捕获示意图。声阵列发出声信号，该声信号通过墙壁反射到隐藏物体，然后反射回来。由于墙壁在声波波长上的镜面散射，测量数据似乎是从位于墙壁后面的镜像体中捕获的，就好像墙壁是透明的一样。发射信号的频率随时间而线性变化。对于单个反射器来说，返回信号是延迟版的发射信号（右上角）。接收和发射信号混合在一起并进行傅里叶变换，在与反射器距离成正比的频率上产生一个波峰（右下角）。

图 1 和图 2 进一步显示了测量值的几何结构。在声学波长上，墙充当一个类似镜面的反射器，将发射信号 g 散射到拐角，到达隐藏物体，然后返回到声波阵列。

由于墙的镜面散射，在测量中，隐藏物体似乎位于墙外的一个位置。因此研究者选择忽略墙，以使图像重建步骤建模从位于透明墙后面的虚拟对象捕获的测量值。对于同样具有镜面散射的光滑隐藏物体，研究者假设虚拟物体的表面法线指向声阵，这样就可以观测到信号。这一假设也被提出，例如，雷达系统通过墙壁成像并捕获镜面散射 [1, 3, 42]。

如何利用声音

声波散射

下图 3 概述了声波散射双向反射分布函数（BRDF）：

图 3：声波散射 BRDF 示意图。在大于波长的平坦表面上进行镜面散射（中左）。在等于波长的墙角几何结构上进行逆反射散射（retroreflective scattering，中右)。对于小于波长的表面，物体周围的衍射会导致漫散射（右）。

信号随距离的衰减

对比光学 NLOS 成像中常见的漫反射，声学信号衰减与 1/(r_t+r_r)^2 成正比，而光学信号衰减与

成正比。研究者在图 4 中通过实验验证了这种衰减。

图 4：信号衰减（左）和分辨率分析（右）。研究者利用 log-log 尺度上的线性回归，绘制了角反射器和平面镜面散射目标的测量值。角反射器的信号衰减约为 d^ −1.92，而平面目标的信号衰减约为 d^−1.89，与预期的 d^−2 衰减基本吻合。图中还展示了漫反射光学 NLOS 成像的 d^−4 衰减。与典型的光学方法相比，该研究给出了一系列声信号带宽范围下不同距离对应的横向分辨率（lateral resolution）。

传输信号

下图 2 描述了信号传输的过程。

如何生成图像

当信号发射位置和接收位置相同时，即 x_t = x_r，y_t = y_r，研究者使用闭合解（closed-form solution）进行图像重建。也就是光学 NLOS 成像方法中所说的「共焦」扫描。研究者对空间位置接近的扬声器和麦克风进行声学共焦测量。

共焦测量能够对隐藏物体的 3D 几何形状进行高效的重建，但是在更常见的非共焦测量情况下如何进行高效重建呢？

研究者首先调整非共焦测量，使其模拟共焦采样网格捕捉到的共焦测量。然后再执行常规的地震成像步骤，即动校正（NMO, normal moveout correction）和倾角时差校正

图 5：动校正和倾角时差校正图示。

下图 6 展示了如何通过非共焦测量，来改善信号质量、提升空间采样。

图 6：在有两个隐藏物体时，图像重建的流程。

实现

除了本文开头所提原型系统所需的硬件设施之外，在软件方面，该系统中所有步骤都使用 Python 实现。目前，该研究已经开源，包含研究所用数据集和软件。

GitHub 地址：https://github.com/computational-imaging/AcousticNLOS

关于该研究更多内容，参见以下视频：

参考链接：

https://www.sciencemag.org/news/2019/06/scientists-use-sound-see-around-corners http://www.computationalimaging.org/publications/acoustic-non-line-of-sight-imaging/ http://www.computationalimaging.org/wp-content/uploads/2019/03/cvpr_2019_2059.pdf