30. 生活中的小孔成像 - 发现场景外的秘密

“据我所知，你是ETO在我们这里为数不多的人之一了吧。要是我是你，低调都来不及，怎么还会给警方寄这么幼稚的威胁视频”，警官站在窗前冷冷的嘲笑。

“我只想知道，你们是怎么找到我的”，屋子里面灯光灰暗，地上跪着的人红着双眼抬起头问道。 警官把手上的屏幕凑到他面前：”这是你给我们寄来的视频的片段“。屏幕上正是这间屋子，墙上透着窗帘透进来的一点亮光。视频裁剪过，画外音是他自己正在用沙哑的声音宣读ETO的宣言。

”很可惜，你太低估我们的技术了，我们通过这堵墙，很快就还原了你所在的环境，你往下看：”警官点了一下屏幕，换成了处理后的视频。 地上跪着的人身上冒出了冷汗，他惊讶的看到墙上竟然出现了对面楼房的投影，然后慢慢被恢复成了一栋清晰的大楼

他压抑不住的问道：”你们这是什么技术？！“ …………

不好意思，不好意思，以上内容纯属我杜撰。主要是我看到今天要介绍的技术后已经震惊的开始说胡话乱编故事了。 那么好，让我们快点进入正题吧，让我们先从生活中的小孔成像讲起。 一、 生活中的小孔相机

你看到下面这张图片时，看到了什么？

嗯，不错，这里有一张床，一盏灯，一些家具……还有墙上的影子。等等，这是影子吗？是什么东西的影子？

我们从旁边看看这个场景。哦原来不是影子，而是屋子对面的房门通过窗户投影在墙上的倒影。

这就是生活中的小孔成像，当窗户开的很大时，我们看到的只是模糊的影子，就像上图一样。但如果把窗户关的很小，甚至用窗帘来遮挡使得只露一个洞，墙上的倒影就会变为这样：

把倒影颠倒过来，和真实的窗外场景做下对比，你会看到惊人的相似：

这就是我在29. 小孔相机中阐述过的小孔成像的生活中的实例，你可以再次阅读这篇文章，了解细节。

你可以很容易的利用生活道具制作小孔相机，例如用一个相对密封的纸盒子（右上角显示了这个相机能获取的像）：

甚至用两张纸也行，只不过这时候你看到的像会非常模糊

我们刚才已经看到，一扇窗户也可以变成小孔相机，这里还有个例子，你可以看到这个男人用窗帘遮挡构成了一个小孔相机，墙上呈现出了窗外一栋大楼的倒影。

甚至可以利用手臂和身体的缝隙构成一个小孔相机（当然此时的成像已经非常不清晰了）：

我们刚才看到的，都还是有意为之形成的小孔成像，但在生活中还有一些是自然形成的，我们可以称之为“偶发式小孔相机”。

二、偶发式小孔相机

下图的场景你可能经常见到，说不定你家里就会有，你可以看到窗帘的缝隙成为了小孔相机，但这时的缝隙还比较大，所以在屋顶上只看到模糊的一片光。

但当我们拉好窗帘，只剩下一个小洞时，屋顶就变成了这样：

把这张图颠倒，做必要的裁剪，再和真实场景做下对比，你一定会“哇哦”：

这里还有个例子：

很多时候，偶发式小孔相机成的像都是非常模糊的，因为孔很大，或者是场景很复杂，投影面也不是平整的白墙，有复杂的几何结构。但是，如果利用一种叫做Retinex的算法，也能够大致的恢复出场景的信息。下面就是一个例子，这里你可以看到一个屋子，很明亮，很显然墙上已经看不出信息了，可以称为“大孔投影”了。

但是通过Retinex算法后，我们却可以恢复出下面这幅图：

你可以和真实场景做一下对比，就可以看出尽管图像还是很模糊，但是大致的场景特征还是暴露出来了：

我们可以看看更多Retinex算法起作用的例子，下面是三个场景：

我们可以通过算法处理这三幅图，得到的场景图和真实场景对比一下，确实能够看出恢复出了一定的信息（当然非常模糊）：

三、偶发式的反小孔相机

如果说生活中这种偶发式的小孔相机已经让你感觉很神奇了的话，那么偶发式的“反小孔”相机会更加让你震惊。下面这个场景中，(a)图的窗户构成了一个相机，(c)图是墙上的像。(b)图中有个人遮住了部分窗户，(d）是对应的像。c、d看起来非常像，似乎没有什么信息量。但实际上正是这个人对窗户的遮挡，构成了一个“反小孔相机”。

如果上面c、d两图相减，就会得到更清晰的像：下面图a就是两幅图的差，b是对此图上下颠倒，你可以和c图真实场景做对比，你一定会惊讶——原来不经意的遮挡也会暴露出场景的信息！

再看看动图展示，先布置一下房间：

把这个视频的前50帧取平均，可以获得一个参考帧（没有人）。然后对后续的每帧减去这个参考帧，可以得到一个新的视频。此时人在窗户处改变姿势或左右走动，我们可以明显看到当人遮挡窗户时墙上某些时候暴露出了清晰的倒像，而当不遮挡窗户时，我们看到的是噪声图像。

反小孔相机的原理如下图所示：a图中，窗户孔径过大，在右边的墙上投影出的像很模糊。

b图中，窗户被遮挡，于是右边墙上的投影中，绿色部分反射亮度较弱。当a，b相减，其实就是获取了遮挡物的剪影的反像——而这个反像就相当于c图中，一个尺寸等于遮挡物尺寸的小孔所成的像。

最神奇的是下面这个视频，一个足球弹到墙上，也会产生一个偶发的“反小孔相机”：

我们去这个视频的没有足球时的帧的平均图像作为参考图像，并用视频减去这个参考图像，可以得到下面这个视频(适当的缩放裁剪过）。注意观察墙上的倒影。

我们取某一帧和真实场景做一下对比，你可以看到足球确实成像了！右边显示了缩小后的两幅图的对比，你可以看到有高度的相似性

上面我们一般是先通过取未遮挡的视频片段构造一个参考帧，然后用视频减去这个参考帧来暴露出真正的投影信息。但经常我们会发现由于信噪比不够，获得的投影比较模糊。但如果在输入视频中仔细搜索，我们会发现更好的参考帧。比如下图中，我们可以用a - b得到d，d中有较为模糊的投影

但稍微往后看，图中的实验者的手臂曲起，形成了一个空洞（图c）。如果图c和图b相减，我们将得到一幅更锐利（但噪声更大）的投影图像e

比较下整理后的两幅输出图和真实的场景，可以看出选择更好的参考帧的用处。

看看动图：

还有一种场景是这样的，有一个显示器背对着你，你看不到上面的东西，但是显示器的亮光反射到了旁边的墙壁上。如果显示器前有一个人摇头晃脑动来动去，他也就被动的成为了一个“偶发式的反小孔相机”。我们看看这样的场景下，这个相机所能暴露出来的信息，这里第一列和第三列是显示屏上真正的信息，而第二列、第四列则是可以捕获到的反射投影！

四、总结

今天我们介绍的是生活中可以看到的偶发式小孔相机(Accidental Pinhole Camera)和偶发式反小孔相机(Accidental Pinspeck Camera)。这是MIT的Antonio Torralba和William T. Freeman在CVPR2012上展示的成果，非常让我震撼。实际上，日常生活中处处都是偶发式小孔相机，和偶发式反小孔相机。善加利用，可以作出让人惊讶的成果。至少，你可以拍出让人赞叹的抖音视频?

我在想象一个场景：恐怖分子绑架了人质，并给警方发来了威胁视频。一开始警方不知道目前对方所在的位置，所处的环境，但是很快就通过这个计算摄影技术分析出来，原来人质所在的房间外面有一栋褐色的高楼。通过超分辨率放大，很快获得了更加清晰的窗外图像，并通过地理信息系统对比确定了人质所在的位置。这个关键的信息使得警方很快攻坚作战成功，人质得到解救……哇哦，这就是技术的胜利！

这个技术还有很多有趣的用途，如果你感兴趣，可以参考作者的论文和网站，了解更详细的信息。希望你喜欢这篇介绍文章，别忘了点赞哦！

五、参考资料：

1. http://people.csail.mit.edu/torralba/research/accidentalcameras/：项目网站
2. A. Torralba and W. T. Freeman. Accidental pinhole and pinspeck cameras: revealing the scene outside the picture. Proceedings of 25th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2012).
3. http://people.csail.mit.edu/torralba/research/accidentalcameras/videos/CVPR2012.mov
4. http://people.csail.mit.edu/torralba/research/accidentalcameras/videos/ball_output.avi