从偏振图像中提取微观结构信息

此内容为数据派独家内容，数据派是清华大数据产业联合会官方微信公众账号，定期发布清华大数据系列讲座信息，分享讲座实录，欢迎转发 。

在过去的一年中，“RONG”系列论坛成功举办多场，“RONG”这一词语已成为清华大学数据科学研究院连接校内各院系间及校外资源的纽带。如今“RONG 2.0”带来的新一次思想碰撞又拉开了序幕。RONG系列论坛旨在促进校内外不同院系、不同学科间围绕大数据科研课题的相互认识、沟通交流，以促进校内外科研力量的联合，科研资源利用率的提高，让产业资源与科研资源得以对接，了解产业应用现状、应对产业挑战，最终实现促进清华大数据科研“顶天、立地”的目标。

2015年11月26日，RONG2.0迎来这一系列的首场论坛——“图形图像处理与大数据技术”专场。论坛由数据科学研究院和遥感大数据研究中心共同主办。来自校内外的150余位相关领域的研究者参与了论坛。

本讲座选自清华深圳研究生院马辉教授于2015年11月26日在RONG v2.0---“图形图像处理与大数据技术”论坛上所做的题为《从偏振图像中提取微观结构信息》的演讲。

内容摘要：

马辉老师探讨了偏振信息提取方法及其与图像处理和大数据分析技术的联系。

马辉：我先简单介绍一下光和偏振光。

光，我们大家都熟悉，人的一生80%的信息都是通过眼睛获得的。光探测的基本问题主要有两个，一个是对比度产生机制，另一个是图像质量。我想讲的是如何通过对比度产生机制得到信息。

我们看到颜色，颜色代表吸收，吸收反映光谱，反映不同化学成分。光学探测的基本要素包括样品、光源、光路、探测器。如果你注意一下，从08年以来有五个诺贝尔奖，覆盖了光学探测的所有要素：样品、光源、光路、探测器，去年的超分辨代表新的成像机理。因此，我想光学探测方法近期会进入一个崭新的发展阶段。

我们整天生活在有光的环境里面，所以光很适合活体检测，并且光包含的信息量非常大。我今天给大家介绍的是偏振，它反映我们平时很少注意却极为丰富的信息，报告最后我会告诉你偏振成像和大数据有密切联系。

光的电磁波方程包括振幅调制项，频率，波矢量或波长，它们都会影响相位。偏振也和相位有关，现在针对相位的成像研究非常热，包括鬼成像这些很神奇的新技术。我觉得另一个潜在热点是偏振成像，只是现在还远远没有达到快速上升阶段。由于人类的眼睛不能区分不同的偏振态，我们日常生活中对偏振现象几乎视而不见，偏振的很多能力一直没有得到开发。

描述一个光的偏振态需要四个基本量。入射偏振光打到物体上变成不同偏振态的出射光，物体的偏振光学性质由一个变换矩阵描述，叫穆勒矩阵。我们的眼睛对偏振不敏感，所以只看到穆勒矩阵中m11阵元，相当于黑白照片的灰度，或反射率。穆勒矩阵其他15个阵元被我们忽略了！所以我觉得研究偏振很过瘾，因为它能给我们带来很多新的信息，一些我们本来看不见的信息。前面几位老师讲到的很多图像处理方法大都只针对一幅图像，其实还有这么多偏振图像反映不同的微观结构信息，但这些信息我们都没有看见。

偏振光学测量方法和非偏振相比有三个特点：

第一，从硬件上讲可以通过在非偏振光路中增加偏振片和波片来实现偏振光测量，这些偏振器件并不会改变光线的方向。所以，针对一种非偏振光学方法，都可以把它变成偏振方法，只需做很少的硬件改动。

第二，做完这个硬件改动就从测量1个元变成16个元。

第三，偏振测量可以获得超分辨微观结构信息。非偏振测量对比波长大的结构更敏感，微观结构小到衍射极限之下就看不清了。但偏振状态的改变则对小于波长的微观结构更敏感。

虽然偏振在生物医学领域应用的文章数量在最近15年中只增长了四倍，但国家自然基金与偏振相关的项目数量15年增加了15倍。我相信国际上一定有类似趋势，大家的兴奋点都差不多，虽然偏振的生物医学应用仍在缓慢增长，但研究偏振的人在变多，关注偏振应用的人也一定会越来越多。

偏振说起来这么好，但真正用起来还有很多问题：

第一是偏振不好测量。偏振分量都是差分测量，如果存在噪声，而偏振又比较弱，差分看到的只是噪声，并且偏振测量的误差传递规律十分复杂。另外，测不同的偏振分量必须同时测，并且要针对空间同一个点测，脸上竖直偏振和胳膊上水平偏振没法进行计算，而且这种时空对准还伴随着对所得偏振态的复杂影响。我们做了十几年，发现偏振测量这件事看起来容易，做好挺难。

第二，不容易表征。穆勒矩阵似乎包含很多信息，但16个阵元里你也不知道该选哪个，大家也许都可以用，但特异性都不强。所以特异性表征是个问题，需要从这种杂乱的数据里面分离出特异性信息。

第三，不好解释。光子进入样品以后往往经过几次散射才能出来，光子偏振态的变化带出微观结构的信息。但偏振变化与微观结构的对应关系非常复杂，往往还是统计规律。

由于这三个问题，到现在为止用偏振的人并不那么多，偏振很多的优势还没有发挥出来，我很希望在座的各位能一起研究偏振。我03年去深圳之后就开展这个领域的研究，当时并没有想到偏振有这么重要，只是因为偏振实验很便宜，并且容易做。做着做着发现做出了一条路，进而发现国际上也有一帮人在做，我们似乎还站在他们前面。所以我非常希望能把这个事做下去！

我们现在做四个方面的研究：

第一，复杂介质中偏振光散射传播行为研究，建立偏振光散射模型、仿体与模拟方法。

第二，偏振光散射的测量方法。

第三，偏振特性的表征和信息提取方法。

第四，偏振光散射的应用，今天我主要讲生物组织检测中的应用。

刚才说现有光学方法都可以变成偏振方法。生物研究中显微镜用得最多，我们就先把显微镜变成偏振的。给显微镜加一个起偏器和一个检偏器，就变成了偏振显微镜。我们这个样机价格很低，但是已经能够显示偏振显微镜的基本原理和主要功能。

我们写了一篇文章讲这个偏振显微镜，投到一个影响因子2左右的杂志，反响很好，9天就被接收。也许我们不该投这个杂志。

我们的一个主要目的是希望用偏振成像方法做癌变的早期诊断。利用偏振显微镜我们可以对无标记的病理切片进行穆勒矩阵成像，并对这16个幅图像进行变换、分析。现在我们利用前期研究中找到的一些与样品微观结构有显性关系的参量进行分析。我觉得这些参量不好，缺乏特异性。我特别希望能用大数据分析的方法找出新的、有特异性的参量，找针对不同癌变、不同过程、不同问题的新参量。就像我们有16个字母，希望找到新的单词，每一个单词就对应着某一个人，给一个不同的名字。现在我只能找到一些特异性不那么强的标记，男人、女人、南方人、北方人，我希望针对不同癌变都能找到一个特异性偏振量，能对这些没有经过染色的切片进行特异性诊断。我们还可以用蒙卡模拟方法分析产生对比度的原因，比如基底细胞癌的对比度产生机制似乎就是线粒体增生。

A是我们找到的另一个偏振参量，去年也写了一篇文章，24天被收，评委就是一句话：我喜欢这个参数！这个参数描述介质的各向异性。我们拿它测试甲状腺癌，这种癌变的特征是纤维化，而宫颈癌变的特征则是原有的纤维结构被破坏。我们今年做了一个工作，分析宫颈癌各向异性变化的原因。法国的一个组推测纤维间介质双折射的变化影响各向异性，我们的研究为这种对比度产生微观机制提供了证据，这种信息对医生进行病理分析非常有帮助。

我们也可以利用偏振成像获得高分子材料的结构信息，或者多孔氧化铝的纳米结构。偏振测量将来在材料科学里面也应该是一个非常重要的研究手段。

当然偏振测量也有一些问题，比如说这是我一个学生的实验结果：他拿一个偏振片，垂直照一下，水平照一下，然后计算线偏振度图像。我们看到外面那个树似乎偏振效应很强，后来发现是错的，因为树叶是动的，两次不同时测量计算差分就产生很大误差。所以偏振同时性测量对动态样品成像非常重要。

最近国外出了一个新的东西，一种很贵的偏振相机，30万像素要13万人民币。相机的每四个相邻像素上镀了不同的偏振片，可以实现偏振态的同时测量。我们把它放在偏振显微镜上就可以实现动态样品偏振成像。我们还可以实现偏振的虚拟染色，利用特定偏振照明把样品中需要突出的那部分微观结构部分显示出来。我们准备用这种方法看活细胞微观结构随着时间的变化，最近尝试用它看中药对线虫神经恢复的作用，希望用不同中药进行刺激时能看到活的线虫神经生长情况。我们也在研究气体中污染颗粒物的偏振光散射，测量颗粒物粒径分布，及其形状、表面形貌和吸收等信息。这些信息对环保领域做源解析很重要，用于了解污染是从哪里来的。我们跟深圳一家公司和北京的环科院一起在做这件事。

如果我有了穆勒矩阵，如何从中提取信息？直接观察穆勒矩阵就可以得到很多信息，我们做了很多年，直接看也能知道一些样品微观结构特征，但这些信息并不定量，仅仅提供定性参考。这有点像图像信息，你一看就知道不同，但往往得不出定量指标。我们的一项重点工作就是定量信息提取，研究如何能从穆勒矩阵得到一些新的指标，它们是穆勒矩阵元的函数，代表特异性指标，跟微观结构有明确的对应关系，例如我刚才说过的那个描述样品各向异性度的指标A。还有一种定量分析方法是别人在90年代提出来的，叫穆勒矩阵分解：就是把穆勒矩阵视作几种可以改变偏振态的独立过程的共同作用，如双折射、二向色性、散射退偏，通过矩阵分解运算从穆勒矩阵得到对应这些过程的参量，包括相位延迟，二向色性和散射退偏。我们自己也提到了一类方法，叫穆勒矩阵变换，通过分析不同阵元图像的特征，逐步导出来了一组参数，例如参数A同各向异性有关。

对于均匀介质我们还可以利用统计分布方法，包括用中心矩的方法把定量表达统计分布的特征，它们代表样品微观结构特征。我们最近在用偏振指标做肉质监测，想找到一些偏振特征量，跟肉质监测结合起来的，告诉我肉的微观结构怎么定量变化。我们现在用的偏振参量并不一定很合适，我希望通过分析能获得一个特征量，它明确告诉我什么时候肉质就不行了。

我们希望发展出一套穆勒矩阵变换的方法，从穆勒矩阵获得一些新的参量，它们是16个穆勒阵元的函数，但与样品特定的微观结构或病理指标对应。我相信这一定是大数据的问题！

偏振成像和偏振信息提取可能与图像处理研究在很多方面密切相关：第一，模式识别。如果把穆勒矩阵看成是一张16个形状相同但强度不同色块组成的“人脸”，能不能利用现有的人脸识别方法把穆勒矩阵包含的特异性特征提取出来？第二，多模态成像。穆勒矩阵的16幅图是完全对准的，能不能把一个图的信息作为先验知识帮助识别另一幅图像的特征？或者不识别形状，而利用不同阵元对比度产生机制的不同识别特定的微观结构？第三，各种数字图像处理方法，对图、差值、定量比较方法可以直接用于偏振成像。第四，图像关联分析的方法，这是我想重点谈谈的一点。

穆勒矩阵中存在时间、空间、偏振等多重强关联信息。光入射生物组织等浑浊透光介质，经过几次散射会从别的地方出来。如果用细光束照明，不同穆勒矩阵元会显示出一个特征花样，因此生物组织穆勒矩阵图像的每一个像素和与临近像素之间存在空间关联关系；穆勒矩阵是偏振变换矩阵，不同阵元的图像之间存在偏振关联；对于动态样品，不同时间穆勒矩阵之间存在时间关联。大数据不就是在找关联吗？如果我们仔细分析电磁波表达式，可以看出偏振相关的项出现在括号外面，也出现在括号里面，导致偏振效应的来源很复杂，相互耦合，不好分析，但是这也恰恰给搞大数据分析的人提出挑战，提供了发挥大数据优势的动力和机会。

我们用什么方法分析偏振数据？现是在基本上凭运气寻找一些偏振参量！但我们一定能找到系统性分析方法，比如时间与空间关联分析方法，降维、分类方法，以及其他统计分析方法。将来的病理切片并不只是测一幅图像，而是测量整个穆勒矩阵。也许数据中包含的微观结构信息今天提取不了，明天还提取不了，但只要有一天找到了一个特异性参量，就能从已经积累的数据库里把这个信息都提取出来。现在我们利用偏振散射做气体颗粒物源解析也是出于类似想法，我们测气体样品的偏振散射参量，也许现在并不知道这些参数是什么，但监测站里面还有很多其他设备，只要大数据分析显示我们的某些偏振指标跟这些设备测量的数据存在关联关系，就可以对偏振散射测量指标进行解码。

最近我跟数学系白峰杉老师合作，他的学生做图像处理，我也想采用类似的降维方法分析偏振数据，不但降维，还希望在某个工作点附近把降维曲线的近似表达式写出来，作为特异性参量，用于病理诊断的参考指标。

总结我今天的报告：我认为偏振技术代表未来光学发展的一个重要方向，它将极大丰富光学方法能够获得的样品微观结构信息，在大数据技术的帮助下，我们会“看”到一个更加丰富多彩的世界。

Q&A环节：

提问：您那16个阵元，变成16维了，一直在说关联性，它是不是有一点冗余？

马辉：可能。

提问：您原来只有一个，现在有了这么多，每一个都有物理意义吗？

马辉：我不知道，有一些我们已经知道有物理意义了。对悬浮颗粒物只有4个阵元是独立的。样品对称性变高的时候，16维中很多是冗余的。

提问：您这基本上都是和微观相关的，与宏观照片或者图像上面信息有什么关联吗？

马辉：宏观和微观结构没有关系。我可以把一束光打在月球表面，反射光偏振变化反映的是照明那一块土壤的微观结构，但宏观图像受到分辨率限制。

整理：任鹏

校对：谢婷婷&徐颢

编辑：张梦

号外：数据派校对组招新啦！

如果你仔仔细细地看到了文章结尾，这不但证明你是一个认真、耐心的人，而且是“数据派”的忠实粉丝。

如果你想第一时间获得线下活动的信息，接触最新干货内容，对校对工作感兴趣，欢迎联系微信@小数点！

（偷偷告诉你：数据派志愿者对所有活动都有优先权哦~）