微表情之研究方向︱机器视觉 | 团长讲CV | 2nd

近年来微表情识别领域涌现了大量新的研究工作, 这是对微表情的利用价值的肯定。可以预见, 未来会有更多的工作尝试进一步提高微表情的识别性能, 并逐渐将微表情识别应用到实际中。本文总结了现有技术的一些问题和未来可能的研究方向。

（1）针对微表情的预处理技术

利用现有数据集的一个好处是可以直接在预处理好的图像上尝试新的算法, 减轻了预处理流程的压力。 然而预处理是微表情识别中非常重要的一项流程, 其重要程度应当超过普通的表情识别或其他面部信息识别, 其原因就是微表情的动作幅度很小,且持续时间太短. 现有的数据集的录制过程中, 被试位置相对稳定, 在经过进一步的对齐处理, 较容易得到高质量的图像。 但在实际应用中是很难做到的, 因此针对微表情的精细化预处理值得研究。

另外, 微表情预处理中应用到一些常见技术, 有比较多的候选项, 但是其中哪种最适合对微表情进行精细化的处理还少有研究。 例如人脸关键点定位几乎在所有工作中都会涉及, 候选技术有ASM、AAM、DRMF 等；又如帧数对齐, 有些工作使用TIM 技术, 但线性插值对微表情有更好的适应性, 因为微表情帧率较高, 相邻帧之间时间间隔很短, 基于流形的插帧方式反而可能造成较线性插值更高的误差。确立一组对微表情有效的预处理流程, 可能在后续算法不变的情况下取得更好的效果。

（2）长视频中的微表情检测

目前很多研究工作基于现有的数据集, 而数据集中的图像序列已经预先进行了分割, 因此提出的算法只需要完成检测和分类两种模式识别的任务。而实际任务中, 通常要分析长视频中对象的表情和微表情, 上述的技术模式很难处理这样的问题。最简单的弥补方式是引入滑动窗口, 对窗口内的子序列进行检测和分类。但这会极大地提升计算量, 且窗口的长度难以确定。 因此, 在长视频中高效地检测微表情的出现是一项非常关键的技术, 这将构成之后进一步检测和分类的输入。这种任务和微表情序列的阶段划分有些类似, 而阶段划分需要寻找起始点、顶点和终止点。目前已经有一些工作尝试解决这种问题, 但也存在局限。

（3）高效的微表情识别

对于一段微表情图像序列进行分类, 识别其中的对应情绪, 是微表情最有可能的实际应用之一。 由于一段微表情序列的实际时间非常短, 只有1/25s, 对处理速度提出了很高的要求。在单机实时处理场景下, 如果不能以类似的时间对一段微表情图像序列进行分类, 就可能积累更多的待处理任务,导致低效的系统. 高效的方法总是受欢迎的, 有两种应用场景需要极端高效的处理算法: 1) 在嵌入式设备或者移动终端上, 只有非常高效的方法能胜任; 2)将识别算法部署在服务器上, 并以服务的方式向不同的终端提供, 则高效的算法意味着更少的硬件投入。

目前还较少有工作探讨这方面的性能, 而近期出现的一些关于光流场计算的方法虽然有着很好的识别率, 但是不可避免地在时间性能上有待提高。

（4）微表情动作单元的识别

动作单元检测是常规表情识别中一项重要的子任务, 但在微表情中对动作单元进行检测面临着更大的难度。 然而这并不是没有价值的， 正确的识别动作单元可以作为情绪识别结果的强有力证据, 使情绪识别结果具有可解释性. 另外, 心理学对微表情的各种性质仍在研究之中, 不少结论尚存在争议. 动作单元级别的精细化识别, 结合可视化的标定技术, 可以作为心理学中微表情研究的重要依据, 具有跨学科辅助研究的意义。