基于运动的视频插帧技术

本文是来自AOMedia Symposium 2019的演讲，主要内容是基于运动的视频插帧技术（Motion Based Video Frame Interpolation），演讲内容来自YouTube/Google转码小组技术主管，同时也是都柏林圣三一大学教授的Anil Kokaram。演讲中，Kokaram对用于视频插帧工作的各类模型预测及其效果进行了分析，指出了对运动信息的处理仍是当前各类算法的基础。

Kokaram首先对视频插帧技术的背景、目标进行了介绍，并以单帧插值为例解释了帧插值实际上就是运动插值的过程。同时对近年出现的基于卷积神经网络的方法进行了分析，事实上使用CNN获取图像光流同样是为运动插值过程服务。

Kokaram接着提出了他们项目组的方法。根据朴素贝叶斯的想法，要从观察到的图像与运动中得到缺失的图像与运动，可以先从观察到的运动中得到缺失的运动，并从缺失的运动还原缺失的图像。根据能量最小化的原理，在动作插值工作中，我们估计现有运动，测量运动能量、遮挡能量和图像能量，然后以最小化局部能量对运动进行选择。获取运动后接着进行图片插值工作，使用遮挡生成插值图片并进行后处理。通过Adobe240fps数据集上的测试与排名，使用MRF模型的Kronos方法仍是目前最好的方法之一。

Kokaram最后对演讲进行了总结，

• 超帧至60fps是一个重点
• 基于CNNs的方法与基于MRF运动插值的方法相比，在插帧工作中效率基本相同或稍差
• 但所有成功的方法都明确地使用了运动
• 如果你对运动的处理失败，那你将无法完成工作
• 混合使用MRF+CNN/3DAR方法可能会是未来研究的方向。

附上演讲视频：

http://mpvideo.qpic.cn/0bf2a4aaaaaagyaaavatg5pfab6daadqaaaa.f10002.mp4?dis_k=559304025fb3912ee4ee61121f70729b&dis_t=1578993703