【犀牛鸟·视野】SIGGRAPH Asia 2018：腾讯视频, 让视频更好玩, 更清晰

★导语★

腾讯视频作为中国领先的在线视频平台之一，凭借良好的用户体验和不断创新的产品功能, 深受用户喜爱。 腾讯视频研发团队在视频编码, 图像处理, 内容提取, 交互能力等方向为腾讯视频产品特性提供技术支持, 实现了智能弹幕, TIE视频增强, 视频超分辨率, HDR转换, ROI编码, 人脸和字幕识别等应用。在前不久的SIGGRAPH ASIA 2018国际会议上，腾讯视频团队展示了在视频领域的最新应用成果, 也让现场的参会者亲身体验到腾讯视频产品是如何变得更好玩, 更清晰。

12月，计算机图形计算和交互方向顶级会议SIGGRAPH ASIA 2018在日本东京成功举办，本届会议吸引了各路专家来介绍他们最新的黑科技, 腾讯视频在展览中展示了最近的技术应用成果, 包括视频智能弹幕, TIE视频增强, 视频超分辨率, HDR转换, ROI编码, 人脸和字幕识别等应用, 参观者都觉得很创新，很有趣。其中视频智能弹幕, 是腾讯视频智能研发团队最近的应用研究落地成果, 通过对视频内容的分析，分割出视频中的人体区域，让弹幕在经过人体区域时会被遮挡，使用户可同时享受观看弹幕和视频的乐趣。 TIE视频增强技术, 是腾讯视频的视频编码组的一項重要应用研究成果, 对视频源进行分析和处理, 产生更细致细丰富的视觉效果。

（图：大会现场盛况）

ONE

智能弹幕产品思路

现时在线视频中, 弹幕已经是其中一种最重要的用户交流方法, 用户发的消息会在其他用户的播放窗口中出现, 尤其受年青用户欢迎。然而, 当弹幕太多的时侯, 比如很精彩的剧情, 或者用户认为必须吐糟的点, 会让弹幕覆盖整个画面导致无法看到视频内容。如果要同时看到弹幕, 又看到内容, 就需要在主体内容的范围隐藏弹幕。

（图：智能弹幕效果图）

TWO

智能弹幕实现和效果

简单来说, 要区分前后景来决定是否隐藏弹幕, 实际操作上, 需要按内容的语意分割出是否需要隐藏弹幕, 语意分割在深度学习技术出现之后，分割的效果有了巨大的进步。腾讯视频智能研发团队将基于深度学习的语意分割技术引入到弹幕处理中，将视频内容中的关键区域分割出来，作为隐藏弹幕的区域，大幅度减小了弹幕对于用户视频观看体验的影响。

（图：语意分割技术）

THREE

TIE视频增强

1

视频增强产品思路

对视频业务而言, 对清晰度的追求永无止境, 为提升视频的视觉效果, 腾讯视频自主研发了视频增强技术——TIE（钛）即Tencent Image Enhancement，对视频画面特定分析处理，进行平滑降噪，同时从色彩、对比度、层次感三个方面对视频进行增强，使得画面色彩更加靓丽纯正，内容整体更清晰，对比度增强，细节更突出。

2

自主研发视频增强技术

自主研发的视频增强技术核心思想是提出了一种基于改进导向滤波算法的视频增强处理架构，利用改进的导向滤波特性有效的保留了图像的细节信息，并对图像进行平滑去噪，色彩增强，层次感加深，有效解决图像增强后产生的整体亮度不均、细节丢失、噪声放大及对于彩色图像增强后出现色偏等问题。依据TIE技术算法原理分析可知其具有普适性和鲁棒性，尤其对彩色图像、水下及雾天图像效果更加，具有平滑去噪、画面更加靓丽纯正、层次感更加突出等增强特性。

3

优化例子与方向

1）对比度优化：左侧的水下景观更加通透，游动的鱼群和珊瑚更加清晰，整体感觉更清晰，类似去掉一层薄纱的感觉。

2）色彩优化: 左图中的整体层次感加深，色彩增强，对比度更高，植被更加锐利、颜色更加鲜艳

3）人脸局部优化: 左图比右图层次感更强一些，人物脸部表情更加饱满一些

人物脸部效果放大对比时，左图皮肤做了平滑滤波的处理，并且脸部细节完整保留，眉毛、眼睛及嘴唇色彩进行了相对增强处理。

腾讯视频研发团队一直在视频相关的技术进行深入的研究, 为用户提供更清晰, 更流畅的观看体验, 另外也不断地发掘更创新, 更有趣的玩法, 让用户获得比简单的视频播放平台以外更丰富的体验和价值。

END