微信视觉团队斩获CVPR 2023 Video Similarity Challenge双赛道

近日，CVPR 2023 Video Similarity Challenge比赛圆满结束，微信视觉团队凭借出色的表现，成功获得该比赛双赛道冠军。

在比赛中，微信视觉团队以深厚的技术实力成功夺得了Descriptor Track 和 Matching Track两个赛道的冠军，并在Matching Track赛道提出了创新性的解决方案，比赛指标远超其他参赛者。目前，相关技术论文《A Dual-level Detection Method for Video Copy Detection》、《 A Similarity Alignment Model for Video Copy Segment Matching》已发布于论文预印本网站arXiv。

Descriptor Track最终榜单和Matching Track最终榜单

微信视觉团队挑战CVPR 2023 Video Similarity Challenge，成功斩获双赛道冠军

伴随着短视频平台的兴起，短视频搬运、抄袭等问题也日益严峻，视频原创保护意识和视频拷贝检测技术逐渐引起广泛关注与重视。为推动视频拷贝检测领域的不断进步， Meta AI在 CVPR 2023 Workshop上发起Video Similarity Challenge。作为计算机视觉领域的全球顶会，CVPR举办了许多比赛，每次比赛都吸引了众多国内外企业、科研机构的顶尖团队参与角逐，此次也不例外。其中，微信视觉团队也报名参加了此次比赛。

据了解，视频拷贝检测技术是用于检测一个视频是否拷贝了另外一个视频，包括完整拷贝、片段剪辑以及各种滤镜特效花边字幕等编辑对抗。其中，Descriptor Track 和 Matching Track是视频拷贝检测工作中的两个重要的环节。基于此，本次比赛设立了Descriptor Track 和 Matching Track两个赛道。

在比赛中，微信视觉团队表现出色，以0.8717和0.9153的成绩成功揽下双赛道冠军。其中，在Matching Track赛道上，微信视觉团队提出了新的解决方案，得分也远超其他参赛者。

微信视觉团队推出新方案，已部署应用于视频号

据介绍，此次比赛难点在于不仅需要判断两个视频质检是否存在拷贝关系，还需要定位到两个视频拷贝片段具体位置。这里需要高性能的视频特征，用于在巨大视频库中召回拷贝视频。此处主要的挑战是源视频和拷贝视频通常存在大量编辑，而且拷贝时长，位置也是完全随机的。对于拷贝片段的实际匹配关系，则一直是业界的难点，特别是对于时长较短的拷贝片段非常难做到准备的定位。因此， Video Similarity Challenge比赛将这个问题分为Descriptor Track 和 Matching Track两个赛道。

比赛中，微信视觉团队克服重重难点，成功登顶两个赛道榜单的榜首，并且在Matching Track赛道上，还研发出了一套更为精准、高效的解决方案。

在Descriptor Track 赛道中，微信视觉团队经过数据分析后明确了任务难点，并基于此提出了一个两阶段检测方法来识别拷贝视频，该方法分为Frame-Level Embedding、Video Editing Detection和Frame Scenes Detection三个模块。在对3个模块进行深度训练学习后，最终在uAP指标上取得了0.8717的成绩，相比第2名的0.8514有明显提升。

在Matching Track 赛道上，微信视觉团队提出的Matching Track 解决方案由Feature Extraction、Similar Segment Matching和Similar Segment Parsing三部分组成。其中，Feature Extraction 基于Descriptor Track 方案，负责视频帧级别embedding提取；Similar Segment Matching 则基于query视频和reference视频的帧级别embedding相似度矩阵为输入。

首先，基于MobileNet-V3等分类器，从大量召回中筛选正样本，剔除大量简单负样本召回，减少Matching阶段计算开销。其次，使用HRNet-w18作为骨干网络，预测每帧的匹配关系。最后Similar Segment Parsing阶段，经过连通分量算法和RANSAC回归算法的后处理，得到源视频和copy视频的copy片段匹配关系。该方案在比赛评测数据上，uAP指标达到了惊人的0.9153，远超其他参赛者。

目前，微信视觉团队在CVPR 2023 Video Similarity Challenge比赛中的相关技术方案已在视频号落地使用。作为内容记录与创作平台，微信视频号始终尊重并维护每位权利人的知识成果，通过“首发内容保护机制”、“原创声明机制”、线上+线下协同合作、电子侵权投诉系统、关联帐号打击等措施，优化用户体验，提升处理能效。

未来，微信视觉团队也将不断加强在Video Similarity（视频相似性）方面的技术积累，将先进技术落地应用至产品场景，持之以恒地打击短视频拷贝、直播录播盗播等黑灰产，竭力打造繁荣健康的原创内容生态。