视频擦除，也就是从画面里去掉水印、台标、硬字幕这类东西，看起来是个小需求，真做起来会横跨目标检测、语义分割、图像修复、光流估计和视频编码好几个方向。

它和用画笔涂掉完全是两回事。涂抹只是把原像素盖住，擦除要求拿周围的真实内容把这块区域重建出来，而且前后帧之间得对得上。这是两个难度差着量级的问题。

这篇把整条链路拆开讲：每一步在做什么、主流方案有哪些、各自卡在哪里。

图源：AI 生成 · 视频擦除的五段处理链路

静态水印。位置固定，整段视频压在同一个地方。三类里最好处理，掩码画一次就能复用。

动态水印。位置随时间移动，比如某些平台滚动展示的用户 ID。掩码必须逐帧跟随，跟着跟着丢帧就会出现残留。

硬字幕。通常是画面下方一整条横带，可能还带描边和半透明底衬。面积大，是三类里最难的。

这里有个常见混淆：软字幕不算擦除问题。软字幕是独立的字幕轨道，播放器里关掉、或者用 FFmpeg 直接删轨就行，根本不用碰画面像素。只有烧录进画面的硬字幕才需要修复算法出手。

定位、掩码、修复、时序对齐、合成回写。五步串行，前一步的误差会一路传到结尾。

举个具体的影响：如果定位框偏了两个像素，掩码就会少覆盖一条窄边，修复模型拿到的是带着残留痕迹的边界，最后输出会在原地留下一圈淡淡的轮廓。换更强的修复模型也救不回来。

三、定位：把要擦掉的东西找出来

通用目标检测模型可以处理 logo、台标这类固定形状的目标，YOLO 系列、Faster R-CNN 都是常见选择。能用的前提是训练样本覆盖得够，遇到没见过的水印样式就会漏。

字幕属于文本，拿通用检测器效果一般。文本检测方向有更对口的方案，DBNet、CRAFT 这类模型对细长条形和密集字符的处理明显更好，输出的还直接是多边形而不是矩形框。

单帧漏检会让擦除结果中间断一下，这种断点在视频里非常显眼。常见补救是把相邻帧的检测结果做平滑，卡尔曼滤波或者简单的轨迹跟踪都行，把漏掉的帧补上。

工程上还有一条半自动路线：让用户框一次目标，剩下的交给跟踪算法。听着不够智能，但可靠性往往比全自动更高，很多实际产品都默认走这条。

检测出来的是矩形框，直接把矩形当掩码会连带擦掉框内不该动的内容。需要把框内的目标转成像素级掩码，语义分割或者基于颜色阈值的分割都能做这件事。半透明水印、带发光边缘的水印最难切干净。

有一个步骤经常被忽略：掩码膨胀。生成好的掩码要往外扩几个像素，通常 2 到 5 个，具体看分辨率。原因是原痕迹的边缘带着抗锯齿和压缩产生的过渡像素，如果掩码贴着目标边缘切，这些过渡像素会被修复模型当成真实内容参考，结果就是残留一圈幽灵边。

经验上，掩码质量对最终效果的影响，比换一个更强的修复模型更大。花时间把掩码做准，比堆算力划算。

传统纹理合成这条路以 PatchMatch 为代表，做法是随机化搜索相似的图像块再拼贴过去。它适合纹理重复度高、掩码很小的场景，比如一个角落的小 logo。掩码一大就会失效，因为找不到足够多可参考的相似块。

卷积和 GAN 这条路是现在单帧修复的主力。DeepFill v2 引入门控卷积加上 SN-PatchGAN，让网络学会忽略无效像素；LaMa 则用快速傅里叶卷积把感受野铺到全图，对大掩码更友好，而且训练分辨率和推理分辨率可以不一致，小图训练大图推理也撑得住。

Transformer 与扩散模型这条路针对的是大孔洞。MAT 用掩码感知的 Transformer 处理大面积缺失。视频方向上，STTN 用时序 Transformer 一次看多帧，E2FGVI 引入光流引导，ProPainter 把光流补全、循环传播和 Transformer 拼在一起，目前公开方案里算是比较稳的一档。扩散模型的质量上限更高，但推理成本摆在那，实际生产里用得比论文里少得多。

六、时序一致性：逐帧修复为什么会闪

把每一帧单独拿去修复，每帧的猜测都不一样，得到的结果连起来播放，水印那块区域会像噪点一样抖动。这个问题比单帧画质更能决定成片能不能用，因为人眼对闪烁极其敏感。

解决思路大致三档。第一档是光流传播，把已经修好的区域沿光流推到下一帧，只在必要的地方重新推理，RAFT 是常用的光流估计网络。第二档是时序注意力，让模型一次看多帧再决定怎么补，E2FGVI 和 STTN 都在这个方向上。第三档是对修复区域做时序滤波，成本最低，代价是画面会糊一点，适合要求不高的场景。

评估时序稳定性有个常用指标叫 Ewarp 误差：把修复帧按光流扭曲到相邻帧，逐像素比差异，差异越小说明帧间越稳。

字幕条带往往横跨大半个画面宽度，掩码面积可能超过整帧的百分之十，这已经属于大孔洞范畴，只能上大掩码友好的模型，PatchMatch 这类方法完全没戏。

如果原字幕带描边或投影，掩码要单独把描边层算进去，否则会在字幕位置留下半圈轮廓。这一点和前面讲的掩码膨胀是同一类问题，只是更容易漏。

反过来说，字幕的位置有很强的先验：基本贴着画面底边、水平排列、高度稳定。用这个先验去约束掩码生成，比上一个通用检测器省事得多，也更稳。

单帧层面看 PSNR 和 SSIM，这两个是像素级指标，算得快但和人眼感受不完全一致；LPIPS 用深度特征比距离，更贴近主观观感。

视频层面看 VFID 判断整体分布，看 Ewarp 判断时序一致性。

这些指标都不完整，它们衡量的是和参考真值的接近程度，而实际场景里你根本没有真值。验收时最靠谱的办法还是人工看两遍：一遍正常速度播放，看有没有闪烁；一遍逐帧推进，看边界有没有残留。两遍都过关再谈交付。

显存是第一个约束。1080P 逐帧跑修复模型，占用主要跟着特征图尺寸走，视频模型一次吃多帧时更夸张。常见解法是切块推理再拼回去，代价是块与块之间可能出现接缝，所以重叠区域要留够，拼接时用加权融合过渡。

抽帧和回写靠 FFmpeg，基本是事实标准。抽帧用 -vf fps 控制采样，回写时记得保持原始帧率并把音频轨接回去，音画不同步是这一步最常见的坑。

部署位置有三条路可选。桌面端直接调 GPU，性能最好，但要处理 CUDA 版本、驱动、显存这一串环境问题。浏览器端用 WebAssembly 或 WebGPU 跑 ONNX 模型，好处是素材不出本机，代价是模型体积和算力都受限，重模型跑不动。云端算力不受限、适合批量，代价是素材需要上传。这三条路的取舍，本质上是在性能、环境成本、数据边界之间做交换。

还有一步特别容易漏：擦除完成后的重新编码。如果编码参数给得太激进，比如码率压得过低，刚修复好的区域会被重新压出块效应，前面所有工作都白做。擦除场景下建议比常规转码留出更多码率余量。

这类流程在实际工程里通常封装成一键任务，定位、掩码、修复、时序对齐由系统串起来，使用者只需要提供素材并圈定区域，比如 SoundView 的智能擦除就是按这个思路组织的。

有人或物体从水印前经过，造成大面积连续遮挡。这类情况模型需要凭空补出被挡住的运动内容，基本补不对。

水印压在复杂纹理上，比如毛发、格纹、织物。修复模型很难重建这类高频随机结构，补出来的区域会有明显的模糊感。

快速运动加运动模糊的画面。运动本身就让光流估计变难，模糊又抹掉了可用于匹配的细节。

水印占了画面很大比例，周围又没有足够的干净区域可参考。

这四类的共同点是一样的：修复算法本质上是「从别处借内容」，借不到就只能靠模型编，而编出来的东西经不起暂停细看。目前没有哪个方案能绕开这个限制，只是表现好坏的差别。

整条链路里，定位和掩码决定效果的上限，修复模型决定能不能碰到这个上限，时序处理决定成片能不能看，编码参数决定前面的工作会不会白费。

如果只记一件事：把掩码做准，比换更贵的模型更值。

视频擦除的技术实现：从目标检测到视频修复的完整链路

音视频

人工智能

算法

视频擦除需五步链路：定位、掩码、修复、时序对齐、合成回写。掩码准确性决定效果上限，膨胀处理防残留；时序一致性防闪烁，Ewarp评估；硬字幕需大掩码模型。性能受显存限制，编码参数需留余量，复杂场景仍难完美重建。

扩散模型

WebAssembly

YOLO

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

视频擦除的技术实现：从目标检测到视频修复的完整链路

视频擦除的技术实现：从目标检测到视频修复的完整链路

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐