智能擦除接入(旧)

最近更新时间:2025-09-19 15:47:02

我的收藏
说明:
自2025年9月起,控制台和 API 新增“智能擦除”模板。本教程仅针对存量使用“智能分析”模板(模板ID:25)接入擦除能力的客户,新客户请参考 智能擦除接入(新)文档,使用“智能擦除”模板发起任务。
“智能擦除”模板支持更多自定义配置,相比“智能分析”模板使用更灵活。二者仅在功能使用上有所区别,定价一致,无计费调整。

智能擦除功能简介

智能擦除能够对视频画面中的 Logo、字幕、人脸和车牌等元素进行模糊、马赛克或无痕化处理,从而便于内容的传播和分享。该功能广泛应用于短剧平台、短视频平台、跨境电商以及自媒体工作室等多个领域。

技术优势

多种场景支持:能够自动识别并处理十多种常见 Logo,此外,还可以针对字幕以及人脸和车牌等敏感信息进行擦除,提供模糊、马赛克和无痕化等多种效果,满足不同场景的需求。
高可定制性:支持针对您的具体的视频场景,对模型参数进行定制化调整,从而提高擦除的准确率和处理效果,确保最终呈现的画面更加自然流畅。

免费体验

1. 打开 体验馆,进入智能擦除体验页,在右侧选择点播文件,单击开始处理。
2. 等待处理完成后即可查看结果。
说明:
体验馆功能较简单,仅用于体验基础效果,测试完整效果请使用 API 接入。


如何发起擦除任务

说明:
控制台发起擦除任务,暂不支持传入 ExtendedParameter,仅能实现去水印基础版。因此若您需要去字幕、OCR 提取字幕等其他能力,请参考下文通过 API 方式发起擦除任务。
调用 ProcessMedia 接口 ,选择 AiAnalysisTask 任务,将 Definition 设置为 25(预设擦除模板 ID),ExtendedParameter 填额外的扩展参数,通过该参数实现不同的智能擦除能力,取值见下文 分场景 API 传参示例ProcessMedia 的 JSON 示例如下:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_fast\\"}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}
建议您通过 API Explorer 实现快速验证。您可以将上述 JSON 复制到 API Explorer 的 JSON 模式中,切换至“表单”模式可以自动解析,调整输入输出路径等必要参数后,再单击发起调用即可。
在 API Explorer 表单和 JSON 两种输入模式下,ExtendedParameter 的位置示意如下:

注意:
使用 API Explorer 的表单模式填写 ExtendedParameter 时,需要直接传入 JSON,不用转换成字符串。但使用 API Explorer 的 JSON 模式或直接使用 API 接口,则必须传入转义后的字符串。
API Explorer 表单模式,ExtendedParameter 传入 JSON 即可:

API Explorer JSON 模式,ExtendedParameter 则需要传入转义后的字符串:
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_fast\\"}}

分场景 ExtendedParameter 传参示例

智能擦除最常用的原子能力为去字幕,为支持短剧出海、视频转译等业务,还支持在去字幕的同时进行:
OCR 提取字幕并翻译:将字幕提取出来并进行翻译,生成翻译语言字幕文件。
音频合成:输入去字幕后的无痕视频,以及校准后的翻译语言字幕文件,生成带有翻译语言配音的新视频。
字幕压制:将字幕压制到视频画面中。
除此之外,智能擦除还支持:
去 Logo:去除视频上的 Logo。
隐私保护处理:将人脸、车牌进行模糊或马赛克处理。
使用不同能力,可以参考下文介绍,传入对应的 ExtendedParameter

一、去字幕

计费说明


ExtendedParameter 传入以下未转义JSON(字段具体说明请参考附:ExtendedParameter字段说明
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "subtitle_erase_fast",
"custom_objs": {
"type": 0,
"time_objs": [
{
"objs": [
{
"type": 2,
"score": 100,
"rect": {
"lt_x": 53,
"lt_y": 228,
"rb_x": 137,
"rb_y": 644
}
}
]
}
]
}
}
}

使用去字幕功能,含自动擦除、指定区域擦除、漏擦区域二次处理,不区分“区域版”、“标准版”模型,均收取“去字幕”费用,定价请参考 智能擦除计费说明

1.1 去字幕(自动擦除)

去字幕(自动擦除)指通过 AI 模型自动识别视频中的字幕文本内容,进行无痕化擦除,生成新的视频。画面干扰、特殊字幕样式可能会带来一定漏擦、误擦问题,您可以通过 去字幕(指定区域擦除)处理。
使用去字幕(自动擦除)能力,ExtendedParameter 基础传参如下:
使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_fast\\"}}
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_fast\\"}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "subtitle_erase_fast"
}
}

指定字幕大致位置,保护无需擦除的视频区域
去字幕功能默认会自动识别视频画面中部靠下的文字区域,并对这些文字区域进行擦除。
若您的视频类似下方示例,中部靠下部分有其他无需擦除的文字内容,您可以通过 als_filter 参数指定字幕的大致位置来减少误擦问题。
左:原始视频(底部“不顾一切爱上你”无需擦除)。中:使用 als_filter 指定字幕位置的擦除效果。右:未指定 als_filter 的擦除效果。
左:原始视频(底部“不顾一切爱上你”无需擦除)。中:使用 als_filter 指定字幕位置的擦除效果。右:未指定 als_filter 的擦除效果。

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式


ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_fast\\",\\"als_filter\\":{\\"active_areas\\":[{\\"lt_x\\":0.097,\\"lt_y\\":0.626,\\"rb_x\\":0.928,\\"rb_y\\":0.705}]}}}

/*
als_filter: 自动擦除区域,用于指定字幕的大致位置来减少画面干扰造成的误擦问题。
(lt_x,lt_y)为区域的左上点的坐标,(rb_x,rb_y)为区域右下点的坐标。其坐标值:
[ 0, 1 ] :表示占视频宽或高的比例
( 1, + ) :表示像素
*/
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_fast\\",\\"als_filter\\":{\\"active_areas\\":[{\\"lt_x\\":0.097,\\"lt_y\\":0.626,\\"rb_x\\":0.928,\\"rb_y\\":0.705}]}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "subtitle_erase_fast",
"als_filter": {
"active_areas": [
{
"lt_x": 0.097,
"lt_y": 0.626,
"rb_x": 0.928,
"rb_y": 0.705
}
]
}
}
}

若您希望自动擦除全屏文字内容,则可以将 als_filter 的区域大小尽量设为视频全屏大小,参考:
使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_fast\\",\\"als_filter\\":{\\"active_areas\\":[{\\"lt_x\\":0,\\"lt_y\\":0,\\"rb_x\\":0.9999,\\"rb_y\\":0.9999}]}}}

/*
als_filter: 自动擦除区域,用于指定字幕的大致位置来减少画面干扰造成的误擦问题。
(lt_x,lt_y)为区域的左上点的坐标,(rb_x,rb_y)为区域右下点的坐标。其坐标值:
[ 0, 1 ] :表示占视频宽或高的比例
( 1, + ) :表示像素
*/
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_fast\\",\\"als_filter\\":{\\"active_areas\\":[{\\"lt_x\\":0,\\"lt_y\\":0,\\"rb_x\\":0.9999,\\"rb_y\\":0.9999}]}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "subtitle_erase_fast",
"als_filter": {
"active_areas": [
{
"lt_x": 0,
"lt_y": 0,
"rb_x": 0.9999,
"rb_y": 0.9999
}
]
}
}
}


1.2 去字幕(指定区域擦除)

去字幕(自动擦除)通常能自动识别出较准确的字幕位置,但在某些特殊情况下可能会出现漏擦问题,例如下图情况:
左:红框部分字幕和背景对比度过小。右:字幕样式为花体且有渐变特效。
左:红框部分字幕和背景对比度过小。右:字幕样式为花体且有渐变特效。

因此,若您的字幕位置较固定,建议您通过 custom_objs 直接指定擦除区域,最大程度减少漏擦的情况。
说明:
指定 custom_objs 后,系统将直接擦除所选区域,不会自动识别或擦除视频中其他位置的文字内容。因此,请完整传入目标擦除区域。
示例:
左:原始视频。中:绿框表示 custom_objs 指定的擦除区域。右:擦除效果。
左:原始视频。中:绿框表示 custom_objs 指定的擦除区域。右:擦除效果。

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_fast\\",\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"objs\\":[{\\"type\\":2,\\"score\\":100,\\"rect\\":{\\"lt_x\\":53,\\"lt_y\\":228,\\"rb_x\\":137,\\"rb_y\\":644}}]}]}}}

/*
您可以指定多个擦除区域(不建议超过10个)。
(lt_x,lt_y)为擦除区域的左上点的坐标,(rb_x,rb_y)为区域右下点的坐标。其坐标值:
[ 0, 1 ) :表示占视频宽/高的比例
[ 1, + ) :表示像素
*/
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_fast\\",\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"objs\\":[{\\"type\\":2,\\"score\\":100,\\"rect\\":{\\"lt_x\\":53,\\"lt_y\\":228,\\"rb_x\\":137,\\"rb_y\\":644}}]}]}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "subtitle_erase_fast",
"custom_objs": {
"type": 0,
"time_objs": [
{
"objs": [
{
"type": 2,
"score": 100,
"rect": {
"lt_x": 53,
"lt_y": 228,
"rb_x": 137,
"rb_y": 644
}
}
]
}
]
}
}
}


1.3 针对特殊样式字幕

去字幕提供两种模型版本,适用于不同的字幕样式:
标准版(推荐):通常建议选择该版本,适用于字幕样式标准的视频,无痕化效果更好,细节还原更优。
CustomerAppId传入subtitle_erase_fast,表示使用“标准版”。
左:原始视频。中:区域版处理效果。右:标准版处理效果。若您视频中的字幕样式类似该示例,请选择标准版。
左:原始视频。中:区域版处理效果。右:标准版处理效果。若您视频中的字幕样式类似该示例,请选择标准版。

区域版:适用于特殊样式字幕(如背景阴影、花体、动效),擦除面积更大,但无痕效果不如标准版。
指定“区域版”, CustomerAppId传入subtitle_erase_area。示例:
左:原始视频。中:绿框表示 custom_objs 指定的擦除区域。右:擦除效果(因字幕样式特殊,使用区域版去字幕模型)
左:原始视频。中:绿框表示 custom_objs 指定的擦除区域。右:擦除效果(因字幕样式特殊,使用区域版去字幕模型)

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_area\\",\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"objs\\":[{\\"type\\":2,\\"score\\":100,\\"rect\\":{\\"lt_x\\":879,\\"lt_y\\":169,\\"rb_x\\":997,\\"rb_y\\":761}}]}]}}}

/*
subtitle_erase_area,表示使用“区域版”去字幕模型,适用于特殊样式字幕。
您可以指定多个擦除区域(不建议超过10个)。
(lt_x,lt_y)为擦除区域的左上点的坐标,(rb_x,rb_y)为区域右下点的坐标。其坐标值:
[ 0, 1 ) :表示占视频宽或高的比例
[ 1, + ) :表示像素
*/
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_area\\",\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"objs\\":[{\\"type\\":2,\\"score\\":100,\\"rect\\":{\\"lt_x\\":879,\\"lt_y\\":169,\\"rb_x\\":997,\\"rb_y\\":761}}]}]}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "subtitle_erase_area",
"custom_objs": {
"type": 0,
"time_objs": [
{
"objs": [
{
"type": 2,
"score": 100,
"rect": {
"lt_x": 879,
"lt_y": 169,
"rb_x": 997,
"rb_y": 761
}
}
]
}
]
}
}
}


1.4 字幕漏擦区域二次处理

如果使用去字幕(自动擦除)处理后,还有一些漏擦区域,通常是字幕样式、视频背景等造成的影响,您可以将去字幕模型改为“区域版”(subtitle_erase_area),并通过 custom_objs指定漏擦区域位置来进行修复。您还可以通过begin_msend_ms字段指定需二次处理的时间段。注意,为保证修复效果,漏擦区域位置、时间段需尽量准确。
说明:
由于去字幕输出视频需要为完整视频进行编解码,因此按输出视频的总时长计费,而不是按 begin_msend_ms 字段指定的擦除处理时间段计费。
使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_area\\",\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"begin_ms\\":3000,\\"end_ms\\":5000,\\"objs\\":[{\\"type\\":2,\\"score\\":100,\\"rect\\":{\\"lt_x\\":0.0,\\"lt_y\\":10,\\"rb_x\\":10,\\"rb_y\\":20}}]}]}}}
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_area\\",\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"begin_ms\\":3000,\\"end_ms\\":5000,\\"objs\\":[{\\"type\\":2,\\"score\\":100,\\"rect\\":{\\"lt_x\\":0.0,\\"lt_y\\":10,\\"rb_x\\":10,\\"rb_y\\":20}}]}]}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考附:ExtendedParameter 字段说明)。
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "subtitle_erase_area",
"custom_objs": {
"type": 0,
"time_objs": [
{
"begin_ms": 3000,
"end_ms": 5000,
"objs": [
{
"type": 2,
"score": 100,
"rect": {
"lt_x": 0.0,
"lt_y": 10,
"rb_x": 10,
"rb_y": 20
}
}
]
}
]
}
}
}

二、OCR 提取字幕

基于 OCR 文本识别,提取出视频原文字幕,并进行翻译,生成翻译语言字幕文件。
说明:
在擦除场景下,原始视频通常带有原文字幕,使用 OCR 提取字幕效果更好且更准确。因此,智能擦除功能仅集成了 OCR 能力。如果您希望通过 ASR 语音识别生成字幕文件,可以使用智能字幕功能,具体参考 智能字幕接入
源语言为中文或英文的字幕,OCR 提取效果最佳。

计费说明

使用 OCR 提取字幕(自动)或 OCR 提取字幕(指定区域),若仅提取原文字幕,收取“OCR 提取字幕”费用;若 translate_dst_language 传入了目标翻译语言,即开启了翻译字幕能力,收取“OCR 提取字幕并翻译”费用。定价请参考 智能擦除计费说明

2.1 OCR 提取字幕(自动)

自动识别视频画面中部靠下的文字,提取为字幕文件。
左侧:原始视频;右侧:提取出的字幕文件
左侧:原始视频;右侧:提取出的字幕文件

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"CustomerAppId\\":\\"subtitle_extract_v1\\",\\"subtitle_param\\":{\\"translate_dst_language\\":\\"\\",\\"subtitle_fmt\\":\\"srt\\"}}}

/*
CustomerAppId: 传入subtitle_extract_v1,表示进行OCR提取任务。
translate_dst_language: 用于指定目标语言,设置为空,则不进行翻译,只输出原始字幕;
其他值对应关系为: en-英语、zh-中文、ja-日语、ko-韩语、de-德语、pt-葡萄牙语、id-印尼语、th-泰语、ms-马来语;
以上仅列出常用语种,我们支持上百种翻译语种,如有需求请联系我们获取完整列表。
subtitle_fmt: 指定输出字幕文件格式,不传默认为WebVTT格式,srt表示SRT格式
min_sdur_ms:单句字幕最小时长,单位ms。例如设置为1000,表示时长小于1000ms的字幕会被忽略。
output_patten:指定输出文件名。占位标识为 {},占位符支持 task_type、session_id。
如不填,默认输出 {task_type}-{session_id}。
*/
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"CustomerAppId\\":\\"subtitle_extract_v1\\",\\"subtitle_param\\":{\\"translate_dst_language\\":\\"\\",\\"subtitle_fmt\\":\\"srt\\"}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"CustomerAppId": "subtitle_extract_v1",
"subtitle_param": {
"translate_dst_language": "",
"subtitle_fmt": "srt"
}
}
}


2.2 OCR 提取字幕(指定区域),过滤干扰文字

视频画面中部靠下存在其他干扰文字的情况下,自动提取可能会出现误检问题,因此对于字幕位置较固定的视频,建议您通过 als_filter 指定提取区域。
左图:未指定区域,提取出的文字内容有干扰信息。右图:绿框为指定的字幕区域,提取出的字幕内容更准确
左图:未指定区域,提取出的文字内容有干扰信息。右图:绿框为指定的字幕区域,提取出的字幕内容更准确

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"CustomerAppId\\":\\"subtitle_extract_v1\\",\\"subtitle_param\\":{\\"translate_dst_language\\":\\"\\"},\\"als_filter\\":{\\"active_areas\\":[{\\"type\\":2,\\"lt_x\\":72,\\"lt_y\\":703,\\"rb_x\\":618,\\"rb_y\\":787}]}}}

/*
als_filter: 自动提取区域,用于指定字幕的大致位置来减少误检问题。
(lt_x,lt_y)为区域的左上点的坐标,(rb_x,rb_y)为区域右下点的坐标。其坐标值:
[ 0, 1 ] :表示占视频宽或高的比例
( 1, + ) :表示像素
translate_dst_language: 用于指定目标语言,设置为空,则不进行翻译,只输出原始字幕;
其他值对应关系为: en-英语、zh-中文、ja-日语、ko-韩语、de-德语、pt-葡萄牙语、id-印尼语、th-泰语、ms-马来语;
以上仅列出常用语种,我们支持上百种翻译语种,如有需求请联系我们获取完整列表。
*/
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"CustomerAppId\\":\\"subtitle_extract_v1\\",\\"subtitle_param\\":{\\"translate_dst_language\\":\\"\\"},\\"als_filter\\":{\\"active_areas\\":[{\\"type\\":2,\\"lt_x\\":72,\\"lt_y\\":703,\\"rb_x\\":618,\\"rb_y\\":787}]}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"CustomerAppId": "subtitle_extract_v1",
"subtitle_param": {
"translate_dst_language": ""
},
"als_filter": {
"active_areas": [
{
"type": 2,
"lt_x": 72,
"lt_y": 703,
"rb_x": 618,
"rb_y": 787
}
]
}
}
}


三、语音合成替换(合成音频,替换源视频配音)

通过前文描述的去字幕、OCR 提取字幕能力,您可以获取到:
1. 擦除后无字幕的视频。
2. 翻译语言字幕文件。
接下来,您可以将这两个文件作为输入,进行音频合成、替换源配音任务,获得带有翻译语言配音的新视频。
说明:
语音合成替换功能内测中,如需测试体验,您可以联系我们获得支持。
该功能支持两种音色选择支持标准音色、克隆音色:
标准音色:支持中、英、日三语,提供多种男声、女声、童声选择。
克隆音色:基于领先 AI 语音克隆技术,逼真还原声音特征,支持以下语种:
语种
Code
中文 (Chinese)
zh
英语 (English)
en
日语 (Japanese)
ja
德语 (German)
de
法语 (French)
fr
韩语 (Korean)
ko
俄语 (Russian)
ru
乌克兰语 (Ukrainian)
uk
葡萄牙语 (Portuguese)
pt
意大利语 (Italian)
it
西班牙语 (Spanish)
es
印度尼西亚语 (Indonesian)
id
荷兰语 (Dutch)
nl
土耳其语 (Turkish)
tr
菲律宾语 (Filipino)
fil
马来语 (Malay)
ms
希腊语 (Greek)
el
芬兰语 (Finnish)
fi
克罗地亚语 (Croatian)
hr
斯洛伐克语 (Slovak)
sk
波兰语 (Polish)
pl
瑞典语 (Swedish)
sv
印地语 (Hindi)
hi
保加利亚语 (Bulgarian)
bg
罗马尼亚语 (Romanian)
ro
阿拉伯语 (Arabic)
ar
捷克语 (Czech)
cs
丹麦语 (Danish)
da
泰米尔语 (Tamil)
ta

计费说明

使用标准音色,收取“语音合成替换(标准音色)”费用。使用克隆音色,收取“语音合成替换(克隆音色)”费用。定价请参考 智能擦除计费说明

四、同时去字幕 + OCR 提取字幕 + 翻译字幕 + 字幕压制

输出带有翻译语言字幕的视频。
说明:
若您希望单独使用字幕压制,可以使用音视频转码功能实现,详细请查看音视频转码接入-字幕压制外挂字幕 指引。
左图:原始中文短视频;右图:处理后输出视频具有英文字幕。
左图:原始中文短视频;右图:处理后输出视频具有英文字幕。


计费说明

收取“去字幕”+“OCR 提取字幕并翻译+压制字幕”费用,定价请参考 智能擦除计费说明

使用指引

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_and_translate\\",\\"subtitle_param\\":{\\"translate_dst_language\\":\\"en\\"}}}
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_erase_and_translate\\",\\"subtitle_param\\":{\\"translate_dst_language\\":\\"en\\"}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "subtitle_erase_and_translate",
"subtitle_param": {
"translate_dst_language": "en"
}
}
}


五、去 Logo

去 Logo 表示擦除视频画面中的 Logo、图标、用户头像等图形内容,支持基础版和高级版两种模式:
基础版:基础模糊效果,性价比高,适合动画或背景较干净的视频。收取“智能擦除基础费用(去 Logo-基础版)”费用。
高级版:擦除效果更好,适合短剧等现实风格视频。收取“去 Logo-高级版”费用。
左:原始视频,红框内为 Logo 位置。中:基础版处理效果。右:高级版处理效果
左:原始视频,红框内为 Logo 位置。中:基础版处理效果。右:高级版处理效果


5.1 去 Logo 高级版

相比去 Logo 基础版,高级版擦除效果更好。CustomerAppId 传入 ai_delogo_v1 表示使用去 Logo 高级版。
支持自动擦除和指定区域擦除两种处理方式:
自动擦除:利用 AI 模型,自动识别视频全屏画面中的 Logo 并进行擦除,支持静态和位置变化的 Logo。
目前,我们支持十多种常见互联网 Logo,对于不在支持范围内的 Logo,我们也提供定制化训练服务,这将单独收取模型训练费用。
画面干扰可能会给自动擦除带来负面影响,造成一定漏擦误擦,这种情况可以通过指定区域擦除进行二次修复。
指定区域擦除:对于位置固定的静态 Logo,建议使用指定区域擦除,减少漏擦误擦问题。
红框:不断移动的动态 Logo,建议使用自动擦除(非常见互联网 Logo 需进行模型训练)。绿框:位置固定的静态 Logo,使用指定区域擦除即可去除。
红框:不断移动的动态 Logo,建议使用自动擦除(非常见互联网 Logo 需进行模型训练)。绿框:位置固定的静态 Logo,使用指定区域擦除即可去除。

计费说明
使用去 Logo 高级版,收取“去 Logo-高级版”费用,定价请参考 智能擦除计费说明
5.1.1 自动擦除
左:原始视频,左上右上各有一个 Logo/图标。右:去水印高级版自动擦除效果
左:原始视频,左上右上各有一个 Logo/图标。右:去水印高级版自动擦除效果

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"ai_delogo_v1\\"}}
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"ai_delogo_v1\\"}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "ai_delogo_v1"
}
}

5.1.2 自动擦除基础上,指定需擦除的 Logo 位置,保护无需擦除的区域
自动擦除功能默认会去除全局识别到的 Logo。如果传入als_filter,可以指定 Logo 的大致位置,系统在自动擦除时将过滤掉该区域外的 Logo,从而保护不需要擦除的视频部分。
左:原始视频,左上右上各有一个 Logo/图标。右:只擦除右上角图标内容。
左:原始视频,左上右上各有一个 Logo/图标。右:只擦除右上角图标内容。

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"ai_delogo_v1\\",\\"als_filter\\":{\\"active_areas\\":[{\\"type\\":1,\\"lt_x\\":527,\\"lt_y\\":13,\\"rb_x\\":701,\\"rb_y\\":78}]}}}

/*
als_filter: 自动提取区域,用于指定字幕的大致位置来减少误检问题。
(lt_x,lt_y)为区域的左上点的坐标,(rb_x,rb_y)为区域右下点的坐标。其坐标值:
[ 0, 1 ] :表示占视频宽或高的比例
( 1, + ) :表示像素
*/
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"ai_delogo_v1\\",\\"als_filter\\":{\\"active_areas\\":[{\\"type\\":1,\\"lt_x\\":527,\\"lt_y\\":13,\\"rb_x\\":701,\\"rb_y\\":78}]}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "ai_delogo_v1",
"als_filter": {
"active_areas": [
{
"type": 1,
"lt_x": 527,
"lt_y": 13,
"rb_x": 701,
"rb_y": 78
}
]
}
}
}

5.1.3 指定区域擦除
自动擦除只支持处理 MPS 模型库内的 Logo。对于非常见互联网 Logo,一般不在 MPS 模型库中,可按以下两种情况处理:
Logo 位置动态变化:需通过训练模型实现擦除,此过程将额外收取模型训练费用。
Logo 位置固定:可通过custom_objs直接指定擦除区域,完成去除,无需额外模型训练费用。示例如下:
左图:原始视频,红框内为指定 Logo 擦除区域;右图:擦除效果
左图:原始视频,红框内为指定 Logo 擦除区域;右图:擦除效果

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"ai_delogo_v1\\",\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"objs\\":[{\\"type\\":1,\\"value\\":\\"customobjs\\",\\"score\\":100,\\"rect\\":{\\"lt_x\\":0.024,\\"lt_y\\":0.027,\\"rb_x\\":0.14,\\"rb_y\\":0.198}}]}]}}}
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"ai_delogo_v1\\",\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"objs\\":[{\\"type\\":1,\\"value\\":\\"customobjs\\",\\"score\\":100,\\"rect\\":{\\"lt_x\\":0.024,\\"lt_y\\":0.027,\\"rb_x\\":0.14,\\"rb_y\\":0.198}}]}]}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "ai_delogo_v1",
"custom_objs": {
"type": 0,
"time_objs": [
{
"objs": [
{
"type": 1,//水印去除,type设置为1
"value": "customobjs",
"score": 100,
"rect": {
"lt_x": 0.024,
"lt_y": 0.027,
"rb_x": 0.14,
"rb_y": 0.198
}
}
]
}
]
}
}
}


5.2 去 Logo 基础版

去 Logo 基础版为模糊擦除效果,也支持自动擦除和指定区域擦除两种使用方式。
计费说明
使用去 Logo 基础版,含自动擦除和指定区域擦除,收取“智能擦除基础费用(去 Logo-基础版)”费用,定价请参考 智能擦除计费说明
5.2.1 自动擦除
ExtendedParameter 不填,则为去 Logo 基础版(自动擦除)场景,全屏识别 Logo。
左:原始视频,左上右上各有一个 Logo/图标。中:去 Logo 基础版(自动擦除)效果。
左:原始视频,左上右上各有一个 Logo/图标。中:去 Logo 基础版(自动擦除)效果。

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 不传即可。
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25 //智能擦除预设模板ID,填25即可
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 不传即可。

5.2.2 指定区域擦除
同去 Logo 高级版,基础版自动擦除也只支持处理 MPS 模型库内的 Logo。对于非常见互联网 Logo,一般不在 MPS 模型库中,可按以下两种情况处理:
Logo 位置动态变化:需通过训练模型实现擦除,此过程将额外收取模型训练费用。
Logo 位置固定:可通过custom_objs直接指定擦除区域,完成去除,无需额外模型训练费用。示例如下:
使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"objs\\":[{\\"type\\":1,\\"value\\":\\"customobjs\\",\\"score\\":100,\\"rect\\":{\\"lt_x\\":0.024,\\"lt_y\\":0.027,\\"rb_x\\":0.14,\\"rb_y\\":0.198}}]}]}}}
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"objs\\":[{\\"type\\":1,\\"value\\":\\"customobjs\\",\\"score\\":100,\\"rect\\":{\\"lt_x\\":0.024,\\"lt_y\\":0.027,\\"rb_x\\":0.14,\\"rb_y\\":0.198}}]}]}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"custom_objs": {
"type": 0,
"time_objs": [
{
"objs": [
{
"type": 1,//水印去除,type设置为1
"value": "customobjs",
"score": 100,
"rect": {
"lt_x": 0.024,
"lt_y": 0.027,
"rb_x": 0.14,
"rb_y": 0.198
}
}
]
}
]
}
}
}


六、同时去字幕 + 去 Logo

计费说明

同时去字幕 + 去 Logo,收取“去 Logo-高级版”和“去字幕”费用,定价请参考 智能擦除计费说明

操作指引

当视频中同时存在字幕(文字内容)和 Logo(图形内容)时,可以将CustomerAppId指定为subtitle_logo_erase,同时进行去字幕和去 Logo 处理。
对于常见互联网 Logo,您无需指定 Logo 位置,系统会自动擦除,只需通过als_filter指定字幕所在位置。
左图:原始视频;右图:擦除效果
左图:原始视频;右图:擦除效果

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_logo_erase\\",\\"als_filter\\":{\\"active_areas\\":[{\\"type\\":2,\\"lt_x\\":0.106,\\"lt_y\\":0.733,\\"rb_x\\":0.901,\\"rb_y\\":0.825},{\\"type\\":2,\\"lt_x\\":0.612,\\"lt_y\\":0.911,\\"rb_x\\":0.988,\\"rb_y\\":0.984}]}}}
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_logo_erase\\",\\"als_filter\\":{\\"active_areas\\":[{\\"type\\":2,\\"lt_x\\":0.106,\\"lt_y\\":0.733,\\"rb_x\\":0.901,\\"rb_y\\":0.825},{\\"type\\":2,\\"lt_x\\":0.612,\\"lt_y\\":0.911,\\"rb_x\\":0.988,\\"rb_y\\":0.984}]}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "subtitle_logo_erase",
"als_filter": {
"active_areas": [
{
"type": 2,//字幕文字去除,type设置为2
"lt_x": 0.106,
"lt_y": 0.733,
"rb_x": 0.901,
"rb_y": 0.824
},
{
"type": 2,//字幕文字去除,type设置为2
"lt_x": 0.612,
"lt_y": 0.911,
"rb_x": 0.988,
"rb_y": 0.984
}
]
}
}
}

对于非常见互联网 Logo,一般不在 MPS 模型库中,可按以下两种情况处理:
Logo 位置动态变化:需通过训练模型实现擦除,此过程将额外收取模型训练费用。
Logo 位置固定:可通过custom_objs直接指定擦除区域,完成去除,无需额外模型训练费用。示例如下:
使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_logo_erase\\",\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"objs\\":[{\\"type\\":1,\\"value\\":\\"customobjs\\",\\"score\\":100,\\"rect\\":{\\"lt_x\\":0.024,\\"lt_y\\":0.027,\\"rb_x\\":0.14,\\"rb_y\\":0.198}}]}]}}}
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_zhiyan\\",\\"CustomerAppId\\":\\"subtitle_logo_erase\\",\\"custom_objs\\":{\\"type\\":0,\\"time_objs\\":[{\\"objs\\":[{\\"type\\":1,\\"value\\":\\"customobjs\\",\\"score\\":100,\\"rect\\":{\\"lt_x\\":0.024,\\"lt_y\\":0.027,\\"rb_x\\":0.14,\\"rb_y\\":0.198}}]}]}}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"cluster_id": "gpu_zhiyan",
"CustomerAppId": "subtitle_logo_erase",
"custom_objs": {
"type": 0,
"time_objs": [
{
"objs": [
{
"type": 1,//水印去除,type设置为1
"value": "customobjs",
"score": 100,
"rect": {
"lt_x": 0.024,
"lt_y": 0.027,
"rb_x": 0.14,
"rb_y": 0.198
}
}
]
}
]
}
}
}


七、隐私保护处理(人脸车牌)

计费说明

使用隐私保护处理功能,收取“隐私保护处理(人脸、车牌)”费用,定价请参考 智能擦除计费说明

7.1 人脸处理

识别视频画面后,对出现的人脸进行模糊或马赛克处理,并生成新的视频。
模糊效果
左图:原始视频画面;右图:人脸模糊处理
左图:原始视频画面;右图:人脸模糊处理

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"CustomerAppId\\":\\"facial_blur\\"}
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"CustomerAppId\\":\\"facial_blur\\"}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"CustomerAppId": "facial_blur"
}
}

马赛克效果
左图:原始视频画面;右图:处理后人脸都被打上马赛克。
左图:原始视频画面;右图:处理后人脸都被打上马赛克。

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{\\"delogo\\":{\\"CustomerAppId\\":\\"facial_mosaic\\"}}
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"CustomerAppId\\":\\"facial_mosaic\\"}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义 JSON(字段具体说明请参考 附:ExtendedParameter 字段说明)。
{
"delogo": {
"CustomerAppId": "facial_mosaic"
}
}


7.2 人脸和车牌同时处理

识别视频画面后,对出现的人脸和车牌信息同时进行模糊或马赛克处理,并生成新的视频。
模糊效果
内测中,如需测试体验,您可以联系我们获得支持。
马赛克效果
左图:原始视频画面;右图:人脸&车牌均被打上马赛克
左图:原始视频画面;右图:人脸&车牌均被打上马赛克

使用 API Explorer 的 JSON 模式
使用 API Explorer 的表单模式

ExtendedParameter 传入以下转义后字符串(字段具体说明请参考 附:ExtendedParameter字段说明)。
{\\"delogo\\":{\\"CustomerAppId\\":\\"facial_and_numberplate_mosaic_v2\\"}}
调用 ProcessMedia 发起任务完整 JSON 示例:
{
"InputInfo":{ //输入视频路径,请替换为您的原始视频
"Type":"URL",
"UrlInputInfo":{
"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"
}
},
"OutputStorage":{ //输出COS存储桶,请替换
"Type":"COS",
"CosOutputStorage":{
"Bucket":"test",
"Region":"ap-nanjing"
}
},
"OutputDir":"/mps_test/output/",//输出文件夹路径,请替换
"AiAnalysisTask":{
"Definition":25, //智能擦除预设模板ID,填25即可
"ExtendedParameter":"{\\"delogo\\":{\\"CustomerAppId\\":\\"facial_and_numberplate_mosaic_v2\\"}}" //扩展参数,选择不同擦除能力需要替换这部分参数
},
"TaskNotifyConfig":{ //事件回调通知配置,可选
"NotifyType":"URL",
"NotifyUrl":"http://www.qq.com/callback"
}
}

ExtendedParameter 传入以下未转义JSON(字段具体说明请参考 附:ExtendedParameter字段说明)。
{
"delogo": {
"CustomerAppId": "facial_and_numberplate_mosaic_v2"
}
}


附:ExtendedParameter 字段说明

ExtendedParameter 支持的所有字段及其说明如下:
"delogo":{
"CustomerAppId": "subtitle_extract", # string;预设场景参数,不同场景可能只用到以下部分参数,一般参数修改需要我们内部确认。
"cluster_id": "", # string;保留字段,用于策略进行集群调度,特定任务需要在特定集群跑,不能随便修改
"output_patten": "{task_type}-{session_id}", # string;输出文件名,不能有特殊字符,长度小于 200,标识 {},支持占位符 task_type、session_id
"als_filter": { # json对象;目标检查分析过滤器
"min_ocr_height": 10, # float,大于等于 0 有效;对于文字识别:文字最小大小。注:小于等于 1 表示视频高度比例,大于 1 表示像素
"max_ocr_height": 0.06, # float,大于等于 0 有效;对于文字识别:文字最大大小
"active_areas": [ # json 数组;区域过滤,识别结果中心点在该区域内,才采用
{
"lt_x": 0.1, # float,大于等于 0 有效;区域左上角x坐标。注:小于等于 1 表示比例,大于 1 表示像素
"lt_y": 0.6, # float,大于等于 0 有效;区域左上角y坐标
"rb_x": 0.9, # float,大于等于 0 有效;区域右下角x坐标
"rb_y": 0.95 # float,大于等于 0 有效;区域右下角y坐标
}
]
},
"custom_objs": { # json 对象;自定义区域
"type": 0, # int,填0;指定类型
"time_objs": [# json 数组;时间区域信息
{
"begin_ms": 0, # int;起始时间,单位ms,不填同视频开始
"end_ms": 100, # int;结束时间,单位ms,不填同视频结尾
"objs": [ # json 数组;区域信息
{
"rect": { # json对象;目标区域
"lt_x": 55, # float,大于等于 0 有效;区域左上角x坐标。注:小于 1 表示比例,大于等于 1 表示像素
"lt_y": 143, # float,大于等于 0 有效;区域左上角y坐标
"rb_x": 327, # float,大于等于 0 有效;区域右下角x坐标
"rb_y": 192 # float,大于等于 0 有效;区域右下角y坐标
},
"score": 100, # int,此处填100;目标参考分值
"type": 2, # int;目标类型,1 指Logo等目标, 2 指文字
"value": "LUSN" # string;目标取值,例如文字识别则填对应的文字
}
]
}
]
}
"subtitle_param" : { # json对象;字幕相关参数
"margin_bottom": 0.2, # float,大于等于 0 有效;用于字幕文件渲染,字幕距离底边距离,小于等于 1 表示视频高度比例, 大于 1 表示像素;
"font_size": 50, # float,大于等于 0 有效;用于字幕文件渲染,字幕渲染字体大小,小于等于 1 表示视频高度比例, 大于 1 表示像素;
"font_type": "simkai", # string;字幕渲染字体:simkai-楷体,hei-黑体,song-宋体;
"translate_dst_language": "en" # string;用于字幕翻译,设置为空,则不进行翻译,只输出原始字幕;其他值对应关系为: en-英语、zh-中文、ja-日语、ko-韩语、de-德语、pt-葡萄牙语、id-印尼语、th-泰语、ms-马来语;以上仅列出常用语种,我们支持上百种翻译语种,如有需求请联系我们获取完整列表。
}
}

常见问题

是否支持基于 ASR 生成字幕?

支持,您可以使用智能字幕功能实现,具体参考 智能字幕接入
在擦除场景下,原始视频通常带有原文字幕,使用 OCR 提取字幕效果更好且更准确。因此,智能擦除功能仅集成了 OCR 能力。

是否支持单独使用字幕压制、外挂字幕功能?

单纯压制字幕、外挂字幕,不涉及到擦除,可以使用音视频转码功能实现,详细请查看音视频转码接入-字幕压制外挂字幕 指引。

已有音频文件,如何与视频文件进行合成,生成新视频?

业务场景:
已通过其他方式生成 AI 人声配音文件,希望将视频进行人声、背景声分离,然后将 AI 人声配音与背景声,合成到原视频里,替换掉原视频的音频。
实现方式:
要实现人声、背景声分离,您可以通过控制台创建音视频增强任务,启用音频分离功能,发起任务后,将会得到背景声文件:

然后,调用 编辑视频 API,选用合成任务,将 AI 人声配音、背景声、视频进行合成,生成新视频。JSON 示例如下:
POST / HTTP/1.1
Host: mps.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: EditMedia
<公共请求参数>
{
"FileInfos": [//输入需要合成的文件信息
{
"InputInfo": {//输入视频路径
"Type": "URL",
"UrlInputInfo": {
"Url": "https://test.cos.ap-nanjing.myqcloud.com/MPS/sourcevideo.mp4"
}
},
"Id": "SOURCE_VIDEO"
},
{
"InputInfo": {//输入人声路径
"Type": "URL",
"UrlInputInfo": {
"Url": "https://test.cos.ap-nanjing.myqcloud.com/MPS/voices.mp3"
}
},
"Id": "AUDIO_VOICES"
},
{
"InputInfo": {//输入背景声路径
"Type": "URL",
"UrlInputInfo": {
"Url": "https://test.cos.ap-nanjing.myqcloud.com/MPS/background.mp3"
}
},
"Id": "AUDIO_BACKGROUND"
}
],
"OutputStorage": {//输出COS目录
"Type": "COS",
"CosOutputStorage": {
"Bucket": "test",
"Region": "ap-nanjing"
}
},
"OutputObjectPath": "/editmedia/compose/final_video.{format}",//输出文件夹路径及文件名定义
"ComposeConfig": {
"TargetInfo": {//输出视频参数
"Container": "mp4",
"RemoveVideo": 0,
"RemoveAudio": 0,
"VideoStream": {
"Codec": "H.264",
"Fps": 18
},
"AudioStream": {
"Codec": "AAC",
"SampleRate": 32000,
"AudioChannel": 1
}
},
"Tracks": [//轨道信息
{
"Type": "Video",//轨道1,视频
"Items": [
{
"Type": "Video",
"Video": {
"SourceMedia": {
"FileId": "SOURCE_VIDEO"
},
"AudioOperations": [
{
"Type": "Volume",
"Volume": 0 //将视频内的原音频静音
}
]
}
}
]
},
{
"Type": "Audio",//轨道2,人声
"Items": [
{
"Type": "Audio",
"Audio": {
"SourceMedia": {
"FileId": "AUDIO_VOICES"
},
"TrackTime": {
"Duration": "10s" //轨道持续时间,不填表示与SourceMedia的时长一致
},
"AudioOperations": [
{
"Type": "Volume",
"Volume": 5 //音量配置
}
]
}
}
]
},
{
"Type": "Audio",//轨道3,背景声
"Items": [
{
"Type": "Audio",
"Audio": {
"SourceMedia": {
"FileId": "AUDIO_BACKGROUND"
},
"TrackTime": {
"Duration": "10s" //轨道持续时间,不填表示与SourceMedia的时长一致
},
"AudioOperations": [
{
"Type": "Volume",
"Volume": 5 //音量配置
}
]
}
}
]
}
]
}
}

去 Logo 功能具体支持哪些 Logo ?

目前,我们支持十多种 Logo 的自动识别和擦除。对于不在支持范围内的 Logo,我们也提供定制化训练服务,但这将单独收取模型训练费用。
若 Logo 位置固定,也可以通过指定擦除区域进行处理,不额外收取模型训练费用。

没有 Logo 的视频会收费吗?

会收费。因为即使视频没 Logo,服务也会进行正常分析识别,需要消耗计算资源。

是否支持直播?

目前对外接口仅支持处理离线文件,若有直播流处理需求,请联系开发人员提供。

如何指定擦除输出文件的命名?

您可以在扩展参数里通过参数 output_patten 指定输出文件名。
占位标识为 {},占位符支持 task_type、session_id,默认输出 {task_type}-{session_id}
使用示例:
//转译前示例代码,仅适用于在 API Explorer 中使用
{
"delogo": {
"CustomerAppId": "subtitle_extract",
"subtitle_param": {
"translate_dst_language": ""
},
"output_patten": "custom-{task_type}-{session_id}"
}
}
// 若直接使用API,请将上述代码转义为字符串传入:{\\"delogo\\":{\\"CustomerAppId\\":\\"subtitle_extract\\",\\"subtitle_param\\":{\\"translate_dst_language\\":\\"\\"},\\"output_patten\\": \\"custom-{task_type}-{session_id}\\"}}

// 上述参数的输出文件名将是:custom-delogo-02EF93096ADCC84F4ACF156F3A0D1120DD_1721359047292.vtt


智能擦除是否支持 COS 自动触发?

智能擦除模板正在开发中,预期将于2025年7月上线控制台,届时您可以通过控制台配置编排并启用自动触发。
当前若您有自动触发需求,可以联系我们线下为您配置,感谢您的理解。