媒体处理 AI 解说二创接入

概述
输入原始视频，系统一站式自动完成解说脚本生成、脚本匹配成片、AI 配音、去字幕等操作，输出带有解说文案、配音和字幕的新视频。当前支持处理短剧、影视剧视频，单击 查看效果示例。
﻿
计费说明
收取“AI 解说二创”和“去字幕”两笔费用，其中详细定价请查看 计费说明文档。
说明：
“去字幕”功能用于擦除原始视频上的字幕，避免影响解说字幕的显示。若原始视频无字幕，可关闭此功能。如有需求，请 联系我们 为您配置。
接入前置操作
在使用本功能前，您需完成以下前置操作：
腾讯云账号注册/登录，登录 MPS 控制台开通 MPS 产品、完成服务角色授权。具体请参考 快速入门。
若您使用腾讯云子账号，还需要保证账号有足够权限使用 MPS 产品。具体请参考 账号授权相关。
发起 AI 解说二创任务
概述
使用 AI 解说二创功能，需要使用媒体处理 “智能分析”下的35号预设模板，并额外传入ExtendedParameter扩展参数来实现自定义调参。
方式1：控制台发起任务
1. 进入控制台 创建任务 页面，依次选择输入文件路径、配置编排处理流程、输出路径。
2. 在编排配置中，选择媒体 AI - 智能分析节点。
3. 在右侧弹出页面中，选择35号预设模板。开启“更多设置 - 扩展参数”，根据下文 扩展参数说明，传入所需参数。
说明：
发起 AI 解说二创任务，扩展参数必传，否则任务会失败。
MPS 控制台会自动转义，请直接传入 JSON 数据，不要传入转义后的字符串，否则任务会失败。
﻿
方式2：API 发起任务
调用 ProcessMedia 接口 ，选择 AiAnalysisTask 任务，将 Definition 设置为35（预设模板 ID），ExtendedParameter 填写扩展参数，通过该参数实现 AI 解说二创能力，取值见下文 扩展参数说明。ProcessMedia 调用 JSON 示例如下：
{
   "InputInfo":{ //输入视频路径，请替换为您的原始视频
      "Type":"URL",
      "UrlInputInfo":{
         "Url":"https://mycloud.cn/test/drama1/01.mp4"
      }
   },
   "OutputStorage":{ //输出COS存储桶，请替换
      "Type":"COS",
      "CosOutputStorage":{
         "Bucket":"test",
         "Region":"ap-nanjing"
      }
   },
   "OutputDir":"/mps_test/output/",//输出文件夹路径，请替换
   "AiAnalysisTask":{
      "Definition":35, //预设模板ID，填 35 即可
      "ExtendedParameter":"{\\"reel\\":{\\"processType\\":\\"narrate\\",\\"narrateParam\\":{\\"onlyNarration\\":1}}}" //扩展参数，必传，用于指定是否拼接高光集锦片段、指定解说字幕样式等
   },
   "TaskNotifyConfig":{ //事件回调通知配置，可选
      "NotifyType":"URL",
      "NotifyUrl":"http://www.qq.com/callback"
   }
}
建议您通过 API Explorer 实现快速验证。您可以将上述 JSON （需去除备注文案）复制到 API Explorer 的 JSON 模式中，再切换至“表单”模式可以自动解析。调整输入输出路径等必要参数后，单击发起调用即可。
注意：
使用 API Explorer 表单模式， ExtendedParameter 参数可以直接传入 JSON 字符串。
直接调用 API，在传入 ExtendedParameter 参数时，需要对 JSON 字符串转义。
﻿
ExtendedParameter 扩展参数说明
以下提供常见ExtendedParameter传参示例以及详细参数说明。
ExtendedParameter 传参示例1：原始视频无字幕，关闭擦除能力
本示例中，eraseOff传入1，表示关闭擦除能力，系统将不会擦除原始字幕，不收取“去字幕”费用。由于解说字幕默认会压制渲染至视频画面，为保证观看效果，建议只有在原始视频画面上无字幕时才关闭擦除能力。
{"reel":{"processType":"narrate","narrateParam":{"onlyNarration":1},"outputLanguage":"zh","eraseParam":{"eraseOff":1}}}
ExtendedParameter 传参示例2：传入多集视频、指定输出数量、增加转场效果、指定配音音色
﻿API 发起任务 时，ProcessMedia -> InputInfo只能传入一个视频。若您希望传入多集视频，可以使用ExtendedParameter -> narrateParam -> extendData传入额外视频链接。
注意：
视频需要按集数顺序传入，且需要保证分辨率一致。
narrateParam 还支持指定输出视频数量、配置转场效果等，配音音色可以通过ttsParam 配置，详细说明请参考下文 扩展参数说明。
{"reel":{"processType":"narrate","narrateParam":{"onlyNarration":1,"extendData":[{"url":"https://mycloud.cn/test/drama1/02.mp4"},{"url":"https://mycloud.cn/test/drama1/03.mp4"}],"outputVideoCount":5,"concatTransition":"flashwhite","concatTransitionDuration":0.3,"narrationTimeLimit":30},"outputLanguage":"zh","ttsParam":{"voiceId":"s1_DibZHmzqMtxrnVAuV2eyjqx+KYHacmUDggbv0Bd5QSSpFhNzAntoRb4=","engine":"auto"}}}
ExtendedParameter 传参示例3：基于输入的脚本生成解说视频
AI 解说二创任务默认会对输入视频内容进行智能分析，自动生成解说脚本。您也可以通过 scriptUrls 参数指定自定义解说脚本，系统将根据提供的脚本生成最终视频。本示例中上传了两个脚本文件（txt 格式），系统处理后将会输出两个对应的解说视频。
{"reel":{"processType":"narrate","scriptUrls":["https://mycloud.cn/test/juben1.txt","https://mycloud.cn/test/juben2.txt"],"narrateParam":{"onlyNarration":1,"extendData":[{"url":"https://mycloud.cn/test/drama1/02.mp4"},{"url":"https://mycloud.cn/test/drama1/03.mp4"}],"concatTransition":"flashwhite","concatTransitionDuration":0.3,"narrationTimeLimit":30},"outputLanguage":"zh","eraseParam":{"eraseOff":1},"ttsParam":{"voiceId":"s1_DibZHmzqMtxrnVAuV2eyjqx+KYHacmUDggbv0Bd5QSSpFhNzAntoRb4=","engine":"auto"}}}
ExtendedParameter 扩展参数说明
参数
类型
必填
说明
processType
string
是
传入 "narrate" 即可，固定值，表示指定AI解说二创任务类型。
scriptUrls
array
否
解说脚本，可选。示例：["url1","url2"]
最大可以输入5个脚本，一个脚本对应一个输出结果。
如果输出语种指定为英文，需要使用英文脚本。
narrateParam
object
否
解说相关参数，详细说明参见 narrateParam。
eraseParam
object
否
字幕擦除参数，详细说明参见 eraseParam。 
ttsParam
object
否
AI解说配音参数，详细说明参见 ttsParam。
subtitleParam
object
否
解说字幕压制相关参数，详细说明参见 subtitleParam。
outputLanguage
string
否
支持"zh"、"en"，默认为"zh"。
"zh"：简体中文。
"en"：英语。
narrateParam
参数
类型
必填
说明
﻿onlyNarration
﻿
int
否
0：表示在解说中间拼接高光集锦片段。
1：表示生成纯解说视频，不拼接集锦片段。
默认为0。
extendData
array
否
扩展数据，若输入原始视频多于 1 个，可使用该字段传入额外输入视频 URL。
extendData[i].url
string
否
额外输入视频 URL。
说明：
视频分辨率需要保持一致。
concatTransition
string
否
转场模式，用于避免画面跳切问题。
none：无转场（默认）
flashwhite：短暂白色闪光转场
concatTransitionDuration
float
否
转场时长。示例：0.3
narrationTimeLimit
int
否
期望解说视频时长。如果使用自定义脚本，则该参数无效。单位：秒。示例：30
outputVideoCount
int
否
输出视频数量。如果scriptUrls传了脚本，则无效，输出视频数量与所传脚本数量一致。
outputWidth
int
否
输出视频宽度
outputHeight
int
否
输出视频高度
unordered
int
否
0：默认，按剧集顺序剪辑。此时 AI 会生成顺序脚本。
1：不强制按剧集顺序剪辑。此时 AI 可生成倒序、插叙或顺序脚本。
说明：
若scriptUrls输入了指定脚本，则默认用 1。
eraseParam
参数
类型
必填
说明
eraseOff
int
否
0：开启擦除（默认） 系统会自动擦除原始字幕，额外收取“去字幕”费用。
1：关闭擦除，不擦除原始字幕。
ttsParam
参数
类型
必填
说明
voiceId
string
否
音色ID，支持选择系统音色ID，也支持克隆音色ID。不填则使用默认系统音色。
示例："s1_DibZHmzqMtxrnVAuV2eyjqx+KYHacmUDggbv0Bd5QSSpFhNzAntoRb4="
engine
string
否
AI 配音引擎。
auto：默认引擎。不填默认为auto
subtitleParam
参数
类型
必填
说明
style
object
否
字幕样式，参见 SubtitleTemplate。
maxLength
int
否
字幕最大长度。不填或传0，表示不限制。
查看任务结果
控制台查询结果
1. 您可以在控制台 任务管理 页面查看任务状态，当子任务状态为“成功”时，单击回调 JSON，可以在输出信息中找到输出文件路径。
﻿
2. 如果使用 COS 作为输出路径，您可以在 MPS 控制台的编排管理 > COS Bucket > 输出 Bucket 页面中找到输出文件。文件名以 reel 开头的即为输出的 AI 解说视频文件。
﻿
事件通知回调
在使用 ProcessMedia 发起媒体处理任务时，您可以通过 TaskNotifyConfig 参数配置事件回调。当任务处理完成后，会通过配置的回调信息回调任务结果，您可以通过 ParseNotification 解析事件通知结果。下方列出了 相关数据结构 以供参考。
调用接口查询任务结果
在使用 ProcessMedia 发起媒体处理任务后，会返回任务 ID（TaskId），例如：24000022-WorkflowTask-b20a8exxxxxxx1tt110253、24000022-ScheduleTask-774f101xxxxxxx1tt110253。
调用 DescribeTaskDetail 接口，输入任务 ID 即可获取任务结果，您需要解析 WorkflowTask/ScheduleTask -> AiAnalysisResultSet > ReelTask > Output 字段获取任务结果。下方列出了 相关数据结构 以供参考。
相关数据结构
﻿AiAnalysisResult﻿
﻿AiAnalysisTaskReelResult﻿
﻿AiAnalysisTaskReelOutput﻿
常见问题
是否支持处理多个视频文件？
支持。您可以在InputInfo 结构中传入第一集视频，其余视频可以通过ExtendedParameter 传入（将下载 URL 填入extendData参数中），注意需要按集数顺序。ProcessMedia 示例：
﻿
{
   "InputInfo":{ 
      "Type":"URL",
      "UrlInputInfo":{
         "Url":"https://website.com/input/ep1.mp4"//第一集
      }
   },
   "OutputStorage":{ 
      "Type":"COS",
      "CosOutputStorage":{
         "Bucket":"test",
         "Region":"ap-nanjing"
      }
   },
   "OutputDir":"/mps_test/output/",
   "AiAnalysisTask":{
      "Definition":35, 
      "ExtendedParameter":"{\\"reel\\":{\\"processType\\":\\"narrate\\",\\"narrateParam\\":{\\"onlyNarration\\":1,\\"extendData\\":[{\\"url\\":\\"https://website.com/input/ep2.mp4\\"},{\\"url\\":\\"https://website.com/input/ep3.mp4\\"},{\\"url\\":\\"https://website.com/input/ep4.mp4\\"}]}}}"  //更多视频文件按顺序填入ExtendedParameter->extendData中
是否支持自动拼接高光集锦片段？
支持，可以通过调整ExtendedParameter的 onlyNarration 参数实现，传0表示生成的输出视频包括解说与高光片段，传1表示输出只有解说不拼接高光片段。

参数	类型	必填	说明
processType	string	是	传入 `"narrate"` 即可，固定值，表示指定AI解说二创任务类型。
scriptUrls	array	否	解说脚本，可选。示例：`["url1","url2"]` 最大可以输入5个脚本，一个脚本对应一个输出结果。如果输出语种指定为英文，需要使用英文脚本。
narrateParam	object	否	解说相关参数，详细说明参见 narrateParam。
eraseParam	object	否	字幕擦除参数，详细说明参见 eraseParam。
ttsParam	object	否	AI解说配音参数，详细说明参见 ttsParam。
subtitleParam	object	否	解说字幕压制相关参数，详细说明参见 subtitleParam。
outputLanguage	string	否	支持`"zh"`、`"en"`，默认为`"zh"`。 `"zh"`：简体中文。 `"en"`：英语。

AI 解说二创接入

本页目录：

概述

计费说明

接入前置操作

发起 AI 解说二创任务

概述

方式1：控制台发起任务

方式2：API 发起任务

ExtendedParameter 扩展参数说明

ExtendedParameter 传参示例1：原始视频无字幕，关闭擦除能力

ExtendedParameter 传参示例2：传入多集视频、指定输出数量、增加转场效果、指定配音音色

ExtendedParameter 传参示例3：基于输入的脚本生成解说视频

ExtendedParameter 扩展参数说明

narrateParam

eraseParam

ttsParam

subtitleParam

查看任务结果

控制台查询结果

事件通知回调

调用接口查询任务结果

相关数据结构

常见问题

是否支持处理多个视频文件？

是否支持自动拼接高光集锦片段？