文档中心>媒体处理>实践教程>智能拆条能力接入

智能拆条能力接入

最近更新时间:2024-11-06 16:59:42

我的收藏
智能拆条可以将完整长视频分段。例如,将完整的新闻联播素材拆分成多个新闻事件视频,可以显著提升新闻和体育类视频的拆条质量,促进二次创作,节省人力和硬件成本。智能拆条支持处理离线视频或直播流,请分别参考下文 处理离线视频处理直播流

处理离线视频

接入方式一:API 发起任务

调用 媒体处理接口 ,选择 AiAnalysisTask 任务,将 Definition 设置为 27(预设智能拆条模板),ExtendedParameter 填额外的扩展参数,通过该参数实现特定的能力,取值详情见下文 指定拆条场景




1. 指定拆条场景

说明:
以下提供了几种预设 ExtendedParameter 参数。
为了确保拆条效果,建议您与我们联系,我们可以根据您的视频场景确认具体参数并提供持续的优化支持。

场景一:新闻拆条

功能描述
对新闻视频中的导播台,以及“快讯”等特征进行定位识别, 从而达到新闻拆条的效果。输出内容包括:拆出的视频片段、每个片段的封面图、起止时间。
参数
ExtendedParameter 不填,则默认为新闻拆条场景。
效果示例
原始视频约30分钟;红框中为拆条结果,新闻事件被拆为多个几分钟的短视频
原始视频约30分钟;红框中为拆条结果,新闻事件被拆为多个几分钟的短视频


场景二:NLP 拆条

功能描述
通过识别视频语音、画面文字内容后提取出文本,基于文本智能分段对视频进行拆条。输出内容包括:拆出的视频片段、每个片段的封面图、起止时间、标题、摘要。
参数
在 ExtendedParameter 中填入以下参数,具体参数建议线下对接确认。输出内容:拆出的视频片段、每个片段的封面图、起止时间、标题、摘要。
{"strip":{"type":"content"}}

/*
如需自定义摘要相关参数,传参参考下面格式:
{"strip":{"type":"content"},"des":{"need_ocr":true,"only_segment":0,"text_requirement":"标题在20字以内,摘要在40字以内","dstlang": "en"}}
*/
其中"des"部分可选参数参考下表:
参数
是否必填
类型
说明
need_ocr
No
bool
是否使用 ocr 辅助分段,True 表示开启,默认为 False。
不开启,系统仅识别视频语音内容辅助视频分段;开启,还识别视频画面上的文字内容辅助视频分段。
only_segment
No
int
是否只分段,不生成标题摘要,默认为0。
1:只分段,不生成标题摘要。
0:分段且生成标题摘要。
text_requirement
No
string
对生成标题摘要的要求。例如限制字数"标题在20字以内,摘要在40字以内"。
dstlang
No
string
标题摘要语言,默认为"zh"。
"zh":中文
"en":英文
效果示例
NLP 拆条后输出内容示例
NLP 拆条后输出内容示例


场景三:目标拆条

功能描述
支持指定物体、人物等目标,识别视频中该目标出现的关键帧,将相应片段拆出来。例如,针对监控视频,只拆分出有人出现的画面片段。输出内容包括:拆出的视频片段、每个片段的封面图、起止时间。
参数
在 ExtendedParameter 中填入以下参数, 具体需要检测的物体目标建议线下对接确认:
{"strip":{"type":"object","objects":["人"], "object_set":[91020415]}}
效果示例
某客户案例:拆出监控视频中有人出现的画面,从而降低存储成本
某客户案例:拆出监控视频中有人出现的画面,从而降低存储成本


2. API Explorer 快速验证

您可以通过 API Explorer 实现快速验证,进入页面填写相关参数信息后即可发起 API 在线调用。
注:explorer 会自动转换,ExtendedParameter 填写对应 json 即可,不用转换成字符串。




3. 查询任务结果

任务回调:在使用 ProcessMedia 发起媒体处理任务时,可以通过 TaskNotifyConfig 参数设置回调信息。当任务处理完成后,会通过配置的回调信息回调任务结果,您可以通过 ParseNotification 解析事件通知结果。
接口查询任务:使用 ProcessMedia 返回的 TaskId 调用 查询任务详情 接口查询任务处理结果。解析 WorkflowTask 下的 AiAnalysisResultSet字段即可。
控制台查询任务:进入控制台 点播任务管理,任务列表中会展示刚发起的任务。



当子任务状态为“成功”时,您可以进入 COS Bucket > 输出 Bucket 中,找到您的输出目录,在目录下strip-开头的文件即为智能拆条的输出文件(分段视频以及封面图)。
说明:
标题、摘要等文本内容不会输出至bucket中,必须通过事件回调或接口查询。




接入方式二:控制台发起任务(零代码)

说明:
控制台发起智能拆条任务,默认为 新闻拆条场景。如需其他拆条场景,请使用 API 接入,通过传参指定具体擦除场景,详情参考上文 接入方式一:API 发起任务

1. 创建任务

1.1 进入 媒体处理控制台,依次点击创建任务 > 快速创建点播处理任务。



1.2 首先指定输入视频文件,目前智能拆条功能支持两种输入来源:腾讯云对象存储(COS)、URL下载地址。暂不支持 AWS S3。
1.3 然后,在步骤“处理输入文件”处,加入智能分析节点。



在弹出的智能分析设置抽屉中,选择预设智能拆条模板(模板ID:27)。若您期望给自定义智能分析模板开启智能拆条功能,可以联系我们并同步模板 ID,腾讯云媒体处理开发人员将为您配置并启动智能拆条功能。
说明:
预设智能拆条模板(模板ID:27)默认为 新闻拆条场景。如需其他拆条场景,请使用 API 接入,通过传参指定具体擦除场景,详情参考上文 接入方式一:API 发起任务



1.4 最后,指定输出视频保存路径后,即可单击创建发起任务。




2. 查询任务结果

参考上文 查询任务结果

3. 自动触发任务(可选能力)

若您希望实现:在 COS 桶中上传了视频文件,自动按照预设参数进行智能拆条处理。您可以:
3.1 在创建任务时单击保存此编排,在弹出的窗口中配置触发 Bucket、触发目录等参数。



3.2 然后进入点播编排列表,找到刚创建好的编排,在启动处开启按钮即可。后续在触发目录下新增的视频文件,将自动按照该编排预设的流程和参数发起任务,并将处理后的视频文件保存到编排配置的输出路径中。
注意:
启用编排成功后,需要3~5分钟才会生效。




处理直播流

接入方式:API 发起任务

调用 对直播流发起处理(ProcessLiveStream)接口 ,选择 AiAnalysisTask 任务,将 AiAnalysisTaskInput - Definition 设置为 27(预设智能拆条模板)
ExtendedParameter ,填额外的扩展参数,通过该参数实现特定的能力。

1. 指定拆条场景

直播流目前支持新闻拆条、NLP 拆条场景,暂不支持目标拆条场景,取值详情见上文 指定拆条场景

2. 查询任务结果

接收任务回调:在使用 ProcessLiveStream 发起媒体处理任务时,通过 TaskNotifyConfig 参数设置回调信息。处理直播流过程中,会通过配置的回调信息实时回调任务结果。您可以参考 解析直播流处理结果 文档解析 AiAnalysisResultInfo字段获取任务结果。