文档中心>媒体处理>实践教程>大模型视频摘要实践

大模型视频摘要实践

最近更新时间:2024-11-06 16:59:42

我的收藏

免费体验

1. 打开 体验馆,点击 我的视频,登录后上传需要处理的视频文件,上传完成后单击开始智能分析。

2. 处理完后点击查看结果,切到智能分析视频摘要即可查看结果。


API 接入

发起摘要任务

调用 媒体处理接口 ,选择 AiAnalysisTask 任务,将 Definition 设置为 22(预设大模型视频摘要模板)。ExtendedParameter 填额外的扩展参数,通过该参数实现特定的能力,取值详情见下文 扩展参数说明



示例:
{
"InputInfo": {
"Type": "URL",
"UrlInputInfo": {
"Url": "https://facedetectioncos-1251132611.cos.ap-guangzhou.myqcloud.com/video/test.mp4" // 替换成需要摘要的视频 URL
}
},
"AiAnalysisTask": {
"Definition": 22, //预设大模型视频摘要模版 ID
"ExtendedParameter": "{\\"des\\":{\\"need_ocr\\":true,\\"only_segment\\":0,\\"dstlang\\":\\"en\\"}}"
},
"OutputStorage": {
"CosOutputStorage": {
"Bucket": "test-mps-123456789",
"Region": "ap-guangzhou-2"
},
"Type": "COS"
},
"OutputDir": "/output/",
"TaskNotifyConfig": {
"NotifyType": "URL",
"NotifyUrl": "http://qq.com/callback/qtatest/?token=xxxxxx"
},
"Action": "ProcessMedia",
"Version": "2019-06-12"
}

API Explorer 快速验证

您可以通过 API Explorer 实现快速验证,进入页面填写相关参数信息后即可发起 API 在线调用。

扩展参数说明

ExtendedParameter 取值参考:
{"des":{"need_ocr":true,"only_segment":0,"text_requirement":"标题在20字以内,摘要在40字以内","dstlang": "en"}}
注意:
API Explorer 会自动转换,ExtendedParameter 填写对应 json 即可,不用转换成字符串。如果是直接调用 API,那么需要对 json 字符串转义。
可选参数及其说明参考下表:
参数
是否必填
类型
说明
need_ocr
No
bool
是否使用 ocr 辅助分段,True 表示开启,默认为 False。
不开启,系统仅识别视频语音内容辅助视频分段;开启,还识别视频画面上的文字内容辅助视频分段。
only_segment
No
int
是否只分段,不生成标题摘要,默认为0。
1:只分段,不生成标题摘要。
0:分段且生成标题摘要。
text_requirement
No
string
对生成标题摘要的要求。例如限制字数"标题在20字以内,摘要在40字以内"。
dstlang
No
string
标题摘要语言,默认为"zh"。
"zh":中文
"en":英文

查询任务结果

任务回调:在使用 ProcessMedia 发起媒体处理任务时,可以通过 TaskNotifyConfig 参数设置回调信息。当任务处理完成后,会通过配置的回调信息回调任务结果,您可以通过 ParseNotification 解析事件通知结果。
使用 ProcessMedia 返回的 TaskId 调用 查询任务详情 接口查询任务处理结果。解析 WorkflowTask > AiAnalysisResultSet > DescriptionTask > Output > DescriptionSet > MediaAiAnalysisDescriptionItem 即可。



Description 对应整个视频摘要,Paragraphs 对应整个视频的智能分段结果以及每个分段的摘要。