音画质重生,即借助 AI 对音视频内容进行画质修复、增强,生成音频、画面质量更好的新视频。音画质重生包括以下能力:
能力项 | 能力说明 |
去伪影(毛刺) | 由于视频在转码或多次转码过程中对视频进行了多次压缩,会引入块效应、振铃效应、色度渗透和蚊噪等,使得视频画面出现一些影响视觉效果的失真,去压缩失真能有效修复编码引入的失真。 |
细节增强 | 由于拍摄相机质量、后期保存和转码过程中导致视频细节不够清晰,细节增强对视频中需要关注的细节进行增强,使画面内容更清晰,内容更丰富。 |
人脸增强 | 通过人脸检测针对视频中人眼视觉特别关注的人脸部分进行增强,使该区域的细节更加清晰,提高主观感受。 |
色彩增强 | 因拍摄设备的色彩问题或视频的保存问题,导致视频的色彩存在一定的失真或可增强的情况,色彩增强使画面更接近真实色彩,并在一定程度上进行增强满足人眼的喜好。 |
低光照增强 | 因环境状况及拍摄摄像头的硬件限制,在某些场景下拍摄的画面亮度和对比度缺失,导致画面较暗或画面较暗区域细节看不到,因此暗场景增强能够自动识别场景对画面进行自适应增强,特别在暗场景下能大幅提升暗区的细节和对比度,提升人眼主观质量。 |
SDR 转 HDR | 识别视频的片头和片尾 SDR 转 HDR 能力可将普通 SDR 视频转化为 HDR 视频,色深提升至10bit,获得更宽的色域,展现更多色彩细节,以提供更高品质的视频内容。 |
音视频降噪 | 由于视频拍摄中会因为相机和环境引入随机噪点,这里提供降噪服务,在保持细节不损失的情况下,消除画面和声音中的随机噪声。 |
智能插帧 | 通过对原始视频帧间补充新的视频帧,给用户提供更加流畅丝滑的视觉效果。另外,也能够帮助解决低帧率老视频中卡顿、抖动等画质问题。 |
音画质重生是一种离线任务,使用流程为准备任务模板+同步发起任务+异步获取任务结果。
音画质重生模板
针对典型的使用场景,云点播提供如下预置模板(暂不支持自定义模板):
模板 ID | 使用场景 | 说明 |
100 | 人脸不清晰 | 如新闻视频、娱乐视频、电影电视剧等人脸出现频繁、占据画面显著位置的场景。由于拍摄设备条件,或出于成本考虑,视频经过转存压缩造成人脸五官不清晰、物体边缘不够锐利清晰、物体表面纹理模糊,使用该模板可智能还原人脸细节、降低画面模糊、增强物体细节等。 |
110 | 直播录制画质受损 | 如游戏直播录制,直播流录制前通常会先进行转码,以解决由于断流等导致录制文件异常的问题,但是转码过程产生视频压缩会导致画面效果失真、模糊,该模板主要进行去压缩失真修复,较好地还原画面细节,提升视觉效果。 |
121/122 | 视频分辨率过低 | 受限于拍摄条件、存储成本等因素,有的存档视频以较低分辨率存储,如今需要在较高显示设备播放,如果直接将低分辨率视频转码为高分辨率视频,视频画面会更模糊。通过云点播画质重生超分,结合低画质修复、关键细节增强等 AI 处理,确保超分后视频具有较高的画质。 121:超分生成的视频分辨率为 720P(短边 720 像素,长边按原视频等比例缩放); 122:超分生成的视频分辨率为 1080P(短边 1080 像素,长边按原视频等比例缩放)。 |
预置模板画质重生效果示例
模板 ID | 堆叠对比(左侧原始视频,右侧重生后视频) | 原始视频画面 | 重生后视频画面 |
100 | | | |
110 | | | |
122 | | | |
任务发起
发起音画质重生任务,目前支持通过服务端 API 直接发起,以下是具体说明:
结果获取
发起音画质重生任务后,您可以通过异步等待 结果通知 和同步进行 任务查询 两种方式获取音画质重生任务的执行结果。下面是发起音画质重生任务后,普通回调方式下结果通知的示例(省略了值为 null 的字段):
{
"EventType"
:
"QualityEnhanceComplete"
,
"QualityEnhanceCompleteEvent"
:
{
"TaskId"
:
"1400155958-QualityEnhance-2947467bbfaad305b5dc9a67462badf1t"
,
"Status"
:
"FINISH"
,
"ErrCode"
:
0
,
"ErrCodeExt"
:
""
,
"Message"
:
""
,
"Progress"
:
100
,
"Input"
:
{
"FileId"
:
"32708888009235541234"
,
"Definition"
:
100
}
,
"Output"
:
{
"MediaName"
:
"rebuildMediaGenFile"
,
"ExpireTime"
:
"0000-00-00T00:00:00Z"
,
"ClassId"
:
0
,
"FileType"
:
"mp4"
,
"FileId"
:
"11341116332502498899"
,
"FileUrl"
:
"http://1400155958.vod2.myqcloud.com/93e1ebabvodcq1400155958/8e67889511377777332502423456/f0.mp4"
}
,
"MetaData"
:
{
"AudioDuration"
:
0
,
"AudioStreamSet"
:
[
]
,
"Bitrate"
:
4727690
,
"Container"
:
"mov,mp4,m4a,3gp,3g2,mj2"
,
"Duration"
:
31
,
"Height"
:
540
,
"Md5"
:
""
,
"Rotate"
:
0
,
"Size"
:
18319800
,
"VideoDuration"
:
31
,
"VideoStreamSet"
:
[
{
"Bitrate"
:
4725032
,
"Codec"
:
"h264"
,
"CodecTag"
:
""
,
"Codecs"
:
""
,
"DynamicRangeInfo"
:
{
"HDRType"
:
""
,
"Type"
:
""
}
,
"Fps"
:
25
,
"Height"
:
540
,
"Width"
:
960
}
]
,
"Width"
:
960
}
,
"SessionContext"
:
""
,
"SessionId"
:
""
}
}