Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >AVS3关键技术、性能和复杂度分析

AVS3关键技术、性能和复杂度分析

作者头像
LiveVideoStack
发布于 2019-08-12 09:34:08
发布于 2019-08-12 09:34:08
5.3K0
举报
文章被收录于专栏:音视频技术音视频技术

本文由北京大学的范逵博士在LiveVideoStack线上分享第三季,第七期的内容整理而成,本次分享将主要从AVS3关键技术介绍、AVS3性能测试两个方面介绍AVS3基准档次中新采纳的编码工具,并分析这些编码工具的性能和计算复杂度。

文 / 范逵

整理 / LiveVideoStack

大家好,我是来自北京大学的范逵,本次分享的主题是AVS3关键技术介绍、性能和复杂度分析。

首先做一个自我介绍,我于2019年博士毕业于北京大学,2018-2019年新加坡南洋理工大学访问学者,2016-2019年间担任MPEG Internet Video Coding(IVC)标准专题小组副主席,目前担任AVS3标准参考软件维护人。主要研究领域是视频编解码算法、视频编码快速算法以及图像和视频处理三个方面。

1. AVS发展历史

本次分享将主要从AVS发展历史、AVS3关键技术介绍、AVS3性能测试和AVS3资料获取四个部分展开。

1.1 AVS1与AVS+

AVS1指第一代AVS标准,制定起始于2002年,于2006年2月颁布,性能与同期国际标准MPEG-2相当。AVS+于2012年7月获批成为广电行标,性能与同期的MPEG-4 AVC/H.264相当。

1.2 AVS2及其产业化

第二代的AVS标准简称AVS2,于2016年5月被颁布为广电行标,2016年的12月30日被颁布为国家标准,压缩效率与国际标准H.265/HEVC相当,但在全I帧编码以及监控场景编码中性能优于HEVC。在产业化方面,AVS2视频标准全面应用于IPTV和广东省4K超高清,解码芯片已由华为海思、晨星(Mstar)等研发并推向市场,广播级AVS2超高清实时编码器由深圳优微视觉等公司推向市场。

1.3 AVS3

说到AVS3,就不得不提AVS3的封闭开发。在去年十二月厦门会议后AVS标准工作组决定进行封闭开发,从去年的12月10日到2019年1月28日,历时48天完成了AVS3第一阶段标准制定任务,AVS3 Baseline Profile编码性能相比AVS2和HEVC提升超过20%。2019年3月9日的青岛会议上,AVS3的基准档次起草完成,预计于2022年投入应用,我国的AVS3+5G+8K产业发展将领先全球部署。之后进行的标准制定工作是AVS3 High Profile,即AVS3第二阶段标准,预计会在2020年6月制定完成,目标编码性能比AVS2提升一倍,也就是在现有AVS3 Baseline Profile的基础上提升20-30%的性能。

2. AVS3 关键技术介绍

2.1 基础块划分结构

AVS3采用了QT+BT+EQT的基础块划分结构,在上一代标准(AVS2和HEVC)中采用的是四叉树(QT)划分将一个CU划分为四个subCU。在AVS3中除了支持四叉树划分,还支持二叉树(BT)和EQT划分。其中,BT可以将一个CU划分为左右/上下两个subCU;EQT包含水平和竖直两种工字型划分方式,将一个CU划分为4个subCU,该技术由字节跳动公司提出。

AVS3中QTBT+EQT基础块划分结构在码流中的表征方式如上图所示。首先判断是否为QT,如果是QT,直接进行四叉树划分,如果不是QT就需要进一步判断是否不划分,如果不划分就结束判断,如果需要划分还要再判断是EQT还是BT,无论是EQT还是BT都需要判断是水平还是竖直划分。

基础块划分中很重要的一个部分是划分约束,在AVS3中所包含的约束划分为三种。第一种为划分尺寸约束,主要是指QT、BT和EQT最大/最小可使用的CU尺寸,括号中的数值为AVS3参考软件中设置的默认数值。除此之外的约束包括划分深度,AVS3中最大划分深度为6层;另外AVS3中编码单元最大的宽高比是1:8;QT划分要优先于BT/EQT划分,一旦进入BT/EQT划分就无法再进行QT划分。

第二种约束是边界约束,边界约束有三个,在图像右边界的时候只能进行BT的竖直划分,在图像下边界的时候只能进行BT的水平划分,在图像右下角边界只能进行QT划分。

第三种是VPDU的约束,VPDU约束更多是为了配合硬件实现的方便,如果当前单元出现了128x64/64x128的CU,就必须划分成两个64x64的CU。

2.2 帧间编码工具

2.2.1 AMVR

首先介绍自适应矢量精度,简称AMVR,在上一代AVS和HEVC标准中,运动矢量的精度均为¼像素,AVS3中新引入了½、1、2、4四种像素精度。在编码端对这五个像素精度进行编码,通过RDO过程选择最优的运动矢量精度,并将对应的索引传输到解码端。由于需要进行五次编码尝试,这会极大地增加编码端的复杂度,所以在AMVR中引入了三种快速算法:提前跳出、基于历史的MVR搜索策略以及对应不同的运动矢量精度设计了对运动估计的加速。AMVR由三星公司提出。

2.2.2 HMVP

HMVP是基于历史信息的运动矢量预测,该方法由字节跳动公司提出。HMVP技术从先前编码块拷贝八个运动信息候选到FIFO中,FIFO保持不断更新。上图中间部分反映了FIFO以先进先出的方式进行更新的例子,在这个例子中FIFO的第三个HMVP候选与刚刚编码完成的运动信息相同,这个重复的候选首先会被移除,在FIFO的尾部会加入当前编码单元的运动信息。如果当前编码单元的运动信息与FIFO中任意候选的运动信息均不相同,就会去掉FIFO中第一个候选,再将最新的运动信息加到FIFO末尾,保证FIFO中永远保留八个最新的运动候选。

HMVP中的运动候选与AVS2中已有的运动候选一起进行标识,使用Unary的方式进行二值化。AVS2中包含了五个运动候选,但在AVS3中去掉了对称模式,只剩余四个运动候选,再加上HMVP的8个候选一共是12个候选。

2.2.3 UMVE

UMVE技术,中文名为高级运动信息表达,该技术是在已经生成的运动候选基础上进行偏移,从而得到更优的运动候选。例如上图所示,将一个运动候选作为起始点,从上下左右四个方向进行搜索,偏移分别为¼、½、1、2、4像素,起始点有两个(2 base),四个偏移方向(4 direction)和5种offset,总共生成40个运动候选,该方法由三星公司提出。

2.2.4 AFFINE

已有的标准中支持的MV都是两个参数的(即X方向和Y方向的偏移),这种运动模型称为平移运动。4参数可以表达更丰富的运动模型,包括缩放、旋转或者斜切,6参数代表Affine模型,可以表达更复杂的运动。在AVS3中的仿射运动补偿支持4参数和6参数的运动模型,使用的运动矢量精度是1/16像素,针对尺寸大于16x16的CU,按照8x8的小块进行运动补偿。该技术由华为公司提出。

AVS3中的AFFINE技术可以分为AFFINE skip/direct和AFFINE inter两个部分。AFFINE skip/direct就是使用当前块周围的一些信息从而导出AFFINE模型和当前块的运动矢量,在目前的AVS3中最多支持5个AFFINE模式候选,并且需要将AFFINE index传输到解码端。AFFINE skip/direct运动候选列表的构建主要分为三步,第一是从临近AFFINE编码单元拷贝Affine模型;第二是利用当前块周围角点的运动信息生成AFFINE模型;最后,如果当前AFFINE运动矢量候选没有到达五个,就填充零。

AFFINE inter是在AFFINE skip/direct基础上加入了MVD,每一个控制点均需传输MVD。

2.2.5 PBT

PBT是基于位置的变换,被应用于帧间预测残差块,可以更好地拟合帧间残差特性。例如上图中左下角四分之一的区域分别标识了0,1,2,3,他们对应的水平和竖直的变换组合如右表中所示,通过在不同区域使用不同的变换组合,实现更高效的残差信号表达。PBT允许的变换类型包括DCT8和DST7。使用该方法的编码单元尺寸最大为32x32,最小为8x8,且编码单元长宽比不大于2。该方法由清华大学提出。

2.3 帧内编码工具

2.3.1 Intra DT

Intra Derived Tree简称Intra DT,叫做帧内衍生模式,这个方法主要是在编码单元的基础上加上了PU的概念,该方法总共支持六种PU划分(水平/竖直各三种),使用非对称和长条形划分方式,提升帧内编码效率。使用条件包括编码单元尺寸最大64x64,最小16x16,编码单元长宽比小于4,且当前编码单元使用IPF时,禁用Intra DT。该方法由清华大学提出。

IPF是由北大深研院提出的,该方法针对的问题是目前帧内预测中会忽略一些参考像素点与当前预测单元之间的关联性,通过预测滤波的方式可以有效增强空间关联性,从而提升帧内预测精度。如左图所示,预测方向是从右上到左下,生成当前帧内预测块主要使用的是MRB这一条参考像素点,预测样本块的左侧因为没有考虑与URB的关联性,所以预测效果较差。为了解决这一问题,IPF使用了URB中的参考像素对帧内预测块进行滤波,滤波器包括三种类型,分别为水平、竖直的2-tap滤波器和同时对水平和垂直方向滤波的3-tap滤波器,3-tap滤波器被应用在非角度预测模式以及右下对角模式。

TSCPM是一种分量间预测技术,通过探索不同分量之间的线性关系去除分量间冗余,如公式所示,recL代表亮度分量的重建值,通过两个线性参数α和β生成chroma的预测值predC。之所以称该技术是Two-Step,是因为它分为两个步骤执行。首先使用Co-located luma块,通过参数α和β生成尺寸相同的临时预测块;第二步再进行下采样,得到色度分量的预测值,该方法由字节跳动公司提出。

2.4 滤波器

2.4.1 deblock去块滤波器

在AVS3中直接继承了AVS2中的去块滤波方案,但由于严格的滤波条件,AVS2中现有的去块滤波方案常常会引入严重的块效应。这个问题在AVS3中的deblock去块滤波器中得到解决。首先滤波条件被放宽并且对滤波器系数进行了优化,另外简化了色度分量的去块操作,从而降低了色度滤波的计算复杂度。

3. AVS3性能测试

3.1 测试条件

性能测试采用了AVS3的通用测试条件进行测试,软件使用了AVS3的参考软件HPM-3.3,对比软件为RD-19.5和HM-16.20,配置使用random access(RA)。

3.2 Basic structure

AVS3基础结构相对于AVS2的平均性能增益为10.56%。基础结构不仅包括基础块划分结构,还包括对参考帧结构的优化和编码端决策的优化。AVS3的编码时间和解码时间相比AVS2均有下降,尤其是解码时间缩短为AVS2参考软件的一半。原因是AVS3的参考软件HPM已经经过了部分优化,该参考软件由北大深研院和华为公司共同提出。在HPM中主要包含三部分优化,第一个部分是所设计的数据结构较为简单,第二个是寻址方式更加快捷,第三个是在HPM中已经对关键的模块进行了数据并行加速。

相比HEVC,AVS3的编码性能增益为9.45%,编码时间是HEVC的一倍,解码时间略有上升。

之后进行tool-off测试,即在AVS3的参考软件中只关闭单个工具的性能,tool-off的实验结果基本可以反映单个工具在AVS3标准中的性能。上图中显示HMVP、UMVE、AFFINE和AMVR的性能分别为0.81%、0.94%、1.94%和3.87%。图中关闭UMVE后编码时间上升,这是因为UMVE和HMVP的运动候选是放在一起优化的,使用SATD进行粗选对编码端进行加速,随后再使用RDO进行编码决策。由于这个快速算法是放在UMVE工具下,所以在关闭UMVE之后时间有所上升。AMVR关闭之后时间减少30%,由此可见AMVR对时间复杂度的影响是非常大的。

IntraDT和IPF的性能分别是0.4%和0.71%,TSCPM在Y/U/V分量中的性能分别是0.51%、9.28%和9.20%,由于TSCPM主要是对色度分量的优化,因此它的主要性能来自于色度。IntraDT、IPF和TSCPM都是针对Intra的工具,所以在random access的配置下性能不是太高,IntraDT、IPF在All Intra配置下的性能分别是0.6%和1.4%。

总体性能对比结果来看,AVS3相比AVS2编码性能高出23.52%,时间复杂度增加了一倍,解码复杂度是AVS2参考软件的一半。相对HEVC平均编码性能提高了22.25%,时间复杂度大概是HEVC的7倍,解码时间略有上升。

4. AVS3资料获取

LiveVideoStack 招募

LiveVideoStack正在招募编辑/记者/运营,与全球顶尖多媒体技术专家和LiveVideoStack年轻的伙伴一起,推动多媒体技术生态发展。同时,也欢迎你利用业余时间、远程参与内容生产。了解岗位信息请在BOSS直聘上搜索“LiveVideoStack”,或通过微信“Tony_Bao_”与主编包研交流。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-08-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 LiveVideoStack 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
蔡砚刚:uAVS3对标x265 veryslow将节省30%码率
蔡砚刚:大家好,我是蔡砚刚,来自深圳市优微视觉科技有限公司,也是一名在音视频领域摸爬滚打多年的老兵。目前主要负责优微视觉的前进方向以及主持公司的日常业务活动。在这里我更期望先介绍一下我们的团队,我们团队核心成员均出自北京大学数字视频编解码技术国家工程实验室:有在北大学习工作十六载并持续优化编解码器的王振宇,有在腾讯工作过的韩冰杰,有在人民银行工作过的李旭峰,我本人曾在阿里、快手等公司工作过。“十年磨一剑,霜刃未曾试。今日把示君,谁有不平事。”经过大家十年间的持续积累与摸索,我们拥有了自己的u264、u265、uavs、uavs+、uavs2、uavs3等编解码器,并且我们的内核也普遍应用到广电与互联网领域。
LiveVideoStack
2019/07/03
1.5K0
蔡砚刚:uAVS3对标x265 veryslow将节省30%码率
新一代视频编码标准:VVC、AVS3
大家好,我是来自北京大学的马思伟。本次我将从以下四个方面为大家分享有关最新一代VVC与AVS3视频编码标准的进展及关键技术特色等内容,希望可以为大家带来有价值的帮助。
LiveVideoStack
2021/09/01
1.8K0
低复杂度多模型 CNN 环路滤波 for AVS3
卷积神经网络(CNN)在许多图像/视频处理任务中取得了不错的性能表现。而AVS3作为国内自研的新一代视频编码标准,我们将 CNN 应用于 AVS3 视频编码标准,提出了一个低复杂度多模型 CNN 环路过滤方案。首先通过多个轻量级网络模型对比,选择简化的 ResNet 作为整体方案的基础单模型。然后在这基础上,提出了多模型迭代训练框架,实现多模型滤波器方案。并针对不同的比特率范围对网络深度与多模型数量进行了优化,以实现网络模型性能和计算复杂度之间的权衡。实验结果表明:所提出的方法在 All intra 配置条件下,在 Y 分量上实现平均 6.06% 的 BD-rate 节省。与其他编码性能相当的 CNN 环路滤波器相比,我们所提出的多模型环路滤波方案可以显著降低解码器的复杂性,实验结果表明,解码时间平均可以节省 26.6%。
用户1324186
2022/05/25
1.3K0
低复杂度多模型 CNN 环路滤波 for AVS3
深度学习赋能视频编码
image.png 深度学习赋予了诸如计算机视觉等领域新的研究契机,其应用也获得了视频编码领域的诸多关注。在LiveVideoStack线上分享中北京大学信息技术学院 助理研究员王苫社详细介绍了当下深
LiveVideoStack
2019/07/19
1.2K0
深度学习赋能视频编码
AVS视频编码标准的演变:20年来的创新与发展
AVS视频编码标准的演变:20年来的创新与发展 转载自:人工智能培训网(https://www.chinaai.org.cn/newsinfo/2821164.html)
用户9882025
2022/08/06
6940
AVS视频编码标准的演变:20年来的创新与发展
音视频前沿:新一代 AV1 视频标准究竟是怎样一种存在?
MPEG 组织隶属 ISO 和 IEC,1988 年由 Hiroshi Yasuda(NTT) 和 Leonardo Chiariglione 创建,会员主要包括产业界,大学和研究机构。
腾讯云开发者
2020/06/29
5.4K0
基于SVM的VVC帧内快速CU划分算法
论文标题:SVM Based Fast CU Partitioning Algorithm for VVC Intra Coding
用户1324186
2021/07/06
1.8K0
基于SVM的VVC帧内快速CU划分算法
[强基固本—视频压缩] 第一章:视频编码简述
第一个被广泛接受的视频压缩标准MPEG-2于1996年被采纳,随后数字卫星电视得到了快速发展。下一个标准是MPEG-4 part 10(H.264/AVC),它提供了两倍的视频数据压缩率。它于2003年被采纳,导致了DVB-T/ C systems、互联网电视的发展以及各种视频共享和视频通信服务的出现。从2010年到2013年,联合视频编码联合协作小组(JCT-VC)积极致力于创建下一个视频压缩标准,开发者称之为高效视频编码(HEVC);它实现了数字视频数据压缩率的两倍增长。这一标准于2013年获得批准。同年,由谷歌开发的VP9标准被采纳,据称在视频数据压缩率上不逊于HEVC。
用户1324186
2024/02/29
2800
[强基固本—视频压缩] 第一章:视频编码简述
PCS2018:下一代视频编码标准——Versatile Video Coding (VVC)【附PPT全文】
做为图像/视频编码领域的顶级会议之一,第33届图像编码研讨会(PCS,Picture Coding Symposium)于2018年6月24号至6月27号在加州旧金山召开。本次会议旨在为视觉压缩领域提供一些突破性的先进技术以及提供高水平的学术报告。在会上,JVET的两位联合主席Jens-Rainer Ohm和Gary J. Sullivan做了关于下一代视频编码标准VVC的主题报告,介绍了上一轮提案征集结束后的测试结果、当前VVC测试软件的情况以及后续的工作计划。
用户1324186
2018/07/26
4K1
PCS2018:下一代视频编码标准——Versatile Video Coding (VVC)【附PPT全文】
AV1的五种编码进展
原文链接:https://bitmovin.com/cool-new-video-tools-five-encoding-advancements-coming-av1/
LiveVideoStack
2021/09/02
8370
AV1的五种编码进展
视频编码(3):H.266 编码性能比 H.265 再提升 49% 的关键丨音视频基础
我们在前文《视频编码(1)》和《视频编码(2)》中探讨了 H.264 视频编码的基本概念、编码工具、编码流程及码流结构等基础知识,以及在 H.264 基础上迭代而生的 H.265 有哪些改进。接下来我们再来聊聊更新一代编码技术 H.266 的改进。
关键帧
2022/06/13
4K0
视频编码(3):H.266 编码性能比 H.265 再提升 49% 的关键丨音视频基础
宋利:编码既是技术也是艺术
收到对宋利的采访邮件,正文开始是一段自嘲,让原本枯燥的技术采访变得生动。相比于之前几个采访,本文的信息量更大,不得不对严谨的学术界敬佩三分。本文是『下一代编解码』系列采访的第6篇,邀请到了上海交通大学任研究员,博士生导师宋利,他全面的解读了编解码器的现状与未来趋势。
LiveVideoStack
2021/09/02
8020
宋利:编码既是技术也是艺术
深度学习赋能视频编码
深度学习赋予了诸如计算机视觉等领域新的研究契机,其应用也获得了视频编码领域的诸多关注。在LiveVideoStack线上分享中北京大学信息技术学院 助理研究员王苫社详细介绍了当下深度学习在视频编码中的
LiveVideoStack
2019/07/19
1.7K0
FVC/H.266参考软件JEM的性能评价
JEM简介 FVC/H.266编解码器采用的参考软件为JEM(Joint Exploration Model),JEM是在HEVC参考软件HM(HEVC Test Model)的基础上发
用户1324186
2018/03/05
2.9K0
FVC/H.266参考软件JEM的性能评价
互动场景下的低延迟编码技术
本次分享的主题是互动场景下的低延迟编码技术,内容分为四个方面:一是互动媒体服务;二是低延迟视频编码技术;三是低延迟编码方案;四是应用场景和发展趋势。
LiveVideoStack
2020/07/29
3.3K0
学术界AV1编码优化技术的进展
学术界的一些优化工作实涵盖了编码过程的大部分模块。很 明显的趋势就是许多深度学习的网络或者方法已经开始与编码的模块进行结合,并取得了很多不错的收益。本文将按照编码过程的大致顺序分享学术界AV1编码优化技术的进展。
LiveVideoStack
2021/09/01
4190
学术界AV1编码优化技术的进展
TMM 2022 | 基于深度特征融合和概率估计的高效 VVC 帧内预测
VVC 作为最新的有损视频编码标准,一直受到视频编码界的关注。与其前身相比,该标准的压缩效率有了显著提高,然而,VVC 的增益是以显著的编码复杂度为代价:VVC 继承了早期标准中基于块的混合编码结构。在 VVC 中,输入视频帧被分成称为编码树单元 (CTU) 的块。CTU 由不同级别的编码单元 (CU) 组成,这些编码单元共享相同的预测风格(即帧内或帧间)。CU 分区过程是通过计算和比较所有分区的 RD 成本来实现的,这是一项非常耗时的任务。
用户1324186
2023/10/24
4420
TMM 2022 | 基于深度特征融合和概率估计的高效 VVC 帧内预测
视频编码优化之道
5月20号,在LiveVideoStack音视频技术社区举办的WebRTCon 2018大会上,上海交通大学图像所宋利教授在WebRTC与Codec专题作为出品人分享了关于视频编码优化方面的思考和看法。下面将介绍本次分享的主要内容。
用户1324186
2018/07/26
3.6K0
视频编码优化之道
压缩效率比H.265更高,揭秘腾讯无线投屏背后的屏幕编码技术
腾讯无线投屏是腾讯音视频实验室为解决会议室高频场景痛点而研发的一款会议类产品。无线投屏提高了会议效率,简化了会议流程。自上线以来得到了广泛的应用。无线投屏涉及技术面广,技术难度大,为了提升用户体验,腾讯无线投屏在网络适应性,鼠标优化,扩展屏及视频编解码技术等方面做了大量攻坚,使我们的产品在各个方面处于业界领先水平。本文将给大家揭秘腾讯无线投屏背后的屏幕编码技术(Tencent Screen Encoder,以下简称TSE),对于屏幕内容图像,TSE相比x265(normal模式),压缩效率提升55%。
腾讯多媒体实验室
2019/05/16
10.5K1
压缩效率比H.265更高,揭秘腾讯无线投屏背后的屏幕编码技术
王荣刚:视频画质评定是个“大坑”
LiveVideoStack:请简要介绍下自己,以及目前主要的工作方向,对哪些技术或领域感兴趣?
LiveVideoStack
2021/09/02
7930
王荣刚:视频画质评定是个“大坑”
推荐阅读
相关推荐
蔡砚刚:uAVS3对标x265 veryslow将节省30%码率
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档