划水音视频编码，了解前世今生

目前短视频，直播带货各种词汇充斥的我们的生活，如何让直播更顺畅，更好看，就是音视频编码技术所要追求的。

一、概念

简单讲就是在不影响用户整体体验的前提下，通过压缩算法，将原始体积大的音视频文件转换成特定编码格式的体积小的压缩文件。

这里可能会有同学会问，通过几个方面压缩呢？

数据=信息+数据冗余，所以编码主要是通过去除数据冗余着手。

音频编码通过压缩音频信息自身的相关性以及人耳对音频信息的听觉冗余数据。

视频编码主要通过时间和空间冗余数据压缩。

空间冗余：一张图片内，同一物体颜色存在空间相关性，说白就是相邻像素在数字表示时相同或者相近，造成的空间上的冗余。对其做压缩处理，称之为空间冗余编码。

时间冗余：在连续视频帧，前后两个视频帧基本相同，或者只有轻微改变，造成时间上的冗余。对其压缩处理，称之为时间冗余编码，

对音视频编码标准的制定，离不开以下几个组织：

ITU（国际电信联合会 )、MPEG（国际标准化组织ISO/国际电工委员会IEC）、Google、AVS(中国的音视频标准)

二、音频编码的发展

音频的编码包含语音编码技术和音频编码技术。

ITU主要负责语音编码的制定，比如G.711、G.729等。

MPEG主要负责音频编码的制定，比如我们常用的MP3，AAC等，发展历程如下图：

相对于视频编码，音频编码发展比较缓慢，我们还是用20年前的编码，这主要还是由于音频本身码率比较低，对带宽要求低，即使进一步优化编码技术，其实也省不了多少。

三、视频编码发展历史

相对于音频单纯的编码发展历史，视频编码的发展可谓你方唱罢我登场，而且我国的AVS也渐渐跟了上来。

最早的视频是通过胶带来存储的，就是下面这个东西，大家应该在一些电影里有看到过。

随着disc逐渐进入人们的视线，数字化的视频存储逐渐代替模拟化的存储，不过这时候存储的都是原始数据，在录制和传输时候需要大量的存储容量和传输带宽。所以一堆工程师和数学家就致力于压缩视频数据算法的研究中。

在1974年，由Nasir Ahmed, T. Natarajan and K. R. Rao共同发表了DCT(discrete consine transform)，这是一个被广泛用于信号处理和数据压缩领域的传输技术，后面出现的图像压缩，视频压缩，音频压缩无不基于这个。

在1980年，一堆公司(Hitachi, PictureTel, NTT, BT, and Toshiba)开始尝试将DCT(discrete cosine transform)的有损压缩应用到视频的编码中，并在后来领导了H.261标准的制定。H.261是出现最早的视频编码标准，也开启了DCT在视频编码采纳的先河。

在1991年，MPEG开始制定的MPEG1标准，主要为了压缩录像视频。

在1994年，一堆公司(primarily Sony, Thomson and Mitsubishi Electric)提出了MPEG-2/H.262标准，并大获成功，迅速的成为DVD和SD的视频格式编码标准。MPEG-x与H.26x其实在视频编码的算法上是基本是一致的，另外后面ITU-T和ISO,IEC已经联合制定新的标准，所以这里就讲两种合并起来写了。

在1999年，MPEG-4/H.263标准制定

在2003年，H.264/MPEG-4 AVC标准出现了，迅速成为了blu-ray discs的压缩标准，并且应用视频流传输。也是我们现在应用最广泛的一个视频编码技术。 与此同时，Google也收购了On2 Technologies，拿到了VP8的编码标准，并将其开源。

VP8和H.264是十几年前发明的标准，属于同一代技术, WebRTC同时支持两种编码。这两个标准处于发展成熟的阶段，编码效率、运算复杂度和功耗上都达到了比较好的均衡。H.264略优于VP8，不过VP8胜在免费开源，无需担心专利问题。

最近这几年陆续又推出了H.265, VP9，而目前最受关注的就AV1，在相同的码率下，压缩比提高一倍，在目前的直播领域非常具有优势，大家可以关注一下。

三、未来方向

我们应该清楚的认识到，视频编码的核心价值就是在有限的带宽下，传输更高质量的视频。

1、高分辨率

目前的H264还是主要中小分辨率的视频，稍微兼顾1080P，但是用户对于更高质量视频是有极度渴望的，你想想能在相同网速的情况一下看更高质量的片子不香吗？所以对压缩效率的追求还是视频编码的核心方向。

2、VR、AR技术融合

视频直播与现场最大的差异在于互动性，如何提高直播互动性，一直都是一个需要解决的问题，需求及其迫切。试想一下看片时，身临其境是什么感觉。到那时视频直播又将上一个新的台阶。