本文为煤矿工厂编译的技术文章
原标题:Delivering Standards to Industries: The MPEG Case [Standards in a Nutshell]
原作者:Leonardo Chiariglione
原文链接:https://ieeexplore.ieee.org/document/9014560
翻译整理:冯冬辉
在全球化经济中,越来越多的企业每天都要面对的问题之一是向大众传递产品、服务和应用。试想一下,30年前的问题是什么样子的,当时媒体内容的传递,通过提供适用于特定媒体类型、传递方式、国家、地区、行业和公司的解决方案来实现。电信公司发行音乐;有线电视运营商通过有线电视传播电视;地面和卫星广播公司通过地面和卫星网络进行同样的传播;不同类型的企业通过实物支持传播各种录制的媒体(胶片、激光光盘、光盘、光盘、视频家庭系统/Betamax磁带等)。
图1描绘了模拟世界的垂直业务,当时的媒体分发是一个行业独立的系统集合,每个系统都使用自己的基带信号技术。这张图是对那个年代的情况的一个极其简化的表示,因为它没有考虑到每个行业内的地区、国家或公司的差异。
Figure 1. 模拟媒体分布
电子技术经过30年的发展,才将Nyquist的直觉转化为行业的实践。在1960年代,国际电联(ITU)制定了数字语音标准G.711。对于娱乐业(飞利浦和索尼的光盘)和电视业,同样的过程需要50年。[ITU无线电通信部门(ITU-R)建议601]。
电信网络可以承载64 kb/s的数字语音,但当时的消费级媒体传输都无法承载1.41 Mb/s的数字音频,更不用说216 Mb/s的数字视频了。因此,在1960年代,人们开始认真地研究数字化媒体的压缩问题。二十几年的研究开始有了成效。1982年,国际电联批准了建议H.100,用以1.5-2 Mb/s的视频会议传输。两年后,国际电联开展了p×64 kb/s的视频编码工作,之后形成了1988年批准的视频编码建议H.261。
其他探索或使用数字媒体压缩技术的行业、国家和公司,包括:
各个公司、行业和标准委员会都在为即将到来的数字世界争夺一席之地,他们的心态是,未来数字媒体的传播方式将与图1中模拟媒体的传播方式类似。每种传播媒介的“基带信号”都将是数字信号,这将引入新技术,但每个行业、每个国家/地区的情况可能都不一样。
如图2所示,MPEG(当时还没有名字)被认为是一个将统一数字基带并提供通用(即与领域无关)数字媒体压缩的组织。IT分发并不是最初计划的一部分,因为当时互联网只是一个有趣而有用的研究工具。在1990年代中期,很少有人会认为一个为计算机通信设计的系统,能承载数字媒体所需要的兆比特/秒的数据流。如果有的话,电信公司正在研究一种名为 “异步传输模式”的解决方案,以实现这一目标。
Figure 2. 数字媒体分发(MPEG前身)
要解决的第一个问题是,必须在具有全球效力的国际标准上建立MPEG数字基带。第二个问题是,这些标准不应该针对具体行业。当MPEG的构想在1987年7月形成时,最主要的考虑就是选择一个实现这个构想的地方。可能的选项如表1中的国际委员会名单所示,这些委员会是出于各种原因(监管或仅仅是独立的技术参考的必要性)而成立的,并满足不同行业的需求。
Table 1. 媒体相关的标准委员会(20世纪80年代)
由于MPEG被认为是行业中立的,因此已经在传统媒体中制定标准的委员会被认为是不合适的,因为它们代表了既得利益。于是选择了ISO 第97技术委员会“计算机和信息处理”(TC 97),该委员会下设了第2小组委员会“字符集和信息编码”(SC 2),其中包括第8工作组“音频和图像信息编码”(WG 8)。
1987年,ISO TC 97与IEC TC 83“信息技术设备”合并。由此产生的联合技术委员会(JTC)被称为“ ISO/IEC JTC 1,信息技术 ”。1988年,MPEG作为ISO/IEC JTC 1/SC 2/WG 8内的移动图像专家组成立。注意,该小组是国际标准化组织内部的一个非正式组织实体。1991年,SC 2/WG 8从SC 2中分离出来,成为SC 29。WG 8的移动图像专家组(MPEG的名称由此而来)变成了WG 11,即移动图像和音频编码工作组(但业界和公众都称其为MPEG)。
许多人都知道MPEG,但大多数人认为它是另一个制定公认有用的标准的委员会。然而,它是一个与大多数其他委员会不同的野兽,原因有以下几点:
自成立之初,MPEG为管理其广泛的活动而设立和解散了几个小组,以满足特定的需求。图3描述了目前MPEG的组织结构。新的想法通常会提交给需求组。如果它们被认为值得进一步探讨,就会在特设小组中讨论。特设小组将在下一次MPEG会议上报告其结果。经过几次迭代后,MPEG将发出征集证据(CFE)或征集建议(CFP),并通过新闻发布会进行宣传。届时,一个特设小组将负责传播CFE或CFP,为测试的后勤工作做准备,并对响应进行首次评估。这并不意味着需求小组不再参与标准的制定,因为在技术工作进展的同时,该小组通常会继续开发用例和需求。必要时,新的需求会与相应的技术组一起进行审查,并可能产生新的CFP,其结果在评估后会被反馈到相关技术组的工作中。
Figure 3. MPEG工作流程
今天,测试组的任务不再局限于在CFE和CFP时评估提案质量。设计和执行具有适当质量的测试,以支持核心实验,已经成为常态,特别是在视频组中。如果有提案要求,需求组会与测试组,可能还有一个或多个其他组,对特设组的结果进行审查,并做出最终评估。如果提交的技术被判定为足以启动标准的制定,则该活动将移交给适当的小组进行完善。
将文件送入MPEG进程至关重要,因为每次会议上载的文件数量很容易超过1000-1500份。自1995年以来,这项工作一直以电子方式进行。对于MPEG专家来说,在一个有这么多人讨论需求和评估、整合和测试媒体技术的地方,是很令人兴奋的。他们通过一个网络应用程序,知道什么时候、什么地方发生了什么事情,可以全面了解会议的召开情况和讨论的主题。
MPEG的一个关键特征是可以立即获得必要的技术专长,以讨论跨越组织界限的问题。如果不能及时部署必要的专业知识来解决多方面的问题,MPEG标准的发展速度和质量就很难达到。图4分解了MPEG会议上的活动。例如,在总共97项活动中:
Figure 4. MPEG会议上的活动
图4并没有提供每个活动的文档数量和规模的量化指标。举例来说,点云压缩有20个核心实验和8个正在进行的探索实验,而MPEG-5基本视频编码(EVC)只有一个大型核心实验。2019年3月会议上的活动平均值是用输出文档数量(212个)除以活动数量(97个),得出2.2。
MPEG系列标准与大多数其他标准不同,因为它们考虑到了许多打算使用这些标准的行业的需求,因此,它们希望在消费电子、IT、广播、电信等行业标准的制定上有发言权。考虑到这么多的意见,对开发者来说是一个负担,但最终产生的标准都是从个别行业的或大或小的需求中抽象出来的。图5描述了MPEG如何成功地抽象出其客户数字媒体行业的需求。
Figure 5. MPEG客户端数字媒体产业
然而,图5并没有描述所有的生态系统参与者。在MPEG-1中,消费电子行业往往能够开发出它所需的技术,以制造使用该标准的产品。在MPEG-2中,这种情况就没有那么多了,提供编码和解码芯片的独立公司如雨后春笋般涌现。今天,实现MPEG标准(相对于使用或销售)的产业已经成长为生态系统中一个非常重要的组成部分。它通常为制造完整产品的公司提供组件(有时这种情况发生在同一公司内部,但逻辑是一样的)。
MPEG标准可以使用软件、硬件和混合技术的各种组合来实现。对于硬件的选择非常广泛,从各种集成电路架构到模拟技术都有。后者(模拟技术)针对功耗极低的设备,但是压缩能力有限。使用神经网络的设备很快就会出现。未来可能会使用其他技术,比如量子计算和基因组技术。
图6在一定程度上准确地表示了MPEG获取制定标准所需技术的方式,以及标准的实施者如何获得必要的权利。当MPEG打算开发一个标准时,它会向业界征求需求。业界的三个部分通常可以提供需求:标准的最终用户、标准的实施者和标准的技术提供者。需要注意的是,一个具体的公司可能属于一个行业,也可能属于一个以上的行业,即公司的一个部门可能属于一个行业,另一个部门可能属于不同的行业。
Figure 6. MPEG标准工作流程
MPEG接收(步骤1)、评估、完善和协调收到的要求。当这些要求达到足够的成熟度时,发布CFP(步骤2)。属于技术行业的公司根据CFP的要求提交建议(步骤3)。MPEG评估建议中包含的编码工具,并将其分配给特定的能力中心,例如,音频、视频、3D图形、系统等(步骤4)。对这些工具进行调整和完善(可能在它们之间进行交互),并将选定的工具添加到MPEG工具包中(步骤5),其中包含了过去标准中采用的所有技术。
当标准开发完成后(步骤6),对标准中包含的工具有所有权的公司可以决定加入一个或多个专利池,或者根本不加入任何专利池。标准的用户(例如,实施者和服务提供商)从专利持有人那里获得使用权(步骤7),以便在其产品、服务或应用中使用(步骤8)。
尽管MPEG在最后一个步骤中没有任何作用,但作为行业标准的提供者,MPEG的表现在很大程度上取决于这个步骤的展开方式。
一致性测试通常在评估一个实现是否符合标准方面发挥着作用。
MPEG的作用不能用简单的标准提供者/客户产业的关系来描述。MPEG是一个复杂的生态系统,因为它的所有实体都在发挥其应有的作用。MPEG设计了一个组织,使其能够在特定的技术领域,如视频和音频编码和文件格式等方面部署必要的专业知识水平。同时,该组织使它能够确定不同媒体子系统之间需要接口的情况。
图7描述了大多数MPEG标准是如何制定的。具有不同能力的不同小组开发标准的各个部分,确保不同的组件之间能够交互。在上下文-目标-用例阶段确定的系统中,某些元素旨在与其他元素协同工作。然而,许多部分并不紧密地结合在一起,因为在一般情况下,可以分别使用它们。在其他情况下,有一些来自其他来源的部分必须紧密地结合在一起工作,这就是MPEG通过使用特设小组、联席会议、主席会议等提供“胶水”的地方。
Figure 7. MPEG标准的结构
在其31年的历史中,MPEG已经制定了大约200个规范,数十个版本和数百个修正案。正如图8中的工作计划所示,它的任务尚未结束。以下是未来几年内计划制定的主要标准的简要总结。
Figure 8. MPEG工作计划(2019年10月)。CDVA:视频分析用紧凑描述符;CMAF:通用媒体应用格式。
31年来,MPEG一直不间断地工作,不断增加行业成员,见证了新技术的蜕变。如今,MPEG又面临着一次重大变革,不得不再一次蜕变。
MPEG已经制定了五代视频压缩标准,每一代都提供了额外的压缩和功能。预计第六代(VVC)将有更多类似的变化。MPEG已经产生了相当数量的音频编码标准,业界是否会继续要求提供更多的压缩功能?我想用 “是”来回答,因为我相信总会有这样的需求,但不一定是用 “老办法”。以光场为例,如果这种信息的分布要在这一代人中成为现实,就需要更多的压缩。然而,对于压缩问题的答案是,至少在目前的时间框架内,我们所拥有的压缩已经足够了,尽管我们需要新的标准来实现其他非压缩功能(就音频而言,是6DoF)。这个趋势在视频中并不那么明显,但3-DoF+与音频的发展方向是一致的,6-DoF视频的确切性质还在发展。点云压缩可能是另一回事,因为我们处于学习曲线的低端。
沉浸式媒体的趋势将要求压缩媒体与渗透到媒体中的系统之间有更深层次的融合。
系统层面一直是许多MPEG标准成功的促成因素,未来也不会改变这种作用。沉浸式媒体的趋势将要求在压缩媒体和贯穿其中的系统之间进行更深入的整合。从一项被称为“沉浸式媒体访问和交付”的需求中可以看出这一点,而它包括四个维度:
我的回答是“否”:它不是,也不应该只与媒体有关。在过去的30年里,MPEG已经表明,它能够不断增加专业领域,并学会说该领域的技术语言。今天所有的媒体领域都能说同样的技术语言,这在很大程度上要归功于MPEG在了解不同行业的需要,将其转化为需求,开发技术,并将标准量化为配置和级别。自从MPEG发明了配置和级别,并始终如一地应用于使用相同或不同技术语言的社区对话以来,这种工作流程已经运行了27年。但这并不意味着在与一个新的行业对话中没有挑战。在开始开发MPEG-G标准之前,MPEG花了三年多的时间与基因组社区对话,并确定和验证需求。
MPEG在商业上没有太多话语权,但是在需求、专家支持、时间安排等方面,MPEG的工作受企业的影响很大。在MPEG成立的前10年,MPEG统治了音视频编码领域。在随后的10年里,一些专有的解决方案如雨后春笋般涌现,但这个领域还是以MPEG标准为主。在过去的10年里,MPEG看到专有解决方案的力量越来越大,并占据了其标准所独有的领域。市场说话了,而且它是对的。MPEG不应该抱怨竞争。在竞争的环境中运营总是有益的,因为它推动着受影响的人做得更好。然而,这是故事中比较容易的部分,因为问题是,“MPEG是否应该继续毫不气馁地走下去,还是应该重新思考它的作用?”
几十年来,MPEG管理着一个庞大的工作组(WG),设计了多线程工作程序,寻求并得到了业界的支持,制定了标准,并推动了数字媒体业务的演进和不懈的扩张。MPEG作为一个工作组做了这一切;也就是说,它是最低级别的ISO组织单位,被建议“合理限制其规模”。现实情况是,1989年,MPEG有100个成员;1999年,它有200个成员;2019年,它有1500个成员,每季度有600个专家参加会议。MPEG所发挥的作用远远超过了它的地位,我认为不应该对结果有任何抱怨。MPEG作为一个工作组可以再继续保持30年,但是,考虑到ISO已经容忍了“MPEG例外”,从现在开始,它的状态应该和它的地位相当。现在,应该消除例外。
是否应该把MPEG拆成小块?谁会用一个未经检验的组织取代一个成功的组织?如果新的组织失败了,谁来承担责任?需要有更有效的办法。意大利国家标准协会已经提议利用MPEG强大的身份、组织和品牌在一个新的环境中提供坚实的治理,同时保留MPEG制定和执行服务于行业需求的战略计划的能力。等到这篇文章发表的时候,我们就有望知道MPEG是否有未来了。
Leonardo Chiariglione (leonardo@ chiariglione.org)与Hiroshi Yasuda共同构想并创立了MPEG(移动图像专家组),该专家组是ISO/IEC(国际标准化组织/国际电工委员会)的下属工作组,负责将数字音频和视频标准引入媒体行业。他担任MPEG的主席,也是CEDEO.net的首席执行官。