YouTube 等在线视频共享平台需要了解感知视频质量(即用户对视频质量的主观感知),以便更好地优化和改善用户体验。视频质量评估(VQA)试图通过使用客观的数学模型来模拟用户的主观意见,建立视频信号和感知质量之间的联系。传统的视频质量指标,例如峰值信噪比 (PSNR) 和视频多方法评估融合 (VMAF),都是基于参考的,重点关注的是目标视频和参考视频之间的相对差异。这些指标很适合专业生成的内容(PGC),例如电影等。它们假设参考视频具有原始质量,并从相对差异中推断出目标视频的绝对质量。
导语 “ 随着移动设备的普及和短视频行业的兴起,大量视频被存储到云端并经由互联网进行大规模地传播。以COS上的视频内容生产流程为例,从被生产出来到被消费者观看,视频大多在数据万象经历了摄取、压缩、处理、传输和恢复等诸多环节,不可避免地对视频产生各种画面失真与降质。例如,视频编码技术虽然能够帮助我们节约存储与传输所消耗的带宽,但却会对视频带来不可逆的画质损失;传输过程中的网络问题,同样会导致视频画面的缺失与播放卡顿。对于视频生产服务而言,能够量化并监控这些质量下降显得尤为重要,有助于维持并提升整个平台的服务
简单来说,UGC 视频就是由普通用户拍摄、剪辑并上传到视频平台的视频内容,大多数上传到 YouTube 和其他视频共享平台的视频都是 UGC。以 YouTube 为例,每分钟有500小时的视频被分享,每天有二十亿个活跃用户,分布在 100 多个国家,使用 80 多种不同语言。
导读 | 腾讯会议系统中,视频质量是影响用户体验的主要因素,对视频质量进行评估和优化是吸引和留住用户的关键。在开发腾讯会议质量评估系统的过程中,有哪些技术难点和相应的解决方案?在【腾讯技术开放日· 云视频会议专场】中,腾讯多媒体实验室高级研究员王海强进行了分享。 本次分享共包括四部分,第一部分是视频质量评估的背景介绍;第二部分,介绍在视频会议这种实时通信系统中,与质量损伤相关的环节及对应的优化策略;第三部分,介绍针对腾讯会议场景所开发的基于深度学习的全参考视频质量评估算法;第四部分是围绕腾讯会议搭建的一个
点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 编者按:视频质量评价作为近些年学6领域比较热门的基础研究,已经逐渐在各种业务场景上落地。本次公开课我们邀请到了SSIMWAVE联合创始人与首席研究员,曾凯老师,为大家详细介绍视频质量评价的基础概念和相关算法,并以端到端的视频质量监控系统为例,讲解了质量评价解决方案在实际落地中的应用和收益。 文/曾凯 整理/LiveVideoStack 大家好,我是曾凯,2020年曾经跟大家分享了一些关于质量评
11月6日至7日,首届Techo开发者大会在北京召开,在音视频及通信分论坛上,腾讯多媒体实验室专家研究员王海强发表了题为《视频业务中的主客观质量评估》的演讲,在当前音视频发展风口下,介绍了视频质量评估的主客观方法、应用场景,并提出了建立在算法基础上的主客观视频质量评测平台及其在业务线中的应用。 Techo开发者大会是由腾讯云发起的面向全球开发者和技术爱好者的年度盛会,作为一个专注于前沿技术研讨的非商业大会,大会致力于开发者的能力成长和实践创新,旨在通过汇聚全球顶尖行业专家和技术爱好者,搭建一个开放、中立、
11月6日至7日,首届Techo开发者大会在北京召开,在音视频及通信分论坛上,腾讯多媒体实验室专家研究员王海强发表了题为《视频业务中的主客观质量评估》的演讲,在当前音视频发展风口下,介绍了视频质量评估的主客观方法、应用场景,并提出了建立在算法基础上的主客观视频质量评测平台及其在业务线中的应用。
视频业务快速发展,已经从强调用户规模走向注重提升服务品质的阶段。消费者对观看体验的要求不断提高,提升视频用户体验质量已经成为视频服务的主要竞争因素。
📷 本文来自 Juphoon CTO/VP 钱晓炯在LiveVideoStack 线上交流分享,并由LiveVideoStack整理而成。分享中钱老师介绍了实时视频通信质量评价相关探索实践以及如何根据
大家好,我是来自上海交通大学的宋利,接下来我将从以下三个方面为大家分享有关视频质量评价的内容。
原文 http://webrtcbydralex.com/index.php/2018/10/11/webrtc-video-quality-assessment/
不知道你会不会跟小编一样,照镜子的时候自我感觉良好,一拍照的时候总觉得哪里不对劲?如果说相机记录了你的容颜,那么自己照镜子的时候,多少脑补了一些王力宏、胡歌的棱角给自己。凌晨5点的时候,你自信满满去全民K歌直播,结果粉丝都在睡觉,来不及点赞;此时,你凭什么知道,你拍的视频究竟有多美呢?丽影,提供基于图像或视频的主观质量评估技术,让你知道视频有多美! 01 质量评估是什么? 1. 直观解释 质量评估技术可以告诉你,下面两个视频的主观质量得分是多少,从而判断出哪个视频的得分更高。关键词:机器打分 (点击
在本系列前面的帖子中,我们连续梳理了Netflix、YouTube、Beamr、EuclidIQ、Bitmovin、Harmonic、V-Nova、Cisco及MediaMelon在CAE(Content Aware Encoding) for ABR方面的一些进展,本文将简要介绍一下编码优化领域的另一位成员—AWS Elemental在这方面的技术动态。
视频质量度量是Netflix流媒体管道的一个重要组成部分。视频质量度量可用于实现视频编码优化、执行视频编解码器比较、执行A/B测试和优化流媒体QoE决策。更为特别的是,VMAF指标是提高Netflix流媒体视频质量的核心,业已成为了Netflix视频质量度量的默认标准,由于它是开源的,同时也成为了整个视频行业的默认标准。
用户体验概论 随着视频服务逐渐成为人们获取信息的主要途径之一,消费者对观看体验的要求不断提高,视频用户体验质量已经成为视频服务的主要竞争因素。ITU-T P.10/G.100 (Amd5) 标准将用户
在本系列前面的帖子中,我们连续梳理了Netflix、YouTube、Beamr、EuclidIQ、Bitmovin、Harmonic及V-Nova在CAE(Content Aware Encoding
视听时代,音视频应用越来越广泛:直播、短视频、视频节目、音视频通话……近期由于新冠疫情带来的在线协同办公、在线教育类产品的崛起,更带来了线上音视频需求的爆发,用户对音视频质量诉求也愈加强烈。
现在越来越多的人在手机、平板、笔记本等移动终端设备上观看在线视频。对于视频服务提供商而言,视频的存储和带宽资源的消耗在持续增加。如何为成千上万的终端用户高效地传输高质量的视频流是各大视频服务提供商正在
点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 ---- 翻译、编辑:Alex 技术审校:章琦 本文来自OTTVerse,作者为Krishna Rao Vijayanagar。 码率vs.分辨率 Easy-Tech #037# 在本文中,我们将讨论OTT领域中视频压缩和处理的基本问题:码率vs.分辨率,哪一个对视频流更重要?很多人都有此困惑,因为这两个因素会对编码器的输出产生深远影响。 你认为该如何选择? 选择1080p还是720p?
遵循在最小化存储成本的约束下最大化主观质量的设计标准,本文提出了一种基于质量的比特率阶梯设计,用于 OTT 视频流服务。
无论是查线上一些花屏、卡顿,马赛克问题,还是进行码率自适应的功能开发,抑或进行客户端播放器的JitterBuffer的优化,都需要编码器发送端的配合。我们需要在编码速度、网络带宽,视频质量方面做一个权衡,进而选择更符合场景的码控调整方案,同时目前比较热门的ROI编码,编码场景的自适应学习都跟这部分内容有关系。本文介绍下常见视频编码器码率控制方案,具体的编码器可能在实现和使用上有所差异,具体在调用API和阅读源码时需要进行进一步分析和了解。
文 / Anne Aaron, Zhi Li, Megha Manohara, Jan De Cock and David Ronca
本帖来自Discovery Track East 2019,主题为:“好”是什么样子的:朝着衡量流媒体视频质量的行业标准迈进(What does ‘good’ look like: Toward an industry standard for measuring streaming video quality)。主持人Nadine Krefetz来自Reality Software,嘉宾:Thomas Stark,Aakmai 产品营销经理;Zhou Wang,滑铁卢大学教授,SSIMWAVE首席科学官。
我(SHYAM SADHWANI)是meta的一名软件工程师,我和亿万用户一样使用视频通话app与家人朋友保持联系,音视频质量在这一场景中非常重要。我有一段时间非常好奇,这种视频质量为什么不如Netflix流,在我使用相同的设备和网络的情况下,我在Netflix中获得了非常高质量的流,但是在TRC通话中我认为质量应该更好。非常幸运的是我找到了视频通话app的工作,我们探索了很多该领域的挑战,并且在接下来的演讲中我将分析我们在这一过程中学到的和所做的。
在腾讯,我们有多个视频业务线,点播视频有腾讯视频,企鹅影视;短视频有微视,K歌;直播类有Now直播,企鹅电竞;实时传输类有QQ和微信的音视频通话,无线投屏和腾讯会议等。
近年来,随着移动通信技术的演进与市场的蓬勃发展,社交媒体、短视频及基于视频流的云游戏受众度越来越高。视频内容的消费主导从原来的OGC向PUGC、直播、游戏转变,视频的画面质量成为反映终端用户体验的重要指标。 然而如何评价视频的画面质量?不同的关注点可能会带来不同的答案。对于参与直播的终端用户来说,关注的侧重点是直播画面实时的质量检测;对于提供视频服务的企业及从业者来说,关注的是不同的编码参数和编码器对视频质量造成的影响;对于云游戏厂商来说,关注的则是带宽成本与游戏画质的平衡。如何准确评价和优化视频画面质量从
视频作为当下主流的表达方式,渗透到各行各业当中,很多原有书籍、图文的表达方式逐渐视频化,以更为低成本的理解方式表达出来,我们日常生活中常见的视频类APP例如。
近日,腾讯多媒体实验室设计的基于深度学习的全参考视频质量评估算法DVQA在Github上正式开源,该算法模型的性能目前在公开测试数据集上取得业界领先成绩。 开源地址: https://github.com/Tencent/DVQA 国内镜像地址: https://git.code.tencent.com/Tencent_Open_Source/DVQA (登录后才能访问公开项目) 腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像 视听时代,音视频应用越来越广泛:直播、短视频、视频节目、音
文 / Balu Adsumilli, Steve Benting, Chao Chen, Anil Kokaram, and Yao-Chung Lin
基于深度图像的渲染(Depth-image-based rendering, DIBR)是一种广泛使用的视图合成技术。DIBR 包含 3D warping 和孔填充技术。在三维扭曲中,通过将给定的参考彩色视频映射到相关深度视频所需的虚拟视点来生成扭曲视频。在这个过程中,由于可以看到被前景遮挡的背景,所以在扭曲的视频中可能会出现孔洞区域,接下来是填充扭曲视频的洞区域。
本文来自 Berlin Video Tech 的演讲“How to monitor a streaming service”,演讲者是 AVEQ 公司的 CEO Werner Robitza 和 CTO Alexander Dethof。CEO 首先介绍了 AVEQ 公司的情况,该公司的目标之一就是衡量流媒体的质量,让用户安心推送流媒体服务,具体体现在三个方面,即:
随着移动互联网的发展,视频成为信息消费越来越重要的形式(这从国内外的YouTube、抖音的发展可见一斑),而其中用户贡献内容(UGC)往往占很大比例。
GitHub代码库:https://github.com/AILab-CVC/VideoCrafter
” “音视频+无限可能”是一扇 LiveVideoStackCon面向新兴领域开启的大门,在移动互联网红利消失、内卷的局面下,智能车、制造、金融、医疗、出海等新兴领域还在迫切追寻新技术带来的增值。在“音视频+无限可能”,提前看到新机会、新案例、新实践。 5月20日-21日,LiveVideoStackCon 2022 上海站,和你一同开启通向未来的大门。 用户网络模型与QoE 在音视频应用里,获得了大量的用户上报数据,包括但不限于音视频质量数据、用户行为数据等,这些数据可以为我们提供什么样的结论?能否利用这
上次我们回顾了Content Aware ABR的使用场景和基本原理,并梳理了Netflix的per-title和per-chunk技术相关研究进展。本文将主要介绍YouTube关于ABR的一些研究进
随着移动设备数量快速增长,国防监控需求也在增大。然而由于无线通信本身就可能出现丢包,因此在编码、视频质量以及误码纠错中一直都有着权衡。
原标题:THE SINGLE CRITICAL FACTOR FOR HIGH-QUALITY STREAMING, NOW AND FOREVER
本文由腾讯高级工程师李凯在LiveVideoStack线上分享中的演讲内容整理而成,在分享中,李凯详细介绍了如何分析、理解各项技术的边界条件,熟悉其适用场景,以实现多个视频增强技术点的组合最优化,取得
编者按:面向人眼感知的质量评价在许多视频图像处理算法和系统中发挥十分重要的作用。近年来学术界已经提出了许多质量评价方法,在已有数据集上取得了很高的性能,但是他们在实际应用中的表现仍然无法让用户满意,以至于无法得到广泛应用。LiveVideoStackCon 2022上海站大会我们邀请到了中国科学院大学副教授 张新峰老师,为我们详细分享了视觉质量评价的背景与问题以及细粒度视觉质量评价方法的发展与挑战。
音频质量评估-1:之前主要学习了音视频的编码和解码原理,和测试音频质量的方法。接下来继续学习下当前 短视频 领域的 视频质量测试方法。
网络技术的升级使得市场上音视频类的产品形态越来越多,直播、短视频你方唱罢我登场。公司内也有多个专注于音视频技术、音视频产品服务的团队。音视频产品需要关注哪些质量控制点,如何评估音视频质量,笔者就在音视频实验室的几年工作经验进行介绍。欢迎相关团队同学互相探讨,共同成长。
📷 本文来自Hulu全球高级研发经理、视频编解码与传输领域资深专家傅德良在LiveVideoStackCon 2018热身分享,并由LiveVideoStack整理而成。在分享中,傅德良以 Hulu实
GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,雷锋网将发布“人工智能&机器人Top25创新企业榜”榜单。目前,我们正在四处拜访人工智能、机器人领域的相关公司,从而筛选最终入选榜单的公司名单。如果你的公司也想加入我们的榜单之中,请联系:2020@leiphone.com 作为世界上最大的视频平台,YouTube 每天都会新增来自世界各地的数百万个视频。这些视频具有非常大的多样性,对 YouTube 来说,要将这些不同的视频和相关的音频都转换成
机器之心原创 作者:蛋酱 回忆起一年多前那场「倒计时应战」,每一位参与的快手音视频技术团队成员都历历在目。 当时,国际巨星成龙即将在快手开通全球首个短视频社交账号。这次官宣势必会聚集全球各地的大量粉丝,这也意味着每条作品都将应对数亿用户「挑剔」的视觉诉求。如何让成龙大哥的快手首秀做到「令人惊艳」,从技术层面来说是个难题。 针对此次项目中对画质的诉求,团队彻夜奋战,「定制化」推出了高画质点播档位和策略,采用短视频特殊转码为视频画质提供了最优保障,让画面中每一处细节都能清晰、细腻地呈现出来。 从「决定要做」到「
不知不觉间,内容电商似乎已经成为人们生活中不可或缺的存在:在闲暇时间,我们已经习惯于拿出手机,从电商平台的直播间随手下单自己心仪的商品。
在实时互动场景中,视频画质是影响观众体验的关键指标,但如何实时评价视频的画质一直是个行业难题,需要将未知的视频画质用户主观体验变成可知。 未知的部分往往是最需要攻克的,声网也一直在持续探索符合实时互动领域的视频画质评价方法,经过声网视频算法专家的持续钻研,正式推出了业内首个可运行于移动设备端的视频画质主观体验 MOS 分评估模型。利用先进的深度学习算法,实现对实时互动场景中视频画质主观体验 MOS 分(平均主观意见分)的无参考评价,我们把这一评价体系叫做 声网 VQA (Video Quality Asse
多模态学习近期在大型语言模型的推动下,已经在图像文本对话和文本到图像生成任务上取得了进展。这激发了向视频理解和生成任务的转向,允许用户在视频和语言模态间进行交互。因此,桥接前述模态的详细且高保真的视频标题对于推进该领域的发展至关重要。
Instagram在形成有意义的社区方面起着至关重要的作用,这是因为人们可以在Instagram上相互联系彼此并分享对他们来说最感兴趣的事情。为了帮助更好地促进这些联系,我们始终以高质量的共享体验为目标来开发和优化应用程序。这让我们引以为豪:)优化Instagram体验的其中一个方法就是提高音频质量。
视频传输延迟,尤其是在某些互动社交环境中,会严重影响用户的体验。Instagram多年来以降低视频上传延迟为重要指标,实现了多种优化策略。本文来自Instagram媒体基础设施团队软件工程师Ryan Peterman。
导读 | 作者:张亚彬 当我们讨论视频清晰度时,我们在讨论什么? 一、背景介绍 很多时候清晰度会被等同于视频分辨率和码流等等,在PGC时代也确如此,电影、电视剧、新闻媒体等都是通过专业设备录制剪辑和压缩,制作精良的源视频能够代表最高的清晰度,下采样降低分辨率和增大QP压低码流等操作都会丢失有效信息,导致视频清晰度变差。此类场景下我们能够通过峰值信噪比(PSNR)和基于人眼视觉特征的SSIM等评价准则来测量用户接受视频的主观质量,与源视频越相近则清晰度越高。然而在UGC时代用户多样化的视频录制设备和
领取专属 10元无门槛券
手把手带您无忧上云