音视频编码技术在音视频领域有着举足轻重的地位，这是由于音视频原始数据量较大，在传输的过程中如果不进行编码的话，则无法进行传输。比方说，一张普通的图片的大小大概是1-2M，假设我们传输的帧率是30帧，则相当于一秒钟三十张2M的图片，那这个传输量是不得了的。所以此时我们就要引入视频编码技术进行压缩处理，目前常见的视频压缩技术有H264/H265两种压缩技术(这方面我们后面再慢慢介绍)，音频编码技术是AAC，这两种压缩格式可以使得每一帧数据的大小能够压缩100-200倍，这使得传输效率大大提高。
大家好，由于最近工作上碰到一些关于音视频不同步的问题，比如音频跟不上视频的播放速度；基于此，今天给大家分享一篇关于音视频同步的问题，本系列文章会分为几篇来分享，先从基础的音视频同步理论开始，然后再进行基于ffplay里面的源码实战来加深音视频同步的理解！
直播APP源码音视频同步主要用于在音视频流的播放过程中，让同一时刻录制的声音和图像在播放的时候尽可能的在同一个时间输出。
前文中，我们基于 FFmpeg 利用 OpenGL ES 和 OpenSL ES 分别实现了对解码后视频和音频的渲染，本文将实现播放器的最后一个重要功能：音视频同步。
在分享视频播放器的原理之前呢，我们先简单的看一下播放器在播放网络视频文件和本地视频文件的经过。播放网络视频文件：开始→解协议→解封装→解码音视频→音视频同步→结束。播放本地视频文件：开始→解封装→解码音视频→音视频同步→结束。其实在直播平台建设时，需要很多的步骤和工具，视频播放器只不过是其中一个，但却是非常重要的“小组件”之一。
采集图像帧 : 摄像头 硬件 负责 采集画面 , 采集的 初始画面 称为 " 图像帧 " , 一秒钟 采集 的 图像帧 数量 称为 " 帧率 " , 如 : 60 帧 就是 一秒钟采集 60 个画面的 图像帧 ;
目前几种视频流的简单对比： 协议 httpflv rtmp hls dash 传输方式 http流 tcp流 http http 视频封装格式 flv flv tag Ts文件 Mp4 3gp webm 延时 低 低 高 高 数据分段 连续流 连续流 切片文件 切片文件 Html5播放 可通过html5解封包播放(flv.js
在讲解SkeyeExPlayer快放慢放之前，我们首先要讲解下SkeyeExPlayer的音视频同步机制，我们采用视频同步音频的方式进行时间戳同步，无音频情况下视频自同步；视频自同步的情况比较简单这里就不做描述，下面我们着重讲解下音视频同步存在时的快放慢放并如何保持音视频同步。
大家好，又见面了，我是你们的朋友全栈君。 前面讲解了音视频编解码的基本知识，相信阅读过的朋友，都有个基本的认识。音视频除了存储，还如何传输呢?比如直播互动，网上课堂等，这些场景中，音视频是如何实
用ffmpeg来做音视频同步，个人认为这个是ffmpeg基础处理中最难的一个，无数人就卡在这里，怎么也不准，本人也是尝试过网上各种demo，基本上都是渣渣，要么仅仅支持极其少量的视频文件比如收到的数据包是一帧视频一帧音频的，要么根本没法同步歪七八糟的，要么进度跳过去直接蹦蹦蹦崩溃的，其实最完美的音视频同步处理demo就是ffplay，我亲测过几十种各种各样的音视频本地文件，数十种视频流文件，都是非常完美，当然啦这是亲生的啦，不完美还玩个屁。
初次接触音视频领域时的小伙伴，可能大多数都像我一样并不太了解整体的流程。音视频领域细分的话，还可以分出很多分支，例如：嵌入式设备中的运用（例如设备有摄像头和麦克风，需要进行录制视频和音频）、客户端程序的研发中的运用（例如：QQ的1V1通话和视频，QQ群的nVn通话和视频，还有共享屏幕等，还有某音，某手，某宝中的直播功能），还有软件的截图、屏幕的录制，麦克风的录制等等，都渗透着音视频领域相关的技术。
http://scrmtech.gensee.com/webcast/site/vod/play-c04b32af4cdd4f2183d9b7089274e8b9
记得从 2016 年起我开始从事音视频 SDK 开发，当时音频技术处于零基础阶段。现在 Android 和 iOS SDK 已迭代至 v3.x 版本。在期间得到很多乐于分享的开发者帮助，如果没有他们分享的精神，我无法完成这么复杂的工作。现在，我也愿意把自己在音视频领域积累的开发经验分享出来，让相关开发者能够得到一点启发和帮助。
音频帧的概念没有视频帧那么清晰，几乎所有视频编码格式都可以简单的认为一帧就是编码后的一副图像，而音频帧会因编码格式的不同而不同，如 PCM 音频流可以直接进行播放，下面以 MPEG 音频帧格式为例介绍音频帧。
软编（解）的时候CPU负载重，性能比硬编（解）低，但是通用性更好；硬编（解）性能高但是兼容性问题比较突出，特别是在Android平台，碎片化严重，MediaCodec的坑也是不少
用ffmpeg来实现自己的播放器，这是一直以来的一个目标，之前的难点卡在音视频同步以及如何播放声音这两点（尽管之前已经进行过不少的尝试和探索，但是问题还是挺多，比如音视频同步不完美，有些文件正常而有些文件不准，声音播放采用的sdl总感觉多了个依赖怪怪的，而且很多初学者也反映希望采用Qt自身的类来播放），近期正好把这两个难点一一攻破了，音视频同步采用的外部时钟同步，声音播放采用的Qt自带的QAudioOutput（并没有采用sdl，省去学习sdl开源库的成本），播放器的demo如期进行。有时候做项目，如果将各个难点击破以后，接下来都是顺理成章水到渠成的事情，速度会非常快，这也是我经常用的策略。
2020年的一场疫情，让大家不得不呆在家里，远程工作不可避免，远程拜年成为潮流，5G时代的一个极大的需求正在被提前激发，音视频领域的大锅正在卡下来，你接不接这个锅？直播，终于接触这个话题，好好想想，完整的直播需要哪些流程？
导读：诺兰导演作品《星际穿越》里面有这样一个片段，母舰损坏以后，处于高速旋转状态，库珀为了登上母舰，必须使自己的飞船也高速旋转， 与母舰同步成一样的旋转状态，才能进行对接成功；只要同步成功才能对接登上母舰，同步失败则会机毁人亡。
导语 | WebRTC真是一套让人既爱又恨的开源代码。一方面，WebRTC里面有一套很完善很系统的QoS策略。但另一方面，WebRTC代码庞大且版本更新迭代特别快，代码的阅读和学习难度很大。为了方便大家学习了解，我们在这里对WebRTC的QoS思想及算法实现做了一些梳理总结，以系列分享的方式呈现给大家，供大家参考。 概述 目前总结出WebRTC用于提升QoS的方法有：NACK、FEC、SVC、JitterBuffer、IDR Request、Pacer、Sender Side BWE、Probe、VFR（
根据视频与音频之间的比较 , 如果视频比音频快 , 那么增大视频帧之间的间隔 , 降低视频帧绘制速度 ; 如果视频比音频慢 , 那么需要丢弃部分视频帧 , 以追赶上音频的速度 ;
前面四次实验，从最简入手，循序渐进，研究播放器的实现过程。第四次实验，虽然音频和视频都能播放出来，但是声音和图像无法同步，而没有音视频同步的播放器只是属于概念性质的播放器，无法实际使用。本次实验将实现音频和视频的同步，这样，一个能够实际使用的简易播放器才算初具雏形，在这个基础上，后续可再进行完善和优化。
导语 | 在实时音视频中，我们关注的最主要的指标是低延时、高质量和高流畅，那么这篇文章就从延时和流畅方面来介绍一下WebRTC框架中的低延时、流畅以及对于它们的优化。 - 延时 - 由于音频和视频包大小的不同，在WebRTC中，音频和视频的jitterbuffer也就有各自的实现。其中音频延时为playout_delay_ms和jitter_delay（NetEq接收缓存延时）。视频延时则包含jitter_delay（jitterbuffer接收缓存延时），decode_delay和rend
在上一篇文章定义的解码流程框架基类中，预留了几个虚函数，留给子类初始化自己的东西，本篇，就来看看如何实现。
这也是AVB要解决的主要问题。不同的是，我们观看网络视频一般是经由广域网传输，而AVB解决的是局域网内的音视频传输问题。
FLV 是一种非常常见的音视频封装，尤其是在流媒体场景中经常用到。FLV 封装也是比较简单的封装格式，它是由一个个 Tag 组成的。Tag 又分为 视频 Tag、音频 Tag 和 Script Tag，分别用来存放视频数据、音频数据和 MetaData 数据。
视频播放器是视频消费链路最核心的组件，针对播放器我们通常最关心的体验有：视频播放是否会出错、视频起播速度是否够快、视频播放过程中是否会出现卡顿；对于直播场景，我们还会关心：直播的延时是否比较低。
大家好，本文是 iOS/Android 音视频开发专题 的第八篇，该专题中 AVPlayer 项目代码将在 Github 进行托管，你可在微信公众号（GeekDev）后台回复 资料 获取项目地址。
很多直播场景都会涉及到音频流和视频流的同时传输，这里就衍生出了混流的概念。在我们TSINGSEE青犀视频云边端产品中，也提到过音视频播放的概念，该混流概念和音视频同步播放的概念不同，EasyNVR、EasyCVR这类产品的音视频流同步播放是指用户可以通过拾音器将前端设备的音频连同视频一起播放，或者用户自身上传音频，作为视频的背景音乐播放。而本文讲到的混流是把多路音视频流混合成单流。
大家晚上好，今天给大家分享一些我最近利用空闲时间去面试的一些流媒体岗位，面试问的一些问题。
ffplay是一个很简单的播放器，但是初次接触仍会感到概念和细节相当繁多，分析并不容易。深入理解一项技术需要足够的时间和大量的实践，由浅入深逐步迭代，没有时间就成了最大难题。本次分析过程断断续续持续了挺久，先是边读代码边加注释，后面才整理了笔记，再加上理解浅薄很难精简语言，因此行文比较啰嗦。笔记记录仓促，错误难免，欢迎指正交流。后续若有时间继续研究，将持续修正错误完善文档。
从2017年开始，flvAnalyser已经迭代了10多个版本。工具功能定位用户主要是音视频开发领域。众多网友在使用后提供了很多好的建议，也不断地反馈使用中遇到的问题，让它从一个简陋、粗糙的工具，慢慢长成了现在这个样子。
和播放音频一样，采用生产者消费者模型。AvPacket入队，然后AvPacket出队伍解码。
在开发多媒体播放器或直播系统时，音视频的同步是非常关键且复杂的点。要想把音视频同步搞明白，我们必须要了解一些基本的知识。只有了解了这些基本知识，才能为你打下理解音视频同步的基础。 本文将从下面几个主题介绍这些知识点：
新知系列课程第二季来啦！去年的系列课，我们为大家介绍了直播、RTC、IM、媒体处理等音视频通信技术，这一次，我们将继续为大家带来全真互联时代下新的行业趋势、新的技术方向以及新的应用场景分享。今天，我们邀请到了腾讯云音视频技术导师——付秋平，他将结合实际案例，为大家介绍流媒体源流中常见的问题，以及延迟分析处理的方法。 今天的内容分为播放器播放流程、直播源流常见问题、直播延迟的产生与处理、WebRTC快直播四个部分。 播放器的播放流程，基本上是推流的逆向过程。推流端基于同一个时钟源进行音频和视频的采集，得
各位大佬好，我是一个刚入坑的小菜鸡，黑眼圈云豆。最近开始学习TRTC实时音视频技术，我会记录并分享我的一些学习心得和体会，欢迎各位大佬来一起交流指正。
好多开发者在做产品竞品分析的时候，不知道如何界定一个RTSP播放器，大牛直播SDK认为，一个RTSP播放器，不是说有几个类似于Open/Close接口就够了，好的RTSP播放器需要具备以下功能和性能属性：
帧率 : 帧频率 , 视频中每秒钟含有视频帧的帧数 , 一秒钟刷新多少张图像 , 连续移动的图像至少每秒
action — 是一个可调用函数，当等待的线程到达了线程障碍数量parties，其中一个线程会首先调用action 对应函数，之后再执行线程自己内部的代码；
我是来自全民快乐的展晓凯，曾就职于淘宝开发机票搜索，在唱吧上线之初加入，经历了唱吧从上线到拥有4亿用户的整个过程，在此期间负责唱吧音视频的开发，其中涉及多个产品线，包括唱吧、唱吧直播间、火星等产品。目前在全民快乐负责直播产品线业务，主要面向海外市场。
好多开发者提到，在目前开源播放器如此泛滥的情况下，为什么还需要做自研框架的RTMP播放器，自研和开源播放器，到底好在哪些方面？以下大概聊聊我们的一点经验，感兴趣的，可以关注 github：
直播软件的开发，高清流畅的直播画面，带给了用户愉悦的体验，同时也不可避免会遇到很多问题。
点击上方“LiveVideoStack”关注我们 翻译 | Argus 技术审校 | 曾凯 本文来自Amazon Science Blog，作者为Sathya Balakrishnan、Ihsan Ozcelik。 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 AI 影音探索 #008# 用于检测宏块损坏、音频失真和音视频同步错误的检测器是Prime Video的三个质量保证工具。 流媒体视频在录制、编码、打包或传输过程中可能会出现缺陷，因此大多数订阅视频服务（如亚马逊Prim
大家好，我是来自即构的陈晓聪，现在主要负责互动白板的技术研发工作。接下来我将为大家分享即构在互动白板的技术探索实践。
好多开发者提到，在目前开源播放器如此泛滥的情况下，为什么还需要做自研框架的RTSP播放器，自研和开源播放器，到底好在哪些方面？以下大概聊聊我们的一点经验，感兴趣的，可以关注 github：
随着以抖音为代表的短视频应用逐渐深入到我们日常生活中来，直播带货、网络会议、在线教育等音视频场景也变得更加常见，可以说音视频技术已经和我们的生活息息相关了。
随着近年来直播行业的飞速发展，直播平台开发的技术日益成熟，直播系统的应用场景也越来越广泛，也离不开流媒体传输的技术支持，本文就主要介绍了当前主流的流媒体传输中推流端及播放端分别需要几步。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
