其实老早就想写一些关于音视频学习的文章了，但由于各方面的原因迟迟都没有开始。一个方面是因为笔者写文章都是成系统的，音视频需要大家有一定的 c/c++ 基础；还有一个方面是因为之前经验不足，这一块涉及到的细节也比较多。我自己学习时看过大量的文章和资料，这里推荐 雷霄骅的专栏 ，虽然文章的更新永远停在了那一刻，但其无私分享的精神值得我们每一个开发者学习。音视频这系列文章我们打算从基础开始学，然后结合移动端 NDK 来开发。因此如果你已经是音视频开发的老司机，那么本文可能不太适合你，其次如果之前没了解过 NDK 开发，学习起来也可能会有些难度。
在 Mac 系统中 homebrew 是一款 软件包管理工具 , 可以 轻松的 安装 / 卸载 / 更新 / 查看 / 搜索 软件包 , 可以简单方便地对软件包进行管理 , 无需用户 处理 复杂的依赖关系 问题 ;
本文主要讲解 FFmpeg 相关知识，以及在 Windows 下编译 FFmpeg 源码以及使用。
FFmpeg既是一款音视频编解码工具，同时也是一组音视频编解码开发套件，作为编解码开发套件，它为开发者提供了丰富的音视频处理的调用接口。 FFmpeg提供了多种媒体格式的封装和解封装，包括多种音视频编码、多种协议的流媒体、多种色彩格式转换、多种采样率转换、多种码率转换等；FFmpeg框架提供了多种丰富的插件模块，包含封装与解封装的插件、编码与解码的插件等。
本文来自网易云音乐音视频实验室负责人刘华平在LiveVideoStackCon 2017大会上的分享，并由LiveVideoStack根据演讲内容整理而成（本次演讲PPT文稿，请从文末附件下载）。
原文链接 / https://www.edn.com/an-update-on-music-codecs/
FFmpeg本身不支持H.264的编码器，是由FFmpeg的第三方模块对其进行支持，当前常用的编码器为x264，所支持的像素格式主要包括以下几种（使用ffmpeg -h encoder=libx264进行查询）
本篇博客代码及资源下载 : https://download.csdn.net/download/han1202012/10382762
使用 ffmpeg 命令 从 视频数据 中 提取 音频数据 / 视频数据 保留封装格式 , 封装格式 指的就是 封装 视频数据 的 容器 ;
介绍在FFmpeg环境下使用libx264进行H.264(AVC)软编码的操作，H.265(HEVC)的编码操作使用的是libx265，但是参数基本类似。
FFmpeg 是 " Fast Forward mpeg " 的缩写 , 其符合 mpeg 视频编码标准 ;
封装格式步骤： 1、分配解复用器上下文（avformat_alloc_context()）； 2、根据url打开本地文件或网络流（avformat_open_input()）； 3、读取媒体的数据包，查找流信息（avformat_find_stream_info()）； 4、遍历数据 （4-1）、从文件中读取数据包（av_read_frame()）； （4-2）、或者 定位文件位置进行遍历（avformat_seek_file()、av_seek_frame()）； 5、关闭解复用器（avformat_close_input()）或释放不使用的资源；
链接：https://pan.baidu.com/s/11kIaq5V6A_pFX3yVoTUvzA
默认的编译会生成4个可执行文件和8个静态库。可执行文件包括用于转码、推流、Dump媒体文件的ffmpeg、用于播放媒体文件的ffplay、
（本文基本逻辑：音频编码的理论基础 → PCM 编码 → AAC 编码工具集、编码流程、编码规格和数据格式）
裁剪视频 , 需要指定 输入文件 / 裁剪起始时间 / 裁剪持续时间 / 指定 视频和音频 编码 ;
随着通信技术的不断发展，互联网信息的传播与娱乐方式经历了从文字到图片再到音视频的转变，音视频通信，直播互动，短视频等应用百花齐放，特别是5G时代的到来，互联网对音视频开发者的需求会越来也大，有兴趣的同学可以把握机遇，提升自己，加入到这个行业当中。
作为一种电声换能设备，耳机其实远比我们想象的历史悠久。很多发烧友或许听说，世界上第一款动圈耳机是1937年发布的德国Beyerdynamic（通常被称为“拜亚动力”或者“拜亚”，现官方品牌名已经改名为“拜雅”）的DT48，但实际上，DT48并非世界上的第一款耳机。
EasyDarwin 是基于 go 语言研发，维护和优化的一个高性能开源 RTSP 流媒体服务器，能够帮助流媒体开发者和创业型企业快速构建流媒体服务平台，更快，更简单的实现最新的移动互联网流媒体直播和点播，同步音频和视频的传输，源码下载地址：
iOS下Apple为我们提供了非常方便的音频编解码工具AudioToolbox。该工具中包含了常见的编解码库，如AAC、iLBC、OPUS等。今天我们就介绍一下如何使用 AudioToolbox 进行AAC音频的编码工作。
音视频编码格式指的是将音频和视频数据进行压缩、编码和封装的技术，使其在数字通信、存储和传输中更加高效。音视频编码格式可以分为两个部分：编码标准和容器格式。
视频流媒体中程中视频数据的传输占据了绝大部分的带宽，如何提升编码效率，使用更少的带宽，提供更优质的画面质量，是音视频开发人员一直努力的重点。HEVC(High Efficiency Video Coding，也叫H.265)编码格式的推出，给这一方向带来了突破点，但由于其算法复杂度较高，前期未曾得到普遍应用，而随着移动设备计算能力的提高和越来越多的设备开始支持HEVC的硬件编/解码，直播平台也开始逐渐引入HEVC视频格式。
我相信大家平时学习和开发，可能接触视频编解码会比较多，对h264和h265会比较熟悉一点！
Android音视频编码分为软编和硬编两种。所谓的硬编是用设备GPU去实现编解码，从而减轻CPU的压力，让程序更加的健壮，自然而然你就知道了软编其实就是让CPU编码（其实是在c层通过c/c++进行编码，之所以这样是因为c/c++平台上已经有很多比较好的音视频编解码库。比如著名ffmpeg,搞过音视频的相信对这个库绝对不会陌生）。那么或许你心目中有一个小小的疑问？为什么要编解码了？原因就是让数据更小便于传输。编解码就好比是压缩与解压！本文是把PCM数据硬编成ACC格式数据。如果对音频的采集不熟悉，请查阅Android 音频采集。
面对一门技术，我们熟悉而陌生，我们能够熟练的基于平台的API完成各种各样的需求，掌握平台特性、框架与原理。但随着技术点不断深入，却发现自己存在基础性与深度性的知识盲区。
FFmpeg可使用众多参数，参数内容会根据ffmpeg版本而有差异 这里不再赘述，使用前建议先参考参数及编解码器的叙述。此外参数明细可用ffmpeg -h显示；编解码器名称等明细可用ffmpeg -formats显示。一些常用的参数也可以通过网上查找相关资料获取。
点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 ---- 作者：Leonardo Chiariglione 翻译：Alex 技术审校：冯建元 音频编码 视 野 #011# 前言 很明显，声音信息的电子格式要早于视觉信息的电子格式，用电子格式分发声音信息的服务也是如此。同样，音频的数字格式与视频数字格式的出现时间也不同。在上世纪80年代初，唱片公司可以通过CD（Compact Disc）向消费者市场发行数字音频，而在80年代
RTMP 与 RTSP 是比较常见的两种流媒体协议，那么什么是RTMP？什么是RTSP？它们两之间有什么区别？使用的时候应该如何选择？
AAC，全称Advanced Audio Coding，是一种专为声音数据设计的文件压缩格式。与MP3不同，它采用了全新的算法进行编码，更加高效，具有更高的“性价比”。利用AAC格式，可使人感觉声音质量没有明显降低的前提下，更加小巧。至于AAC的其他特点网上资料就很多，就不多做介绍了。 在介绍AAC编解码之前，首先要先学习几个新知识MediaExtractor和ADTS格式 仓库源码FFmpegSample，对应版本代码v1.6
每一个从事音视频技术开发的工程师对FFmpeg都不会感到陌生，即使是刚刚踏入这个行业的初学者，但对他们来说这条路上好像有着一条不可逾越的鸿沟，“雷神”和许多大神都总结过一些FFmpeg的学习方法，小编在这里为大家做一个整理，方便大家有一个清晰的思路。
在FFmpeg 简介及iOS端交叉编译一文中介绍了FFmpeg 提供有自己的编解码库，封装了codec层，但是有一些codec是具备自己的License，FFmpeg不会默认集成，例如libx264、FDK_AAC、LAME等，但是FFmpeg就像一个平台，可以将其他的第三方codec以插件的形式添加进来，然后为开发者提供统一的接口。 有同学私信我说能否有详细的编译流程，在此详细介绍一下。
前言 2020 年要属什么最火，肯定是短视频和直播带货了。我自己基本上每天晚上睡觉之前都会刷一会儿 douyin 短视频，不得不承认 douyin 的推荐算法是真 nb ，推荐的都是我的最爱 ? 。那
最近在根据项目需求疯狂撸 OpenCL ，FFmpeg 相关的文章落下了不少，后面也准备介绍下 OpenCL 在 Android 上的应用，另外 OpenCL 可以和 OpenGL 结合使用，非常有趣。
码率又叫比特率/码流，是编码器（视频/音频）每秒输出的数据大小，单位是bps（Bit Per Second），一般取kbps/Mbps，是编解码中最重要的参数。
“网络视频直播系统怎么开发、有什么难点”这类文章实在是太难写了，因为开发直播APP软件需要至少全国用户能够跨平台流畅观看，这其中涉及到的点太多太复杂了，所以讲清楚网络视频直播系统怎么开发、开发途中会有什么难点，可能出现什么问题，这件事要细水长流，本篇文章先讲一些开发直播app软件需要用的基础知识，至于其他的，我们日后再谈。
ffmpeg是一个非常快速的视频和音频转换器，也可以从实时音频/视频源中抓取。它还可以在任意采样率之间进行转换，并使用高质量的多相滤波器动态调整视频大小。他能够兼容Windows,Linux以及mac三种操作系统（说白了就是这三种操作系统都能用）。ffmpeg的下载地址是:ffmpeg的下载地址 安装过程没啥好说的，按照提示一直点下一步就行了。这里需要说明的一点是ffmpeg安装好之后最好在PATH中配置ffmpeg的环境变量。配置好之后在命令行中输入ffmpeg会出现如下结果：
• 容器／文件（Conainer/File）：即特定格式的多媒体文件， 比如mp4、flv、mkv等。
前言 使用VideoToolbox硬编码H.264 使用VideoToolbox硬解码H.264 这次在编码H.264视频流的同时，录制并编码AAC音频流。 介绍 自然界中的声音非常复杂，波形极其复杂，通常我们采用的是脉冲代码调制编码，即PCM编码。PCM通过抽样、量化、编码三个步骤将连续变化的模拟信号转换为数字编码。 抽样：对模拟信号进行周期性扫描，把时间上连续的信号变成时间上离散的信号； 量化：用一组规定的电平，把瞬时抽样值用最接近的电平值来表示,通常是用二进制表示； 编码：用一组二进制码组来表示每
Matroska封装格式非常灵活、兼容性好，既适用于本地文件存储又可以进行实时流传输。本篇文章主要探讨Matroska的编解码器映射，如何封装视频流、音频流、字幕流。如果要Matroska的介绍、功能和基本结构，请查看上一篇文章：走进音视频的世界——Matroska封装格式的介绍(一)。
AAC是高级音频编码（Advanced Audio Coding）的缩写，出现于1997年，最初是基于MPEG-2的音频编码技术。由Fraunhofer IIS、Dolby Laboratories、AT&T、Sony等公司共同开发，目的是取代MP3格式。2000年，MPEG-4标准出台，AAC重新集成了其它技术（PS,SBR），为区别于传统的MPEG-2 AAC，故含有SBR或PS特性的AAC又称为MPEG-4 AAC。
• AVUtil：核心工具库，下面的许多其他模块都会依赖该库做一些基本的音视频处理操作。
x264在x86平台库依赖yasm，先要安装yasm（x86的汇编器）， brew install yasm
不同的平台、系统以及应用程序可能具有不同的架构层次结构，但总体来说，这三个层次是构成多媒体架构的核心。
SRS4支持了WebRTC播放，John(志宏)大神实现了RTC框架，Bepartofyou(B神)实现了aac转opus，刘连响大神主持定义的协议保持RTMP、HLS、FLV、WebRTC的高度一致性，另外Native Demo正在路上，后续还有更多惊喜。 Scenarios SRS支持WebRTC后，将获得下面新的应用场景： 低延迟直播：RTMP延迟在3到5秒，WebRTC可以在1秒之内，可以基于云计算部署比较稳定的低延迟直播服务；也可以接入CDN厂商，目前阿里云和腾讯云CDN都支持了WebRTC直播
FLV（Flash Video）是一种流媒体格式，因其体积小、协议相对简单，很快便流行开来，并得到广泛的支持。
在偶遇FFmpeg（三）——Android集成这边文章中曾经介绍过FFmpeg和Android的交叉编译。文章中也提到过如何裁剪SO文件大小的方式。 这边文章就这个问题。进行实战。
MediaCodec类Android提供的用于访问低层多媒体编/解码器接口，它是Android低层多媒体架构的一部分，通常与MediaExtractor、MediaMuxer、AudioTrack结合使用，能够编解码诸如H.264、H.265、AAC、3gp等常见的音视频格式。广义而言，MediaCodec的工作原理就是处理输入数据以产生输出数据。具体来说，MediaCodec在编解码的过程中使用了一组输入/输出缓存区来同步或异步处理数据：首先，客户端向获取到的编解码器输入缓存区写入要编解码的数据并将其提交给编解码器，待编解码器处理完毕后将其转存到编码器的输出缓存区，同时收回客户端对输入缓存区的所有权；然后，客户端从获取到编解码输出缓存区读取编码好的数据进行处理，待处理完毕后编解码器收回客户端对输出缓存区的所有权。不断重复整个过程，直至编码器停止工作或者异常退出。
在 ffmpeg 命令中 , -aframes 参数用于设置 要输出的 音频帧 帧数 , 通过该参数 设置 一个 指定的 音频帧数 , 输出完 该 指定音频帧数 的 音频帧 之后 , ffmpeg 将会停止处理音频流 , 通过该参数 可以 精确控制音频输出长度 ;
在上一篇博客 【FFmpeg】在 Mac OS 中编译 FFmpeg 源码 ① ( homebrew 安装 | 通过 gitee 源安装 homebrew | 安装 FFmpeg 编译所需的软件包 ) 中 , 安装了 homebrew , 并使用 homebrew 安装了 编译 FFmpeg 源码需要安装的软件包 , 本篇博客开始下载 FFmpeg 源码并进行编译 ;
在线直播可以说从去年开始变成了一个火爆的创业领域，一下子出来了很多做视频直播的公司。但说实话这方面的技术书籍实在是非常的少，网上的资料也很零散，所以我决定写一些列介绍视频技术的文章。今天这篇文章先对视频技术中的基础概念做一些简单的总结。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
