FFmpeg 音视频处理核心技术初体验

章节

• 视频播放器原理
• 什么是 ffmpeg?
• ffmpeg 音视频编/解码 流程图
• ffmpeg 常用 struct
• AVFormatContext
• AVStream
• AVCodecContext
• AVCodec
• AVPacket
• AVFrame
• ffmpeg 常用Api
• avregisterall()
• avformatallocoutput_context2()
• avio_open()
• avnewstream()
• avcodecfindencoder()
• avcodec_open2()
• avformatwriteheader()
• avcodecencodevideo2()
• avwriteframe()
• flush_encoder()
• avwritetrailer()
• ffmpeg编码视频的流程图
• ffmpeg解码视频的流程图
• 分享-解决问题的思路

0.视频播放器原理

编码

录像(视频)、录音(音频)，实质上是一个压缩采集到的图像或者音频数据的过程，这个过程又称为编码。那为什么需要编码（压缩）呢？因为设备采集到的音视频数据太大了，如果不进行压缩，占用的空间太大，不利于传输等。 解码 播放视频或者音频文件，实质上是一个解压缩的过程，这个过程又称为解码。那为什么又要解码（解压缩）呢？因为播放器播放需要的是音频采样数据、视频像素数据，通俗一点来说就是需要的是编码之前的数据，所以需要解码来获取。

如下图展示了播放器播放视频的原理：

作者：zhang_pan 链接：https://www.jianshu.com/p/55e5da60faeb 來源：简书

1.什么是ffmpeg？

1.ffmpeg 是音视频处理核心技术，要成为音视频领域的开发高手，不可不学 ffmpeg，一个完整的跨平台解决方案，用于录制，转换和流式传输音频和视频的技术。 2.腾讯视频、爱奇艺、阿里影音、均有大量 音视频开发工程师的需求。 3.ffmpeg 源代码 采用 c++编写

2.ffmpeg 音视频编/解码 流程图

如下所示流程图：

如上图所示，音视频文件已流形式经编码 encode 之后成为 packet，packet 被解码之后成为视频帧frame

3.ffmpeg 常用 struct

AVFormatContext

AVFormatContext 主要存储视音频封装格式中包含的信息

AVStream

AVStream 存储一个视频/音频流的相关数据

AVCodecContext

流解码器容器－每个AVStream对应一个AVCodecContext，存储该视频/音频流使用解码方式的相关数据、如 codec_type 编码器类型。

AVCodec

解码器－每个AVCodecContext中对应一个AVCodec，包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。

AVPacket

视频,每个结构一般是存一帧；音频可能有好几帧

帧(stream)数据编码后的数据，或解码为 帧(stream) 数据前的数据存储格式为AVPacket AVFrame 包(Packet)数据解码之后以帧(frame)的结构存在。

4.ffmpeg 常用Api

av_ register_ all()

注意：av_ register_ all()其实中间没有空格，编辑器出现了问题

注册所有 ffmpeg 解码器， 如果需要使用支持特定类型音视频解码的解码器则需要使用 void av_ register_ input_ format(AVInputFormat *format);

avformat_ alloc_ output_ context2()

初始化输出码流的AVFormatContext。

avio_ open()

创建并初始化AVIOContext以访问 url 指示的资源。

av_ new_ stream()

创建新流，此新流用于添加到新的媒体文件

avcodec_ find_ encoder()

查找编码器，一般是用来将数据帧进行编码，并生成新的输出文件。

avcodec_ open2()

打开编码器

avformat_ write_ header()

写文件头（对于某些没有文件头的封装格式，不需要此函数。比如说MPEG2TS）。

avcodec_ encode_ video2()

将 frame 进行编码，并转化为 packet 进行存储

av_ write_ frame()

Write a packet to an output media file. 将编码后的视频码流写入文件

flush_encoder()

Write the stream trailer to an output media file and free the file private data。 将流预告片写入输出媒体文件并释放文件私人数据。

其实上述常用Api 是一个视频流文件进行编码并输出编码后文件常用的Api

ffmpeg编码视频的流程图

如下所示：

ffmpeg解码视频的流程图

4 分享-解决问题的思路

最近接触 ffmpeg 是因为部门业务需要，之前个人从未接触过 ffmpeg。知道自己不知道很重要，李笑来-《与时间做朋友》这本书中描述，大多数人在估算任务时间时，总会将时间估计的很少，以至于经常受到deadline的压迫，导致这个问题的原因通常是在做事情之前没有意识到这件事是自己之前做过的，还是没有做过的，面对新的领域，总有未知的事情需要解决，我们是预测不了解决未知需要花费多少时间的，现在不能，以后也不能！所以不能做到游刃有余。deadline，一个极富压抑色彩的词。

4.1 业务目标

通过调用 ffmpeg Api 实现截取视频任意一帧。

4.2 出现的问题

1.个人对视频当中某一帧获取流程不是很了解； 2.读源码过程中 有些 ffmpeg Api 看不懂；

4.3 问题的根本原因

1.对视频播放的本质不清楚，其实视频的本质是一帧一帧的图片拼接起来的结果； 2.没有耐心读 ffmpeg 源码，因为没学过c++； 3.对未知的从未尝试过的事情有些许排斥。

4.4 解决问题的方案

1.了解视频播放原理－知道了解码、编码等问题 （完成100%） 2.了解ffmpeg、解码、编码(所以解决方案的第一步是前提)、学习编码/解码相关流程，(毕竟视频的生成、播放与编解码是分不开的)、以及相关Api （完成100%） 3.尝试读前辈代码、并提取实现业务的 keycode、文档输出等。（2018-10-23日晚上下班前输出相关文档）