在前面的文章中讲述了FFmpeg的编译&集成和音视频的一些基础概念 Android FFmpeg系列01--编译与集成 Android FFmpeg系列02--音视频基础 本文为FFmpeg系列的第三篇文章...,主要内容为利用FFmpeg解码本地mp4文件的视频流并利用OpenGL进行上屏渲染 FFmpeg视频解码 一个音视频文件的播放流程大致需要经历解封装->解码->音视频同步->数据消费几个步骤,如下图所示...,要让画面正常速率显示的话就需要做时钟同步了,按照视频帧的pts来渲染这一帧 因为Demo只解码视频流上屏,所以时钟肯定就是参考系统时钟了,这里我们只是在pts比系统时钟晚的情况等待 auto pts...渲染 解码出来的AVFrame经过sws context后统一转为YUV420P格式,然后抛到java层上传纹理并渲染 OpenGL如何渲染YUV buffer可以参考之前的两篇文章,这里就不赘述~ 如何使用...OpenGL渲染YUV数据 Android中如何使用OpenGL播放视频 Demo https://github.com/sifutang/ffmpeg-demo 点击屏幕左右滑动会将视频划分为gray
以图像渲染技术为切入点便可熟练掌握图像的数据格式、渲染原理、滤镜等知识点,然后基于此再去学习 Android MediaCodec 基于 Surface 的编解码以及 Camera 开发就变得易如反掌。...Android FFmpeg 音视频开发系列 (01)FFmpeg 编译和集成 (02)FFmpeg + ANativeWindow 实现视频解码播放 (03)FFmpeg + OpenSLES 实现音频解码播放...(04)FFmpeg + OpenGLES 实现音频可视化播放 (05)FFmpeg + OpenGLES 实现视频解码播放和视频滤镜 (06)FFmpeg 播放器实现简单音视频同步的三种方式 (07...)FFmpeg + OpenGL ES 实现 3D 全景播放器 (08)FFmpeg 播放器视频渲染优化 (09)FFmpeg、x264以及fdk-aac 编译整合 (10)FFmpeg 视频录制 -...写文章就是把一些知识点融汇贯通的过程,然后拿不准的知识点就得查资料,因为如果知识点弄错了被人怼会很没面子,还有就是加深记忆,当做技术笔记。
解封装的基本过程: #include #include "libavcodec/avcodec.h" #include "libavformat/avformat.h" // MPEG-TS...mp4文件解封装得到的h264码流和aac码流都不能解码播放!...从MP4得到的H264和AAC码流是ES流,它们缺失解码时必要的起始码/SPS/PPS和adts头。
[OpenGL ES 文字渲染方式有几种?] 在音视频或 OpenGL 开发中,文字渲染是一个高频使用的功能,比如制作一些酷炫的字幕、为视频添加水印、设置特殊字体等等。...实际上 OpenGL 并没有定义渲染文字的方式,所以我们最能想到的办法是:将带有文字的图像上传到纹理,然后进行纹理贴图。 本文分别介绍下在应用层和 C++ 层常用的文字渲染方式。...[OpenGL ES 文字渲染] 基于 Canvas 绘制生成 Bitmap 在应用层实现文字渲染主要是利用 Canvas 将文本绘制成 Bitmap ,然后生成一张小图,然后在渲染的时候进行贴图。...然而每次渲染的时候都去重新加载位图显然不是高效的,我们应该将这些生成的数据储存在应用程序中,在渲染过程中再去取,重复利用。...OpenGL 纹理对应的图像默认要求 4 字节对齐,这里需要设置为 1 ,确保宽度不是 4 倍数的位图(灰度图)能够正常渲染。
mediaFormat; private MediaCodec mediaCodec; private MediaCodec.BufferInfo info; private Surface surface;//这个是OpenGL...渲染的Surface /** * 初始化MediaCodec * * @param codecName * @param width * @param height * @param csd...jniEnv->DeleteLocalRef(csd1); jniEnv->DeleteLocalRef(type); javaVM->DetachCurrentThread(); } 解码...intputBufferIndex, 0, datasize, 0, 0); } //这里拿到outputBufferIndex然后就可以获取到数据,这里会通过surface达到渲染
FFmpeg 开发系列连载: FFmpeg 开发(01):FFmpeg 编译和集成 FFmpeg 开发(02):FFmpeg + ANativeWindow 实现视频解码播放 FFmpeg 开发(03...FFmpeg 的解码功能和 ANativeWindow 的渲染功能,实现了的视频的解码播放。...视频解码播放和视频滤镜 1 OpenGL ES 渲染解码帧 经过上面几节的介绍,我们对音视频的解码过程已经比较熟悉了。本文要用 OpenGL 实现视频的渲染,这里再回顾下视频的解码流程: ?...视频的解码流程 从流程图中可以看出,解码一帧图像后,首先将对图像进行格式转换,转换成 RGBA 格式,使用 OpenGL 或 ANativeWindow 可以直接进行渲染。...了解视频解码到渲染的流程之后,我们就可以构建 OpenGL 渲染环境。
音频解码就是将mp3 aac等格式这些文件解析为pcm格式的过程。...和视频解码流程一样,只是有些函数不一样 #include "lang.h"; #include //封装格式 //解码 #include "log.h" extern "C" {...注册 av_register_all(); //2.打开解码器 <-- 拿到解码器 <-- 拿到id <-- 拿到stream和拿到AVCodecContext <-- 拿到AVFormatContext...{ LOGE("打开解码器失败!")...解码 将解码数据封装在AVFrame <-- 拿到编码的数据AVPacket <-- 读取数据源 <-- 解码文件参数设置 //3.1 AVPacket初始化 AVPacket *
IDR帧 可以独立解码的帧,idr一定是i帧,但i帧不一定是idr帧,可能缺少解码的关键信息 gop gop/frame_rate = 多少秒钟出现一次关键帧 poc picture order count...图像显示顺序,解码不是顺序解码的 参考:https://blog.csdn.net/xietingcandice/article/details/39502739 SPS、PPS h264由NALU...组成的,NALU分为VCL(视频编码层)和 NAL(网络提取层)两层 idr frame(idr帧)数据中包含sps和pps,sps、pps对解码起关键性作用,sps、pps错误可能导致 ?...参考帧队列重排,最后查出是因为发送和接收数据不一致导致的,ffmpeg有容错机制,错误的数据跳过了,最后还是生成了mp4文件,但是缺少一些信息,解码的时候会出现问题 ?
-解码音频(三) https://xiaolong.blog.csdn.net/article/details/126836582 QT软件开发-基于FFMPEG设计视频播放器-OpenGL渲染视频(...特点: 采用硬件加速解码(GPU),OpenGL渲染、只解码图像数据,忽略音频数据,主要是演示了ffmpeg的硬件解码和OpenGL渲染的基本使用流程。...特点: 采用硬件加速解码(GPU),OpenGL渲染、只解码图像数据,忽略音频数据,主要是演示了ffmpeg的硬件解码和OpenGL渲染的基本使用流程。...特点: 采用硬件加速解码(GPU),OpenGL渲染、只解码图像数据,忽略音频数据,主要是演示了ffmpeg的硬件解码和OpenGL渲染的基本使用流程,通过QAudioOutput播放音频数据的流程。...2.2 渲染 ffmpeg本身只是解码、编码的库,解码出来的图像渲染要自己实现。所谓的渲染就是显示ffmpeg解码视频之后得到的图片数据。 渲染也分为软件渲染、硬件加速渲染。
解码流程: 获取文件信息,数据存储在AVFormatContext里面 根据AVFormatContext获取对应的AVCodecContext 解码原始数据AVPacket,解码为自己需要的数据AVFrame...解码器获取 //5.1 根据video_index获取解码器上下文AVCodecContext pCodecCtxOrg = pFormatCtx->streams[video_index...打开解码器 if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) { LOGE ("打开解码器失败"); return;...总结: 要解码,我们需要获取解码器AVCodec,解码器我们需要通过codec_id获取,codec_id我们需要通过AVStream获取,AVStream我们需要通过AVCodecContext获取,...AVCodecContext我们要根据AVFormatContext获取,解码的时候我们要通过AVFormatContext读取,解码数据存储在AVFrame里面,编码数据存储在AVPacket里面。
二、使用OpenGL渲染视频画面篇 1,初步了解OpenGL ES 2,使用OpenGL渲染视频画面 3,OpenGL渲染多视频,实现画中画 4,深入了解OpenGL之EGL 5,OpenGL FBO...数据缓冲区 6,Android音视频硬编码:生成一个MP4 三、Android FFmpeg音视频解码篇 1,FFmpeg so库编译 2,Android 引入FFmpeg 3,Android FFmpeg...视频解码播放 4,Android FFmpeg+OpenSL ES音频解码播放 5,Android FFmpeg+OpenGL ES播放视频 6,Android FFmpeg简单合成MP4:视屏解封与重新封装...7,Android FFmpeg视频编码 本文你可以了解到 利用 FFmpeg 对音视频进行简单的解封和重新封装,不涉及解码和编码,为下一篇讲解如何对编辑好的视频进行重编码和封装做好铺垫。...一、前言 前面的文章中,对 FFmpg 视频的解码,以及如何利用 OpenGL 对视频进行编辑和渲染,做了详细的讲解,接来非常重要的,就是对编辑好的视频进行编码和保存。
FFmpeg使用avfilter来处理解码后的帧,做全流程的GPU处理实际就是要实现若干FFmpeg GPU filter。...理想情况,做两个filter就够了,TensorRT filter用于推理,OpenGL filter用于渲染,硬件编解码是现成的。 但实际上这样是不行的,为什么呢?...设置的过程就是一个入栈的过程,接口叫做cuCtxPushCurrent,可将当前的CUDA context给push到线程中,即入栈,然后就可以使用了。...刚才提到,我们既要推理又要渲染,渲染取决于推理的结果,因此我们需要用OpenGL在GPU解码的图片帧上进行绘制,那么就需要OpenGL可以访问到CUDA memory。...除了一些必须要同步的命令以外,OpenGL的渲染命令在GPU上基本也是异步的。GPU视频的编码和解码也基本上是异步的。
这个笔记的主要内容是,使用硬编和软编的方式解决Android视频编解码的问题(后续会支持解码),并且使用OpenGL实现滤镜渲染,包括美颜,水印等等。 ...,一组OpenGL连接本地窗口的接口,主要通过Surface向窗口绘制帧画面,以及给MediaCodec提供帧数据) FBO(帧缓冲区,这里主要用于离屏渲染以及特效) PBO(像素缓冲区对象,可以高效读取...可能有人有疑问,软编解码首选的不是大名鼎鼎的ffmpeg吗,为什么直接使用x264。...大家都知道ffmpeg其实就是在众多编解码器上套个壳子,再集成一个混合器,虽然功能众多,但是却很臃肿(当然已经很出色了),以至于我来了来来回回学习了4+次也没有掌握。...对于编解码常常用到的颜色格式(ColorFormat)转换,ffmpeg提供了swscale,功能虽然很强大,但效率不敢恭维,完全可以使用google的libyuv替代。
这个笔记的主要内容是,使用硬编和软编的方式解决Android视频编解码的问题(后续会支持解码),并且使用OpenGL实现滤镜渲染,包括美颜,水印等等。 ...,可以很方便的与OpenGL联动,也是TextureView提供的渲染接口) MediaCodec(硬编解决方案) X264(软编解决方案) MediaMuxer(音视频混合器) 以上内容我会选一部分在接下来的时间里详细展开...可能有人有疑问,软编解码首选的不是大名鼎鼎的ffmpeg吗,为什么直接使用x264。...大家都知道ffmpeg其实就是在众多编解码器上套个壳子,再集成一个混合器,虽然功能众多,但是却很臃肿(当然已经很出色了),以至于我来了来来回回学习了4+次也没有掌握。...对于编解码常常用到的颜色格式(ColorFormat)转换,ffmpeg提供了swscale,功能虽然很强大,但效率不敢恭维,完全可以使用google的libyuv替代。
OpenGL(七)- 渲染技巧:颜色混合 我们都知道颜色缓存区和深度缓冲区原理一致,在同一个位置上只能保存一个值。那么我们常见的透明图层相互之间的影响又是为什么呢?...当然OpenGL也考虑到了这一点: void RenderScene(void){ //1.清空颜色缓存区 glClear(GL_COLOR_BUFFER_BIT) //2.开启混合...API中进行计算时根据公式: Cf = (Cs * S) + (Cd * D) Cf表示: 计算后的最终颜色 Cs表示: 源颜色,也就是渲染命令中后传入的颜色 S表示: 源混合因子 Cd表示:...之和渲染的先后有关。 D表示: 目标混合因子 对应上方公式开发者能操作的其实只有S、D这两个混合因子,下图是API中两个参数的参数表。 ?
FFmpeg的编解码API 从3.1版本开始,FFmpeg提供了新的编解码API来对音视频数据进行编解码操作,从而实现对输入和输出的解耦: 解码API avcodec_send_packet() avcodec_receive_frame...我们的工具中,在流结束之后,并没有执行flushing操作,因此就出现了解码过程丢帧的现象。按照FFmpeg的指导,我们补充了如下的逻辑,以便获取解码器中缓存的帧。...FFMPeg 解码 API 状态机 avcodec_send_packet返回值 从FFmpeg的源码中,我们会发现,正常情况下,avcodec_send_packet()函数的返回值主要有以下三种:...对API的调用实际上是一种动作,而API的返回值则用来标志当前解码器的状态。因此,解码API的整个过程实际上就是一个状态机。...根据avcodec_send_packet返回值和avcodec_receive_frame返回值中的介绍,可以得到正常情况下,解码过程的状态机,如下图所示。
在OpenGL ES 基础原理中,我们只是对顶点做了简单的填充设置,现在我们继续对片段着色器中的颜色做自定义。...渲染模式 // 渲染 GLES20.glDrawArrays(GLES20.GL_TRIANGLES, 0, mVertexData.size / VERTEX_DIMENSION_SIZE) GL_TRIANGLES...是三角形渲染的一种方式,一共有三种。...对应的我们就能发现,如果绘制相同的图形GL_TRIANGLE_STRIP所要加载的顶点数会更少,这样在OpenGL绘制的过程中占用的内存也就越低,所以也就更有效。...OpenGL ES 系列 Android OpenGL ES 基础原理
一、文本渲染原理 1.1经典文本渲染:位图字体 ?...早期的文本渲染,是将需要的字符集放到一个大纹理中,这个纹理称为“位图字体”,渲染某个字符时,通过查找坐标,找到该字符对应的区域并渲染出来,再启动混合,让字符纹理的背景保持透明,非常容易理解。...二、基于freetype渲染文本 ?...文本渲染 ?..., GLFW_OPENGL_CORE_PROFILE); #ifdef __APPLE__ glfwWindowHint(GLFW_OPENGL_FORWARD_COMPAT, GL_TRUE
在 OpenGL 中,对应的着色器语言是 GLSL(OpenGL Shading Language)。通过 shader 编程,我们可以实现很多渲染风格,如马赛克效果、素描风格等。...2、OpenGL 图形渲染流程 当我们使用 OpenGL 时,都是基于 3D 空间去编程的,但是最终呈现到屏幕或者窗口时却是二维的像素数组,所以简单来说 OpenGL 的渲染流程其实就是将 3D 坐标转换成适配屏幕的...2D 像素,而这个过程实际上是由 OpenGL 的图形渲染管线管理的,大致可以划分成两步: 将 3D 坐标转换成 2D 坐标。...片段着色器也是我们能够在图形渲染过程中进行编程的一个阶段。 2.6....3、参考文章 卡通渲染(上) 光栅化阶段:三角形设置、三角形遍历、像素着色、合并 OpenGL - 渲染流程 透明度测试和透明度混合 紧追技术前沿,深挖专业领域 扫码关注我们吧!
ffmpeg中已经实现了使用dxva加速解码部分代码。但是要整合在自己的播放器中dxva相关管理代码没有实现。 以下笔者带大家去实现一个基于dxva的加速解码器。...一:ffmpeg中实现的dxva解码相关代码介绍 ffmpeg已经实现了h264 h263 mpeg2 wmv3解码的相关代码。...end_frame = end_frame, .priv_data_size = sizeof(struct dxva2_picture_context), }; 阅读上述代码,咱们会发现,解码器使用到的...对阵硬解解码的环境变量赋值定义好了方式 if(is->iUseDxva) { pCodecCtx->get_buffer = DxGetFrameBuf; pCodecCtx->reget_buffer...D3DXSaveSurfaceToFile = (void *)GetProcAddress(hdll,TEXT("D3DXSaveSurfaceToFileA")); } 以下为dxva2硬解与ffmpeg
领取专属 10元无门槛券
手把手带您无忧上云