首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >OpenGLES渲染画面通过MediaCodec录制

OpenGLES渲染画面通过MediaCodec录制

作者头像
曾大稳
发布于 2018-09-11 02:28:44
发布于 2018-09-11 02:28:44
2.3K00
代码可运行
举报
文章被收录于专栏:曾大稳的博客曾大稳的博客
运行总次数:0
代码可运行

录制原理

  • 预览

通过fbo处理视频数据,通过samplerExternalOES纹理来创建SurfaceTexture,这样的话摄像头数据就和fbo相关联,具体可以看OpenGLES通过SurfaceTexture预览摄像头画面

  • 录制

通过MediaCodec创建一个surface,然后通过创建一个新的egl环境共享预览的EglContext和这个surface绑定,渲染fbo绑定的纹理,即可录制。 egl环境配置: Android配置EGL环境 Android自定义GLSurfaceView

流程如下图所示:

MediaCodec录制主要代码

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制

 private MediaMuxer mMediaMuxer;
 private MediaCodec.BufferInfo mBuffInfo;
 private MediaCodec mVideoEncodec;
 private int width, height;


  //初始化
 public void initEncoder(EGLContext eglContext,String savePath,String mineType,int width,int height){
        this.width = width;
        this.height = height;
        this.mEGLContext = eglContext;
        initMediaEncoder(savePath,mineType,width,height);
    }

    private void initMediaEncoder(String savePath, String mineType, int width, int height) {
        try {
            mMediaMuxer = new MediaMuxer(savePath,MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
            initVideoEncoder(mineType,width,height);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    private void initVideoEncoder(String mineType, int width, int height) {
        try {
            mVideoEncodec= MediaCodec.createEncoderByType(mineType);

            MediaFormat videoFormat = MediaFormat.createVideoFormat(mineType,width,height);
            videoFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
            videoFormat.setInteger(MediaFormat.KEY_FRAME_RATE,30);//30帧
            videoFormat.setInteger(MediaFormat.KEY_BIT_RATE,width*height*4);//RGBA
            videoFormat.setInteger(MediaFormat.KEY_BIT_RATE,width*height*4);//RGBA
            //设置压缩等级  默认是baseline
            if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {
                videoFormat.setInteger(MediaFormat.KEY_PROFILE,MediaCodecInfo.CodecProfileLevel.AVCProfileMain);
                if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.M) {
                    videoFormat.setInteger(MediaFormat.KEY_LEVEL, MediaCodecInfo.CodecProfileLevel.AVCLevel3);
                }
            }

            mVideoEncodec.configure(videoFormat,null,null,MediaCodec.CONFIGURE_FLAG_ENCODE);

            mBuffInfo = new MediaCodec.BufferInfo();
            mSurface = mVideoEncodec.createInputSurface();
        } catch (IOException e) {
            e.printStackTrace();
            mVideoEncodec=null;
            mBuffInfo=null;
            mSurface=null;
        }
    }


//开始录制
 public void startRecode(){
    videoEncodec.start();
    int outputBufferIndex = videoEncodec.dequeueOutputBuffer(videoBufferinfo, 0);
    if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
        videoTrackIndex = mediaMuxer.addTrack(videoEncodec.getOutputFormat());
        mediaMuxer.start();
    }else {
        while (outputBufferIndex>=0){
            ByteBuffer outputBuffer= videoEncodec.getOutputBuffers()[outputBufferIndex];
            outputBuffer.position(videoBufferinfo.offset);
            outputBuffer.limit(videoBufferinfo.offset + videoBufferinfo.size);

            //设置时间戳
            if(pts==0){
                pts = videoBufferinfo.presentationTimeUs;
            }
            videoBufferinfo.presentationTimeUs = videoBufferinfo.presentationTimeUs - pts;
            //写入数据
            mediaMuxer.writeSampleData(videoTrackIndex,outputBuffer,videoBufferinfo);
            if(encoderWeakReference.get().onMediaInfoListener!=null){
                encoderWeakReference.get().onMediaInfoListener.onMediaTime((int) (videoBufferinfo.presentationTimeUs/1000000));
            }
            videoEncodec.releaseOutputBuffer(outputBufferIndex,false);
            outputBufferIndex = videoEncodec.dequeueOutputBuffer(videoBufferinfo, 0);
        }
    }
 }
 
//停止录制
public void stopRecode(){
    videoEncodec.stop();
    videoEncodec.release();
    videoEncodec =null;

    mediaMuxer.stop();
    mediaMuxer.release();
    mediaMuxer = null;
}

具体示例请看: https://github.com/ChinaZeng/SurfaceRecodeDemo

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-08-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
MediaCodec录制音视频并将合成为一个文件
音频录制 相关参考 MediaCodec硬编码pcm2aac 主要分为以下几步骤:
曾大稳
2020/01/20
2.4K0
MediaCodec录制音视频并将合成为一个文件
Android MediaCodec图片合成视频
YUV是为了解决彩色电视与黑白电视的兼容性。黑白视频只有Y值,也就是灰度。而彩色电视则有YUV3个分量,如果只读取Y值,就只能显示黑白画面了。YUV最大的优点在于只需占用极少的带宽。
陨石坠灭
2020/01/21
4.5K1
Android MediaCodec图片合成视频
【Android 音视频开发打怪升级:OpenGL渲染视频画面篇】六、Android音视频硬编码:生成一个MP4
在【音视频硬解码流程:封装基础解码框架】这篇文章中,介绍了如何使用Android原生提供的硬编解码工具MediaCodec,对视频进行解码。同时,MediaCodec也可以实现对音视频的硬编码。
开发的猫
2020/04/02
2.2K1
【Android 音视频开发打怪升级:OpenGL渲染视频画面篇】六、Android音视频硬编码:生成一个MP4
Android MediaCodec 硬编码 H264 文件
在 Android 4.1 版本提供了 MediaCodec 接口来访问设备的编解码器,不同于 FFmpeg 的软件编解码,它采用的是硬件编解码能力,因此在速度上会比软解更具有优势,但是由于 Android 的碎片化问题,机型众多,版本各异,导致 MediaCodec 在机型兼容性上需要花精力去适配,并且编解码流程不可控,全交由厂商的底层硬件去实现,最终得到的视频质量不一定很理想。
音视频开发进阶
2019/11/18
3.6K0
「Android音视频编码那点破事」第四章,使用MediaCodec实现H264编码
  说到Android的视频硬编码,很多新人首先会想到MediaRecorder,这可以说是Android早期版本视频硬编码的唯一选择。这个类的使用很简单,只需要给定一个Surface(输入)和一个File(输出),它就给你生成一个标准的mp4文件。   但越是简单的东西便意味着越难以控制,MediaRecorder的缺点很明显。相信很多人在接触到断点视频录制这个需求的时候,首先会想到使用MediaRecorder,很遗憾,这个东西并不能给你很多期待,就像一开始的我一样。   首先,MediaRecorder并没有断点录制的API,当然你可以使用一些“小技巧”,每次录制的时候,都把MediaRecorder stop掉,然后再次初始化,这样就会生成一系列的视频,最后把它们拼接起来。然而问题在于,每次初始化MediaRecorder都需要消耗很长时间,这意味着,当用户快速点击录制按钮的时候可能会出现问题。对于这个问题,你可以等到MediaRecorder初始化完成才让用户点击开始录制,但是这样往往会因为等待时间过长,导致用户体验极差。   这种情况下,一个可控的视频编码器是必须的。虽然在Android 4.4以前我们没得选择,但是在Android 4.4之后,我们有了MediaCodec,一个完全可控的视频编码器,虽然无法直接输出mp4(需要配合MediaMuxer来对音视频进行混合,最终输出mp4,或者其它封装格式)。如今的Android生态,大部分手机都已经是Android 5.0系统,完全可以使用MediaCodec来进行音视频编码的开发,而MediaRecorder则降级作为一个提高兼容性的备选方案。   废话不多说,我们直接步入正题。要想正确的使用MediaCodec,我们首先得先了解它的工作流程,关于这个,强烈大家去看一下Android文档。呃呃,相信在这个快速开发为王道的环境,没几个人会去看,所以还是在这里简单介绍一下。
阿利民
2022/05/16
9300
「Android音视频编码那点破事」第四章,使用MediaCodec实现H264编码
安卓支持aac编码吗_aac音频格式
Android音视频编码分为软编和硬编两种。所谓的硬编是用设备GPU去实现编解码,从而减轻CPU的压力,让程序更加的健壮,自然而然你就知道了软编其实就是让CPU编码(其实是在c层通过c/c++进行编码,之所以这样是因为c/c++平台上已经有很多比较好的音视频编解码库。比如著名ffmpeg,搞过音视频的相信对这个库绝对不会陌生)。那么或许你心目中有一个小小的疑问?为什么要编解码了?原因就是让数据更小便于传输。编解码就好比是压缩与解压!本文是把PCM数据硬编成ACC格式数据。如果对音频的采集不熟悉,请查阅Android 音频采集。
全栈程序员站长
2022/09/27
1.3K0
安卓支持aac编码吗_aac音频格式
Android制作带悬浮窗控制的录屏程序Demo
最近开发的新版程序初版基本差不多了,所以抽空需要研究一下针对运维方便的辅助工具,其中就有需要做一个WIndows服务器可以远程控制Android客户端的工具,实现的原理大概已经有了个思路了,拆解后每个细节就需要去做技术验证,远程控制首先就需要做到看到对面的图像,预览图像就要使用录屏的功能,所以就有了这个小Demo,当然最终要做的东西是不需要保存本地视频的,这里是为了验证一下是否成功。
Vaccae
2021/10/12
2K0
Android RTMP推流之MediaCodec硬编码一(H.264进行flv封装)
在前面Android平台下使用FFmpeg进行RTMP推流(摄像头推流)的文章中,介绍了如何使用FFmpeg进行H264编码和Rtmp推流。接下来讲分几篇文章来介绍如何使用Android系统的MediaCodec进行H264硬编码,然后封装推流。这一块涉及的内容很多,其中涉及一些基础知识也会有单独文章介绍比如flv格式。这篇文章主要介绍如何用MediaCodec进行编码,然后将编码后的数据进行flv封装。
用户2929716
2018/08/23
4.1K1
Android RTMP推流之MediaCodec硬编码一(H.264进行flv封装)
关于Android录屏程序在Android10下的修改
上一篇《Android制作带悬浮窗控制的录屏程序Demo》我自己用的虚拟机是Android8的版本,后来用自己的手机无法使用,原因是在Android 10之后录屏等功能要求在前台Service中进行,所以如果你的设备是Android 10以上的 ,上一篇中的录屏就不能用了,所以这篇是专门针对Android 10录屏做的改动。
Vaccae
2021/10/12
2.5K0
Android原生编解码接口 MediaCodec 之——踩坑
MediaCodec 有两种方式触发输出关键帧,一是由配置时设置的 KEY_FRAME_RATE 和KEY_I_FRAME_INTERVAL参数自动触发,二是运行过程中通过 setParameters 手动触发输出关键帧。
全栈程序员站长
2022/11/01
6.6K1
Android原生编解码接口 MediaCodec 之——踩坑
Android音视频硬编码与混合(三)
硬编码:使用非CPU进行编码,如显卡GPU、专用的DSP、FPGA、ASIC芯片等
PengJie
2021/01/03
2.6K0
MediaCodec硬编码pcm2aac
MediaCodec是Android(api>=16)提供的一个多媒体硬解编码库,能实现音视频的编解码。
曾大稳
2018/09/11
1.4K0
「Android音视频编码那点破事」第五章,使用MediaCodec编码AAC音频数据
  在上一章我们讲到了MediaCodec的工作流程,以及如何利用MediaCodec进行H264编码。这一章的内容同样是MediaCodec,只不过是编码音频为AAC,整个流程大同小异。   上一章我们利用MediaCodec编码视频时,使用了Surface,所以可以不直接操作输入缓冲区队列。但是编码音频的时候,由于无法使用Surface,所以需要直接操作输入缓冲区队列。   这里我们需要通过AudioRecord采集PCM数据,然后把采集到的数据送进编码器进行编码。所以首先我们要初始化一个AudioRecord对象。   要使用录音,需要申请录音权限。
阿利民
2022/05/16
5500
「音视频直播技术」Android下视频H264编码
今天为大家介绍一下音视频直播技术中的视频编码。在移动端通过Camera采集到视频数据后,我们不会直接将它发送出去。因为采集后的视频数据量非常大,比如 1280x720 分辨率的一帧数据,就有可能达到6M大小(码率越高,图像越清晰)。这6M数据如果送到网上传输,会给网络带来非常大的负担。
音视频_李超
2020/04/01
1.9K0
「音视频直播技术」Android下视频H264编码
mediacodec解码ffmpeg AvPacket
初始化MediaCodec private MediaFormat mediaFormat; private MediaCodec mediaCodec; private MediaCodec.BufferInfo info; private Surface surface;//这个是OpenGL渲染的Surface /** * 初始化MediaCodec * * @param codecName * @param width * @param height * @param csd_0
曾大稳
2018/09/11
1.8K0
mediacodec解码ffmpeg AvPacket
1对1直播源码开发,Android获取实时屏幕画面
1对1直播源码开发,Android获取实时屏幕画面是如何实现的呢?因为VirtualDisplay可以获取当前屏幕的视频流,创建VirtualDisplay只需通过MediaProjectionManager获取MediaProjection,然后通过MediaProjection创建VirtualDisplay即可。
云豹科技程序员
2021/06/18
2.1K0
MediaCodec进行AAC编解码(文件格式转换)
AAC,全称Advanced Audio Coding,是一种专为声音数据设计的文件压缩格式。与MP3不同,它采用了全新的算法进行编码,更加高效,具有更高的“性价比”。利用AAC格式,可使人感觉声音质量没有明显降低的前提下,更加小巧。至于AAC的其他特点网上资料就很多,就不多做介绍了。 在介绍AAC编解码之前,首先要先学习几个新知识MediaExtractor和ADTS格式 仓库源码FFmpegSample,对应版本代码v1.6
用户2929716
2018/08/23
2.1K0
MediaCodec进行AAC编解码(文件格式转换)
Android AVDemo(2):音频编码,采集 PCM 数据编码为 AAC丨音视频工程示例
iOS/Android 客户端开发同学如果想要开始学习音视频开发,最丝滑的方式是对音视频基础概念知识有一定了解后,再借助 iOS/Android 平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程,并借助音视频工具来分析和理解对应的音视频数据。
关键帧
2022/06/13
1.1K0
Android AVDemo(2):音频编码,采集 PCM 数据编码为 AAC丨音视频工程示例
Android 获取视频缩略图(获取视频每帧数据)的优化方案
注意:如果不缩小图片的话,建议还是使用MediaMetadataRetriever。 使用当前库的话,调用metadataRetriever.forceFallBack(true);
deep_sadness
2019/01/28
5K0
使用MediaCodeC将图片集编码为视频
这是MediaCodeC系列的第三章,主题是如何使用MediaCodeC将图片集编码为视频文件。在Android多媒体的处理上,MediaCodeC是一套非常有用的API。此次实验中,所使用的图片集正是MediaCodeC硬解码视频,并将视频帧存储为图片文件文章中,对视频解码出来的图片文件集,总共332张图片帧。 若是对MediaCodeC视频解码感兴趣的话,也可以浏览之前的文章:MediaCodeC解码视频指定帧,迅捷、精确
AiLo
2019/11/22
2.6K0
推荐阅读
相关推荐
MediaCodec录制音视频并将合成为一个文件
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档