首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >OpenGLES渲染画面通过MediaCodec录制

OpenGLES渲染画面通过MediaCodec录制

作者头像
曾大稳
发布于 2018-09-11 02:28:44
发布于 2018-09-11 02:28:44
2.3K00
代码可运行
举报
文章被收录于专栏:曾大稳的博客曾大稳的博客
运行总次数:0
代码可运行

录制原理

  • 预览

通过fbo处理视频数据,通过samplerExternalOES纹理来创建SurfaceTexture,这样的话摄像头数据就和fbo相关联,具体可以看OpenGLES通过SurfaceTexture预览摄像头画面

  • 录制

通过MediaCodec创建一个surface,然后通过创建一个新的egl环境共享预览的EglContext和这个surface绑定,渲染fbo绑定的纹理,即可录制。 egl环境配置: Android配置EGL环境 Android自定义GLSurfaceView

流程如下图所示:

MediaCodec录制主要代码

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制

 private MediaMuxer mMediaMuxer;
 private MediaCodec.BufferInfo mBuffInfo;
 private MediaCodec mVideoEncodec;
 private int width, height;


  //初始化
 public void initEncoder(EGLContext eglContext,String savePath,String mineType,int width,int height){
        this.width = width;
        this.height = height;
        this.mEGLContext = eglContext;
        initMediaEncoder(savePath,mineType,width,height);
    }

    private void initMediaEncoder(String savePath, String mineType, int width, int height) {
        try {
            mMediaMuxer = new MediaMuxer(savePath,MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
            initVideoEncoder(mineType,width,height);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    private void initVideoEncoder(String mineType, int width, int height) {
        try {
            mVideoEncodec= MediaCodec.createEncoderByType(mineType);

            MediaFormat videoFormat = MediaFormat.createVideoFormat(mineType,width,height);
            videoFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
            videoFormat.setInteger(MediaFormat.KEY_FRAME_RATE,30);//30帧
            videoFormat.setInteger(MediaFormat.KEY_BIT_RATE,width*height*4);//RGBA
            videoFormat.setInteger(MediaFormat.KEY_BIT_RATE,width*height*4);//RGBA
            //设置压缩等级  默认是baseline
            if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {
                videoFormat.setInteger(MediaFormat.KEY_PROFILE,MediaCodecInfo.CodecProfileLevel.AVCProfileMain);
                if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.M) {
                    videoFormat.setInteger(MediaFormat.KEY_LEVEL, MediaCodecInfo.CodecProfileLevel.AVCLevel3);
                }
            }

            mVideoEncodec.configure(videoFormat,null,null,MediaCodec.CONFIGURE_FLAG_ENCODE);

            mBuffInfo = new MediaCodec.BufferInfo();
            mSurface = mVideoEncodec.createInputSurface();
        } catch (IOException e) {
            e.printStackTrace();
            mVideoEncodec=null;
            mBuffInfo=null;
            mSurface=null;
        }
    }


//开始录制
 public void startRecode(){
    videoEncodec.start();
    int outputBufferIndex = videoEncodec.dequeueOutputBuffer(videoBufferinfo, 0);
    if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
        videoTrackIndex = mediaMuxer.addTrack(videoEncodec.getOutputFormat());
        mediaMuxer.start();
    }else {
        while (outputBufferIndex>=0){
            ByteBuffer outputBuffer= videoEncodec.getOutputBuffers()[outputBufferIndex];
            outputBuffer.position(videoBufferinfo.offset);
            outputBuffer.limit(videoBufferinfo.offset + videoBufferinfo.size);

            //设置时间戳
            if(pts==0){
                pts = videoBufferinfo.presentationTimeUs;
            }
            videoBufferinfo.presentationTimeUs = videoBufferinfo.presentationTimeUs - pts;
            //写入数据
            mediaMuxer.writeSampleData(videoTrackIndex,outputBuffer,videoBufferinfo);
            if(encoderWeakReference.get().onMediaInfoListener!=null){
                encoderWeakReference.get().onMediaInfoListener.onMediaTime((int) (videoBufferinfo.presentationTimeUs/1000000));
            }
            videoEncodec.releaseOutputBuffer(outputBufferIndex,false);
            outputBufferIndex = videoEncodec.dequeueOutputBuffer(videoBufferinfo, 0);
        }
    }
 }
 
//停止录制
public void stopRecode(){
    videoEncodec.stop();
    videoEncodec.release();
    videoEncodec =null;

    mediaMuxer.stop();
    mediaMuxer.release();
    mediaMuxer = null;
}

具体示例请看: https://github.com/ChinaZeng/SurfaceRecodeDemo

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-08-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
MediaCodec录制音视频并将合成为一个文件
音频录制 相关参考 MediaCodec硬编码pcm2aac 主要分为以下几步骤:
曾大稳
2020/01/20
2.4K0
MediaCodec录制音视频并将合成为一个文件
Android原生编解码接口 MediaCodec 之——踩坑
MediaCodec 有两种方式触发输出关键帧,一是由配置时设置的 KEY_FRAME_RATE 和KEY_I_FRAME_INTERVAL参数自动触发,二是运行过程中通过 setParameters 手动触发输出关键帧。
全栈程序员站长
2022/11/01
6.8K1
Android原生编解码接口 MediaCodec 之——踩坑
「Android音视频编码那点破事」第四章,使用MediaCodec实现H264编码
  说到Android的视频硬编码,很多新人首先会想到MediaRecorder,这可以说是Android早期版本视频硬编码的唯一选择。这个类的使用很简单,只需要给定一个Surface(输入)和一个File(输出),它就给你生成一个标准的mp4文件。   但越是简单的东西便意味着越难以控制,MediaRecorder的缺点很明显。相信很多人在接触到断点视频录制这个需求的时候,首先会想到使用MediaRecorder,很遗憾,这个东西并不能给你很多期待,就像一开始的我一样。   首先,MediaRecorder并没有断点录制的API,当然你可以使用一些“小技巧”,每次录制的时候,都把MediaRecorder stop掉,然后再次初始化,这样就会生成一系列的视频,最后把它们拼接起来。然而问题在于,每次初始化MediaRecorder都需要消耗很长时间,这意味着,当用户快速点击录制按钮的时候可能会出现问题。对于这个问题,你可以等到MediaRecorder初始化完成才让用户点击开始录制,但是这样往往会因为等待时间过长,导致用户体验极差。   这种情况下,一个可控的视频编码器是必须的。虽然在Android 4.4以前我们没得选择,但是在Android 4.4之后,我们有了MediaCodec,一个完全可控的视频编码器,虽然无法直接输出mp4(需要配合MediaMuxer来对音视频进行混合,最终输出mp4,或者其它封装格式)。如今的Android生态,大部分手机都已经是Android 5.0系统,完全可以使用MediaCodec来进行音视频编码的开发,而MediaRecorder则降级作为一个提高兼容性的备选方案。   废话不多说,我们直接步入正题。要想正确的使用MediaCodec,我们首先得先了解它的工作流程,关于这个,强烈大家去看一下Android文档。呃呃,相信在这个快速开发为王道的环境,没几个人会去看,所以还是在这里简单介绍一下。
阿利民
2022/05/16
9550
「Android音视频编码那点破事」第四章,使用MediaCodec实现H264编码
Android MediaCodec 硬编码 H264 文件
在 Android 4.1 版本提供了 MediaCodec 接口来访问设备的编解码器,不同于 FFmpeg 的软件编解码,它采用的是硬件编解码能力,因此在速度上会比软解更具有优势,但是由于 Android 的碎片化问题,机型众多,版本各异,导致 MediaCodec 在机型兼容性上需要花精力去适配,并且编解码流程不可控,全交由厂商的底层硬件去实现,最终得到的视频质量不一定很理想。
音视频开发进阶
2019/11/18
3.6K0
【Android 音视频开发打怪升级:OpenGL渲染视频画面篇】六、Android音视频硬编码:生成一个MP4
在【音视频硬解码流程:封装基础解码框架】这篇文章中,介绍了如何使用Android原生提供的硬编解码工具MediaCodec,对视频进行解码。同时,MediaCodec也可以实现对音视频的硬编码。
开发的猫
2020/04/02
2.2K1
【Android 音视频开发打怪升级:OpenGL渲染视频画面篇】六、Android音视频硬编码:生成一个MP4
「音视频直播技术」Android下视频H264编码
今天为大家介绍一下音视频直播技术中的视频编码。在移动端通过Camera采集到视频数据后,我们不会直接将它发送出去。因为采集后的视频数据量非常大,比如 1280x720 分辨率的一帧数据,就有可能达到6M大小(码率越高,图像越清晰)。这6M数据如果送到网上传输,会给网络带来非常大的负担。
音视频_李超
2020/04/01
1.9K0
「音视频直播技术」Android下视频H264编码
MediaCodec硬编码pcm2aac
MediaCodec是Android(api>=16)提供的一个多媒体硬解编码库,能实现音视频的编解码。
曾大稳
2018/09/11
1.4K0
Android PC投屏简单尝试(录屏直播)2—硬解章(MediaCodec+RMTP)
代码地址 :https://github.com/deepsadness/MediaProjectionDemo
deep_sadness
2018/12/10
3K0
Android PC投屏简单尝试(录屏直播)2—硬解章(MediaCodec+RMTP)
Android MediaCodec图片合成视频
YUV是为了解决彩色电视与黑白电视的兼容性。黑白视频只有Y值,也就是灰度。而彩色电视则有YUV3个分量,如果只读取Y值,就只能显示黑白画面了。YUV最大的优点在于只需占用极少的带宽。
陨石坠灭
2020/01/21
4.5K1
Android MediaCodec图片合成视频
mediacodec解码ffmpeg AvPacket
初始化MediaCodec private MediaFormat mediaFormat; private MediaCodec mediaCodec; private MediaCodec.BufferInfo info; private Surface surface;//这个是OpenGL渲染的Surface /** * 初始化MediaCodec * * @param codecName * @param width * @param height * @param csd_0
曾大稳
2018/09/11
1.8K0
mediacodec解码ffmpeg AvPacket
Android AVDemo(2):音频编码,采集 PCM 数据编码为 AAC丨音视频工程示例
iOS/Android 客户端开发同学如果想要开始学习音视频开发,最丝滑的方式是对音视频基础概念知识有一定了解后,再借助 iOS/Android 平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程,并借助音视频工具来分析和理解对应的音视频数据。
关键帧
2022/06/13
1.1K0
Android AVDemo(2):音频编码,采集 PCM 数据编码为 AAC丨音视频工程示例
Android 获取视频缩略图(获取视频每帧数据)的优化方案
注意:如果不缩小图片的话,建议还是使用MediaMetadataRetriever。 使用当前库的话,调用metadataRetriever.forceFallBack(true);
deep_sadness
2019/01/28
5K0
「Android音视频编码那点破事」第五章,使用MediaCodec编码AAC音频数据
  在上一章我们讲到了MediaCodec的工作流程,以及如何利用MediaCodec进行H264编码。这一章的内容同样是MediaCodec,只不过是编码音频为AAC,整个流程大同小异。   上一章我们利用MediaCodec编码视频时,使用了Surface,所以可以不直接操作输入缓冲区队列。但是编码音频的时候,由于无法使用Surface,所以需要直接操作输入缓冲区队列。   这里我们需要通过AudioRecord采集PCM数据,然后把采集到的数据送进编码器进行编码。所以首先我们要初始化一个AudioRecord对象。   要使用录音,需要申请录音权限。
阿利民
2022/05/16
5630
MediaCodec基本原理及使用「建议收藏」
MediaCodec类Android提供的用于访问低层多媒体编/解码器接口,它是Android低层多媒体架构的一部分,通常与MediaExtractor、MediaMuxer、AudioTrack结合使用,能够编解码诸如H.264、H.265、AAC、3gp等常见的音视频格式。广义而言,MediaCodec的工作原理就是处理输入数据以产生输出数据。具体来说,MediaCodec在编解码的过程中使用了一组输入/输出缓存区来同步或异步处理数据:首先,客户端向获取到的编解码器输入缓存区写入要编解码的数据并将其提交给编解码器,待编解码器处理完毕后将其转存到编码器的输出缓存区,同时收回客户端对输入缓存区的所有权;然后,客户端从获取到编解码输出缓存区读取编码好的数据进行处理,待处理完毕后编解码器收回客户端对输出缓存区的所有权。不断重复整个过程,直至编码器停止工作或者异常退出。
全栈程序员站长
2022/08/03
3K0
MediaCodec基本原理及使用「建议收藏」
Android AVDemo(8):视频编码,H.264 和 H.265 都支持丨音视频工程示例
iOS/Android 客户端开发同学如果想要开始学习音视频开发,最丝滑的方式是对音视频基础概念知识有一定了解后,再借助 iOS/Android 平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程,并借助音视频工具来分析和理解对应的音视频数据。
关键帧
2022/06/13
1.3K0
Android AVDemo(8):视频编码,H.264 和 H.265 都支持丨音视频工程示例
Android AVDemo(12):视频解码,MP4 → H.264/H.265 → YUV 的源码丨音视频工程示例
这个公众号会路线图式的遍历分享音视频技术:音视频基础(完成) → 音视频工具(完成) → 音视频工程示例(进行中) → 音视频工业实战(准备)。关注一下成本不高,错过干货损失不小 ↓↓↓
关键帧
2022/11/29
1.3K0
Android AVDemo(12):视频解码,MP4 → H.264/H.265 → YUV 的源码丨音视频工程示例
使用MediaCodeC将图片集编码为视频
这是MediaCodeC系列的第三章,主题是如何使用MediaCodeC将图片集编码为视频文件。在Android多媒体的处理上,MediaCodeC是一套非常有用的API。此次实验中,所使用的图片集正是MediaCodeC硬解码视频,并将视频帧存储为图片文件文章中,对视频解码出来的图片文件集,总共332张图片帧。 若是对MediaCodeC视频解码感兴趣的话,也可以浏览之前的文章:MediaCodeC解码视频指定帧,迅捷、精确
AiLo
2019/11/22
2.7K0
Android音视频硬编码与混合(三)
硬编码:使用非CPU进行编码,如显卡GPU、专用的DSP、FPGA、ASIC芯片等
PengJie
2021/01/03
2.6K0
Android制作带悬浮窗控制的录屏程序Demo
最近开发的新版程序初版基本差不多了,所以抽空需要研究一下针对运维方便的辅助工具,其中就有需要做一个WIndows服务器可以远程控制Android客户端的工具,实现的原理大概已经有了个思路了,拆解后每个细节就需要去做技术验证,远程控制首先就需要做到看到对面的图像,预览图像就要使用录屏的功能,所以就有了这个小Demo,当然最终要做的东西是不需要保存本地视频的,这里是为了验证一下是否成功。
Vaccae
2021/10/12
2K0
MediaCodec进行AAC编解码(AudioRecord采集录音)
最近工作比较忙,很久没有更新这个系列的文章。我们先回顾一下上一篇MediaCodec进行AAC编解码(文件格式转换)的内容,里面介绍了MediaExtractor的使用,MediaCodec进行音频文件的解码和编码,ADTS的介绍和封装。今天这篇文章在此基础上跟大家一起学习如何通过Android设备进行音频的采集,然后使用MediaCodec进行AAC编码,最后输出到文件。这部分我们关注的重点就是在如何进行音频的采集。 项目代码github对应的代码版本v1.7。大家一定要注意下载对应的代码版本调试。
用户2929716
2018/08/23
1.9K0
MediaCodec进行AAC编解码(AudioRecord采集录音)
推荐阅读
相关推荐
MediaCodec录制音视频并将合成为一个文件
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验