CoreVideo / IOSurface:未知像素格式 - 腾讯云开发者社区

上一篇讲解了RGB索引格式，算是RGB的开胃菜吧，此篇应该是正餐，讲解RGB的像素格式，主流的有RGB565，RGB555, RGB24,RGB32, ARGB32，每一种格式按照简介，...存储示意图，以及获取具体像素的方法来讲解。...RGB565: a.概述： RGB565格式每一个像素用16个bit来表示，2个字节， 1个WORD, R, G, B分别用5， 6， 5个bit来表示，格式也因此而得名。...c.获取具体像素值方法：根据RGB565的存储方式，即可得到获取R,G,B分量的值。现假设计算机中存储某一个像素点的变量为color, 数据类型为short....b.存储示意(注意RGB24格式按BGR的方式存储)： ? c.获取具体像素值方法：根据RGB565的存储方式，即可得到获取R,G,B分量的值。

5.4K1 0

WWDC 2022 音视频相关 Session 概览（EDR 相关）丨音视频工程示例

（不在下表中的格式，会使用默认模式）： Reference 模式支持的最常见 5 种 HDR/SDR 视频格式 2）回顾了 EDR 的技术方案如下图所示，SDR 的像素浮点数表示范围为 [0.0,...不像其他的 HDR 格式那样，EDR 不会做 Tone Mapping 将像素值都映射到 [0.0, 1.0] 的范围。这就意味着在渲染时，它有一套新的机制。...4）使用 EDR 要使用 EDR 有下面几个注意点：要使用 CAMetalLayer；设置 wantsExtendedDynamicRangeContent 为 YES；内容支持 EDR：支持像素缓冲区格式...不过，这里提到了可以获取到 EDR 图像内容的几种途径，可以了解一下：使用 TIFF、OpenEXR 等支持浮点数存储像素值的图像格式来获取 EDR 图像；通过 AVFoundation 从 HDR...Video Toolbox 提供视频压缩和解压缩服务，以及存储在 Core Video 像素缓冲区中的光栅图像格式之间的转换。

2.6K2 1

您找到你想要的搜索结果了吗？

是的

没有找到

色彩空间与像素格式

[9] YUV存储格式分成三大类： packed：将Y、U、V分量交织存放在一起，和RGB的存放方式类似。内存中排列形式类似：YVYUYVYUYVYUYVYU...。...在具体的存储模式命名中，packed格式不带后缀P。 planar：将Y、U、V的三个分量分别存放在不同的矩阵(平面)中。内存中排列形式类似：YYYYYY...，UUUUUU......在具体的存储模式命名中，planar格式带后缀P。 semi-planar：将Y、U、V三个分量放在两个矩阵(平面)中。Y占用一个平面，UV共用一个平面。内存中排列形式类似：YYYYYY......在具体的存储模式命名中，semi-planar格式带后缀SP。 YUV图像存储模式与采样方式密切相关。主流的采样方式有三种，YUV4:4:4，YUV4:2:2，YUV4:2:0。...https://zhuanlan.zhihu.com/p/28741691 [13] YUV, https://zh.wikipedia.org/wiki/YUV [14] 图文详解YUV420数据格式

1.3K2 0

iOS下WebRTC视频编码

CV: CoreVideo CM: CoreMedia VT: VideoToolbox CMSampleBuffer: 存放视频数据的容器。...CMVideoFormatDescription: 存放图像信息的数据结构，如宽/高格式类型(kCMPixelFormat_32BGRA, kCMVideoCodecType_H264,…)，扩展(...像素宽高比,颜色空间,…)。...width: 视频帧的像素宽度。 height: 视频帧的像素高度。...第6个参数：sourceAttributes 指定了源图像与OpenGL ES兼容，使用IOSurface的默认选项以及YUV格式是 NV12 。

2.5K1 0

【FFmpeg】ffmpeg 命令行参数 ⑥ ( 使用 FFmpeg 提取 YUV 像素格式数据 | 使用 FFmpeg 提取 RGB 像素格式数据 | RGB 与 YUV 之间的格式转换 )

YUV 像素格式的数据 ; 在学习 FFmpeg 时 , 经常需要使用 YUV 像素格式的视频数据来测试编解码器 , 网上一般很少有像素格式的视频 , 因为占据的空间巨大 , 此时就需要...格式视频文件是 H.264 编码格式 , 1 分钟的视频大概有 13MB ; 输出 YUV 格式视频文件是 YUV 像素格式 , 1 分钟视频大概有 837MB , 像素格式的视频数据占据的空间是...格式的像素文件 , 提取出来的文件有 1.63GB , 这是未经压缩的视频画面文件 ; 上述命令的核心是 -pix_fmt rgb24 设置提取后的输出文件的数据格式为 rgb24 像素格式...转为 YUV 格式的视频时 , 可以分别为输入视频和输出视频都设置画面分辨率具体的像素格式输出视频的分辨率和像素格式可以不进行设置 , 默认与输入视频的参数相同 ;...输入视频必须设置分辨率和像素格式 , 否则无法进行像素格式的转换 ; 2、设置分辨率与像素格式 - 同时设置输入 / 输出文件的参数执行 ffmpeg -pix_fmt rgb24 -s 320x240

1K1 0

音视频面试题集锦第 17 期

1）CVPixelBufferRef 数据格式类型常用的 CVPixelBufferRef 数据格式（kCVPixelFormatType）有： kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange...CVPixelBufferGetHeight(...)[4]：返回 Buffer 的像素高度。 CVPixelBufferGetWidth(...)[5]：返回 Buffer 的像素宽度。...获取有效像素宽度和扩充的宽度。..., // native iOS format，相当于 glTexImage2D() 函数倒数第三个参数，这里即renderTarget(pixelBuffer) 的像素格式...// 对于 planner 存储方式的像素数据，这里填写对应的索引。

4321 0

图像处理: jpg格式存储-读写时像素值微小变化探究

初步猜测是在存储为图片时或从图片读取出来时，部分像素点发生了像素值的少许偏移。...Soga，原来是因为： .jpg 是有损压缩格式，保存时会压缩失真 ( .png 是无损压缩格式) 。那么好奇心大发作的我又想拿我最爱的妹子图来进一步探究一下。...的像素值发生了哪些变化（置色方案参见下表）。...像素点的像素值变化置色方案不变黑色增加绿色减少红色实验效果原图像： ? 100轮存-读之后的图像： ?...的像素值发生的变化会越来越少； .jpg 是有损压缩格式。

9844 0

OpenGL ES_手把手教你打造VR全景播放器

如何将YUV 数据分离，并且加载到两个着色器中去, 这里我们又要用到之前我们使用过的框架了CoreVideo. 干涉么的呢，专门处理我们的像素数据的。...我们从视频采集到的视频是CVPixelBufferRef 类型的下面我们先看一下我们像素数据的格式 iosurface=0x0 planes=2> ...2048 height=1024 bytesPerRow=2048> 我们能得到的信息是: 像素格式...,就是这个数据步伐的意思 width：纹理的高度 height : 纹理的长度 format: 像素数据的格式 type: 数据类型 planeIndex: 通道索引接下来看我们的代码:

2K3 1

iOS 视频处理框架及重点 API 合集丨音视频工程示例

CMFormatDescription[52]：用于描述 CMSampleBuffer 中采样的格式信息。...CMVideoFormatDescriptionGetDimensions(...)[58]：返回视频编码后的像素尺寸 CMVideoDimensions。...这里我们主要介绍 CoreVideo Framework 中的几种数据类型： CVImageBuffer[68]：其中包含媒体流中 CMSampleBuffers 的格式描述、每个采样的宽高和时序信息、...CVPixelBufferGetHeight(...)[73]：返回 Buffer 的像素高度。 CVPixelBufferGetWidth(...)[74]：返回 Buffer 的像素宽度。...-activeFormat[85]：属性，获取或设置当前采集设备采集的媒体格式。 -activeVideoMinFrameDuration[86]：属性，获取或设置最低帧率。

2.1K2 1

OpenGL ES实践教程（四）VR全景视频播放

Demo02-摄像头采集数据和渲染 OpenGL ES实践教程3-Demo03-Mirror 其他教程请移步OpenGL ES文集，这一篇介绍以下知识点： AVFoundation——加载视频； CoreVideo...——配置纹理； OpenGL ES——渲染视频； 3D数学——球体以及3维变换；核心思路通过AVFoundation加载视频源，读取到每一帧的CMSampleBuffer之后，用CoreVideo创建...mReaderVideoTrackOutput的copyNextSampleBuffer可以获取到下一帧的视频信息；通过CMSampleBufferGetImageBuffer可以获取到CMSampleBuffer里面的像素缓存...创建的亮度纹理为frameHeight/2 * frameWidth/2，格式为GL_LUMINANCE_ALPHA；思考0：为何要使用CV？...如果不是用CV创建纹理，可以通过CVPixelBufferGetBaseAddress，拿到pixelBuffer的像素指针p；p的起始是亮度纹理，p加上亮度纹理的偏移量（frameWidth * frameHeight

3K4 0

javaCV音视频像素、编码、格式和协议及图片的关系解析

1.1 图像像素格式 1.2 图片封装格式: 1.3 图片压缩 2.1 编码其实就是对图像像素数据的压缩 2.2 I帧，B帧和P帧指的是什么？...3.0 封装格式使用的注意事项： 3.0.0 推送流媒体:在指定输出流媒体的时候需要指定其封装格式 3.0.1 PTS/DTS问题 3.1 什么是转封装？为什么转封装比转码消耗更少？...--->rtmp/flv I、图像像素格式与图片封装格式 1.1 图像像素格式指的是没有经过编码的按照原始像素排列的数据。...一个完整图像的像素排列一般是这样的（以4*4像素的rgb像素格式为例）： rgbrgbrgbrgb rgbrgbrgbrgb rgbrgbrgbrgb rgbrgbrgbrgb 存储使用一维数组来存这些数据...，所以就变成这样：rgbrgbrgbrgb....... 1.2 图片封装格式: 指的我们日常见到的png，jpg，bmp，gif等等图片格式。

1.5K3 0

一文看完 WWDC 2022 音视频相关的更新要点丨音视频工程示例

4）使用 EDR 要使用 EDR 有下面几个注意点：要使用 CAMetalLayer；设置 wantsExtendedDynamicRangeContent 为 YES；内容支持 EDR：支持像素缓冲区格式...通过保持 MTLTexture 到 IOSurface 的映射，CVMetalTextureCache 与 CVPixelBufferPools 配合使用还提供了性能优势。...对于每个视频数据输出，可以自定义分辨率、防抖、方向和像素格式。当我们需要预览采集的视频并进行录制时，我们可以对预览和录制分两路流采用不同的设置。...ScreenCaptureKit 提供了丰富的功能，包括高度可定制的内容控制，可以轻松选择要捕获的窗口、应用程序和显示的任意组合；能够捕捉到屏幕内容的原始分辨率和帧率；动态设置流属性，如分辨率、帧速率、像素格式...此外，ScreenCaptureKit 支持：捕获由 GPU 内存支持的缓冲区以减少内存副本；支持硬件加速的内容捕获、缩放、像素和颜色格式转换，以降低 CPU 使用率来实现高性能捕获；支持视频和音频捕获

2.6K1 0

全平台硬件解码渲染方法与优化实践

现在很多硬解都是以YUV作为输出格式如NV12等，当然排除个别定制化产品通过参数配置调整输出格式为RGB的情况，根据经验硬解一般选用YUV作为输出格式。...刚接触此平台时我注意到了其他平台没有的UYVY422格式，由于老版本系统不提供NV12接口，故UYVY442格式普遍用于老系统；而新系统上提供的NV12处理效率远高于UVYV442。...macOS的纹理准备过程与传统软解相似，而纹理更新过程则略有不同，在其纹理更新中的PixelBuffer之后会输出并保存一个IOSurface，关于IOSurface的详细内容我会在后文提到。...而苹果公司随后公开的一个被称为IOSurface的新框架为接下来的探索提供了思路，其中包括了从PixelBuffer获取IOSurface的方法。...IOSurface用以进程间进行GPU数据共享，硬件解码输出至GPU显存并通过IOSurface实现进程间的数据共享。VideoToolbox作为一个服务，只有在APP开始解码时才会启动解码进程。

4.2K2 1

iOS开发-OpenGL ES实践教程（一）

在demo中，还用到一个AVPlayerItemVideoOutput类，用于协调输出的CoreVideo像素缓存，配置AVPlayerItem。...CADisplayLink帧显示的定时器通过 CADisplayLink的timestamp 和 duration，计算下一帧显示的时间从videoOutput中取出像素数据copyPixelBufferForItemTime

1.8K11 0

Metal入门教程（五）视频渲染

Metal渲染回调时读取CMSampleBuffer，然后获取其CVPixelBufferRef，再用CoreVideo提供的方法进行处理，得到Y和UV的纹理。...为了提升性能，CoreVideo提供了新的接口，也就是本文介绍的重点。苹果的文档上没有介绍此方案的实现，通过查阅资料，猜测苹果是通过DMA的方式提供更高效率的访问。...pipelineStateDescriptor.colorAttachments[0].pixelFormat = self.mtkView.colorPixelFormat; // 设置颜色格式...，并不是RGBA的方式进行读取，参考自YUV格式。...同理，读取UV纹理的时候，用的格式是MTLPixelFormatRG8Unorm，这表示16bit。

4.3K7 0

【FFmpeg】ffmpeg 命令查询二 ( 比特流过滤器 | 可用协议 | 过滤器 | 像素格式 | 标准声道布局 | 音频采样格式 | 颜色名称 )

( 比特流过滤器 | 可用协议 | 过滤器 | 像素格式 | 标准声道布局 | 音频采样格式 | 颜色名称 ) ---- 文章目录 FFmpeg 系列文章目录一、显示可用的比特流过滤器二、显示可用协议...三、显示可用过滤器四、显示可用像素格式五、显示标准声道布局六、显示可用的音频采样格式七、显示可用的颜色名称一、显示可用的比特流过滤器 ---- 帮助文档对应内容 : -bsfs...四、显示可用像素格式 ---- 帮助文档对应内容 : -pix_fmts show available pixel formats // 显示可用的像素格式显示可用像素格式命令 :...ffmpeg -pix_fmts 执行过程 : 像素格式有很多 , 只贴出第一页 ; 命令行输出 : D:\ffmpeg>ffmpeg -pix_fmts ffmpeg version n4.4-19...: NB_COMPONENTS = 3 表示该分辨率格式有 3 个成分 , 分别是 Y 分量 , U 分量 , V 分量 ; BITS_PER_PIXEL = 12 表示每个像素点平均下来有多少比特构成

1.5K2 0

Metal入门教程（三）摄像头采集渲染

正文核心思路用AVFoundation采集摄像头数据得到CMSampleBufferRef，用CoreVideo提供的方法将图像数据转为Metal的纹理，再用MetalPerformanceShaders...AVCaptureSession、AVCaptureDeviceInput和AVCaptureVideoDataOutput，注意在创建AVCaptureVideoDataOutput时，需要指定内容格式...，这里使用的是BGRA的格式；同时需要设定采集的方向，否则图像会出现旋转； 3、摄像头采集回调 - (void)captureOutput:(AVCaptureOutput *)captureOutput...pixelBuffer); CVMetalTextureRef tmpTexture = NULL; // 如果MTLPixelFormatBGRA8Unorm和摄像头采集时设置的颜色格式不一致...这是demo的核心内容，摄像头回传CMSampleBufferRef数据，找到CVPixelBufferRef，用CVMetalTextureCacheCreateTextureFromImage创建CoreVideo

1.5K4 1

iOS-AVFoundation自定义相机详解

AVCaptureSession AVCaptureSession(捕捉会话管理)：它从物理设备得到数据流（比如摄像头和麦克风），输出到一个或多个目的地，它可以通过会话预设值(session preset)，来控制捕捉数据的格式和质量...AVCaptureSessionPresetiFrame1280x720; NSString *const AVCaptureSessionPresetInputPriority; 第一个代表高像素图片输出...举个例子，在我们设置会话时有一个参数session preset，它是用来控制捕捉数据格式和质量了。...0 0 1080 1920] colormatch "QuickTime 'nclc' Video (1,1,6)"-to-workingspace extent=[0 0 1080 1920] IOSurface...UIDeviceOrientationFaceDown: NSLog(@"屏幕朝下平躺"); break; case UIDeviceOrientationUnknown: NSLog(@"未知方向

2.6K8 0

AVFoundation 框架介绍

如果你简单的播放一个视频，可以使用 AVKit 框架在 iOS 系统中如果你不关心格式的情况下录制视频，可以使用 UIKit 框架另外，你可能还听说过 VideoToolbox , AudioToolbox...,CoreMedia , CoreVideo，这些框架是 iOS 为开发提供的 C 语言接口，AVFoundation 底层技术就是使用的这些 C 语言框架。...generateCGImageesAsynchronouslyForTimes:completionHandler: AVAssetExportSession 可以将 AVAsset 媒体文件内容由指定的预设格式进行输出...与系统相机 UI 产生不同的结果，例如 RAW 格式的照片，深度图或需要自定义视频元数据从采集设备 (Capture device) 实时获取视频像素或音频数据。

3.5K1 1

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

RGB格式详解（三）-----RGB像素格式

WWDC 2022 音视频相关 Session 概览（EDR 相关）丨音视频工程示例

色彩空间与像素格式

iOS下WebRTC视频编码

【FFmpeg】ffmpeg 命令行参数 ⑥ ( 使用 FFmpeg 提取 YUV 像素格式数据 | 使用 FFmpeg 提取 RGB 像素格式数据 | RGB 与 YUV 之间的格式转换 )

音视频面试题集锦第 17 期

最新 iOS 框架整体梳理（二）

图像处理: jpg格式存储-读写时像素值微小变化探究

OpenGL ES_手把手教你打造VR全景播放器

iOS 视频处理框架及重点 API 合集丨音视频工程示例

OpenGL ES实践教程（四）VR全景视频播放

javaCV音视频像素、编码、格式和协议及图片的关系解析

一文看完 WWDC 2022 音视频相关的更新要点丨音视频工程示例

全平台硬件解码渲染方法与优化实践

iOS开发-OpenGL ES实践教程（一）

Metal入门教程（五）视频渲染

【FFmpeg】ffmpeg 命令查询二 ( 比特流过滤器 | 可用协议 | 过滤器 | 像素格式 | 标准声道布局 | 音频采样格式 | 颜色名称 )

Metal入门教程（三）摄像头采集渲染

iOS-AVFoundation自定义相机详解

AVFoundation 框架介绍

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐