首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >OpenGL ES实践教程(六)全景视频获取焦点

OpenGL ES实践教程(六)全景视频获取焦点

作者头像
落影
发布于 2018-04-27 09:02:56
发布于 2018-04-27 09:02:56
1.6K00
代码可运行
举报
文章被收录于专栏:落影的专栏落影的专栏
运行总次数:0
代码可运行

教程

OpenGL ES实践教程1-Demo01-AVPlayer

OpenGL ES实践教程2-Demo02-摄像头采集数据和渲染

OpenGL ES实践教程3-Demo03-Mirror

OpenGL ES实践教程4-Demo04-VR全景视频播放

OpenGL ES实践教程5-Demo05-多重纹理实现图像混合

其他教程请移步OpenGL ES文集

前言

有开发者在群里问如何实现:

观看VR视频的时候,眼神停在菜单上,稍后会触发事件,比如暂停,重放功能

说说可能的方案:

  • 1、添加外设:采集眼球运动和眨眼操作,并通过无线通讯传给手机;
  • 2、离屏渲染:新建缓冲区,把像素是否能操作编码到颜色分量(RGBA均可),按照屏幕渲染的流程在新的缓冲区内渲染,然后通过glReadPixel读取对应像素的操作;
  • 3、模拟计算:假设有一条直线从视点出发,经过焦点,最终与全景球面相交,通过计算交点是否在按钮上确定是否聚焦成功;

方案1是理想的方案,但实际应用开发成本,成本太高;

方案2需要离屏渲染,首先切换帧缓存导致GPU等待;其次,每次聚焦都要重绘(当用户一直移动屏幕的时候,需要不断重绘);最后,glReadPixel是同步操作,对性能有较大的影响;

方案3是较为合理的实现方案,仅需要CPU进行少量的浮点变化运算,不需要外设和离屏渲染;

本文在OpenGL ES实践教程4-Demo04-VR全景视频播放的基础上,添加简单的色块,单焦点进入色块时进行变色。

核心思路

通过计算全景球面上的点经过旋转投影后的位置,来确定当前焦点是否停留在按钮上。

  • 实现1:从摄像机的视点O(0,0,0)到的焦点P(0.5,0.5,0.5)连接一条直线PO,求出直线与全景球面X2+Y2+Z^2=1上面的交点T。 当摄像机旋转的时候,焦点P不断变化,对新的焦点P’,按照上述的方式求出点T’,判断点T’是否在球面的按钮区域;

可以通过手写,我们知道直线OP的方程为2x-1=2y-1=2z-1 联合方程,可以求出交点T(1/sqrt(3), 1/sqrt(3), 1/sqrt(3) )。 当摄像机旋转的时候,再求出对应的交点即可。

  • 实现2:假设点P是按钮的中心,对点P进行旋转、投影等变换后,求出点P在屏幕上的位置,如果点P在焦点范围内,则认为聚焦;

demo采用的是实现2。

效果展示

具体细节

先把OpenGL ES实践教程4-Demo04-VR全景视频播放的工程拖过来。

1、添加表示按钮的色块
  • 在顶点着色器添加varying lowp vec3 varyOtherPostion变量,传递顶点数据到像素着色器;
  • 新建变量leftBottomrightTopmyTexture1表示按钮的区域和按钮的纹理;
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
varying lowp vec2 texCoordVarying;
varying lowp vec3 varyOtherPostion;
precision mediump float;
uniform sampler2D SamplerY;
uniform sampler2D SamplerUV;
uniform mat3 colorConversionMatrix;
uniform vec2 leftBottom;
uniform vec2 rightTop;
uniform sampler2D myTexture1;
void main()
{
    mediump vec3 yuv;
    lowp vec3 rgb;
    
    // Subtract constants to map the video range start at 0
    yuv.x = (texture2D(SamplerY, texCoordVarying).r);// - (16.0/255.0));
    yuv.yz = (texture2D(SamplerUV, texCoordVarying).ra - vec2(0.5, 0.5));
    
    rgb = colorConversionMatrix * yuv;
    
    if (varyOtherPostion.x >= leftBottom.x && varyOtherPostion.y >= leftBottom.y && varyOtherPostion.x <= rightTop.x && varyOtherPostion.y <= rightTop.y && varyOtherPostion.z > 0.0) {
        lowp vec2 test = vec2((varyOtherPostion.x - leftBottom.x) / (rightTop.x - leftBottom.x), 1.0 -  (varyOtherPostion.y - leftBottom.y) / (rightTop.y - leftBottom.y));
        lowp vec4 otherColor = texture2D(myTexture1, test);
        otherColor.a = 0.5;
        gl_FragColor = otherColor * otherColor.a + vec4(rgb, 1.0) * (1.0 - otherColor.a);
    }
    else {
        gl_FragColor = vec4(rgb, 1.0);
    }
}
  • 在中LYOpenGLView.m中获取对应的变量并赋值;
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
glUniform1i(uniforms[UNIFORM_TEXTURE1], 2);
glUniform2f(uniforms[UNIFORM_LEFT_BOTTOM], -0.25, -0.25);
glUniform2f(uniforms[UNIFORM_RIGHT_TOP], 0.25, 0.25);
2、监听手指移动并判断聚焦
  • 添加初始点position,我们假设是(0, 0, -1, 1);
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
GLKVector4 position = GLKVector4Make(0, 0, -1, 1);
  • 计算变化矩阵,求出变换后的点targetPosition;
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    GLKMatrix4 modelViewMatrix = GLKMatrix4Identity;
    modelViewMatrix = GLKMatrix4RotateX(modelViewMatrix, horizontalDegree);
    modelViewMatrix = GLKMatrix4RotateY(modelViewMatrix, verticalDegree);
    GLKMatrix4 projectionMatrix = GLKMatrix4MakePerspective(90, CGRectGetWidth(self.bounds) * 1.0 / CGRectGetHeight(self.bounds), 0.01, 10);
    GLKVector4 position = GLKVector4Make(0, 0, -1, 1);
    GLKVector4 targetPosition = GLKMatrix4MultiplyVector4(GLKMatrix4Multiply(projectionMatrix, modelViewMatrix), position);
  • 判断是否聚焦成功;(点(0.2, -0.05, -1.0)是根据初始点算出来的聚焦中心位置,如果初始点变化,这个点也要跟着变化)
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
  float dif = 0.3;
  if (fabs(targetPosition.x - 0.2) <= dif &&
      fabs(targetPosition.y + 0.05) <= dif &&
      fabs(targetPosition.z + 1.00) <= dif &&
      1) {
      [self setupFirstTexture:@"select"];
  }
  else {
      [self setupFirstTexture:@"normal"];
  }

总结

本文存在各种不严谨的地方,仅供参考。

中间在手动计算空间直线方程的时候,还计算错误,通过空间直线方程得到纠正。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016.10.10 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
OpenGL ES实践教程(五)多重纹理实现图像混合
教程 OpenGL ES实践教程1-Demo01-AVPlayer OpenGL ES实践教程2-Demo02-摄像头采集数据和渲染 OpenGL ES实践教程3-Demo03-Mirror OpenGL ES实践教程4-Demo04-VR全景视频播放 其他教程请移步OpenGL ES文集。 有简书的开发者问我如何使用在一张大图上贴一张小图,原始的需求是在检测人脸,在返回的范围(矩形)内贴上一张图片。 有几点前提: 尽量少消耗CPU; 合成的数据是用于推流; 图片大小不一致; 说说如果没有上述几点
落影
2018/04/27
3.5K0
OpenGL ES实践教程(五)多重纹理实现图像混合
OpenGL ES_手把手教你打造VR全景播放器
实战2中,详细介绍了多屏显示的原理和实现过程,今天我们继续我们的OpenGL 旅程!技术再牛逼也要学习!
酷走天涯
2018/09/14
2.1K0
OpenGL ES_手把手教你打造VR全景播放器
OpenGL ES实践教程(八)blend混合与shader混合
教程 OpenGL ES实践教程1-Demo01-AVPlayer OpenGL ES实践教程2-Demo02-摄像头采集数据和渲染 OpenGL ES实践教程3-Demo03-Mirror OpenGL ES实践教程4-Demo04-VR全景视频播放 OpenGL ES实践教程5-Demo05-多重纹理实现图像混合 OpenGL ES实践教程6-Demo06-全景视频获取焦点 OpenGL ES实践教程7-Demo07-多滤镜叠加处理 其他教程请移步OpenGL ES文集。 在OpenGL
落影
2018/04/27
3.5K0
OpenGL ES实践教程(八)blend混合与shader混合
iOS开发-OpenGLES进阶教程3
教程 OpenGLES入门教程1-Tutorial01-GLKit OpenGLES入门教程2-Tutorial02-shader入门 OpenGLES入门教程3-Tutorial03-三维变换
落影
2018/04/27
1.2K0
iOS开发-OpenGLES进阶教程3
IOS – OpenGL ES 图像晕影扩散 GPUImageVignetteFilter
GPUImageVignetteFilter 属于 GPUImage 图像视觉效果相关,用来处理图片晕影扩散。shader 源码如下:
猿说编程[Python和C]
2023/04/01
2360
使用 OpenGL 实现 RGB 到 YUV 的图像格式转换
最近,有位读者大人在后台反馈:在参加一场面试的时候,面试官要求他用 shader 实现图像格式 RGB 转 YUV ,他听了之后一脸懵,然后悻悻地对面试官说,他只用 shader 做过 YUV 转 RGB,不知道 RGB 转 YUV 是个什么思路。
字节流动
2021/05/27
8K0
使用 OpenGL 实现 RGB 到 YUV 的图像格式转换
OpenGL ES + MediaPlayer 渲染播放视频+滤镜效果
之前曾经写过用SurfaceView,TextureView+MediaPlayer 播放视频,和 ffmpeg avi 解码后SurfaceView播放视频 ,今天再给大家来一篇 OpenGL ES+MediaPlayer 来播放视频。
字节流动
2020/11/30
2.3K0
OpenGL ES + MediaPlayer 渲染播放视频+滤镜效果
FFmpeg + OpenGLES 实现视频解码播放和视频滤镜
前面 Android FFmpeg 开发系列文章中,我们已经利用 FFmpeg 的解码功能和 ANativeWindow 的渲染功能,实现了的视频的解码播放。
字节流动
2020/08/20
3.1K0
FFmpeg + OpenGLES 实现视频解码播放和视频滤镜
OpenGL: 如何利用 Shader 实现 RGBA 到 NV21 图像格式转换?(全网首次开源)
之前写过一篇 OpenGL 使用 shader 实现 RGBA 转 YUYV 的文章,有几位读者大人在后台建议写一篇 shader 实现 RGBA 转 NV21 的文章,因为在实践中 NV21 格式用的比较多,于是我今天把这篇文章放出来。
字节流动
2021/11/01
2.9K0
OpenGL: 如何利用 Shader 实现 RGBA 到 NV21 图像格式转换?(全网首次开源)
OpenGLES(六)-综合案例:索引绘图OpenGLES(六)-综合案例:索引绘图
相信看这篇文章的同学应该对图元装配方式很熟悉了吧?提供一个参考资料,及时使用合理的图元连接方式,还是难以避免顶点的重复声明,不可避免的会占据额外的缓存区内存。列如这种图形:
用户8893176
2021/08/09
6090
OpenGLES(六)-综合案例:索引绘图OpenGLES(六)-综合案例:索引绘图
FFmpeg + OpenGL ES 实现 3D 全景播放器
前文中,我们已经利用 FFmpeg + OpenGLES + OpenSLES 实现了一个多媒体播放器,本文将基于此播放器实现一个酷炫的 3D 全景播放器。
字节流动
2020/09/14
1.4K0
OpenGL ES实践教程(四)VR全景视频播放
教程 OpenGL ES实践教程1-Demo01-AVPlayer OpenGL ES实践教程2-Demo02-摄像头采集数据和渲染 OpenGL ES实践教程3-Demo03-Mirror 其他教程请移步OpenGL ES文集,这一篇介绍以下知识点: AVFoundation——加载视频; CoreVideo——配置纹理; OpenGL ES——渲染视频; 3D数学——球体以及3维变换; 核心思路 通过AVFoundation加载视频源,读取到每一帧的CMSampleBuffer之后,用CoreVi
落影
2018/04/27
3.2K0
OpenGL ES实践教程(四)VR全景视频播放
IOS – OpenGL ES 图像水晶球效果 GPUImageGlassSphereFilter
GPUImageGlassSphereFilter 属于 GPUImage 图像视觉效果相关,用来处理图像水晶球效果。shader 源码如下:
猿说编程[Python和C]
2023/04/01
4670
IOS – OpenGL ES 图像晕影移动 GPUImageVignetteFilter
GPUImageVignetteFilter 属于 GPUImage 图像视觉效果相关,用来处理图片晕影移动。shader 源码如下:
猿说编程[Python和C]
2023/04/01
4180
IOS – OpenGL ES 图像球形折射 GPUImageSphereRefractionFilter
GPUImageSphereRefractionFilter 属于 GPUImage 图像视觉效果相关,用来处理图像球形折射效果。shader 源码如下:
猿说编程[Python和C]
2023/04/01
3740
OpenGL 使用 Shader 实现 RGBA 转 I420(附项目源码)
I420 格式的图像在视频解码中比较常见,像前面文章中提到的,在工程中一般会选择使用 Shader 将 RGBA 转 YUV,这样再使用 glReadPixels 读取图像时可以有效降低传输数据量,提升性能,并且兼容性好。
字节流动
2021/11/22
1.4K1
OpenGL 使用 Shader 实现 RGBA 转 I420(附项目源码)
OPenGL ES _ 着色器_实战2
1.使用AVPlayer 获取视频每一帧的YUV 像素数据 2.通过CoreVideo 框架中的几个方法,将Y分量和UV 分量进行分离 3.创建着色器,对Y分量和UV 分量进行采样. 4.在着色器中,将YUV 转换为RGB 5.计算视口的位置,分别进行渲染.
酷走天涯
2018/09/14
7090
OPenGL ES _ 着色器_实战2
FFmpeg + OpenGL ES 实现 3D 全景播放器
前文中,我们已经利用 FFmpeg + OpenGLES + OpenSLES 实现了一个多媒体播放器,本文将基于此播放器实现一个酷炫的 3D 全景播放器。
视界音你而不同
2021/01/18
1.5K0
FFmpeg + OpenGL ES 实现 3D 全景播放器
OpenGL ES 着色器语言丨音视频基础
我们在音视频基础主题专栏中关于渲染的文章里介绍了 OpenGL 和 OpenGL ES 的基础理论知识和相关 API,其中涉及到了一些简单 Shader 的使用,而编写 Shader 则需要用到 OpenGL Shader Language(后面简称 GLSL)和 OpenGL ES Shading Language(后面简称 GLSL ES)。
关键帧
2023/02/14
1.8K0
OpenGL ES 着色器语言丨音视频基础
Android OpenGL ES(四)-为平面图添加滤镜
之前我们通过YUV数据格式的处理知道,只要保留Y的数据,就是灰度的图片。但是OpenGL中处理的是RGB格式的数据,我们要如何去取得灰度图呢? 我们可以通过公式,计算出新的RGB值,就是灰度的图片了。
deep_sadness
2018/08/30
2K0
Android OpenGL ES(四)-为平面图添加滤镜
推荐阅读
相关推荐
OpenGL ES实践教程(五)多重纹理实现图像混合
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档