Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >OVM6211-眼动摄像头工作原理(从CMOS到MIPI)

OVM6211-眼动摄像头工作原理(从CMOS到MIPI)

作者头像
云深无际
发布于 2025-02-05 06:45:19
发布于 2025-02-05 06:45:19
1500
举报
文章被收录于专栏:云深之无迹云深之无迹

OVM6211-眼动追踪摄像头特性

最近这个看了VGA的时序感觉和现代的MIPI也差不多。这个时序或者数据传输真的很有意思。

我们看到一个大大的CMOS,上面都是我讲过的各种各样的光电PN结。

跨阻放大器设计参考.光电管参数 这样的。

既然是读取到了模拟信号,那肯定就是有ADC转换的模块。其次就是每一次的光电转换,都是要在时钟线上有一个时钟边沿的时候,转换一次。

可以看到,lens是镜头:

光学数据

OVM6211-RADA 适用于眼动追踪等人机界面系统,视场 (FOV) 较窄,约为 50 度。

数据手册有这一段

视场角(Field-of-View, FOV):

  1. 水平视场角:40°,表示图像传感器在水平方向上的视野范围。
  2. 对角视场角:54°,表示图像传感器在对角线方向上的视野范围。捕捉到较广泛的场景,非常适合广角拍摄。

光圈值(f no.):2.88,表示镜头的光圈大小。光圈值较低意味着镜头能够捕捉更多的光线,这有助于在低光环境下提供更好的成像质量。

2.8是大光圈

焦距(Focal length):1.646 mm,表示镜头的焦距。较短的焦距适合宽视场角应用,提供较大的景深和较宽的拍摄范围。

这个1.6m就很短了,可以拍到的范围很大,因为眼动离眼睛很近

最大成像圆(Maximum Image Circle)指的是镜头在图像传感器上形成的最大圆形区域。这个区域的直径为1.9mm,表示镜头能够有效地在图像传感器上提供清晰的图像范围。

电视畸变(TV distortion):小于2%,表示镜头在图像边缘的失真程度,低于2%的畸变通常意味着较为平直的图像边缘。

相对光照(Relative illumination, optical):61%,表示镜头对图像传感器的光照分布,较高的值通常意味着镜头提供的光照更加均匀。

对焦机制(Focus mechanism):固定焦距,表示镜头的焦距无法调整,适用于需要清晰成像的固定场景。

景深(Depth of field):100 mm 到无限远,镜头能够保持清晰的前后距离范围,从100mm到无限远的景深意味着该镜头可以在较长的距离内保持清晰。

IR滤波器50%截止波长(IR elimination filter 50% cut-off):665±10 nm,指红外滤光片的50%截止波长,这意味着该镜头对红外线的过滤性能,在665 nm附近的红外光被有效过滤。

还有一种是90°的

因为这个东西非常小,后面封也不现实,就直接厂家封了

这是没有封以前的样子

估计里面也有个几片的镜头

以前P30的CMOS

相当于是一个感光阵列,采样的时候也有可能前面太快,也有取样保持电路。接着AMP应该是一个聚合的模块,就是变成了数据流,前面是矩阵,后面一个数据流,合适后面ADC转换:

感觉是这样

OV2640,也是有的

在AMP的路径上面,可以做这个增益控制。接着就进入了ADC转换的模块,接着是下一个模块,黑电平等级校准。到这里就是图像转换完成了。数据流给到了FIFO,因为要匹配下级的储存速度,MIPI模块把数据变成合适的样子。

单通道 MIPI 串行输出接口,最高 600 Mbps 数据速率。

MIPI是差分信号,每次都是一对儿,单通道就是2个信号线

IIC来控制寄存器,上面MIPI成对儿的输出数据

MIPI 接口发送 长数据包(图像数据)和 短数据包(帧同步信号)

下面是寄存器控制,接到了IIC的接口,包括IIC也要时钟线,因为图像是需要很多不一样的时序信号的,所以也给了一个时钟的生成模块。

上面的模块是串行的输出的。

还有一大类是并口的

OK

这本书里面有个非常好的图

并行是如何工作的,串行是如何工作的。

摄像头的扫描模式: 逐行扫描

模糊了

每帧画面是由若干条水平方向的扫描线组成的、PAL制为625行/帧,NTSC制为525行/帧。

如果这一帧画面中所有的行是从上到下一行接一行地连续完成的,或者说扫描顺序是1、2、3……行,要得到稳定的逐行扫描图像,每帧图像必须扫描整数行。

我们应该怎么理解?一个摄像头的CMOS,上面对光像素点的取样是单点的。

一个图像的样子

比如一帧图像是连续扫描625行组成的,每秒钟共扫描50帧图像,即帧扫描频率为50帧/秒,或写成50Hz,行扫描频率为31.25kHz。

也就是这个时钟相当于移动一个像素格的基准

逐行扫描方法使信号的频谱及传送该信号的信道带宽均达到很高的要求。

接下来看输出:

真实的像素点有这么多

每一个像素点上面有图像数据,我们就继续定义每一点上面的数据如何描述。

相当于就是原生的数据,0101010101这样的,没有做修改的数据。

图像传感器-RAW格式辨析 所以RAW格式就是每个像素的数据按照N位二进制输出。

我们对一个传感器,感兴趣的是上面像素位置上面的像素数据,但是对于一个图像我们可以表述的方式有很多,我们使用的这个摄像头是RAW格式。

8-bit RAW: 每个像素的数据以 8 位二进制形式输出。11111111

10-bit RAW: 每个像素的数据以 10 位二进制形式输出。

接下来计算数据的多少:

  1. 400x400 分辨率,10-bit RAW: 每帧图像数据量为 400x400x10 bits = 1,600,000 bits = 200,000 bytes。
  2. 200x200 分辨率,8-bit RAW: 每帧图像数据量为 200x200x8 bits = 320,000 bits = 40,000 bytes。
  3. 400x400: 全分辨率输出,适用于需要高分辨率的应用场景。
  4. 200x200: 通过 2x2 合并或子采样降低分辨率,适用于需要较低分辨率和较高帧率的场景。
  5. 100x100: 进一步降低分辨率,适用于需要极低分辨率和极高帧率的场景。

这里出现了子采样和合并:

2:1 和 4:1 单色子采样: 通过降低水平或垂直方向的分辨率来减少数据量,适用于需要降低带宽和处理负载的场景。

2x2 单色合并: 将相邻的四个像素合并为一个像素,降低分辨率的同时提高灵敏度,适用于低光环境。

为什么数组这么好用?(以串口上下位机协议),都是使用了字节来衡量数据流。

还可以输出YUV这样的格式,RGB的

可以使用寄存器的来配置

简单说说输出的MIPI信号,MIPI支持很多的数据格式:

主要还是RGB,YUV和RAW的

MIPI是一种高级的协议,无法通过一篇文章我也没有那个本事可以讲的通俗易懂。但是协议是分层的,可以学习数据流的走向。

以及也没有办法模拟,都是用现成的MIPI IP。

时刻记住,数据流是字节的

最下面就是数据的电平变换,然后上面对这些电平做分类,接着最上面是我们的应用处理。

1.物理层(PHY Layer):

使用差分信号(Differential Signaling)传输数据。

支持低功耗模式(LP Mode)和高速模式(HS Mode)。

2.协议层(Protocol Layer):

定义数据包的格式和传输规则。

包括长数据包(Long Packet)和短数据包(Short Packet)。

3.应用层(Application Layer):

定义图像数据的格式和内容。

支持多种像素格式(如 RAW10、RAW12、YUV422 等)。

因为数据量很大,也很复杂,所以一些修饰帧。MIPI CSI-2 数据包分为 长数据包短数据包

长数据包用于传输图像数据,格式如下:

  1. 包头(Packet Header):
  2. Data Identifier (DI):数据类型标识符(如 RAW10、YUV422)。
  3. Word Count (WC):数据包中的字数(16 位)。
  4. ECC:错误校验码(8 位)。
  5. 数据负载(Payload):
  6. 图像数据(如像素值)。
  7. 包尾(Packet Footer):
  8. CRC:循环冗余校验码(16 位)。

短数据包用于传输控制信息,格式如下:

  1. 包头(Packet Header):
  2. Data Identifier (DI):数据类型标识符(如帧开始、帧结束)。
  3. Word Count (WC):固定为 0。
  4. ECC:错误校验码(8 位)。
  5. 数据负载(Payload):
  6. 控制信息(如帧号、行号)。

请你一定看下一篇的文章。我将写最普通的VGA时序,然后过渡到MIPI时序。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2025-01-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 云深之无迹 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
OVM6211-眼动摄像头工作原理(MIPI时序)
摄像头那么小,数据那么多,肯定是使用MIPI接口了,在上面的文章里面我们学了VGA的时序,现在看MIPI就轻松了不少。
云深无际
2025/02/05
940
OVM6211-眼动摄像头工作原理(MIPI时序)
眼动追踪传感器选型
第一,同样大小的像元,黑白传感器可以用较小的曝光时间获取理想的图像,这样可以减弱抖动以及飞行运动造成的影响(实际上NAV相机就是采用控制曝光时间来减弱运动模糊的,这个是VIO);
云深无际
2022/12/17
1.5K1
眼动追踪传感器选型
摄像头的MIPI接口、DVP接口和CSI接口[通俗易懂]
我们常用的电脑摄像头接口是USB接口,而常见的智能手机上的摄像头是MIPI接口,还有一部分的摄像头(比如说某些支持DVP接口的硬件)是DVP接口;通俗的讲,USB是串行通用串行总线(Universal Serial Bus)的简称,而MIPI是移动行业处理器接口(Mobile Industry Processor Interface),DVP是数字视频端口(digital video port)的简称,CSI是相机串行接口(CMOS Sensor Interface)的简称。
全栈程序员站长
2022/07/01
18.7K0
摄像头的MIPI接口、DVP接口和CSI接口[通俗易懂]
这台相机没镜头!美国教授新发明,一块玻璃可成像,拍照给计算机看
他还真造出来了。犹他大学副教授Rajesh Menon研发了一种新型相机,没有镜头,只要一块玻璃(非凸透镜)就可以实现。
量子位
2018/09/29
8260
这台相机没镜头!美国教授新发明,一块玻璃可成像,拍照给计算机看
云台方案浅谈(阿木G1)
前几天看见阿木实验室,发了一个小云台,研究了一下,发现其实是吊舱,和云台一样的东西,只不过是一般集成到一些UAV上面。比如越野的小车,运动时,晃动,影响摄像头成像质量。
云深无际
2022/06/15
5680
云台方案浅谈(阿木G1)
智能汽车“眼”急“脑”快是如何做到的?
汽车智能化通常是指单一车辆的智能化,主要呈现在感知、决策和控制执行三个层面。在感知层面,车上多传感器融和,通过雷达系统(激光雷达、毫米波雷达和超声波雷达)和视觉系统(摄像头)对周围环境进行数据采集;在决策层面,通过车载计算平台及合适的算法对数据进行处理,作出最优决策,最后执行模块将决策的信号转换为车辆的行为;在控制执行层面, 主要包括车辆的运动控制及人机交互,决定每个执行器如电机、油门、刹车等控制信号。
AI 电堂
2022/05/18
4140
智能汽车“眼”急“脑”快是如何做到的?
多MIPI摄像头融合之星-易灵思Ti60F100
在国内研究眼动的人都知道-Pupil Lab这家公司,尤其是最新的Neon,极小的体积里面融合了三个摄像头。
云深无际
2024/08/21
2610
多MIPI摄像头融合之星-易灵思Ti60F100
RK3568 MIPI CSI摄像头GC8034 调试
本文以RK3568外接GC8034为例,首先介绍MIPI CSI摄像头的适配方法,然后介绍cmos sensor驱动的一些细节与cmos sensor驱动的工作流程。
以为带点燃结局就会改变
2023/06/30
1.7K0
【摄像头与成像】摄像头是如何拍出照片的,你知道吗?
本期主要对数字成像系统进行概述总结,行文主要分为:数字成像系统组成、摄像头关键部位概述、ISP概述、关于摄像头相关的技术指标概述以及总结。现在互联网资源比较丰富,本文只提出每个部分的关键知识点,读者如果有兴趣可以进一步深入检索进行学习。
用户1508658
2019/09/17
2.1K0
【摄像头与成像】摄像头是如何拍出照片的,你知道吗?
摄像头基础介绍
对于自动驾驶汽车来说,传感器有很多种,而视觉传感器“摄像头”就属于传感器中价格相对便宜且功能很重要的一种,被称为“智能汽车之眼”。今天小编先带大家对摄像头作一个基础介绍。
点云PCL博主
2021/03/24
1.4K0
摄像头基础介绍
使用OVM6946和OV426设计内窥镜吧!
这四个型号区别不大,主要是尺寸,不带M的直接一个CMOS,但是这样的尺寸对镜头要求极高,那么带M的就是自带了镜头。另外46和48的CMOS价格差一半,然后就是尺寸上面差一些。
云深无际
2024/08/21
4080
使用OVM6946和OV426设计内窥镜吧!
汽车自动驾驶摄像头分类
2023年11月工信部等四部委发布《关于开展智能网联汽车准入和上路通行试点工作的通知》,随即12月广汽埃安已率先申报L3自动驾驶,整体行业已经正式开始从L2级提升至L3级。自动驾驶目前的方案从高清地图转向轻地图方案,更依赖视觉系统,单车搭载的车载摄像头数量将从3~8颗增至8~13颗。从埃安申报的昊铂HT来看搭载了6R(6个毫米波雷达)、13V(13个高清摄像头)、3L(3个激光雷达)的自动驾驶硬件,同样比亚迪最新的仰望U8搭载包括3个激光雷达、5个毫米波雷达、12个超声波雷达、13个高清摄像头。
Billy.He
2023/12/11
6740
汽车自动驾驶摄像头分类
ISP图像处理之image output interface
手机,车载sensor常见的接口主要是DVP和MIPI。 DVP是比较老的并行接口;MIPI是高速串行接口。另外安森美自己搞了一个HiSPi接口,但是只有他家自己在用,和MIPI差不多。
AomanHao
2022/01/14
1.1K0
ISP图像处理之image output interface
ISP(图像信号处理)算法概述、工作原理、架构、处理流程
AP对ISP的操控方式:外置:I2C/SPI。 内置:MEM MAP、MEM SHARE
AomanHao
2022/01/14
5.6K0
ISP(图像信号处理)算法概述、工作原理、架构、处理流程
CMOS图像传感器基础知识和参数理解「建议收藏」
CMOS图像传感器的工作原理:每一个 CMOS 像素都包括感光二极管(Photodiode)、浮动式扩散层(Floating diffusion layer)、传输电极门 (Transfer gate)、起放大作用的MOSFET、起像素选择开关作用的M0SFET.在 CMOS 的曝光阶段,感光二极管完成光电转换,产生信号电荷,曝光结束后,传输电极门打开,信号电荷被传送到浮动式扩散层,由起放大作用的MOSFET电极门来拾取,电荷信号转换为电压信号。所以这样的 CMOS 也就完成了光电转换、电荷电压转换、模拟数字转换的三大作用,通过它我们就能把光信号转化为电信号,最终得到数字信号被计算机读取,这样,我们就已经拥有了记录光线明暗的能力,但这还不够,因为我们需要色彩。现代彩色CMOS 的原理也很简单,直接在黑白图像传感器的基础上增加色彩滤波阵列(CFA),从而实现从黑白到彩色的成像。很著名的一种设计就是Bayer CFA(拜耳色彩滤波阵列)。一个很有趣的事就是,我们用来记录光影的 CMOS, 和我们用来输出光影的显示器,原理也刚好是向相反的,CMOS 把光转化为电信号最后以数字格式记录,显示器把解码的数字格式从电信号重新转化为光。光电之间的转换也就构成了我们人类数字影像的基础。
全栈程序员站长
2022/08/30
3.8K0
CMOS图像传感器基础知识和参数理解「建议收藏」
持续占据工业及汽车CIS市场全球第一,安森美是如何做到的?
7月8日,在2024年上海机器视觉展暨机器视觉技术及工业应用研讨会期间,工业及汽车CMOS图像传感器(CIS)及功率半导体大厂安森美召开媒体会,介绍了安森美在工业领域的CIS产品布局,并展示了其最新的面向工业的CIS产品解决方案。
芯智讯
2024/07/12
1360
持续占据工业及汽车CIS市场全球第一,安森美是如何做到的?
Intel RealSense D430 详解
一位读者朋友说有便宜的D430可以购买,我就蠢蠢欲动想整一个,不过一开始我以为是可以像D4系列的相机直接使用SDK2.0。不过研究了一下,感觉事情好像没有那么简单。第一眼就见这个摄像头好像有点少。
云深无际
2022/02/09
2.7K0
Intel RealSense D430 详解
Camera基础及基本概念
------ 2021.01.29 深圳
小驰行动派
2021/04/30
1.5K0
MIPI-DSI、MIPI-CSI、LVDS等接口解析
MIPI联盟,即移动产业处理器接口(Mobile Industry Processor Interface,简称MIPI)联盟,是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。主要是手机内部的接口(摄像头、显示屏接口、射频/基带接口)等标准化,从而减少手机内部接口的复杂程度及增加设计的灵活性。 MIPI联盟下面有不同的工作组,分别定义的一系列手机内部接口标准,比如摄像头接口CSI、显示器接口DSI、射频接口DigRF、麦克风/喇叭接口SLIMBUS等,优点:更低功耗,更高数据传输数量和更小的PCB占位空间,并且专为移动设备进行的优化,因而更加适合移动设备的使用。 工作组: MIPI联盟下的工作组,负责具体事务; Camera 工作组; Device Descriptor Block 工作组; DigRF工作组Display工作组 高速同步接口工作组; 接口管理框架工作组; 低速多点链接工作组; NAND软件工作组; 软件工作组; 系统电源管理工作组; 检测与调试工作组; 统一协议工作组;
韦东山
2021/12/08
9.7K0
MIPI-DSI、MIPI-CSI、LVDS等接口解析
剖析自动驾驶双目视觉解决方案
未来十年,为了完成从感知+预警到决策+执行的进化之路,高级辅助驾驶系统(ADAS)将接入更多的传感器,实现更为复杂的计算,同时具备更高的安全性。 双目视觉简介 相比于单目视觉,双目视觉(Stereo Vision)的关键区别在于可以利用双摄像头从不同角度对同一目标成像,从而获取视差信息,推算目标距离。具体到视觉ADAS应用来说,如果采用单目摄 像头,为了识别行人和车辆等目标,通常需要大规模的数据采集和训练来完成机器学习算法,并且难以识别不规则物体;而利用毫米波雷达和激光雷达进行测距的精 度虽然较高,但是成本
刘盼
2018/04/08
2.4K0
剖析自动驾驶双目视觉解决方案
推荐阅读
相关推荐
OVM6211-眼动摄像头工作原理(MIPI时序)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文