基于FMCW雷达的手势识别应用

关于手势识别的文章已经有不少，前面也有提到过，没看的可以看看

相比传统的计算机视觉技术，不同照明条件下存在的较大差异，基于FMCW雷达的应用则不存在这样的问题，而且可以提供运动物体的位置和径向速度信息。

下面就简单介绍一个从硬件-软件设计的基于FMCW雷达的手势识别应用。其中我们使用了3个接收天线，可以估计得到物体的方位角和俯仰角信息，由此可以获得运动物体的空间位置和相对速度。与一般的车载外部的雷达不同的是，这个应用都是在系统设计

下面的图描述了该FMCW短距雷达的整个系统框图，系统采用了K波段，中心频率为25GHz，带宽设计为4GHz。可以得到其FOV内运动物体的4D信息，既xyz+相对速度。

系统的前端采用的是英飞凌的BGT24MTR12，使用40KHz的速率对模拟信号进行采样，32FPs，然后在TI的 Tiva Cortex M4F 进行预处理。这里的预处理就包括了静态杂波背景去除（MTI滤波），1DFFT。并打包通过UART-USB上传给PC。在PC端的处理就是后续的信号处理，RDM估计，CFAR处理等。

chirp的线性度

上面的图给出了BGT24MTR12的VCO电压-频率响应曲线，这种现象在VCO中很常见，为了保证FMCW雷达的正常工作，VCO的输出应该是频率单调递增的信号，所以需要对电压-频率响应曲线中非线性响应进行补偿。我们用一个五阶多项式来近似非线性的电压-频率响应，并计算出频率输出在22.5GHz-26.5GHz之间的电压值。线性化后的chirp信号如下图所示

RDM估计

关于这一块的内容实在不想赘述过多，简单过一下就好。想要详细深入了解的可以去找找以前的文章，还搞不懂的话就去查查论文，关于这一块的内容很多。

通过这一步，就可以获得物体的距离和速度信息。

目标检测

这里的目标检测，其实就是对RDM矩阵的CFAR处理，下面的图中就给出了CFAR检测的目标结果，图中绿色的方框标出的即为CFAR检测到的目标输出，这幅图的实际对象是一只手。

关于CFAR的具体理解和实施，可以看看这篇文章，实际上这些文章所涉及到CFAR的理解和文章，我之前写的这篇文章里面都有提到，并且还提供了参考文献的获取，如果感兴趣，不妨去看看。

角度估计

在文中提到的雷达系统中，使用的是基本的相位差测角，可以表示为

两通道间的相位差

其中，

为波长，

为天线间距。

由于该系统一共只用了三个接收天线，而且还要测俯仰角，所以使用了较为简单的比相测角，可以看看第一个图中雷达系统的天线位置。

系统设计的方位FOV和俯仰FOV分别为

雷达系统参数设计

我们采用的BGT24MTR12使用了4GHz的带宽，根据

,可以计算得到距离分辨率

。而距离分辨率

，其中

为累计周期数，

，这里选择的

，获得的速度分辨率为

。

最大不模糊距离和速度分别可以表示为

，

。考虑到驾驶员的手势识别场景下，1.5m的最大使用距离，需要调制周期

。另外，对于手部的最大运动速度设置为1.5m/s，计算得到

。考虑到硬件性能，最好是选择一个较大的T，所以最终选择的chirp周期

。

此外，最大差拍频率取决于最大距离范围，即

因此，需要的采样频率

，并设计了模拟滤波器以抑制那些

的频率。

数字信号处理

如下图所给出的，我们主要通过两个阶段进行信号处理，第一个阶段为前面提到的在微控制器上对采样信号进行预处理，第二个阶段是在PC上进行剩余部分的信号处理内容。

在获得了三个接收通道的RDM数据后，联立校正并估计出运动物体在空间中的4D信息，并投影到深度图像中去。

深度数据融合

前面讨论的雷达系统只是整个手势识别系统中的一部分，此外还有一个RGB传感器和深度传感器。所以在数据处理这一块还需要考虑多传感器的数据融合。在各个传感器的相对位置固定之后，传感器之间只需要一次校准即可。

对于深度传感器和雷达传感器之间，主要考虑了两个转换模型：线性的和一个二次的。可以写成

其中，

为深度传感器的3D测量数据，

为一个投影转换矩阵，对于线性模型，

中的前三个数值为雷达传感器关于目标的3D位置信息，

为一个3x4的矩阵。对于二次模型，，

为一个3x7的矩阵。

将深度传感器的测量转换到世界坐标系为

其中，

为深度传感器的焦距，

为主点的坐标。

为了获得矩阵

,通过同时观察两个传感器对半径为1.5cm的运动中的球形中心的三维坐标，利用最小二乘法估计出他们之间的最佳变换拟合，下图给出了标定的结果。

对于整个系统，深度传感器被放置在雷达传感器的上方，并令x轴为水平方向，y轴为垂直方向，z轴为深度相机的光轴。我们使用了一个TOF深度相机（DS325，Softkinetic），320x240的像素，FOV为

。

最后，我们看下经过深度传感器和雷达传感器的数据融合之后的结果。

reference

[1] S. Mitra and T. Acharya, “Gesture recognition: A survey,” IEEE Transactions

on Systems, Man, and Cybernetics, Part C: Applications and

Reviews, vol. 37, no. 3, pp. 311–324, 2007.

[2] S. Gupta, D. Morris, S. Patel, and D. Tan, “Soundwave: using the Doppler

effect to sense gestures,” in SIGCHI Conference on Human Factors in

Computing Systems, 2012, pp. 1911–1914.

[3] Pavlo Molchanov, Short-Range FMCW Monopulse Radar for Hand-Gesture Sensing