00的XR周刊07-HRTF 头部相关传递函数

HRTF（Head-related transfer function）头部相关传递函数是一种空间化技术和空间音频算法，它描述了给定的声波输入在声音到达鼓膜和内耳之前，如何通过头部、耳廓和躯干的衍射和反射特性进行过滤。

在研究空间音频时你一定会接触 HRTF，因为它是大多数现代三维声音空间化技术的基础。它基于人定位声音的原理，模拟了物理世界中头部周围的声音传播现象，通过音频的音量差、时间差、频率差、入射角度和耳廓反射情况等实现音频空间化。

HRTFs 的两个关键要素是身体形状和音源的方向，这是我们用来定位声音的过滤器。

每个人都有独特的耳朵形状、头部大小和耳朵位置，HRTF 基于物理模型和人体头部、躯干和耳朵形状（耳廓）的测量值。最明显的是，头部的大小和质量，耳朵的形状，耳道的长度和直径，以及口腔和鼻窦腔的尺寸，都会通过提高一些频率和减弱其他频率来操纵传入的声波。HRTF 会调整耳朵之间的音频强度差和相位差，大脑对这些差异做出反应，感知到声音来自不同方向。

如果声源位于头部的某一侧，声音也会以一定的衰减和延迟传播到远处的耳朵。模拟声音的衰减是常用的技术，也就是当声音位于右侧时在左耳应用衰减，反之亦然。

HRTF 对声音的建模

距离建模

HRTF 可以实现音频的空间化，但是它实际上并不模拟音源的距离。从原理上说，人类依靠几个因素来推断与声源的距离：

响度。这是最可靠的线索，很容易用声源距离的衰减来模拟。

初始时间延迟。比响度更难建模，因为需要计算一组给定的几何体的早期反射，以及该几何体的特性。不但计算成本高，而且在架构上也很难实现。

DRS（Direct to Reverberant Sound）。指的是声音的直接路径与其在环境中的反射路径之间的比例。在室内或其他反射表面较多的环境中，声音通常会反射多次，形成混响效果。模拟反射和晚期混响的系统，计算成本很高。

运动视差：头部小幅运动的方向变化有助于判断声音的距离。HMD 的头部定位追踪可以获得这些数据。

空气吸收。与其他线索相比，空气吸收造成的高频衰减对声音的影响较小，但它很容易用低通滤波器实现。

环境建模

HRTFs 与衰减相结合，提供了一个三维声音的消声模型，它能提供明确的方向性线索，但由于缺乏室内回响（房间氛围），往往听起来很干燥和人工。为了解决这个问题，可以添加环境模型来模仿环境的声学效果。

1.混响和反射

当声音在空间中传播时，遇到物体表面会反射并产生一系列的回声。最初的明显回声称为早期反射，可以帮助我们确定声音的方向和距离。随着这些回声的传播、减弱和相互作用，产生了晚期的混响，这可以增强空间感知。

投射的声音如何从表面反射，而早期反射首先到达我们的视觉效果

2.鞋盒模型

鞋盒模型将环境简化为由六面墙组成的空间，空间中没有任何遮挡，可以模拟墙壁的早期反射和后期混响特性，参数包括距离和反射率，有时还包括听众在房间里的位置和方向。鞋盒模型假设所有的表面的频率吸收都相同，六面平行的墙与听众的头部的距离固定，显而易见它过于简化，无法反映环境的真实情况和各种变化。

3.人工混响

如果要模拟墙面反射和晚期混响，计算量会很大，所以空间混响通常用人工的方法提前设定好。虽然比物理模型的计算量小，但因为没有考虑听众的方向和周围的物理环境，所以听起来不太真实。

4.采样脉冲响应混响（Sampling Impulse Response Reverberation）

SIRR 捕捉真实世界空间的脉冲响应，然后在虚拟环境中对音频信号进行混响。脉冲响应通过分析空间对一个短而尖锐的声音（例如拍手）的反应，以确定该空间的声学特征，如空间的大小和形状、反射面以及空间中材料的吸收和散射特性。声音设计师通常会使用专门的设备如麦克风和扬声器，来捕捉现实世界空间的脉冲响应，然后在虚拟环境中使用软件或硬件处理，对音频信号进行混响。

它可以用来模拟各种声学环境，不论是小型空间还是大型开放空间。缺点是捕获的真实环境数据不一定能完美地映射到虚拟世界中，而且由于是从单一地点捕获的，它不会随着用户在整个环境中的移动而改变。

HRTF 的实现

1.捕捉 HRTF

如果想准确地捕捉 HRTF，可以让听者进入一个消声室，在耳朵上安装特殊的麦克风，从不同方向播放声音并记录下来。然后比较原始声音与捕捉到的声音，计算出 HRTF。不同人的 HRTF 差别并不是很大，如果对精度要求不高，可以使用通用的数据集。

2.应用 HRTF

如果已有 HRTF 数据库，就可以使用音频卷积算法，将 HRTF 应用到声音上。基本步骤如下：

选择 HRTF 数据

载入原始音频

进行卷积运算

播放音频文件

3.头部追踪

我们会本能地通过头部运动来分辨空间中的声音。应用 HRTF 数据库时，需要注意与监听用户的头部和耳朵的相对位置。当用户转动头部时，必须提供准确的音频响应，否则就会失去沉浸感。

Ref

Head-related transfer function - Wikipedia

Blauert, J. (1997). Spatial Hearing: The Psychophysics of Human Sound Localization. MIT Press.

3D Audio Spatialization | Oculus Developers

Environmental Modeling | Oculus Developers

What is an HRTF, or Head Related Transfer Function, and why should it be personalized? - YouTube