脑启发全息自适应编码器的超维计算

使用全息和自适应编码器的超维计算 https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11037243/

Hyperdimensional computing with holographic and adaptive encoder

超维计算（HDC）的核心思想是用全息和高维表示作为我们大脑中的神经活动

证明最小化关于 θ 的 ℒ𝐸 相当于最大化具有参数 (θ, w) 的后验分布的对数似然下界

（1）生成真正适应手头训练数据的原子超向量，（2）有效优化下游任务的 HDC 表示，并且（ 3）保留了HDC的主要优点，即全息表示。

这种方法不需要我们显式地使用核函数或概率密度，也不需要执行昂贵的傅立叶变换。这使得 FLASH 的编码过程与静态编码过程一样高效，除了用于优化的一次性开销之外。

VFA 编码理论中可以得到一些重要的教训：

1. 等式（2）中的 HDC 编码通过余弦激活合并了高维非线性映射。
2. 由于 RFF，它支持超空间中有意义的相似性度量，而无需量化各个特征或生成模糊的相关基础超向量。
3. 根据博赫纳定理，核 K 和测度 p(x) 之间存在对应关系。这意味着我们可以利用该度量来估计内核相似性。

线性化固有的非线性回归任务

这种架构为我们提供了非常丰富的生成器系列 ℱ ，它们的评估成本和训练成本都很低

介绍. (数学符号太多，请参考原论文)

类脑计算已成为一个新兴领域，越来越多的工作专注于开发算法，使机器学习在功能层面更接近人脑。 作为有前途的方向之一，超维计算（HDC）的核心思想是用全息和高维表示作为我们大脑中的神经活动。 这种表示是 HDC 的效率和稳健性的基本推动者。然而，现有的基于 HDC 的算法受到编码器内的限制。在某种程度上，它们都依赖于手动选择的编码器，这意味着生成的表示永远不会适应手头的任务。

方法

在本文中，我们提出了 FLASH，一种新颖的超维学习方法，它结合了自适应和可学习的编码器设计，旨在获得更好的整体学习性能，同时保持 HDC 表示的良好特性。 当前的 HDC 编码器利用随机傅里叶特征 (RFF) 进行内核对应并启用局部性保留编码。我们建议通过梯度下降来学习编码器矩阵分布，并有效地调整内核以获得更合适的 HDC 编码。

结果

我们对各种回归数据集的实验表明，调整 HDC 编码器可以显着提高准确性，超越当前基于 HDC 的算法，并提供比其他基线（包括基于 RFF 的核岭回归）更快的推理。

讨论

结果表明自适应编码器和定制高维表示在 HDC 中的重要性。

关键词: 类脑计算, 超维计算, 全息表示, 向量函数架构, 高效机器学习 VSA

1 简介

人脑仍然是有史以来最复杂且最有效的学习模块。我们的大脑以与灯泡相似的功率运行，负责日常生活中几乎所有的学习和推理任务，具有特别高的样本效率和容错能力。 相反，许多广泛应用的机器学习（ML）算法尽管在完成实际任务方面取得了长足的进步，但在效率和鲁棒性方面却无法与之相比。

因此，生物视觉、认知心理学和神经科学的研究催生了一个新兴领域的关键概念，即类脑计算。 在这一领域，过去几年中已经开发了几种新颖的计算范式，这些范式要么在生物学上合理，要么在功能水平上更接近人脑（Roy 等人，2019 年；Karunaratne 等人，2020 年）。 特别是，超维计算（HDC）在高维空间（即 HDC 中的超空间）中学习和推理时模仿人脑功能，其动机是观察到人脑在高维神经表征上运行。 类似地，在受大脑启发的 HDC 中，基于高维向量的表示被设计来表示不同的原子概念，例如字母、物体、传感器读数和一般特征。 通常，HDC 编码器会将原始低维空间的输入编码为具有数千维的极高维向量（即 HDC 中的超向量）。 以超向量为中心，HDC 还能够通过一组为超向量设计的 HDC 操作来描述对象的位置、它们的关系以及多个单独概念的结构化组合（更多详细信息请参见第 2 节）。

作为 HDC 的基本构建块，超向量拥有几个独特的属性，这些属性对于实际应用至关重要，特别是在表示和操作原子符号方面。具体来说，超向量表示是（1）全息的，信息均匀分布在超向量的各个组成部分（Kleyko et al., 2023），（2）鲁棒性，超向量作为超向量冗余的自然结果具有极高的耐噪性（Kanerva， 2009；Poduval 等人，2022b；Barkam 等人，2023a），以及（3）简单，只需轻量级操作即可执行学习任务（Hernandez-Cane 等人，2021；Ni 等人，2022b） 。此外，超向量通过简单算术进行符号运算的能力使 HDC 能够以透明和组合的方式执行认知任务，例如记忆、学习和联想（Poduval 等人，2022a；Hersche 等人， 2023）。鉴于上述属性的重要性，大多数 HDC 框架都有一个专用且专门设计的 HDC 编码器，用于将原始输入映射到相应的超向量。 编码的超维表示的质量对于学习和认知任务的表现至关重要。

虽然 HDC 编码器有许多变体（Rachkovskij，2015；Kleyko 等人，2018、2021；Imani 等人，2019；Frady 等人，2021），但大多数都在编码方案上进行了创新，即编码方式符号上不同的实体被编码在一起。一个常见的例子是位置 ID 编码（Thomas et al., 2020）：每个特征都被分配一个（关键）超向量来表示其在向量中的位置，并且特征的值被量化为一组离散级别并分配相应的（级别或值）超向量。 因此，特征向量的表示是多个绑定键值对的捆绑。 尽管上述编码取得了成功，但原子超向量的 HDC 表示质量并不明确：由于表示形式的丰富性（Park 和 Sandberg，1991）和实践中的性能（Ge 和 Parhi，2020）已经具有竞争力，因此它们的设计几乎没有被讨论。例如，在位置 ID 编码的情况下，假设关键超向量彼此独立，而值超向量则保持彼此离散的线性相似性。 这种手动选择的相似性度量、线性映射和离散原子组成自然缺乏灵活性。认识到这一差距，我们在本文中提出了改进 HDC 学习的一个基本问题：如何为原子数据生成良好的 HDC 表示？ 另外，我们如何创建一个适合当前问题的编码方案？

最近的研究提出了向量函数架构（VFA）（Kleyko et al., 2021; Frady et al., 2022）（VFA），它为更好地表示超空间中的连续数据和函数提供了通用方法。 它的编码器不是为原始空间中的每个特征预设离散的相似度级别，而是直接针对整个超空间中有意义的相似度，例如高斯径向基函数。 为此，VFA 依赖于分数功率编码和随机傅立叶特征（Rahimi 和 Recht，2007）（RFF），通过预定义的随机分布由高维编码矩阵参数化。由此产生的超空间拥有高维和非线性表示，以更精细的粒度维持距离关系。 我们注意到，HDC 表示质量在很大程度上依赖于超空间映射和相似性度量的选择，这些直接通过对编码矩阵的每个分量进行采样的分布来体现。 认识到这种联系，我们期望选择一个适合任务的分布将从本质上提高 HDC 编码器的质量以及学习性能。

在本文中，据我们所知，我们将 FLASH 引入了第一个快速、可学习、自适应且保持全息的 HDC 表示形式。FLASH 带来了一种创新的超维回归算法，具有可优化的 HDC 编码器。 与之前所有将自身限制为前缀原子超向量或静态编码机制的算法不同，我们的方法（1）生成真正适应手头训练数据的原子超向量，（2）有效优化下游任务的 HDC 表示，并且（ 3）保留了HDC的主要优点，即全息表示。 我们从之前的 VFA 工作中汲取灵感，提出了一种新颖的机制，通过找到从中抽取随机矩阵的最佳分布来增强超空间的表示。 此外，这种方法不需要我们显式地使用核函数或概率密度，也不需要执行昂贵的傅立叶变换。这使得 FLASH 的编码过程与静态编码过程一样高效，除了用于优化的一次性开销之外。

我们的实验结果表明，FLASH 的推理速度比基于 RFF 的岭回归快约 5.5 倍，同时提供相当或更好的精度。 我们还测试了一种名为“Accurate FLASH”的变体，该变体针对准确性进行了优化，这种方法始终优于其他 ML 基线，包括之前最先进的 HDC 回归算法（Hernández-Cano 等人，2021 年） VFA。与此同时，我们观察到我们的方法相对于数据集中的样本数量呈线性增加，使得该建议特别适合大规模数据。

本文的其余部分组织如下。在“HDC背景”部分中，描述了HDC的基础知识。并且在“回归”部分对现有技术的基于VFA的超维回归算法进行了分析。 我们提出的 FLASH 在“主要方法”部分中阐述。“实验结果”部分介绍了在多元回归数据集上进行的实验的结果。最后，“结论”部分对本文进行了总结。

2 相关作品

在过去的几年中，先前的 HDC 研究工作已将 HDC 的类脑功能应用于多种应用，例如异常值检测（Wang 等人，2022）、生物信号处理（Rahimi 等人，2020；Ni 等人） ., 2022c；Pale 等人，2022）、语音识别（Hernandez-Cane 等人，2021）和手势识别（Rahimi 等人，2016）。除了分类学习任务外，它还应用于基因组测序（Zou et al., 2022; Barkam et al., 2023b）、非线性回归（Hernández-Cano et al., 2021; Ni et al., 2023b）、强化学习（Chen 等人，2022；Issa 等人，2022；Ni 等人，2022a，2023a）和图推理（Poduval 等人，2022a；Chen 等人，2023）。无论有或没有硬件加速，这些 HDC 算法都可以为每个应用带来显着的效率优势，促进在线训练、小样本学习和边缘友好操作。 然而，它们的性能不可避免地受到优化不佳的编码过程的限制。超空间的映射要么是为特定任务手动设计的，要么直接重用 VFA 等固定设计（Rahimi 等人，2020；Hernández-Cano 等人，2021）。在本文中，我们重点关注改进 HDC 编码器设计，从而通过提出一种可优化和自适应的新型编码器来学习性能。

3 向量函数架构回归

在本节中，我们首先简要回顾一下 VFA 中提出的超维编码技术。正如简介中提到的，VFA 编码安装到超空间的定义明确且连续的映射。然后我们讨论其在当前最先进的 HDC 回归算法中的用法，并指出该方法由于静态编码而存在的局限性。

3.1 VFA中的超维编码

作为一种符号范式，许多 HDC 算法在一组不同的原子超向量上运行，这些超向量是随机生成的且接近正交，假设符号根本不相关。然而，该假设并不总是适合实际任务。 因此，我们已经看到 HDC 算法在处理生物信号和图像时，显式地操纵原子超向量之间的相似性，例如维护一组离散的相似性级别。 然而，这些超向量的手动分配可能存在问题，这不可避免地会导致量化过程中的信息丢失，更不用说这种任意假设的相似关系可能对学习没有帮助。

为了解释 VFA 编码如何捕获数据之间的关系，我们注意到这种编码与随机傅立叶特征 (RFF) 编码一致，这是核方法的有效近似。 Salomon Bochner (1899-1982) 的以下定理是这种明确定义的相似关系的基础 (Rudin, 2017)。

Rahimi和Recht（2007）提出了一组替代的随机傅里叶特征（RFF），使得编码向量的分量是实数，且核近似收敛速度相同。为了构建实值RFF，我们可以利用这种高维映射作为HDC编码器，如下所示：

从上面讨论的 VFA 编码理论中可以得到一些重要的教训：

1. 等式（2）中的 HDC 编码通过余弦激活合并了高维非线性映射。
2. 由于 RFF，它支持超空间中有意义的相似性度量，而无需量化各个特征或生成模糊的相关基础超向量。
3. 根据博赫纳定理，核 K 和测度 p(x) 之间存在对应关系。这意味着我们可以利用该度量来估计内核相似性。

虽然当前的VFA方法带来了很多好处，但该方法最大的缺点是 ψ D (x) 本质上是静态映射，这使得编码的适应性较差。我们的工作旨在利用博赫纳定理的见解，通过其随机傅里叶特征自适应地学习内核。

3.2 静态 HDC 编码器上的回归

理想情况下，我们期望 HDC 编码器提供有用的高维表示，有助于分离数据点以进行分类或线性化固有的非线性回归任务。 特别是在超维回归中，我们感兴趣的是找到最好的超向量 w∈ℝ D ，使得编码 y(x) = ϕ(x) T w 后的线性回归为，整个训练集的平均值，在 ℓ 2 范数方面尽可能接近真实标签。此外，我们引入了 ℓ 2 正则化系数 λ 以获得更稳定的估计量。因此损失函数是阻尼最小二乘，可以表示为

在之前的 HDC 回归方法中（Hernández-Cano 等人，2021；Kleyko 等人，2021），模型超向量 w 以迭代方式学习，其中超向量在回归误差的指导下捆绑在一起。然而，他们面临着选择适当的超参数以实现最高预测质量的问题。另一方面，等式（3）中的损失函数有一个已知的最小化器 𝐰ˆ ，称为岭估计器：

在本文中，我们利用这种统计方法在学习过程中获得更好的稳定性和更直接的参数调整。

正如我们在上一节中提到的，VFA 中的编码，方程（5）中的封闭解假设 Z 上的回归问题是线性可解的，作为映射到超空间的结果。然而，对于任意回归任务，静态 VFA 编码（由于固定的 K(Δ) 和 p(ω)）很可能变得次优。这项工作旨在通过提出自适应 HDC 编码器设计来解决这个问题。

4 主要方法

在本文中，我们提出了FLASH，这是一种在解决超维空间中的回归任务之前学习良好的编码函数 phi(x) 的方法。

在图 1 中，我们展示了我们提出的 FLASH 的轮廓，包括 HDC 推理和编码器学习过程。在推理过程中，我们从原始空间❶中的查询数据点x∈ℝ M 开始，然后通过编码模块❷得到编码数据点 z ∈ℝ D 这里描述的整体推理过程类似于基于 VFA 的回归；FLASH 与现有算法的区别在于，编码模块（具体为 Ω 矩阵）是通过参数化分布 p θ 获得的。在编码器学习❹期间，p θ 中的参数根据等式（3）中定义的回归损失的反馈进行更新。在下面的部分中，我们将介绍如何从这个参数化分布中采样并学习其参数。

4.1 生成编码矩阵

设计 HDC 编码器时必须小心，因为它需要确保维持超向量的吸引人的特性。 为了确保全息表示，我们需要编码器的随机实例化，因此我们不能直接对实例化的编码矩阵执行梯度下降，因为它可能会破坏两者：有关数据的信息可能局部分布在输出向量中，并且经过训练的编码器具有最小的随机性。

为了避免这个问题，我们从 VFA 工作中汲取灵感，该工作强调了编码器与内核的对应关系以及选择适当分布 p(ω) 的重要性。回想一下 3.1 节，核 K 和测度 p(x) 之间存在对应关系。此外，它还引入了由分布中的样本参数化的编码器系列{ ϕD}D∈ℕ ，使得编码向量之间的内积近似于内核。随着编码器（共域）维度的增加，这种近似效果越来越好。 通过学习对编码矩阵进行采样的分布，我们将能够构建一个自适应 HDC 编码器，该编码器提供更合适的超维表示，从而增加现有的吸引人的 HDC 属性。

在 FLASH 中，我们定义了一系列参数函数 ℱ={𝑓𝛉:𝑓𝛉:ℝ𝑀→ℝ𝑀,𝛉∈𝚯} ，它们被称为生成器。收到随机输入后，它可用于对编码函数所需的随机向量 ω 1 、...、 ω D 进行采样（公式 4）。与参数化分布（例如高斯重新参数化方法）相比，该方法封装了更具表现力的分布族。由于博赫纳定理，探索 ℱ 相当于探索一组相应的连续移位不变核，

继承自 RFF 方法，这种安排的一个主要好处是 FLASH 编码不需要我们显式使用内核 K(Δ) 函数，也不需要概率密度 p(ω)，也不需要执行昂贵的傅里叶变换。我们的目标是找到 𝑓∈ℱ ，它很有可能给出解决当前回归问题的最佳或接近最佳的编码矩阵；这确保了其生成的编码器的质量和鲁棒性。

4.2 学习编码器矩阵分布

为了有效地学习分布，我们将 ℱ 限制为 𝑓𝛉:ℝ𝑀→ℝ𝑀 可微神经网络系列，即网络输入大小等于输出大小。为了使用 f θ 对 ωs 进行采样，我们首先绘制一个随机向量 𝛜~𝒩(0,𝐈) 作为输入，然后使用 ω = f θ (ϵ)。采样 D i.i.d.随机噪声并将它们传递给生成器可以为我们提供一个基本超向量矩阵（即 Ω），可用于执行编码。这可以理解为广义的重新参数化，我们学习代理函数 f θ (ϵ)。请注意，为了方便起见，我们选择从标准正态分布中采样噪声向量，但也可以做出不同的选择。这种架构为我们提供了非常丰富的生成器系列 ℱ ，它们的评估成本和训练成本都很低，我们将在接下来的几节中看到。另外，由于 ϵ 是随机向量，所以 ω = f θ (ϵ) 也是 1，这意味着存在概率密度（或质量）函数 p θ (ω ) 对于每个生成器 f θ 。

在 FLASH 中，我们的目标是最大限度地提高编码器性能，为回归任务生成数据的良好 HDC 表示。特别是，我们选择使用等式（3）中提出的损失函数来评估学习的编码器。然而，由于生成编码时涉及随机采样，因此我们选择最小化期望值。请注意，该期望值是针对所有可能的编码 Φ 取的，其编码矩阵 Ω 和偏移超向量 b 是随机采样的。因此，在等式 6 中，我们寻求找到 f θ 中的参数，以最小化以下损失项以适应 HDC 编码器：

4.3 通过生成器训练来调整编码器

到目前为止，我们已经介绍了如何参数化和学习采样分布。这就为FLASH配备了一个适配良好的编码模块。尽管如此，人们可能想知道通过梯度下降学习编码矩阵 Ω 和偏移量 b 是否是一个不错的选择。 我们承认这可能是一种更直接的措施，但是，它会危及 HDC 的全息特性，因为它不能保证编码矩阵是独立同分布的。这意味着编码后的超向量中的信息不再均匀分布，编码过程中的错误或噪声将因缺乏超维冗余而导致更高的性能损失。 我们提出的措施将确保 FLASH 在调整编码器后保持全息 HDC 表示。

4.4 平衡培训成本

FLASH 中的训练是一个两阶段的过程，我们首先学习生成器 f θ (ϵ)，即代替从 p θ (ω)) 采样。基于第一个训练阶段，我们然后执行给出回归超向量 w 的模型训练。在第二阶段，编码器将使用 f θ 生成并保持静态，因为它已被优化。请注意，这两个训练阶段的维度 D 可以相同或不同。正如上一节提到的，我们的生成器训练优化方法是明确定义的；但在实践中，可以进一步近似以获得更快的收敛速度。 多种算法已被广泛用于加速岭估计器的计算（Paige 和 Saunders，1982；Defazio 等人，2014）。然而，在编码器学习的每次迭代中计算 ℒ𝑅(𝛉) 最终会增加开销。回想一下，在之前的 HDC 算法中（Hernandez-Cane 等人，2021；Hernandez-Cano 等人，2021；Ni 等人，2022a），D 应该是高维，以便模型超向量具有更大的容量。在 FLASH 中，我们建议将高维要求与编码器/生成器训练解耦，因为生成器 f θ 本身在 ℝ M 中运行。当训练 f θ 时，我们将数据编码为 ℝ D ′，其中 D′ < D 以加速过程。对于回归过程，我们使用稍大的维数D以获得更好的回归精度。事实上，首先采用HDC编码器也会降低对模型超向量维数D的要求，从而降低训练成本。我们的实验结果表明，具有较低维数的 FLASH 具有与之前的 HDC 方法相当的回归质量。

4.5 时间复杂度

在本节中，我们讨论训练我们提出的方法的时间复杂度。下面我们概括地描述了我们的方法所需的步骤。

• 1. 训练代理采样函数 f θ 。
• (a) 将数据编码到 D' 维空间。
• (b) 计算损失 ℒ𝐸(𝛉) 。
• (c) 计算梯度并更新 f θ 中的参数。
• (d) 迭代此过程直至收敛。
• 2. 使用 f θ 生成编码矩阵 Ω 。
• 3. 使用适配的 HDC 编码器将数据编码为 D 维。
• 4. 学习回归超向量 w。

在第一步中，当我们将数据编码到 D' 维空间时，计算 ℒ𝐸 的开销被认为很小，从而限制了计算估计器 𝐰ˆ 。生成随机基 ω i = f θ (ε i ) 需要 f θ 的 D 次前向传递，这将给出超维映射。

对数据 𝐙=𝛷(𝐱;𝛀,𝐛)=2𝐷‾‾√cos.(𝐱𝛀𝑇+𝐛) 进行编码，需要 𝒪(𝑁𝑀𝐷) 运算，对应于最费力的渐近运算 - N 的矩阵乘法×M 矩阵 X 和 M×D 矩阵 Ω T ，其中 N 是样本数，M 是原始空间中的特征数。

根据实验评估，最后一步，计算 w = (Z T Z+λI)−1Z T y 是我们设计中最耗时的步骤。理论时间复杂度以Z T Z乘法和逆运算为主，需要 𝒪(𝑁𝐷2) 和 𝒪(𝐷3)

值得庆幸的是，阻尼线性最小二乘损失（公式 3）已经得到深入研究，并且存在几种近似其解的算法，例如 LSQR（Paige 和 Saunders，1982 年）。此外，实验评估表明，使用相对较小的D值（500 ≤ D ≤ 2000），我们可以获得非常准确的预测（如图所示图 5）；通过这种配置，我们观察到样本数量的线性训练时间。

4.6 编码损失的形式化推导

在本节中，我们证明最小化关于 θ 的 ℒ𝐸 相当于最大化具有关节参数 (θ, w) 的后验分布的对数似然下界。

回想一下，给定独立观测数据集 𝒟 ，随机参数 θ∈θ 具有先验分布 θ~p(θ) 后验分布为 𝑝(𝜃∣𝒟) ，根据贝叶斯定理可以表示为 𝑝(𝜃∣𝒟)∝𝑝(𝒟∣𝜃)𝑝(𝜃)，其中 𝑝(𝒟∣𝜃) 称为可能性。

在回归分析中，我们假设关系 y = Xw+ε，其中 ε 是随机的未观察到的噪声。普通最小二乘回归将可能性设置为正态分布 𝐲∣∣𝐰~𝒩(𝐱𝐰,𝜎2𝐈) 。如公式 9 所示，最大化对数似然相当于最小化平方误差损失：

为了在高维空间中工作，我们必须将编码添加到方程中，或者在本例中添加生成器参数 θ。相反，我们假设关系 y = Zw+ε，其中 Z = Φ(X; Ω, b)。由于回归系数取决于 Ω 和 b，因此我们使用条件似然 𝐲∣∣𝛀,𝐛,𝐰~𝒩(𝐙𝐰,𝜎2𝐈) 。我们在 θ 和 b 之间添加独立性假设。在公式 10 中，最大对数后验显示为使用 Jensen 不等式有界：

5 实验结果

5.1 实验设置

我们在 Intel Core i7-12700K CPU 平台上使用 Python 实现了所提出的设计。适配编码器的核心过程是使用Pytorch实现的，回归过程基于Scikit-Learn提供的实现。我们在表 1 中列出的几个实际回归数据集上评估了我们设计的准确性，其中包含多达 20,000 个样本和 80 个特征。表 2 描述了用于与我们的设计进行比较的基线模型，包括也利用 RFF 近似的岭回归和之前最先进的基于 HDC 的回归算法 RegHD。在实验过程中，我们测试了设计的两种设置（FLASH 和 A-FLASH），模型大小和维度略有不同。第二个设置的名称代表“Accurate FLASH”，它具有更大的维度和模型尺寸。在表 3 中，我们提供了实验中用于不同回归模型的超参数。

5.2 综合数据上的表现

从这个实验中，我们得出结论，我们对编码器损失 ℒ𝐸 的优化建议在实践中效果很好，并且每个数据集的学习分布的形状各不相同。此外，我们观察到我们的建议适应不同的数据规模，与 SVR 有着明显的区别。例如，第一个预测函数 f(x) = 10x 2 ，其中 SVR 明显低于 |x|>1.1 的情况。

5.3 回归质量和效率比较

在本节中，我们使用多个回归数据集将 FLASH（以及 A-FLASH）与几种基线回归算法的性能进行比较。 我们在每个数据集中执行 5 次重复的 5 倍交叉验证，并报告平均预测质量、置信区间、显着性统计检验以及每次折叠所需的运行时间。 我们使用网格搜索选择 SVR 和设计中最重要的超参数。我们的结果总结在图 3 中。

我们观察到，我们的方法在准确性上始终与其他最先进的方法相当。我们方法的准确版本 (A-FLASH) 始终名列前茅。 特别是，因为我们的编码器是可学习的且适应性强，所以我们通常比利用静态编码器或固定内核的其他算法更准确。 与之前基于 HDC 的方法相比，A-FLASH 实现了显着更好的质量，而无需增加显着的推理开销。此外，我们方法的快速版本（FLASH）通常是最快的模型之一。 在推理过程中，它比其他基线更快，包括经典的基于内核的方法，例如 SVR 和 Kernel Ridge。这是因为我们的预测复杂度相对于样本数量是恒定的。 平均而言，FLASH 的推理速度比 RegHD 快约 3.7 倍，比 kernel ridge/RFF ridge 快 5.5 倍，比 SVR 快 13.75 倍。

5.4 可扩展性结果

在本节中，我们创建具有越来越多样本的弗里德曼回归数据集（Friedman，1991），以测试所提出算法的可扩展性并将其与其他方法进行比较。我们观察到，我们的方法非常适合大规模数据，因为我们的训练时间和推理时间都呈线性趋势。 与此同时，由于计算复杂度较高，训练 SVR 和核岭等经典核方法所需的时间明显加快。我们的结果总结在图 4 中。最左边的图显示，即使样本数量很少，我们的方法也是实现高预测质量的最快方法；事实上，当训练集增长时，FLASH 不断获得更好的准确率。 在推理速度方面，在 5000 个训练样本下，FLASH 大约是其他方法的两倍，并且两者之间的差距还在继续扩大。

5.5 维度的影响

在本节中，我们将探讨维数 (D) 在我们对各种数据集的设计中的影响。图 5 显示了我们在预测质量 (MSE) 和针对不同 D 值训练模型所需时间方面的结果。在“时间复杂度”部分中，我们得出了我们方法的时间复杂度为 ，这与我们的实验结果一致。然而，值得一提的是，即使对于相对较小的维度（例如，D = 500），进一步增加维度的精度增益也不显着。因此，即使该方法的理论复杂性很大，在实践中，我们也可以快速获得可接受的结果。

六，结论

在本文中，我们提出了一种新颖的 HDC 算法，该算法具有自适应且可学习的编码器设计。 与之前仅关注模型超向量学习的 HDC 工作不同，我们的工作还旨在提供更适合当前任务的超维表示。 我们不是直接学习编码器，而是构建一个参数化分布，有助于保留 HDC 编码的全息特性。 几个回归任务的结果表明，我们提出的算法可以显着提高准确性，超越现有的基于 HDC 的技术并提供更短的推理时间。