全息光存储：挑战重重的云存储“新希望”(微软研究院Project HSD)

【摘要】

全息存储是一个由来已久的概念，一直以来都有望实现高密度和快速随机访问，但从未在商业上与硬盘驱动器（HDD）和固态硬盘（SSD）竞争。微软研究院的HSD项目提出了一个问题：“全息存储对于云存储来说最终是否可行？” 本文描述了项目探索这个问题答案的历程。

项目利用现有的商用组件，通过机器学习来补偿商用组件引入的噪声和失真，实现了比之前最先进水平高1.8倍的存储密度。这也揭示了两个新的挑战，它们是本文关注的重点：在不牺牲容量的前提下实现高端到端能源效率，以及在不进行机械运动的情况下实现空间复用。

提高端到端能源效率需要对控制读取刷新和垃圾回收等后台维护操作的低级介质参数和高级系统参数进行联合优化。项目开发了新的介质物理模型、介质访问和后台介质维护的分析模型及仿真模型，以及基于工作负载的优化方法，以找到最佳的参数组合。这些技术在不牺牲容量的情况下，使典型工作负载的能源效率比之前的方法提高了14倍。还设计了首个用于全息存储的可扩展且无需机械运动的空间复用系统。

尽管取得了这些进展，但项目得出的结论是，目前全息存储在密度、容量扩展和能源效率方面，仍远未达到与现有技术竞争的水平。还需要在物理介质方面取得根本性进展，将能源效率再提高1 - 2个数量级，同时不降低数据密度。此外，还需要在光学领域取得进一步进展，以实现可扩展、低损耗且高密度的空间复用。

【正文】

在当下数字化浪潮汹涌澎湃的时代，云存储需求正以令人惊叹的指数级态势迅猛增长。根据权威数据统计，过去数年间，全球云存储的数据量每年的增长率都超过30%。在这般迅猛的发展势头之下，传统存储技术——硬盘驱动器（HDD）与固态硬盘（SSD），逐渐显露出自身的短板，发展陷入了瓶颈。

一、现有存储技术困境

◆ HDD：容量增长趋缓，IOPS瓶颈凸显

回顾HDD的发展轨迹，从历史数据（如图2所示）可见，2010年前，HDD每设备容量依照摩尔定律呈指数式增长，这主要得益于存储介质特征尺寸的持续。但自2010年起，HDD容量增长开始依赖填充氦气以增加盘片数量、采用叠瓦式磁记录技术（SMR）增加磁道数量，以及近年来的热辅助磁记录（HAMR）等复杂技术。这些技术研发与应用难度颇高，致使增长速度逐步放缓。以HAMR技术为例，尽管它具备进一步提升存储密度的潜力，但其技术原理涉及高温环境下的磁记录过程，商业化进程极为迟缓。并且，该技术的应用可能会提高每设备成本，这对于追求低成本、高容量的云存储市场而言，无疑是巨大的阻碍。

HDD的IOPS问题更是其发展路上的一大难题。几十年来，每设备的IOPS几乎毫无提升，处于停滞状态。随着容量不断增加，IOPS/TB的比值却持续下降（参考图3）。这表明，HDD容量增大的同时，单位容量所能提供的访问速率却在降低。近期推出的双磁头HDD虽在一定程度上提升了IOPS/TB，但这种提升是一次性的，且是以价格溢价为代价，无法作为可持续的扩展方案。因为磁头数量的增加受物理和技术限制，难以随设备更新换代而持续增多。而叠瓦式磁记录（SMR）技术虽提高了存储密度，却因写入放大问题，大幅降低了随机写入工作负载的有效IOPS/TB，导致大量存储容量被闲置浪费。

◆ SSD：成本降低遇阻

NAND闪存芯片面密度的增长对SSD成本影响深远（图4展示了其变化趋势）。早期，2D闪存的面密度增长迅速，可到2010年，增长基本停滞。此后，SSD的容量增长主要依靠3D闪存层数的增加。然而，垂直方向的扩展收益相对有限，且受到蚀刻和沉积工艺可实现的纵横比的严格制约。目前，为进一步提升密度，行业采用多层堆叠方法，即将单个设备堆叠起来。这种方式虽在一定程度上增加了密度，在封装和设备层面分摊了部分成本，但从根本上并未降低芯片层面的每比特成本。

通过增加每个单元的比特数来提升容量也是常用途径。当前，TLC（每个单元3比特）技术在云存储中广泛应用，对于一些写入不太频繁的工作负载，QLC（每个单元4比特）也开始投入使用。PLC（每个单元5比特）虽已发布，但尚未大规模应用。不过，每增加一比特，制造难度便大幅增加，耐久性问题也愈发严重。例如，QLC的耐久性约为TLC的四分之一，这对于写入密集型工作负载来说，是不容忽视的挑战。随着技术发展，每一代技术的相对容量增益不断缩小，使得SSD与HDD之间的成本和性能差距难以有效缩小。

二、全息存储技术原理与关键概念

◆ 存储原理

全息存储的核心原理是利用光的干涉现象，在光折变材料（如铁掺杂铌酸锂晶体）中记录光学干涉图案，从而实现数据存储。写入数据时，携带数据信息的光束与参考光束相互干涉，使介质内部折射率发生局部变化，进而形成全息图（图6详细展示了这一过程）。读取数据时，仅用参考光照射介质，参考光在全息图上发生衍射，重建出携带数据的光束，再通过特定检测设备和算法，即可实现数据读取。这种基于布拉格衍射的存储和读取方式，赋予了全息存储独特的优势。

◆关键技术

①衍射效率

这是衡量全息存储性能的关键指标，指的是衍射到读出光束中的光强度与参考光束光强度的比值。实际应用中，该比值通常在10⁻⁵到10⁻³之间。从能量利用角度看，提高衍射效率可使读取更节能，因为更多参考光能量能有效转换为读出光束能量。然而，这里存在一个权衡问题。为提高衍射效率，需生成更强的全息图，这往往需要更多写入能量。同时，更强的全息图会占据更多介质空间，导致相同体积内可叠加的全息图数量减少，进而降低存储密度。

②分区存储

全息存储的分区存储模型与闪存SSD和SMR硬盘的分区模型相似。实际应用中，大体积晶体被细分为多个独立区域，每个区域都能独立擦除。写入数据时，页面可追加到区域中；读取数据时，用户可随机读取区域内任何页面。当区域内数据不再需要或需更新时，可对整个区域进行擦除重置。为实现可重写存储功能，系统必须进行垃圾回收操作，即将即将被擦除区域中的有效数据转移到新区域，以确保数据的完整性和可用性。

③全息图叠加与复用技术

为实现高存储密度，每个区域需叠加数百到数千个全息图。这主要通过改变参考光束来实现，常见的复用技术包括角度复用（图8）、相位复用和波长复用等。其中，角度复用是目前研究最多且最具前景的高密度全息存储技术。它借助微机电系统（MEMS）镜和透镜改变参考光束的波前角度，利用布拉格选择性原理，不同角度的参考光束可与不同全息图产生高相关性，从而实现对多个全息图的独立寻址和读写操作。

④写入擦除与读取擦除

在全息存储过程中，写入和读取操作都会对已存储的全息图产生影响。写入新全息图时，会干扰先前写入的全息图质量，导致其衍射效率降低。每次写入的最佳能量并非固定，而是取决于该区域之前的写入次数、后续写入计划以及进行刷新操作前需要该区域支持的读取次数等多种因素。同样，读取操作也会影响全息图质量。虽然单次读取的擦除程度较小，但大量读取操作的累积擦除效应可能十分显著。随着全息图因读取擦除逐渐变弱，读取所需能量会逐渐增加。实际应用中，这意味着需要定期进行读取刷新操作，将服务大量读取操作区域中的所有有效数据复制到新区域，以保证数据的正常读取。

⑤区域生命周期

可将每个区域看作具有特定生命周期的存储单元，从刚被擦除到再次完全擦除的过程包括写入阶段和读取阶段。写入阶段，全息图以追加方式写入区域，随着写入能量增加，全息图衍射效率逐渐提高，但呈现收益递减趋势。读取阶段，读取操作会导致全息图质量下降，即发生读取擦除现象。最终，当全息图质量下降到一定程度时，需对其进行刷新操作，将数据重写到不同区域。对于写入密集型工作负载，在达到刷新阈值前，整个区域可能因数据更新频繁而被提前进行垃圾回收（这实际上为区域内所有有效数据提供了一次免费刷新机会）。图9展示了页面全息图在区域内的生命周期变化过程。

三、全息存储设计与技术进展

◆全息转换层（HTL）

全息存储系统借助全息转换层（HTL）为上层应用提供可重写、平坦地址空间的抽象，这一概念类似于闪存转换层（FTL）。HTL在整个全息存储系统中起着举足轻重的作用，负责管理设备中每个区域内每个页面的生命周期。具体而言，它会实时跟踪每个区域的历史记录，包括写入次数、读取次数、区域内数据的更新情况等。基于这些信息，HTL会做出一系列关键决策，如每次写入和读取操作应使用多少能量、何时对页面进行刷新操作以及何时触发垃圾回收机制等。实际操作中，HTL采用一组简单的参数化启发式方法进行这些决策。然后，通过对实际存储过程中的各种数据进行测量、利用仿真模型进行模拟以及建立数学模型进行分析，找到这些参数的最佳值，以实现系统性能的优化。

◆硬件测试平台

为验证各种理论模型和仿真结果的准确性，研究人员搭建了专门的硬件测试平台。该测试平台集成了在一个区域内写入和读取全息图所需的所有硬件组件，并实现了完全自动化操作。测试平台的自动化控制由标准PC服务器上的软件完成，该软件不仅负责控制硬件设备的运行，还运行着前向纠错（FEC）、图像编码和机器学习解码等关键算法（如图10（b）所示）。同时，该测试平台还便于对不同晶体样本进行实验，以深入探究不同材料特性对系统性能的影响。此外，它还用于收集大量实验数据，这些数据对于验证和校准介质模型至关重要，而介质模型又是能源效率优化的关键组成部分。

◆能源效率优化

◆ 现状与挑战

当前，全息存储的能源效率相对较低，约为0.65 IOPS/W，与传统的HDD（约10 - 100 IOPS/W）和SSD（约100 - 1000 IOPS/W）相比，存在较大差距。这意味着在提供相同性能的情况下，要提高全息存储的能源效率，面临多方面挑战。首先，激光作为全息存储中的主要能源消耗组件之一，目前商用激光的效率相对较低，尤其是在高功率输出时，其能量转换效率欠佳。其次，全息转换层（HTL）的各种操作开销也会对能源效率产生负面影响。HTL需要进行诸如垃圾回收和读取刷新等后台操作，这些操作都需消耗额外能源。此外，在提高存储密度的过程中，往往会导致能源效率降低，因为在相同体积内叠加更多全息图需要更高的写入能量，并且读取弱全息图也需要更多能量，这就需要在存储密度和能源效率之间找到平衡。

◆优化策略与成果

为提高全息存储的能源效率，研究人员采取了一系列优化策略。首先，通过优化全息图的叠加技术和介质参数，在不增加总体能源消耗的情况下提高存储密度。例如，通过更精确地控制参考光束的角度和相位，以及优化写入能量分布，来增加每个区域内可叠加的全息图数量。这不仅能提高存储密度，还可通过减少区域数量来降低整体能源消耗。

其次，开发了详细的介质模型，用于描述全息图在写入、读取和擦除过程中的行为。该模型充分考虑了写入擦除、读取擦除、衍射效率与全息图数量的关系等因素。通过对介质特性的准确建模，能更好地理解能源消耗的来源，并据此优化写入和读取配置文件。

再者，根据介质模型和工作负载特性，优化每次写入和读取操作的能量使用。对于写入操作，根据区域内已有的全息图数量和预期的后续写入次数，动态调整写入能量。对于读取操作，采用可变读取能量配置文件，随着全息图因读取擦除而变弱，逐渐增加读取能量，直到触发刷新。同时，对整个系统进行端到端的能源效率优化，联合考虑HTL开销和介质参数。这意味着不仅优化单个写入和读取操作的能源效率，还考虑后台维护操作（如垃圾回收和读取刷新）对整体能源效率的影响。通过这种方式，找到最佳的参数组合，以在不牺牲容量的情况下最大化能源效率。此外，使用前向纠错（FEC）和机器学习解码技术来提高读取的可靠性。FEC可以纠正读取过程中引入的错误，而机器学习解码可以补偿光学系统中的噪声和失真。通过提高读取可靠性，可以在较低的读取能量下实现相同的误码率，从而提高能源效率。

最后，研究不同的介质材料和处理工艺，以提高介质的性能和能源效率。例如，通过优化铁掺杂铌酸锂晶体的掺杂浓度和晶体结构，提高其光敏性和衍射效率，从而降低写入和读取能量。针对不同的工作负载特性（如读写比例、数据访问模式等），调整系统参数和操作策略。

通过这些优化策略的综合应用，与之前最先进的方法相比，在不牺牲容量的前提下，典型工作负载的端到端能源效率提高了14倍。然而，尽管取得了这些显著进展，全息存储的能源效率仍比实际应用所需低1 - 2个数量级，要实现与现有技术竞争的能源效率，还需在材料和光学技术方面取得根本性突破。

◆空间复用技术

在全息存储中，为实现具有竞争力的每GB成本，需要在多个区域上复用相机和空间光调制器（SLM）。传统的全息存储设计通常依赖机械运动来实现空间复用，例如通过旋转盘片或移动晶体，将不同区域依次移动到相机和SLM的光路中。然而，这种基于机械运动的空间复用方式存在明显局限。首先，机械运动速度相对较慢，极大地限制了IOPS的提升，使得全息存储在访问速率方面甚至不如HDD有吸引力。其次，机械运动部件的存在增加了系统的复杂性和成本，并且这些部件容易出现故障，降低了系统的可靠性和稳定性。因此，如何在不进行机械运动的情况下实现高效的空间复用，成为全息存储技术发展的关键挑战。

为解决空间复用的挑战，研究人员提出了基于波导的 “光学成像网络” 空间复用设计。该设计利用波导和二进制开关元件来传输和路由光学图像。写入过程中，来自SLM的调制数据光束通过一个波导网络传输到不同区域。波导网络由多个波导分支和二进制开关组成，通过精确控制开关状态，可将数据光束准确引导到特定区域。在每个区域，数据光束与参考光束相互干涉，形成全息图。读取过程中，来自不同区域的衍射读出光束通过另一个波导网络传输到相机。同样，通过控制开关状态，可将特定区域的读出光束引导到相机进行检测。

这种基于波导的设计具有几个显著优点。首先，它彻底消除了机械运动部件，从而大幅提高了系统的可靠性和IOPS。其次，波导可以精确控制光的传播路径，有效减少光的散射和损耗。然而，该设计也面临一些严峻挑战。例如，为实现高容量，波导网络需要大量分支和开关，这会导致网络体积庞大。以一个具有1024个区域的系统为例，采用二叉树配置的波导网络需要10层分支，这会占用大量空间，增加系统的物理实现难度。此外，线性设计虽可在一定程度上减少体积，但会增加光的损耗，因为光在波导中传播的距离更长。而且，波导开关网络会引入复杂的失真，这些失真会严重影响图像质量，因此需要进行精确校正才能保证数据的准确读取。

四、相关工作与未来展望

早期的全息存储研究受硬件技术限制，虽取得一些理论和实验成果，但在实际应用中困难重重。例如，IBM在20世纪90年代后期开发的全息存储系统，虽在实验室环境下实现了相对较高的存储密度（约100 Gbit/cm³），但因当时光学元件成本高昂、对齐难度极大以及能源效率低下等问题，最终未能实现商业化应用。

在一次写入多次读取（WORM）全息存储方面，也有多个研究项目和原型系统进行了探索，但都面临着材料稳定性不足和成本难以降低等挑战。

在材料研究方面，除了铁掺杂铌酸锂，还有其他多种材料被研究用于全息存储，如光聚合物、半导体量子点等。光聚合物具有较高的光敏性和存储密度，能够快速记录全息图，但它通常是WORM材料，不具备可重写性，且稳定性较差，容易受到环境因素的影响。半导体量子点则具有快速的光学响应和可调节的光学性质，理论上具有很大的应用潜力，但目前在大规模制备和集成方面仍面临着诸多技术难题，如量子点的尺寸控制、均匀性以及与其他光学元件的兼容性等问题。

在光束配置方面，除了角度复用和相位复用，还有频率复用、偏振复用等技术。频率复用通过精确控制激光频率，使不同频率的光携带不同的数据信息，从而实现多个全息图的叠加存储。然而，这种技术对激光频率的稳定性和精度要求极高，增加了系统的复杂性和成本。偏振复用则是利用光的偏振特性，通过对参考光束和数据光束的偏振方向进行调制，实现不同全息图的独立存储和读取。但它对光学元件的偏振特性要求严格，在实际应用中存在一定的局限性。

展望未来，随着光学技术、材料科学和机器学习等领域的不断发展，全息存储有望取得新的突破。在光学技术方面，更高效率的激光光源、更精确的光学调制器和探测器的研发，将有助于提高全息存储的性能和能源效率。材料科学的进步可能会带来新型的全息存储材料，这些材料或许具有更高的光敏性、更好的稳定性和更低的成本。机器学习技术在全息存储中的应用也将更加广泛，例如用于自适应光学系统的优化、智能介质管理以及数据读取过程中的噪声抑制和图像增强等。