基于深度增强学习的数据中心制冷优化研究

基于深度增强学习的数据中心制冷优化研究

李元龙 I 文

随着云计算社交网络等各种大数据服务的蓬勃发展，数据中心在现代社会中的重要性越来越显著。同时，数据中心的耗电问题也逐渐显现出来。据预测，美国的数据中心耗电将会在2020年达到130亿美元。高耗电的数据中心同时还会对环境产生明显影响。这使得降低数据中心的能耗成为一个关键问题。

数据中心的能耗可以简单划分为两块，一块来自IT设备，另一块是制冷设备。如果制冷设备消耗的电量接近IT消耗的电量，那么这个数据中心的用电有效系数PUE就是2. 在新加坡这样的高温气候下，通常一个设计较好的数据中心的PUE会超过1.5。这意味着制冷设备消耗的电量可以占总电量的1/3。

那么是否可以通过优化数据中心的制冷系统，来降低总耗电量？

首先我们先介绍一下数据中心的制冷系统。通常数据中心的制冷设备可分为两部分，室内部分以及室外部分：

(1)室内部分: 包括室内空调终端（air cooling unit， ACU），以及各种控制气流流向的挡板。其中ACU负责将服务器产生的热风转化为冷风。ACU内部会有一些用于降温的热管，从室外制冷设备进来的冷却水将会通过热管与数据中心的热风进行热交换，从而将数据中心的热量带到室外。

(2)室外部分: 主要包括冷机（chiller）及冷却塔（cooling tower），冷却塔配合冷机，通过消耗大量电能，来将从数据中心回来的较高温度的冷却水恢复到较低温度。

那么如何对数据中心的制冷系统进行优化控制？在我们研究中，我们尝试采用深度增强学习的方法来控制制冷系统。下面以控制ACU风速为例，来说明我们的实现方法。图一是我们的研究对象。这里我们仅关注数据中心的内部制冷部分。

图一 数据中心3D示意图

为了将控制风速问题转化为一个增强学习问题，我们采集了大量数据进行学习，包括每个rack的耗电数据，每个ACU的冷气输出温度等状态数据；并将采集的ACU的耗电数据作为优化的一个指标，将每个rack的进气口温度作为第一个优化指标。

在深度增强学习中，我们需要学习两个神经网络，第一个神经网络用于估计采取一个控制操作会产生何种影响。在我们的实现中，该网络用于直接估计一个控制参数（风速）下ACU的耗电和rack的进口温度。如下图二所示，我们可以看到实验结果表明在预测总耗电(图二(a))和平均进口温度(图二(b))上我们可以做到相当准确。

图二 a为耗电量的预测与实际数据的对比，b为平均进口温度的预测与实际对比。

在上述评估网络的基础上，我们还需要进一步学习另一个控制网络。该网络用于给定一个特定状态输出优化的控制参数。这个网络的训练与评估网络同时进行。在学习完成之后，我们可以得到如图三所示的风速控制结果(图三(a))和对应的平均进口温度(图三(b))的预测。蓝色的线条是实际未经优化的数据，可以看到进口平均温度的波动较大。而经过优化的曲线（不同颜色代表对进口温度的惩罚系数不同）显示我们可以通过增强学习的控制来使得进口平均温度接近一条直线，并使该直线接近最高允许温度，从而达到节省能源的效果。根据我们通过对实际数据进行模拟所建立的模型显示，利用我们提出的方法可节省大概15%的制冷电量。

图三 风速控制结果和相应的进口温度预测

总结

数据中心的制冷优化是一个关键问题。我们尝试采用深度增强学习的方法来解决，并在相对简化的情况下取得了较好的优化结果。这些结果反映在传统工业界，基于学习的控制优化方法还是有很大改善空间的。

本文版权归作者所有。

新加坡南洋理工CAP组