效果显著！电力价格预测中的纯Transformer架构实战

电力价格预测在现代电力系统中扮演着至关重要的角色。多年来，电力价格预测（EPF）的技术已经取得了显著的进展，其中机器学习和人工智能的最新发展发挥了引领作用。但在电力价格预测（EPF）领域，可复现性一直是一个重大挑战。许多研究使用了独特且非公开的数据集，并在过短和有限的市场样本上测试了他们的方法，这使得难以评估新预测算法的有效性。

近日，有国外研究者在arxiv上新发布了一篇论文，提出了一种基于纯Transformer模型的电力价格预测（EPF）新方法。与其他方法不同，该方法并没有将循环神经网络与注意力机制结合使用，从而证明了仅通过注意力层就足以捕捉时间模式。论文还利用开源EPF工具箱对模型进行了公正的比较，并提供了代码以增强EPF研究的可重复性和透明度。实验结果表明，Transformer模型优于传统方法，为可靠和可持续的电力系统运行提供了有前景的解决方案。

论文标题：A Transformer approach for Electricity Price Forecasting

论文地址：https://arxiv.org/abs/2403.16108

论文源码：https://github.com/osllogon/epf-transformers

模型方法

作者提出的电力价格预测（EPF）模型的目标可总结为：基于第D+1天的外生变量以及过去的价格和外生变量，来预测第D+1天24小时内的电力价格。

图1 作者提出的建模结构

这个电力价格预测模型是一个纯粹的Transformer模型，具体来说是类似于BERT或ViT中的Transformer编码器。通过这种结构，Transformer能够捕获时间模式，并在预测时更多地关注长期趋势，这与其他时间模型（例如LSTM）相比具有优势。在自然语言处理领域中，Transformer在处理长序列时不会忘记之前的信息，这一点已得到证实。

作者认为，我们应当建立外生变量与价格之间的直接关系，并让Transformer模型负责价格动态。因此，仅将过去的价格作为历史信息纳入模型。

该模型将有两个输入：第

天的外生变量值和过去

天的24小时价格。整体结构如图1所示。然后，用于过去价格的区间将是

，包括这两天。这

天将是模型的一个超参数，称为序列长度，需要进行优化。

图2 模型结构

主要模型架构包含两个主要的数据流，每个输入一个。然后，将每个流的结果拼接起来，作为多元多层感知机（MLP）的输入，用于预测次日价格。

我们来细聊一下这个模型架构。

一方面，第D+1天的外生变量的处理流程是通过嵌入层（Embedding layer）完成的。另一方面，首先也将

的过去价格引入嵌入层。然后，将输出与位置编码（Positional Encoding）相结合，并将结果引入一组Transformer编码器，以考虑时间动态。

图3 Transformer编码器的结构

Transformer编码器的结构如图3所示。堆栈中第一个编码器的输入维度为

（其中n是嵌入层输出维度的超参数），而其余编码器的输入维度为

，这是由于前馈层（Feed-Forward layer）的存在。Transformer堆栈的输出维度为

，其中h是前馈层的隐藏维度。最后，将仅选择这

天输出序列中的最后一个元素，与外生变量流的输出相结合，进行最终预测。

如前所述，两个不同流的输出将被拼接起来，并传递给一个多层感知机（MLP），其输入维度为

。多层感知机的输出将是第

天24小时价格的最终预测（即一个24维的输出层）。

为预处理输入而定义的两个嵌入层是将数据投影到更高维空间的映射，包括一个前馈层和一个ReLU激活函数。这些层将每天的24值向量转换为更高阶的向量，具体可见下图4。

图4 嵌入层

因此，该模型主要包含四个结构：两种类型的嵌入层、一组Transformer编码器以及用于最终预测的多层感知机。

实验效果

表1、表2和表3分别展示了原生模型Naive、使用所有过去数据重新归一化的DNN以及仅使用去年数据重新归一化的DNN模型的结果。可以观察到，在某些情况下，DNN模型的结果更好，而在其他情况下，Naive模型的表现优于DNN集成。这可能是因为DNN模型需要在没有重新训练的情况下进行长期的测试预测。

表1 Naive model测试结果

表2 使用所有过去值重新归一化的DNN集成模型测试结果

表3 使用去年值重新归一化的DNN集成模型测试结果

提出的Transformer模型的结果如表4所示。此外，作者还展示了与其他基准模型进行比较的DM检验结果。在五个数据集中的四个中，Transformer模型的结果显著优于Forecasting day-ahead electricity prices: A review of state-of-the-art algorithms, best practices and an open-access benchmark一文中的模型（DM检验值低于0.05）。同时，在所有数据集中，Transformer模型的结果也显著优于Naive模型。这些结果证明了在价格时间序列中添加Transformer架构的有效性。

表4 Transformer模型测试结果及DM p值。

图4展示了每个数据集每天预测的一个示例。可以观察到，即使在某些情况下不是最佳的预测，作者提出的模型也比其他模型更一致，在每个示例中都预测了准确的预测结果。

图5 某一天的预测示例

总结

尽管Transformer在其他领域的预测中得到了应用，但缺乏确凿的证据表明其在电力价格预测方面与其他方法的性能比较。本文提出了一种基于Transformer的预测模型，并在论文Forecasting day-ahead electricity prices: A review of state-of-the-art algorithms, best practices and an open-access benchmark 提出的框架中进行了测试。结果表明，该模型在大多数情况下表现出显著的优势，并在五个数据集中的四个上取得了最先进的结果。可见，Transformer架构能为电力价格预测提供了良好的预测结果。

关于未来的工作，有几个研究方向值得继续探索。例如， 上述参考论文的作者声称，LSTM可能比DNN更准确，但证据不足。未来的一项可能研究将是 LSTM 和 Transformer 之间的比较。需要注意的是，本文提出的模型并不是集成模型。Transformer的集成模型可能表现更好，但这超出了本文的范围，也将是一个值得研究的相关领域。而另一项未来的工作则将是探索如何在Transformer架构中同时考虑外生变量的过去值。