基于长短期记忆网络和多头注意力机制的长期电力负荷预测

徐小勇; 邱晨依; 陈高铭; 徐泽元; 王以勒; 汪磊; 熊振华

doi:10.12404/j.issn.1671-1815.2504773

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (20) :8728-8736 DOI: 10.12404/j.issn.1671-1815.2504773

自动化技术、计算机技术

基于长短期记忆网络和多头注意力机制的长期电力负荷预测

徐小勇 ¹^,² ,
邱晨依 ² ,
陈高铭 ² ,
徐泽元 ¹ ,
王以勒 ¹ ,
汪磊 ¹ ,
熊振华 ²

作者信息 +

Long-term Electrical Load Forecasting Based on LSTM and Multi-head Attention Mechanism

Author information +

文章历史 +

摘要

在多能互补的高速公路能源供给模式中,精准掌握电力负荷变化规律是实现能源科学规划与精准动态调配的关键。为实现对电力负荷的长期精确预测,提出一种结合长短期记忆网络(long short-term memory networks,LSTM)与多头注意力机制(multi-head attention, MHA)的预测模型。首先,通过特征工程扩展输入特征的维度,增强模型对非线性关系的学习能力。然后,构建LSTM网络建模电力数据的时序依赖特征,并引入MHA机制聚焦序列中的关键时间步信息,从而搭建完整MHA-LSTM电力负荷预测模型。最后,以某地区的实际电力负荷数据为基础,设置实验验证了所提出模型的可行性。实验结果表明:所提出的MHA-LSTM模型平均绝对误差(mean absolute percentage error,MAPE)仅为3.23%,决定系数(R²)为0.882 3,相对分析误差(relative percent deviation,RPD)为2.914 2,与传统LSTM模型及引入简单注意力机制的LSTM模型对比具有显著提升,表明其在复杂时序的长期预测任务中具有较好的拟合效果和预测精度。

Abstract

In multi-energy complementary highway energy supply systems, the understanding of electrical load variation is considered essential for scientific energy planning and accurate dynamic allocation. To improve the accuracy of long-term electrical load forecasting, a prediction model based on long short-term memory networks (LSTM) and a multi-head attention (MHA) mechanism was proposed. Firstly, feature engineering was applied to expand the dimensionality of input features. Then, an LSTM network was built to model temporal dependencies in electrical load data. The MHA mechanism was added to highlight key time-step information in the sequence. These components were combined to form the MHA-LSTM forecasting model. Finally, real electrical load data from a specific region were used to validate the model. The proposed model achieves a mean absolute percentage error (MAPE) of 3.23%, an coefficient of determination (R²) of 0.882 3, and an relative percent deviation (RPD) of 2.914 2. Improved performance is shown compared to traditional LSTM and attention-based LSTM models. Strong fitting ability and high predictive accuracy are demonstrated for long-term forecasting with complex temporal patterns.

Graphical abstract

关键词

电力负荷预测 / 长短期记忆网络(LSTM) / 多头注意力机制(MHA) / 时序数据建模

Key words

electrical load forecasting / long short-term memory networks(LSTM) / multi-head attention(MHA) / time series data modeling

引用本文

引用格式 ▾

徐小勇, 邱晨依, 陈高铭, 徐泽元, 王以勒, 汪磊, 熊振华. 基于长短期记忆网络和多头注意力机制的长期电力负荷预测[J]. 科学技术与工程, 2026, 26(20): 8728-8736 DOI:10.12404/j.issn.1671-1815.2504773

XU Xiao-yong, QIU Chen-yi, CHEN Gao-ming, XU Ze-yuan, WANG Yi-le, WANG Lei, XIONG Zhen-hua. Long-term Electrical Load Forecasting Based on LSTM and Multi-head Attention Mechanism[J]. Science Technology and Engineering, 2026, 26(20): 8728-8736 DOI:10.12404/j.issn.1671-1815.2504773

登录浏览全文

4963

注册一个新账户忘记密码

随着经济的快速发展,中国的高速公路网络规模呈现出显著扩张态势,路网结构日渐完善。然而,在高速公路运营维护过程中,依赖常规电源的传统单一能源供给模式,常面临供应稳定性不足、动态调度能力有限、环境友好性欠缺等挑战^[1]。为填补能源供应缺口,引入分布式光伏发电、储能装置等多种能源系统与常规电源协同,是解决问题的有效途径。在此背景下,为优化能源的存储和释放的时序,保证高峰时段的能源供给,采用先进方法对高速服务区的能源消耗情况进行深入分析尤为关键。因此,研究电力负荷的变化规律,建立基于时序特征的电力负荷预测模型,成为指导系统能源规划与动态调配的重要手段。

电力负荷数据通常包含一系列在固定时间间隔记录得到的记录值,属于典型的时间序列数据,已有研究采用多种不同方式进行预测。从预测方法来看,主要分为基于历史数据的外推预测和考虑经济人口因素的相关性预测以及将两者结合的技术;从预测的周期来看,分为超短期、短期、中期和长期预测^[2]。传统的线性回归统计作为时间序列数据的基准预测模型,在工业界已得到广泛应用。荆世博等^[3]在线性回归模型中引入加权训练损失优化模型从而调整拟合程度,有效提高了模型的泛化性能。方磊等^[4]通过自适应辛几何模态分解负荷数据分解为弱相关和强相关两种分量,再应用多元线性回归模型进行预测,有效提高了结果的准确度。但线性统计模型的应用需要基于时间序列平稳且线性的理想假设,但这在实际电力负荷预测场景中往往难以成立,因而近年来研究者提出了多种机器学习模型来应对数据中的非线性问题。宋雨露等^[5]结合深度神经网络和近似线性网络模型,有效避免了过拟合,并提升了电力系统实时状态估计的精度和计算效率。Khwaja等^[6]在人工神经网络的基础上结合Bagging和Boosting算法得到混合模型,降低了预测的偏差和方差。针对支持向量机算法中的参数整定问题,段忠炜等^[7]采用灰狼算法进行优化,提高了预测的精度并加快了预测时间。

尽管如此,面对序列数据的处理,神经网络存在一个重要理论局限,即假设所有输入和输出观测值彼此相互独立。而长短期记忆模型(long short-term memory networks, LSTM)作为针对时间序列数据的经典算法,能够学习序列数据中的长期依赖关系,在电力负荷的预测建模中得到了广泛运用。由于电力负荷数据存在显著波动性和不确定性,直接应用LSTM模型可能难以获得理想结果,因此Bouktif等^[8]采用基于元启发式搜索的算法确定超参数的最优值,从而有效提升了LSTM预测结果的准确性。胡晶^[9]在LSTM预测模型的基础上引入了极端天气影响因子的影响,从而更好地探究异常负荷与极端天气之间的关联。周磊等^[10]则在卷积网络-长短期记忆网络混合模型中添加自注意力机制,提高了短期电力负荷预测的准确性。

综上可知,虽然LSTM模型在对时间序列数据的建模与预测中具有显著优势,但较长时间尺度下电力数据存在的复杂、长周期、高波动性等特征导致直接应用简单LSTM模型难以得到理想效果。为准确刻画电力负荷在较长周期下随时间的变化规律,在传统LSTM网络的基础上引入多头注意力机制(multi-head attention, MHA),构建MHA-LSTM模型实现对长期电力负荷的精准预测。首先,通过提取周、月、年等周期性信息,以及是否为周末、历史滞后负荷等辅助特征,有效扩展了输入特征的维度。随后,构建LSTM网络以挖掘序列的时序特征,并引入MHA机制以增强模型对关键信息的关注能力。然后选取某地区的实际电力负荷数据作为研究样本,对原始数据进行预处理与归一化处理,构造出适用于神经网络输入的数据序列。最后,通过实验验证所提方法的有效性,并基于多项指标与其他模型进行性能对比,进一步说明所提出MHA-LSTM模型的可行性与优越性。所提出的MHA-LSTM模型能够有效捕捉长期电力负荷中的复杂时序依赖与关键波动特征,为电力系统在多能源供给模式下的安全稳定运行、调度优化及能源管理策略制定提供了可靠的数据支撑与技术参考。

1 预测模型构建

1.1 MHA-LSTM预测模型概述

高速公路多能互补系统的结构如图1所示,通过多种能源系统协同工作来满足电力需求。为实现对该系统电力负荷的中长期准确预测,提出一种融合MHA机制的LSTM深度学习模型。其不仅能对数据中的时序依赖进行建模,还能通过注意力机制对历史信息中的关键时间点进行加权,以增强模型对重要节点的感知能力。模型的整体框架如图2所示。

该模型主要包含特征构造、LSTM建模、多头注意力机制、全连接输出层,结合循环神经网络的记忆优势与注意力机制的聚焦优势,面对电力负荷数据复杂、长周期、高波动性的特点展现出更高的鲁棒性与精度。

1.2 多类别特征提取

时间序列数据的神经网络建模过程中,特征工程的质量将直接对模型质量和预测准确性造成影响^[11]。电力负荷数据的变化具有明显的周期性、季节性、滞后相关性,且节假日效应和天气影响显著。但原始数据仅包含时间戳,缺少天气、电价波动等外部信息。仅使用单一日期时间作为特征难以准确捕捉样本中的非线性因素,必须进行特征构造以提升模型对复杂时序模式的识别能力。因此,建模前首先构建以下三类特征。

1.2.1 时间周期性特征

星期几、月份、一年中的天数等时间特征本质属于周期变量,若直接使用原始的整数形式表示,可能导致虚假的数值距离关系。如30号和1号数值上相差很大,但实际上是相邻的两天。因此采用三角函数编码将这些特征映射设为x_sin和x_cos,可分别表示为

(1)

$\left\{\begin{array}{l}{x}_{sin}=sin\left(2\pi \frac{x}{P}\right)\\ {x}_{cos}=cos\left(2\pi \frac{x}{P}\right)\end{array}\right.$

式(1)中:x为原始时间变量的数值;P为周期。

通过三角函数编码将时序中的周期信息嵌入到连续空间,消除了相近日期在特征空间中由人为带来的数值偏差;同时保留了原始样本的周期性质,为后续神经网络的训练提供便利。

1.2.2 类别特征

电力负荷通常在工作日和周末表现出显著差异,因此增加布尔特征is_weekend描述是否处于周末,便于模型学习人类社会行为对电力负荷的影响,可表示为

(2)

$is\_weekend=\left\{\begin{array}{ll}1,& day\_of\_week\in \left[\mathrm{5,6}\right]\\ 0,& 其他\end{array}\right.$

式(2)中:day_of_week表示一周中的第几天。

1.2.3 历史滞后负荷特征

考虑到电力负荷的惯性特点和短期记忆性,再引入历史滞后负荷值作为输入特征。选取电力数据典型周期1、7、14、30 d的历史负荷,将原始数据平移指定长度构造而成,可表示为

(3)

$prev\_loa{d}_{k}=loa{d}_{t-k},　k\in \{\mathrm{1,7},\mathrm{14,30}\}$

式(3)中:prev_load_k为历史滞后负荷特征,即预测日前k天的实际负荷值;load_t_-_k为第t-k天的实际负荷值;下标k为滞后的天数;下标t为当前预测日期。

这类特征能够帮助模型识别季节性记忆、工作日节律和其他惯性趋势,尤其对LSTM类模型提升长期依赖能力具有显著作用。最终为模型构造的所有特征如表1所示。

1.3 LSTM网络构建

LSTM作为一种特殊的递归神经网络,在处理序列数据方面具有独特的优势。一般的前馈神经网络假设所有样本相互独立,而LSTM作为带有记忆的时间序列模型,能够捕捉相近时刻内样本的相互联系;同时将独特的单元状态和门控机制引入各个单元从而对信息的保留和遗忘进行动态控制,避免了循环神经网络(recurrent neural network,RNN)在面对长序列数据时易出现的梯度消失和梯度爆炸问题,进而能够更好地捕捉长时间序列中的短期波动和长期趋势^[12],适用于电力负荷预测等需要研究复杂时序依赖的任务。LSTM深度学习的原理如图3所示。

LSTM网络运行时,每个时刻的样本对应一个单元,而每个单元有3个输入。其中,x_t为当前时刻的电力负荷输入,h_t_-1为前一时刻单元的输出,C_t_-1为前一时刻单元的记忆;每个单元又存在当前时刻的输出h_t和记忆状态C_t两个输出。同时,模型通过输入门、输出门和遗忘门3个可学习的门控机制来调控信息流动,从而使LSTM网络能够在处理序列数据时持续传递和更新关键信息^[8]。单个LSTM单元的内部结构如图4所示。

根据LSTM单元结构原理,建立电力负荷数据模型过程如下。

(1)遗忘门选择性舍弃无用信息。遗忘门能将前面单元中的分量选择性遗忘,从而避免过多记忆影响网络对现在时刻输入的处理。根据当前时刻的电力负荷数据和前一时刻的输出h_t_-1,由式(4)确定单元中需要保留和舍弃的信息。

(4)f_t=σ(W_f[h_t_-1,x_t]+b_f)

式(4)中:f_t为遗忘门在t时刻的输出向量,是经过该环节保留的信息;W_f为遗忘门权重矩阵;b_f为遗忘门偏移向量;σ为激活函数 Sigmod,其表达式为

(5)σ(x)=$\frac{1}{1+{e}^{-x}}$

Sigmod函数能够将输入量压缩到(0,1)区间上,若向量的某个分量在Sigmod处理后变为0,即代表这个分量上的信息已被遗忘。

(2)记忆门提取有效信息进行记忆。对于现在时刻的输入,通过记忆门来控制是否将其存放进新的单元中。先通过tanh函数从当前新输入的负荷数据中提取有效信息,即

(6)C'_t=tanh(W_c[h_t_-1,x_t]+b_c)

式(6)中:C'_t为临时记忆状态;W_c为临时记忆状态的权重矩阵;b_c为临时记忆状态的偏置项。

再根据式(7)对提取出的信息进行筛选。

(7)i_t=σ(W_i[h_t_-1,x_t]+b_i)

式(7)中:i_t为输入门在t时刻的输出向量;W_i为输入门的权重矩阵;b_i为输入门的偏置向量。

通过Sigmod函数可以对每个分量在(0,1)区间上进行评级,评级越高则后续有越多记忆进入单元状态。

(3)单元状态更新。根据遗忘门处理后仅保留关键信息的上一单元状态,以及记忆门的计算结果C'_t,根据式(8)对单元状态进行更新。

(8)C_t=f_t☉C_t_-1+i_t☉${\tilde{C}}_{t}$

即可得到现在时刻的单元状态C_t。

(4)输出门计算输出值。最后,通过输出门计算当前时刻单元的输出值。先将当前时刻的输入值x_t与上一时刻的输入值h_t整合,并用Sigmod函数计算得到一个输出比例。

(9)o_t=σ(W_o[h_t_-1,x_t]+b_o)

式(9)中:o_t为计算得到的输出比例;W_o和b_o分别为输出门的权重矩阵和偏置向量。

最后使用tanh函数处理单元状态C_t使其压缩映射到(-1,1)区间中,与输出比例o_t进行逐元素相乘,即可获得当前时刻LSTM网络输出的标量值h_t。

(10)h_t=o_t☉tanh(C_t)

式(10)中:tanh为tanh函数。

1.4 结合多头注意力机制的改进模型构建

简单的LSTM网络输出结构按照时间顺序依赖构建,这导致其对不同时间步权重的分配能力较弱,当序列中存在关键事件或周期性突变时则难以显式捕捉这些异常或重要点。因此在LSTM网络的基础上引入MHA,从而提升模型对关键信息的聚焦能力^[13]。MHA机制的流程如图5所示。

MHA作为Transformer模型中的关键组成部分,核心思想在于通过并行地运行多个独立的注意力头,让模型在同一时刻从不同的角度关注输入信息的不同部分,学习到输入数据的不同表示^[14]。在MHA机制中,输入序列首先通过线性变换层被映射为几个不同表示的子集;然后对每个子集并行地执行缩放点积注意力运算,使得每个注意力头能够捕获序列中不同位置之间的依赖关系,并生成相应的注意力输出。最后将这些输出通过拼接操作进行整合,并经由一个线性变换层得到多头注意力的最终输出表示^[15]。具体过程如下。

经过前述LSTM模型输出得到隐藏状态序列H_LSTM,可表示为

(11)H_LSTM={h₁,h₂,…,h_T}∈${R}^{T\times {d}_{h}}$

式(11)中:h_T为第T个时间步的 LSTM 隐藏状态;T为时间步总数;d_h为隐藏状态的维度。

将其同时作为查询Q(Query)、键K(Key)和值V(Value)输入多头注意力层,并进行线性变换,用于计算各时间步之间的动态关联,计算公式为

(12)

$\left\{\begin{array}{l}Q=H{W}^{Q}\\ K=H{W}^{K}\\ V=H{W}^{V}\end{array}\right.$

式(12)中:H为LSTM模型输出的隐藏状态序列。

然后通过softmax函数激活确定每个位置对其他位置的关注度,进行缩放点积注意力(scaled dot-product Attention,SDA)计算,计算公式为

(13)SDA(Q,K,V)=softmax$\left(\frac{Q{K}^{T}}{\sqrt{{d}_{k}}}\right)$V

式(13)中:d_k为键向量维度,用于缩放点积结果,防止内积值过大导致softmax梯度消失。

该过程会被并行地执行n次,每个注意力头采用不同的线性映射参数,得到各个多头注意力head_i,可表示为

(14)head_i=SDA(Q${W}_{i}^{Q}$,K${W}_{i}^{K}$,V${W}_{i}^{V}$)

每个注意力头可从不同角度学习序列中的时序依赖关系,将每个头的输出拼接,可表示为

(15)Z=Contact(head₁,head₂,…,head_n)W^O

式(15)中:W^O为输出权重矩阵;Z为由多个注意力拼接而成的一个大的特征矩阵,再将其进行线性变换得到最后的注意力输出o_t。

将该输出在时间维度进行平均池化,获得全局上下文向量c,可表示为

(16)

$c=\frac{1}{T}\sum _{t=1}^{T}{o}_{t}$

向量c被输入至最终的全连接层投影成一个标量输出,即可生成下一时刻的负荷预测值,可表示为

(17)y_T₊₁=W_fcc+b_fc

式(17)中:W_fc为全连接层的权重矩阵;b_fc为偏置项。

通过在LSTM中引入多头注意力机制,能提高模型对长时依赖信息的表示能力,更准确地对电力负荷的时序特征与周期变化进行捕捉;同时增强模型对不同时点的判别能力,有利于捕捉周末、节假日等带来的特殊负载模式。

1.5 滑动窗口式滚动预测

为利用模型实现对未来连续多日的负荷预测,采用滑动窗口的思路。“窗口”代表一个固定大小的数据集合,它在时间序列数据上按照设定的步长滑动,每滑动一次,窗口内就会包含一组新的数据点,并移除一组旧的数据点。因此,模型可根据最新数据实时动态更新输入特征,使得模型能够快速适应数据变化,提供连续且准确的预测结果。

选取窗口长度为30 d,通过滑动窗口构建LSTM神经网络的输入序列。进行预测时,不直接一次性输入所有未来的特征,而是在每一步预测后利用预测值更新一系列历史滞后数据特征(prev_load_k),再以此作为下一步预测的输入。因此,预测值不仅是当前时刻的输出,还参与构造未来时刻的输入,有效模拟了真实生产场景下逐日滚动预测的流程,确保模型在测试阶段不依赖未来信息,能够更加真实准确地反映模型性能。

2 电力数据样本预处理

为验证MHA-LSTM模型的性能,选取某地区2020—2023年采样间隔15 min的电力负荷数据构建实验数据集。电力数据的采集常受到传感器故障、通信延迟、采样不连续等因素干扰,因此采集结果常存在时间戳不一致、数据缺失、离群点等质量问题,若直接采用原始数据将严重影响后续建模与预测的准确性。因此在开始模型训练前对4年(2020—2023年)的原始负荷数据进行了系统性预处理操作,具体包括:数据时间戳对齐与缺失值补全、异常值检测与修复、小波去噪以及时间特征构造与归一化。处理前后数据对比如图6和图7所示。

2.1 时间对齐与缺失值补全

为构建具备完整时间连续性的负荷时间序列,先依据原始数据的起止时间信息,采用固定间隔为15 min的采样周期,生成理论上的完整时间戳序列,并将其作为统一的时间索引模板。随后,通过与原始负荷数据进行时间索引对齐操作,识别其中存在的时间缺失点。针对缺失值问题,首先采用线性插值进行初步填补。该方法基于相邻时点的线性趋势关系对局部缺失区域进行数值估计,适用于较短周期内的缺失情况。

同时,考虑到电力负荷序列普遍呈现明显的周期性波动和趋势性变化特征,进一步采用季节性-趋势分解方法对插值前的完整负荷序列进行时序结构建模。该方法基于局部加权回归的思想,将原始时间序列Y(t)分解为长期趋势项T(t)、周期性季节项S(t)以及不规则波动项R(t)之和,如式(18)所示,从而实现对时间序列结构性成分的精细填补。

(18)Y(t)=T(t)+S(t)+R(t)

针对缺失位置的数值补全问题,在局部线性插值的基础上采用由趋势分量与季节分量构成的组合表达式进行重构,从而在保持时间序列整体时序特征的前提下对缺失数据点进行估计和补全。

2.2 异常值检测与修复

电力负荷序列数据在采集与传输过程中,常出现传感器失灵导致数据漂移、通信中断丢包引起信号错乱、设备运维调试带来异常负荷波动等现象,导致局部产生明显不符合实际情况的异常点。为减少异常值对模型训练的干扰,采用基于滑动窗口的滚动统计方法开展异常值检测,原理如图8所示。

滑动窗口法通过构造一个固定长度的窗口在数据序列上按预设步长依次滑动,实现对窗口内数据段的异常检测和平滑处理,如图8所示。具体而言,这里选择30 d作为窗口长度,对应96×30个数据点,在每一滑动窗口内动态计算负荷序列的均值与标准差。再根据三西格玛准则构建上下限异常区间,若某时刻的负荷观测值超出以窗口内数据段的均值为中心、3倍标准差为幅度的区间范围,则判定其为异常点。为消除异常点对后续建模和预测的影响,将所有识别出的异常点统一处理为缺失值,并采用上文提到的方法进行填补,从而实现对所有异常突变点的平滑处理,确保数据在局部统计结构下的平稳性与时序连续性。

2.3 小波阈值去噪

电力负荷序列中普遍存在由用户用电行为随机性、测量设备灵敏度或外部环境变化引起的高频随机扰动。若不对样本中存在的这些噪声进行抑制,后续的预测建模中容易产生模型过拟合或泛化性能下降等问题。

为提升数据的平稳性与信噪比,采用基于小波变换的阈值去噪方法以实现对高频噪声成分的抑制处理。具体流程如下:首先选取Daubechies小波族中的四阶小波函数(db4)对原始负荷时间序列进行十层离散小波变换,从而获取多尺度下的逼近系数。再采用基于中位数绝对偏差(median absolute deviation,MAD)的鲁棒性阈值估计方法来估算信号高频部分的标准差σ,而阈值上限根据通用阈值公式[式(19)]得出。

(19)T=σ

$\sqrt{2lnN}$

式(19)中:N为数据的长度。

据此即可构建软阈值函数为

(20)soft(x,T)=$\left\{\begin{array}{ll}X-T,& x＞T\\ 0,& \left|x\right|\le T\\ X+T,& x＜-T\end{array}\right.$

再将软阈值函数应用于除逼近系数外的所有细节系数,从而能够在有效抑制随机噪声的同时保留显著信号特征。最后,通过逆小波变换即可重构出去噪后的平滑序列^[16]。通过小波去噪处理,能够在保留序列主要趋势项与周期结构的同时有效滤除高频噪声成分,为后续建模与预测任务提供更为平稳且具代表性的数据输入。

2.4 数据标准化处理

为保证模型训练过程中各变量尺度的统一性及优化算法的稳定性,最后再采用最小-最大归一化方法,将电力负荷值线性映射至区间[0,1],以降低特征值范围差异对参数估计的影响,提高模型收敛速度与预测性能。

完成数据处理后,可以观察到样本呈现出显著的年周期性波动。因此后续实验将采取其中一年的数据作为输入,构建全年电力负荷预测模型。

3 MHA-LSTM模型实验验证

3.1 实验环境及参数设置

本实验在Python3.9环境下运行,基于Pytorch 1.11.0深度学习框架实现MHA-LSTM模型的搭建,采用的开发工具为Spyder 5.5.1。完成网络搭建后,经过调整和尝试确定了各参数的合适取值,如表2所示。

3.2 评价指标

为量化分析和对比模型性能,采用均方根误差(root mean square error,RMSE)、平均相对误差百分比(mean absolute percentage error,MAPE)、决定系数(R²),以及相对分析误差(relative percent deviation,RPD)4个指标对模型进行评估。各项指标的计算公式分别为

(21)

$RMSE=\sqrt{\frac{\sum _{i=1}^{n}({Y}_{i}-{\hat{Y}}_{i}{)}^{2}}{n}}$

(22)

$MAPE=\frac{1}{n}\sum _{i=1}^{n}\left|\frac{{\hat{Y}}_{i}-{Y}_{i}}{{Y}_{i}}\right|\times 100\%$

(23)

${R}^{2}=1-\frac{\sum _{i=1}^{n}({\hat{Y}}_{i}-{Y}_{i}{)}^{2}}{\sum _{i=1}^{n}({\stackrel{-}{Y}}_{i}-{Y}_{i}{)}^{2}}$

(24)

$RPD=\frac{\sqrt{\frac{\sum _{i=1}^{n}({\hat{Y}}_{i}-{\hat{Y}}_{avg}{)}^{2}}{n-1}}}{RMSE}$

式中:Y_i为第i个数据的真实值;${\hat{Y}}_{i}$为第i个数据的

预测值;${\stackrel{-}{Y}}_{i}$为实测数据平均值;${\hat{Y}}_{avg}$为预测数据的平均值;R²反映了模型的拟合优度,越接近1说明模型性能越好;RPD则能衡量模型的相对预测能力,当RPD>2时说明模型具有极佳的预测性能^[15]。

3.3 实验结果

实验中选取2021年的电力负荷数据作为训练集,获得全年电力负荷数据的预测模型。为更全面地分析所提出的MHA-LSTM模型性能,分别采用以下三种网络模型进行预测并对比结果。

(1)简单LSTM模型:不含其他模块,LSTM网络直接计算输出。

(2)AM-LSTM模型:在LSTM的基础上增加简单的注意力机制(attention mechanism, AM)。

(3)MHA-LSTM模型:进一步使用MHA机制取代AM引入LSTM。

各参数设置相同的情况下,3种模型的预测结果与实际数据值的对比如图9所示。3种模型的量化评价指标对比如表3所示。

通过图像和表格可见,简单LSTM模型虽然一定程度上具备捕捉长期时序特征的能力,但仍与实际值存在较大偏差,且预测值相对实际值表现出了滞后性。而在LSTM中引入AM机制后,各项性能指标均有所改善,但预测精度依然较低,滞后现象依然存在。而采用MHA机制代替AM机制引入LSTM后,RMSE和MAPE值显著低于前两者,预测精度得到极大改善;且RPD大于2.5,表明模型具有极佳的预测性能^[16]。

MHA-LSTM训练过程中的损失值变化情况如图10所示。经过500次训练后,损失值已经收敛到低于0.005的水平,进一步说明模型的预测性能良好。

以上实验结果表明,所提出的MHA-LSTM预测模型能够比较准确地捕捉到电力数据中的短期波动规律和长期变化趋势,相较简单LSTM模型和AM-LSTM模型具有更好的预测性能,能够实现对电力负荷进行准确预测的目标。

4 结论

针对长期电力负荷的建模和预测问题,提出一种结合长短期记忆网络与多头注意力机制的预测模型MHA-LSTM,经实验验证得到以下结论。

(1)通过从原始数据中提取周期性特征、类别特征、历史滞后特征等信息,提升了特征的多样性,有效增强了模型对长序列中复杂非线性因素的学习能力。

(2)考虑到电力负荷数据的复杂时序依赖关系,采用LSTM网络作为预测的基础模型,实现了对电力数据长期动态变化特征的捕捉。

(3)引入多头注意力机制(MHA),提升了模型对异常点与周期性突变等关键时间信息的关注能力,增强了模型对关键时间步的建模效果。

(4)与简单LSTM模型及AM-LSTM模型的对比实验结果表明,所提出的MHA-LSTM模型在拟合优度与预测精度方面均表现出显著优势,验证了该方法的可行性与准确性。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	麦峻锋. 高速公路运维用能动态需求预测研究[D]. 广州: 广州大学, 2024.

[2]	Mai Junfeng. Research on dynamic demand forecasting for energy consumption in highway operation and maintenance[D]. Guangzhou: Guangzhou University, 2024.

[3]	Corentin K, Yacine R, Monjur M. Electrical load forecasting mo-dels: a critical systematic review[J]. Sustainable Cities and Society, 2017, 35: 257-270.

[4]	荆世博, 陈伟伟, 曹茜, 等. 基于模型样本加权的电力负荷预测方法[J]. 电子器件, 2024, 47(6): 1662-1668.

[5]	Jing Shibo, Chen Weiwei, Cao Qian, et al. Electric load forecasting based on model sample re-weighting method[J]. Chinese Journal of Electron Devices, 2024, 47(6): 1662-1668.

[6]	方磊, 楚成博, 何映虹, 等. 基于自适应辛几何模态分解-多元线性回归-卷积长短时记忆的台区电力负荷预测[J]. 现代电力, 2025, 42(4): 840-846.

[7]	Fang Lei, Chu Chengbo, He Yinghong, et al. Power load forecasting in station areas based on ASGMD-MLR-CLSTM[J]. Modern Electric Power, 2025, 42(4): 840-846.

[8]	宋雨露, 樊艳芳, 刘雨佳, 等. 基于深度神经网络-近似线性网络混合模型的电力系统状态估计方法[J]. 科学技术与工程, 2022, 22(25): 11041-11048.

[9]	Song Yulu, Fan Yanfang, Liu Yujia, et al. Power system state estimation method based on deep neural network-proline network hybrid model[J]. Science Technology and Engineering, 2022, 22(25): 11041-11048.

[10]	Khwaja A S, Anpalagan A, Naeem M, et al. Joint bagged-boosted artificial neural networks: Using ensemble machine learning to improve short-term electricity load forecasting[J]. Electric Power Systems Research, 2020, 179: 106080.

[11]	段忠炜, 褚明洋, 刘芳, 等. 基于灰狼算法优化支持向量机的短期电力负荷预测[J]. 武汉纺织大学学报, 2025, 38 (6): 59-64.

[12]	Duan Zhongwei, Zhu Mingyang, Liu Fang, et al. Short-term power load forecasting based on grey wolf algorithm optimized support vector machine[J]. Journal of Wuhan Textile University, 2025, 38 (6): 59-64.

[13]	Bouktif S, Fiaz A, Ouni A, et al. Multi-sequence LSTM-RNN deep learning and metaheuristics for electric load forecasting[J]. Energies, 2020, 13: 391.

[14]	胡晶. 基于长短期记忆网络的电力负荷预测模型[J]. 许昌学院学报, 2025, 44(2): 117-122.

[15]	Hu Jing. Power load forecasting model based on long short-term memory network[J]. Journal of Xuchang University, 2025, 44(2): 117-122.

[16]	周磊, 竺筱晶. 基于MA-CNN-LSTM和自注意力机制的单变量短期电力负荷预测[J]. 科学技术与工程, 2024, 24(22): 9408-9416.

[17]	Zhou Lei, Lan Xiaojing. Univariate short-term electrical load based on MA-CNN-LSTM-self attention[J]. Science Technology and Engineering, 2024, 24(22): 9408-9416.

[18]	Reid T C, Alfonso F, Lavazza L, et al. A conceptual basis for feature engineering[J]. Journal of Systems and Software, 1999, 49: 3-15.

[19]	Kwon B S, Park R J, Song K B. Short-term load forecasting based on deep neural networks using LSTM layer[J]. Journalof Electrical Engineering & Technology, 2020, 15: 1501-1509.

[20]	王逸阳. LSTM与多头注意力机制视角下的洪水预报模型研究[D]. 郑州: 华北水利水电大学, 2023.

[21]	Wang Yiyang. Study on flood forecasting model from the perspective of LSTM and multi-head attention mechanism[D]. Zhengzhou: North China University of Water Resources and Electric Power, 2023.

[22]	李伟, 李晓舟, 樊沛林, 等. 基于多头自注意力机制和长短期记忆网络方法的区域售电量预测[J]. 电力需求侧管理, 2025, 27(1): 67-73.

[23]	Li Wei, Li Xiaozhou, Fan Peilin, et al. Regional electricity sales forecasting based on multi-head attention mechanism and long short-term memory network[J]. Power Demand Side Management, 2025, 27(1): 67-73.

[24]	汪强, 李清阳, 席磊, 等. 融合多头注意力机制的LSTM冬小麦需水量预测[J]. 中国农业大学学报, 2025, 30(4): 38-50.

[25]	Wang Qiang, Li Qingyang, Xi Lei, et al. LSTM winter wheat water demand prediction based on multihead attention mechanism[J]. Journal of China Agricultural University, 2025, 30(4): 38-50.

[26]	涂新宁, 余星辰, 刘德权, 等. 基于小波分析的CNN-LSTM瓦斯浓度预测模型研究[J]. 华北科技学院学报, 2025, 22(3): 21-30.

[27]	Tu Xinning, Yu Xingchen, Liu Dequan, et al. A study of CNN-LSTM model for coal gas concentration prediction model based on wavelet analysis[J]. Journal of North China Institute of Science and Technology, 2025, 22(3): 21-30.