基于Transformer与多尺度注意力卷积网络的多任务非侵入式负荷分解方法

程鹏举; 樊艳芳; 刘江峰; 蔺红

doi:10.12404/j.issn.1671-1815.2503008

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (6) :2442-2452 DOI: 10.12404/j.issn.1671-1815.2503008

电工技术

基于Transformer与多尺度注意力卷积网络的多任务非侵入式负荷分解方法

作者信息 +

Multi-task Non-intrusive Load Disaggregation Method Based on Transformer and Multi-scale Attention Convolutional Network

Author information +

文章历史 +

摘要

随着智能电网与可再生能源的迅速发展,非侵入式负荷分解技术在电力资源优化配置中展现出重要应用潜力。然而,现有方法在充分建模长时序依赖,精确捕捉多样化电器特征,以及确保功率与状态预测一致性方面仍面临挑战。基于此,提出了一种基于Transformer与多尺度注意力卷积网络的多任务非侵入式负荷分解架构,该架构包含功率分解与状态识别两个并行分支。功率分解分支基于Transformer结构,利用其多头自注意力机制深入捕捉负荷序列的长距离依赖与动态模式。状态识别分支则针对性设计了一种卷积神经网络结构,通过融合多尺度卷积模块与通道-空间注意力机制,有效提取电器开关事件的关键特征。为增强任务间的一致性,模型将两个独立分支的功率预测值与状态概率进行逐点相乘,利用状态信息直接约束功率输出,显著抑制了电器关闭状态下的功率误报。在参考能源分解数据集(reference energy disaggregation dataset, REDD)和英国家庭电器级用电数据集(UK domestic appliance-level electricity, UK-DALE)上的实验结果表明,所提模型在平均绝对误差(mean absolute error, MAE)、信号聚合误差(signal aggregate error,SAE)以及F₁分数等评估指标上均优于现有主流方法。

Abstract

Non-intrusive load disaggregation technology offers significant potential for power resource optimization in smart grids. However, several challenges are faced by existing methods. Long-term temporal dependencies are inadequately modeled. Diverse appliance features are captured imprecisely. Predictions between power and state are also inconsistent. A multi-task non-intrusive load disaggregation architecture was proposed to address these limitations. The architecture was based on a transformer and a multi-scale attention convolutional network. Two parallel branches were contained within the architecture. These branches were designated as power disaggregation and state recognition. A transformer structure was used in the power disaggregation branch. A multi-head self-attention mechanism was employed by this structure to capture long-range dependencies and dynamic patterns in the load sequence. In the state recognition branch, a dedicated convolutional neural network was designed. Multi-scale convolutional modules and a channel-spatial attention mechanism were utilized by this network to extract key features of appliance switching events. Inter-task consistency was enhanced through a specific fusion mechanism. Element-wise multiplication was performed between predicted power values and state probabilities. The power output was directly constrained by the use of state information. As a result, appliances were identified in off-states. In these states, power false positives were significantly suppressed. The proposed model was evaluated on the public REDD (reference energy disaggregation dataset) and UK-DALE (UK domestic appliance-level electricity) datasets. Superior performance over existing mainstream methods is achieved. This performance is demonstrated across key evaluation metrics. These metrics are MAE (mean absolute error), SAE (signal aggregate error), and the F₁-score.

Graphical abstract

关键词

非侵入式负荷分解 / 深度学习 / 多任务 / 卷积神经网络 / 注意力机制

Key words

non-intrusive load disaggregation / deep learning / multi-task / convolutional neural networks / attention mechanism

引用本文

引用格式 ▾

程鹏举, 樊艳芳, 刘江峰, 蔺红. 基于Transformer与多尺度注意力卷积网络的多任务非侵入式负荷分解方法[J]. 科学技术与工程, 2026, 26(6): 2442-2452 DOI:10.12404/j.issn.1671-1815.2503008

CHENG Peng-ju, FAN Yan-fang, LIU Jiang-feng, LIN Hong. Multi-task Non-intrusive Load Disaggregation Method Based on Transformer and Multi-scale Attention Convolutional Network[J]. Science Technology and Engineering, 2026, 26(6): 2442-2452 DOI:10.12404/j.issn.1671-1815.2503008

登录浏览全文

4963

注册一个新账户忘记密码

近年来,随着风光等可再生能源并网比例持续上升^[1],其出力的间歇性和波动性对电网稳定运行产生不利影响^[2-3]。为应对这一挑战,挖掘需求侧资源的响应潜力成为提升系统灵活性的重要手段^[4]。其中,居民负荷作为需求侧的重要组成部分,其调节潜力日益受到重视^[5]。对各类电器设备运行状态的准确识别与实时监测,是实现居民用电行为精细化管理的关键^[6]。非侵入式负荷监测(non-intrusive load monitoring, NILM)技术可通过分析用户总电表的用电数据,识别出不同电器的用电特征^[7-8],从而在无需为每台电器单独部署传感器的情况下,实现分项能耗的识别与监测^[9]。因此,NILM是实现居民负荷精细化监测与管理、支持电网需求侧响应的关键技术^[10]。

NILM的概念最早由Hart^[11]提出,旨在通过分析单一接入点采集的总电力数据,反向推断用户内部电器的运行状态^[12]。早期的技术受限于采样精度和计算能力,难以准确识别电器状态^[13]。随着机器学习算法的发展,隐马尔可夫(hidden Markov model, HMM)等时间序列模型被引入NILM领域,用于识别不同电器的用电模式。随后,许多学者对隐马尔可夫模型进行扩展、优化。例如,Kolter等^[14]引入因子隐马尔可夫模型(factorial HMM, FHMM),利用多个隐状态的并行结构增强模型的表达能力,以及基于超状态HMM的方法实现了多状态负载的分解^[15]。随着深度学习技术的兴起,研究人员开始将其应用于NILM问题。Kelly率先将卷积神经网络(convolutional neural network, CNN)与长短期记忆神经网络等深度学习方法引入该领域,突破了基于人工特征工程方法的局限性,实现负荷波形中时-频域特征的自动提取^[16]。

近年来,越来越多的研究者应用深度学习技术,进一步改进了负荷分解算法^[17-18]。如文献[19]构建了一种基于全卷积深度神经网络与多标签分类技术的时间池化NILM模型,能够实现对多种电器运行状态的识别与功率的分解。国内学者也在此方向上取得了重要进展,如在文献[19]的基础上,文献[20]提出了多尺度注意力NILM模型,引入多尺度注意力机制,用于增强电器的时间特征表达能力,提升了模型的准确性与泛化性能。然而,现有方法在充分建模长时序依赖上仍存在挑战。文献[21]进一步提出一种多尺度特征融合与多头自注意力机制的模型,结合卷积的局部特征提取方面的优势与注意力机制在全局建模中的能力,弥补了CNN在捕捉长时依赖关系上的不足。基于注意力机制在全局建模取得的良好成效,文献[22]提出一种融合特征提取与Transformer的分解模型。该模型利用多头自注意力捕捉长程依赖并关注多重特征,但其在局部特征与全局信息的有效融合方面仍面临挑战。

与此同时,相关研究开始探索将电器状态识别与功率分解协同处理,如文献[23]提出的子任务门控网络架构,联合优化了独立的回归网络与分类网络。然而,该架构仅依赖标准CNN结构,限制了其提取多样化电器特征的能力。为此,文献[24]针对标准CNN特征提取不足的问题,提出了一种结合CNN、门控循环单元与高斯混合模型的方法,实现了用电设备的状态识别和功率分解。在中国“双碳”目标战略驱动下,NILM技术正向节能潜力巨大的工商业应用拓展。国内相关研究,如文献[25]对楼宇负荷的分解探索及文献[26]对工商业负荷复杂性的分析,都指出了现有方法在处理此类负荷时面临的数据特征复杂、模型普适性差等挑战。这些研究表明,在更复杂的应用场景中,已有模型在多样化特征捕捉与多任务建模等能力上面临着更大的挑战。

针对已有研究在精确捕捉多样化电器特征,以及有效利用不同任务间的内在关联以提升预测一致性方面的挑战,现提出一种融合Transformer与多尺度注意力卷积网络的多任务非侵入式负荷分解模型。该模型能够同时处理功率分解与状态识别两项核心任务,提升复杂场景下的负荷分解能力。具体而言,在功率分解部分结合CNN的局部特征提取能力与Transformer的全局建模优势,有效捕捉多样化电器特征;在状态识别部分引入多尺度卷积与通道-空间注意力机制,旨在进一步增强电器特征的表达能力。此外,通过构建联合损失函数并采用逐元素相乘的融合方式,实现多任务的同步优化与互补增强,以提高负荷分解及状态识别能力。

1 理论分析

1.1 问题分析

NILM技术通过监测建筑物的总用电功率,分解出各个单一用电器的功率使用情况,该问题可描述为

(1)

${P}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}\left(\mathrm{t}\right)=\stackrel{n}{\sum _{i=1}}{\alpha }_{i}\left(t\right){p}_{i}\left(t\right)+\epsilon \left(t\right)$

式(1)中:P_total(t)为建筑物的用电总功率;α_i(t)为电器i在t时刻的开关状态,其中1表示运行,0表示关闭;p_i(t)为电器i的运行功率;ε(t)为传感器在测量过程中所产生的测量误差。

1.2 负荷特征分析

常见居民负荷根据其功耗变化特征可分为不同类型,如图1所示。Type-I型负荷指仅具开关状态的设备,如灯具和电热水壶等电阻性负载;Type-II型负荷为具有多个有限操作状态的设备,如洗衣机,其功耗随工作状态交替变化;Type-III型负荷为能耗随使用需求持续变化的连续可调设备,如调光灯,其功耗随着亮度的调节而呈现动态非离散变化;Type-IV型负荷则为持续消耗能量的设备,如监控设备,要求不断运行以进行实时监控,功耗稳定且持续存在。

上述对居民负荷类型的划分揭示了不同设备复杂的用电特性,对负荷分解提出了不同要求。对于多工作模式的设备,其功率阈值的设定需以最低功耗状态为基准。但需避免设定过低,以免误判信号影响状态识别的准确性。与复杂的负荷分解技术相比,运行状态识别具有更高的分辨精度。选取了冰箱、洗衣机、微波炉和洗碗机等具有代表性的Type-I型和Type-II型用电设备作为研究对象,验证了结合功率分解及状态识别在不同设备上的实际应用价值。

通过构建融合负荷分解与状态识别的协同算法模型,能够有效弥补单一阈值法的局限性,进而实现系统整体性能的优化提升。

2 基于Transformer与多尺度注意力卷积网络的负荷分解模型

2.1 CNN-Transformer混合网络

CNN的典型架构由卷积层、池化层和全连接层构成。这种层次化架构允许网络从局部特征逐步提取,形成更高级抽象的特征表示。然而,CNN固有的局部感受野限制了其有效捕捉数据长距离依赖关系的能力。相较之下,Transformer凭借其高效的并行计算优势和对长距离依赖的出色建模能力,已成为处理序列数据的核心技术。Transformer在全局特征提取方面的优势可有效弥补CNN的上述局限,进而提升模型对全局模式的感知。为此,设计了一种融合CNN与Transformer的算法模型,用于NILM中的功率分解任务。模型结构如图2所示。

(1)位置嵌入。在处理NILM的时序数据时,数据点的位置信息至关重要。然而,Transformer核心的自注意力机制本身无法感知序列的位置。因此必须引入位置嵌入补充这一关键信息,使模型能够理解时序依赖关系。将卷积、池化处理后的数据添加到一个可学习的位置嵌入矩阵中,捕获序列位置编码,公式为

(2)

$E\left(X\right)=\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}\left[\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\right(X\left)\right]+{E}_{pose}$

式(2)中:E(X)为位置编码后的输出矩阵;Pool为池化处理;Conv为卷积处理;X为输入的聚合功率片段;E_pose为位置编码矩阵。

(2)多头自注意力计算。得到的嵌入矩阵E(X)被馈送到Transformer模块中,该结构由l层Transformer块和每层内的注意力头组成。单头自注意力可以用查询(query,Q)、键(key,K)和值(value,V)矩阵表示,通过对输入矩阵进行线性变换得到,即

(3)

$\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q,K,V)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{Q{K}^{\mathrm{T}}}{\sqrt{{d}_{\mathrm{k}}}}\right)V$

式(3)中:Attention为自注意力机制的输出; softmax为权重归一化函数;1/

$\sqrt{{d}_{\mathrm{k}}}$

为缩放因子,防止内积过大导致梯度消失。

同样,多头自注意力将隐藏空间划分为多个具有参数矩阵的子空间,每个子空间通过独立参数矩阵W^Q_i、W^K_i、W^V_i生成对应的Q_i、K_i、V_i。各子空间并行执行注意力计算,公式为

(4)

$\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{i}=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q{{W}^{\mathrm{Q}}}_{i},K{{W}^{\mathrm{K}}}_{i},V{{W}^{\mathrm{V}}}_{i})$

式(4)中:head_i为多头注意力输出。

将多头输出沿特征维度拼接,并通过可学习矩阵W^O进行投影变换:该投影操作有助于减少长连接头部的维度,从而了解哪些注意力头部更值得注意,参数矩阵通过反向传播优化学习得到,公式为

(5)

$\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{H}\mathrm{e}\mathrm{a}\mathrm{d}\left(X\right)=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}({h}_{1},{h}_{2},\dots,{h}_{h}){W}^{\mathrm{O}}$

式(5)中:MultiHead为多头自注意力机制的输出;Concat为拼接操作;h_i为不同的注意力头,其中i=1,2,…,h。

(3)前馈网络及功率输出。多头自注意力机制的输出通过前馈神经网络处理,该网络采用GELU激活函数进行非线性变换,如式(6)所示。此外,在注意力模块和前馈神经网络处理之后均引入残差连接和层归一化,以促进梯度传播并稳定隐藏状态的动态特性。

(6)

$\mathrm{F}\mathrm{F}\mathrm{N}\left(X\right)=\mathrm{G}\mathrm{E}\mathrm{L}\mathrm{U}(X{W}_{1}+{b}_{1}){W}_{2}+{b}_{2}$

式(6)中:FFN为全连接前馈网络的输出;W₁、W₂分别为前馈网络的权重矩阵;b₁、b₂分别为前馈网络的偏置向量。

将最后层归一化的输出,通过反卷积恢复至原始序列长度。随后,经过两层使用Tanh激活的全连接层,将特征维度映射到最终的功率分解输出维度,公式为

(7)

$\mathrm{O}\mathrm{u}\mathrm{t}\left(X\right)=\mathrm{T}\mathrm{a}\mathrm{n}\mathrm{h}\left[\mathrm{D}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{v}\right(X)W\text{'}{\mathrm{ }}_{1}+b\text{'}{\mathrm{ }}_{1}]W\text{'}{\mathrm{ }}_{2}+{b}_{2}$

式(7)中:W' ₁、W' ₂分别为输出层的权重矩阵;b' ₁、b' ₂分别为输出层的偏置向量;Tanh为激活函数;Deconv为反卷积。

2.2 多尺度注意力卷积网络

针对状态识别任务,设计了一种多尺度注意力卷积网络(multi-scale attentional convolutional network,MAC-Net),通过多尺度特征提取和通道-空间注意力机制实现高判别性特征学习。

MAC-Net采用级联-并联混合拓扑结构,如图3所示,包含以下核心组件。

(1)初始卷积模块。初始卷积模块采用大小为7的卷积核对输入数据进行长感受野时序特征的提取,应用批归一化(batch normalization,BN)稳定训练并加速收敛。然后采用GELU激活函数引入非线性变换,相较于传统激活函数,GELU可提供更平滑的梯度流,有效缓解深层网络训练中的协变量偏移问题,公式为

(8)

${H}_{0}=\mathrm{G}\mathrm{E}\mathrm{L}\mathrm{U}\left\{\mathrm{B}\mathrm{N}\right[\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\left(X\right)+b\left]\right\}$

式中:H₀为初始卷积模块的输出;BN为批归一化;Conv为卷积操作。

(2)多尺度特征提取。为进一步提取多样化电器特征,设计多尺度特征提取模块为4个并行的卷积分支,每个分支采用不同的卷积核大小,以捕获不同尺度的特征模式。并通过批归一化统一处理,生成丰富的多尺度特征表示,通过特征拼接实现多尺度信息融合,公式为

(9)

${H}_{1}=\underset{k\in K}{\oplus }\left[\mathrm{B}\mathrm{N}\right\{\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\left({H}_{0}\right)\left\}\right]$

式(9)中:H₁为多尺度特征提取模块的输出;

$K=\{\mathrm{1,3},\mathrm{5,7}\}$

为不同尺度卷积核的大小;为通道维度拼接操作。

(3)通道-空间注意力。在多尺度特征提取后,设计通道和空间注意力模块进一步增强模型的特征表达能力,模型结构如图4所示。其中,GAP为全局平均池化,σ为sigmoid激活函数,C为特征通道数。通道注意力子模块基于压缩-激励(squeeze-and-excitation,SE)结构。squeeze阶段通过全局平均池化压缩空间信息生成通道向量,excitation阶段再利用全连接层学习通道间非线性依赖关系,动态重校准各通道权重,突出关键通道。空间注意力机制通过时序位置的不同重要性,对特征分布进行加权调节。通过这种双重注意力机制,模型能够在通道和空间两个维度上高效捕获序列数据中的重要信息。通道注意力公式为

(10)

${\alpha }_{\mathrm{c}}=\sigma \left\{\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{2}\right[\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left(\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{1}\right\{\mathrm{G}\mathrm{A}\mathrm{P}\left[{H}_{1}\right]\left\}\right)\left]\right\}$

式(10)中:α_c为通道注意力权重;Conv₁和Conv₂卷积分别用以通道数的压缩和恢复;GAP为全局平局池化。

对通道注意力的结果计算空间权重(spatial weights),得到通道注意力加权后的特征图在空间维度的平均值。然后经过空间注意力卷积和sigmoid激活函数得到空间注意力权重,公式为

(11)

${\alpha }_{\mathrm{s}}=\sigma \left[\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{d}}^{\mathrm{*}}\right({\alpha }_{\mathrm{c}}\left)\right]$

式(11)中:α_s为空间注意力权重;

$\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{d}}^{\mathrm{*}}$

为空间注意力卷积。

将多尺度特征提取模块得到的H₁经过通道和空间注意力加权后为

(12)

${H}_{2}={\alpha }_{\mathrm{c}}☉{\alpha }_{\mathrm{s}}☉{H}_{1}$

式(12)中:H₂为经过通道-空间注意力加权后的输出;☉为逐元素乘法。

(4)金字塔卷积模块。构建不同扩张率(dilation=1,2,3)的金字塔卷积模块进一步捕获更广泛的上下文信息,此外,模块中增加了一个卷积核为1的分支,用于特征压缩与融合。这种结构有效结合了局部特征和全局上下文信息,为分类任务提供了高语义的特征表示。

(13)

${H}_{3}=\sum _{r\in R}\left[\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{d}}\right({H}_{2}\left)\right]+\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\text{'}{\mathrm{ }}_{1}\left({H}_{2}\right)$

式(13)中:H₃为金字塔卷积模块的输出;

$R=\{\mathrm{1,2},3\}$

为扩张率集合;r为集合R中的元素;Conv_d为扩张率为r的卷积;Conv'₁为卷积核为1的卷积支路,实现特征压缩与跨尺度交互。

(5)状态预测模块。分类模块通过渐进式维度压缩实现逐时间步预测,第一层将通道数从256降维至128,并通过ReLU激活引入非线性特征,随后应用dropout机制以防止过拟合。第二层逐时间步卷积将通道数进一步降至1,并通过sigmoid激活函数将输出限制在[0,1],实现时间步二分类,每个时间步对应一个分类概率。

(14)${\hat{Y}}_{t}$=σ(${W}_{2}^{\mathrm{*}}$*{dropout[δ(${W}_{1}^{\mathrm{*}}$*H₃)]})

式(14)中:

${W}_{1}^{\mathrm{*}}$

、W^*₂分别为逐点卷积的权重;*为卷积运算;σ(·)为sigmoid函数;

$\delta (·)$

为ReLU激活函数。

2.3 所提NILM模型

在非侵入式负荷分解模型构建中,传统方法主要依赖循环神经网络及其变体进行功率分解建模。此类模型虽然能够较好地拟合连续变化型负载,如调光灯等Type-III型设备,但在处理具有显著开关特性的负载时,难以有效捕捉状态跃迁过程中的离散特征,导致功率分解精度的下降。为克服这一限制,多任务学习(multi-task learning, MTL)提供了一种富有潜力的机器学习范式。该方法的核心思想在于通过同时学习和优化多个相互关联的任务,旨在利用这些任务之间存在的潜在关联。与孤立地处理单一任务相比,MTL框架寻求从更全面的视角理解数据,促使模型学习到更强鲁棒性和泛化能力的特征表示,从而提升在各个相关任务上的综合性能。

为此,针对NILM任务的特点,提出了一种融合Transformer与多尺度注意力卷积网络的多任务混合模型。该模型通过并行优化功率分解与状态识别任务,有效提升了特征表达能力和模型整体效果,在功率分解和状态识别等任务上实现性能突破,网络结构如图5所示。

在功率分解中构建CNN-Transformer协同模块,利用卷积核的局部感知能力捕获时序数据的局部特征,同时借助Transformer中的多头自注意力机制建模长序列依赖关系;在状态识别中设计多尺度卷积模块,通过并行扩张卷积层捕获不同时间跨度的状态跃迁特征,并引入通道-空间双重注意力机制增强关键特征的区分度。最终通过门控融合机制实现多任务输出结果交互,公式为

(15)

${\hat{P}}_{t}={f}_{\mathrm{r}\mathrm{e}\mathrm{g}}\left({X}_{t}\right)☉{f}_{\mathrm{c}\mathrm{l}\mathrm{s}}\left({X}_{t}\right)$

式(15)中:

${\hat{P}}_{t}$

为t时刻最终的功率分解值;f_reg(·)为回归网络输出;f_cls(·)为分类网络输出。

2.4 模型训练参数设置

所构建的非侵入式负荷分解网络模型,其参数设置如表1所示。其中,功率分解网络中的参数配置,参考了文献[27]中的相关设计方案,并进行了适当的调整以优化性能,对于状态识别网络的参数设置,结合实验结果进行调优7和校正。

3 算例分析

3.1 数据集选取

文献[28]通过利用参考能源分解数据集(reference energy disaggregation dataset, REDD)与自建的国内数据集验证了NILM模型的跨地域适用性。然而,由于国内相关公开数据集稀缺,当前国内学者许多最新的研究普遍采用国际公开数据集作为模型验证基准^[29-30]。

选取能源分类数据集REDD和UK-DALE(UK domestic appliance-level electricity)进行实验仿真验证。其中,REDD包含了6所住宅的用电数据,房屋的聚合功率数据每1 s记录一次,各独立电器的采样周期为3 s。UK-DALE数据集记录了5个家庭长达655 d的用电数据。其家庭入网处聚合功率和各电器的采样周期统一为6 s。

3.2 评价指标

为评价模型在实验中的性能表现,选取平均绝对误差(mean absolute error, MAE)、信号聚合误差(signal aggregate error,SAE)以及F₁分数(F₁)来评价模型在实验中的性能。MAE作为回归任务中的常用评价指标,旨在反映实际分解误差的大小。SAE 是NILM领域重要的度量工具,用于衡量在一段时间内模型分解的总能量误差。MAE和SAE越小,说明模型精度越高。

(16)

$\mathrm{M}\mathrm{A}\mathrm{E}=\frac{1}{T}\stackrel{T}{\sum _{t=1}}\left|{\hat{y}}_{t}-{y}_{t}\right|$

式(16)中:

${\hat{y}}_{t}$

为t时刻的功率分解值;y_t为t时刻的功率标签值;T为时长。

(17)

$\mathrm{S}\mathrm{A}\mathrm{E}=\frac{\left|\hat{E}-E\right|}{E}$

式(16)中:

$\hat{E}$

和E分别为设备在一段时间内的预测值和真实值的能量损耗。

F₁用来衡量电器状态识别的准确性,是精确率和召回率的调和平均值,公式为

(18)

$P=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}$

(19)

$R=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}$

(20)

${F}_{1}=2\frac{PR}{P+R}$

式中:P为精确率;R为召回率;TP、TN、FP、FN 分别表示判定为正例的正样本数、判定为正例的负样本数、判定为负例的负样本数以及判定为负例的正样本数。

3.3 损失函数

针对多任务框架中功率分解与状态识别任务的优化冲突问题,使用了一种结合功率序列的连续性特征与设备状态的离散跃迁特性的双重监督机制。该机制通过引入改进的均方误差损失与二元交叉熵损失,从而提升模型在功率分解和状态识别任务中的综合性能。状态识别网络公式为

(21)

${\hat{o}}_{t}^{i}={f}_{\mathrm{o}\mathrm{n}}^{i}\left({X}_{t}\right)$

式(21)中:

${f}_{\mathrm{o}\mathrm{n}}^{i}(·)$

为第i个电器的状态识别网络函数;

${\hat{o}}_{t}^{i}\in \left[\mathrm{0,1}\right]$

为网络输出,表示将电器某一时刻的状态识别为开启的概率。

所提模型损失函数如式(22)~式(24)所示。式(22)为均方误差损失(mean squared error, MSE),用于计算预测的能耗序列

${\hat{p}}_{t}^{i}$

和真实能耗序列

${y}_{t}^{i}$

之间的误差。在此基础上,式(23)考虑状态识别任务,在功率分解任务的基础上乘以状态识别任务的输出

${\hat{o}}_{t}^{i}$

。式(24)为二元交叉熵损失,常用来衡量二分类任务。

(22)

${L}_{\mathrm{p}\mathrm{o}\mathrm{w}\mathrm{e}\mathrm{r}}^{i}=\frac{1}{T}\stackrel{T}{\sum _{t=1}}({y}_{t}^{i}-{\hat{p}}_{t}^{i}{)}^{2}$

(23)

${L}_{\mathrm{o}\mathrm{u}\mathrm{t}\mathrm{p}\mathrm{u}\mathrm{t}}^{i}=\frac{1}{T}\stackrel{T}{\sum _{t=1}}({y}_{t}^{i}-{\hat{p}}_{t}^{i}{\hat{o}}_{t}^{i}{)}^{2}$

(24)

${L}_{\mathrm{o}\mathrm{n}}^{i}=-\stackrel{T}{\sum _{t=1}}[{o}_{t}^{i}\mathrm{l}\mathrm{g}{\hat{o}}_{t}^{i}+(1-{o}_{t}^{i}\left)\mathrm{l}\mathrm{g}\right(1-{\hat{o}}_{t}^{i}\left)\right]$

式中:

${o}_{t}^{i}$

为第i个设备t时刻的真实标签;

${\hat{o}}_{t}^{i}$

为第i个设备t时刻的预测值。

采用式(25)所示损失函数进行联合优化。该损失函数表示模型整体损失和状态识别任务损失的总和。本文模型可以直接使用Lⁱ_output输出进行训练,但是Lⁱ_on会将开关状态信息馈入状态识别模块,使得该子网起到门控作用。模型采用联合损失函数L_loss进行训练,表现出了更好的性能。

(25)

${L}_{\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{s}}={L}_{\mathrm{o}\mathrm{u}\mathrm{t}\mathrm{p}\mathrm{u}\mathrm{t}}^{i}+{L}_{\mathrm{o}\mathrm{n}}^{i}$

式(25)中:Lⁱ_output为第i个电器的功率分解损失;Lⁱ_on为第i个电器的状态识别损失。

3.4 不同NILM方法分解结果

为了系统性地评估模型性能,设计了多维度的对比实验。具体而言,实验选取了具有时序因果建模能力的基准方法,包括Kelly等^[16]提出的深度自编码器(deep autoencoder, DAE)模型、基于CNN的序列到序列(sequence-to-sequence, S2S)架构^[31],以及Çimen等^[32]提出的对抗自编码器(adversarial autoencoder, AAE)模型。在REDD和UK-DALE数据集上各模型的负荷分解结果如表2所示。

由表2在REDD数据集上的负荷分解结果可知,本文模型在居民主要用电设备的分解任务中展现出优越性能。具体表现如下。

本文模型在平均MAE指标上的值为16.754,相较于DAE模型和S2S模型分别提升了22.72%和28.04%,相较于AAE模型的17.333提升了3.34%。而在平均SAE和F₁指标上所提模型分别达到0.132和0.658,均优于所对比的基线模型。与当前最优基线模型AAE相比,两个指标分别提升了7.69%和8.4%。

冰箱作为低功率连续运行设备,其稳定功率基线易被高功率噪声淹没,传统S2S因缺乏多任务监督机制,无法有效分离持续运行信号与背景波动,导致MAE达33.461,而本文模型通过多尺度特征提取增强低频信号表征,使MAE降至25.295且状态识别F₁提升至0.803。洗衣机的多状态跃迁特性要求模型具备长程时序建模能力,S2S模型因单一卷积感受野不足,在阶梯式功率跃迁场景中MAE达17.536,自编码器AAE虽通过特征压缩将MAE优化至11.503,但忽略状态标签监督导致F₁滞后,本文模型通过注意力模块联合多尺度卷积核,在MAE降至11.213的同时实现F₁达到0.722,验证多任务混合架构对状态切换特征的协同捕获能力。

微波炉的瞬态高功率特征对局部特征提取效率敏感,全连接架构的DAE模型因空间局部特征提取不充分,导致SAE达0.122。本文模型借助局部卷积核与多头注意力机制,在快速响应与周期模式联合建模下将SAE减至0.037。洗碗机的长周期多阶段运行是时序建模难点,本文模型通过状态识别任务捕捉关键节点的变化,使SAE达到0.156,F₁为0.621。整体而言,简单卷积模型在瞬态设备表现尚可却受限于持续低功率与长周期运行场景,自编码器强化特征压缩但弱化状态监督。多任务机制通过联合优化不同任务,有效提升了模型在复杂电器场景中的精度和鲁棒性。

图6展示了本文模型在REDD数据集上的表现,与对比模型相比,本文模型所得的分解功率曲线更贴近目标电器的真实功耗曲线。实验结果表明,该方法在电器状态识别的准确度与功率分解精度上均达到了预期水平。所提出的模型在不同负载下均表现出优异的性能,验证了其在目标应用场景下的有效性。

在UK-DALE上,本文模型依然取得良好的分解表现。由表2可知,与REDD数据集相比,所有模型都产生了相对较好的结果,这是因为UK-DALE中含有更少的噪声信号,并且其数据量也多于REDD。本文模型的MAE、SAE以及F₁分别为10.531、0.109、0.769。与对比模型中的最优者相比,本文模型在MAE上提升了5.24%,在F₁上提升了3.78%,进一步说明本文模型的优越性。

3.5 消融实验

为了验证所提模型各个模块的有效性,在REDD数据集上进行了消融实验。实验以结合CNN与Transformer的单任务卷积Transformer网络(convolutional transformer network,CT-Net)作为基线,并与以下两种变体进行了性能比较:①在CT-Net基础上引入多任务学习框架的多任务卷积Transformer网络(convolutional Transformer multi-task learning network, CT-MTL-Net)模型,其状态识别分支为卷积神经网络;②在CT-MTL-Net模型的基础上,将状态识别分支改进为所提的多尺度注意力卷积网络的本文模型。

表3展示了消融实验结果,可知,引入多任务框架后,模型性能呈现出明显的阶梯式提升,相较于单任务模型CT-Net,在此基础上添加常规CNN网络的CT-MTL-Net模型,使MAE与SAE分别提升了17.89%和29.45%。而结合多尺度注意力卷积网络的本文模型进一步将MAE与SAE优化至16.754和0.132,较CT-MTL-Net模型结果额外提升了22.56%和27.47%,揭示多任务网络中状态识别模块对电器状态特征表征的关键作用。因此,将电器状态识别有效融入负荷分解过程,对于提升模型在处理多工作模式电器时的分析精度与可靠性具有至关重要的作用。

总体而言,本文模型的各个模块均对负荷监测任务具有积极作用,其中 MTL 框架更是能够帮助模型在多状态用电设备上取得良好成效。

4 结论

针对现有NILM方法在精确捕捉多样化的电器特征、建模长时序依赖以及确保功率与状态预测一致性方面的问题,提出了一种融合Transformer与多尺度注意力卷积网络的多任务非侵入式负荷分解模型并进行实验验证,得出如下结论。

(1)针对状态识别任务设计的多尺度注意力卷积网络,从多个尺度提取特征并通过注意力机制筛选重要特征,有效提升了电器状态识别的准确性。多任务机制及其联合优化损失函数利用了不同任务间的协同效应,提高了模型预测的一致性,进一步增强了其整体分解能力。

(2)在REDD和UK-DALE数据集上的对比实验表明,所提模型在MAE、SAE和F₁等评价指标上优于代表性基线模型。该模型克服了现有方法在多样化特征提取和任务关联建模方面的不足,从而显著提高了分解精度。

(3)尽管本文模型表现良好,但在处理具有高度相似用电模式的设备组合时仍面临挑战。后续研究可探索更具判别力的模型结构,以应对具有高度相似用电模式的设备组合所带来的挑战,同时探索轻量化模型以适应边缘计算环境。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	司大军, 姚一鸣, 李玲芳, 等. 面向可再生能源消纳的电网侧混合储能优化配置方法[J]. 电工电能新技术, 2024, 43(6): 90-100.

[2]	Si Dajun, Yao Yiming, Li Lingfang, et al. Optimal configuration method of grid-side hybrid energy storage for renewable energy consumption[J]. New Technology of Electrical Engineering and Electric Power, 2024, 43(6): 90-100.

[3]	卓振宇, 张宁, 谢小荣, 等. 高比例可再生能源电力系统关键技术及发展挑战[J]. 电力系统自动化, 2021, 45(9): 171-191.

[4]	Zhuo Zhenyu, Zhang Ning, Xie Xiaorong, et al. Key technologies and development challenges of high proportion renewable energy power systems[J]. Automation of Electric Power Systems, 2021, 45(9): 171-191.

[5]	李亦非, 王芳, 张雅静, 等. 考虑时空耦合特性的非侵入式综合能源系统多能设备负荷辨识方法[J]. 科学技术与工程, 2024, 24(26): 11283-11293.

[6]	Li Yifei, Wang Fang, Zhang Yajing, et al. Non-intrusive load identification method for multi-energy equipment in integrated energy systems considering spatio-temporal coupling characteristics[J]. Science Technology and Engineering, 2024, 24(26): 11283-11293.

[7]	张睿祺, 刘博, 韦尊. 非侵入式综合能源系统源荷状态联合感知方法[J]. 中国电机工程学报, 2024, 44(8): 3105-3115.

[8]	Zhang Ruiqi, Liu Bo, Wei Zun. Joint perception method of source-load state in non-invasive integrated energy systems[J]. Procee-dings of the CSEE, 2024, 44(8): 3105-3115.

[9]	阮应君, 侯泽群, 钱凡悦, 等. 基于深度强化学习的分布式能源系统运行优化[J]. 科学技术与工程, 2022, 22(17): 7021-7030.

[10]	Ruan Yingjun, Hou Zequn, Qian Fanyue, et al. Operation optimization of distributed energy systems based on deep reinforcement learning[J]. Science Technology and Engineering, 2022, 22(17): 7021-7030.

[11]	栾文鹏, 韦尊, 刘博, 等. 非侵入式负荷监测算法的测试与评价方法[J]. 电网技术, 2022, 46(11): 4568-4579.

[12]	Luan Wenpeng, Wei Zun, Liu Bo, et al. Test and evaluation method of non-intrusive load monitoring algorithm[J]. Power System Technology, 2022, 46(11): 4568-4579.

[13]	雷怡琴, 孙兆龙, 叶志浩, 等. 电力系统负荷非侵入式监测方法研究[J]. 电工技术学报, 2021, 36(11): 2288-2297.

[14]	Lei Yiqin, Sun Zhaolong, Ye Zhihao, et al. Research on non-invasive monitoring method for power system load[J]. Transactions of China Electrotechnical Society, 2021, 36(11): 2288-2297.

[15]	杨劲男, 刘博, 栾文鹏, 等. 多电器混叠场景NILM负荷事件优化匹配方法[J]. 电网技术, 2022, 46(2): 691-698.

[16]	Yang Jinnan, Liu Bo, Luan Wenpeng, et al. Optimization matching method of nilm load events in multi-electrical stack scenarios[J]. Power System Technology, 2022, 46(2): 691-698.

[17]	林顺富, 詹银枫, 李毅, 等. 基于CNN-BiLSTM与DTW的非侵入式住宅负荷监测方法[J]. 电网技术, 2022, 46(5): 1973-1981.

[18]	Lin Shunfu, Zhan Yinfeng, Li Yi, et al. Non-invasive residential load monitoring method based on CNN-BiLSTM and DTW[J]. Power System Technology, 2022, 46(5): 1973-1981.

[19]	邓晓平, 张桂青, 魏庆来, 等. 非侵入式负荷监测综述[J]. 自动化学报, 2022, 48(3): 644-663.

[20]	Deng Xiaoping, Zhang Guiqing, Wei Qinglai, et al. Review of non-invasive load monitoring[J]. Acta Automatica Sinica, 2022, 48(3): 644-663.

[21]	Hart G W. Nonintrusive appliance load monitoring[J]. Proceedings of the IEEE, 1992, 80(12): 1870-1891.

[22]	周东国, 张恒, 周洪, 等. 基于状态特征聚类的非侵入式负荷事件检测方法[J]. 电工技术学报, 2020, 35(21): 4565-4575.

[23]	Zhou Dongguo, Zhang Heng, Zhou Hong, et al. Non-intrusive load event detection method based on state feature clustering[J]. Transactions of China Electrotechnical Society, 2020, 35(21): 4565-4575.

[24]	Bozorg M, Bracale A, Caramia P, et al. Bayesian bootstrap quantile regression for probabilistic photovoltaic power forecasting[J]. Protection and Control of Modern Power Systems, 2020, 5(3): 218-229.

[25]	Kolter J Z, Johnson M J. REDD: a public data set for energy disaggregation research[C]// Workshop on Data Mining Applications in Sustainability (SIGKDD). San Diego: SIGKDD, 2011: 59-62.

[26]	Makonin S, Popowich F, Bajic I V, et al. Exploiting HMM sparsity to perform online real-time nonintrusive load monitoring[J]. IEEE Transactions on Smart Grid, 2015, 7(6): 2575-2585.

[27]	Kelly J, Knottenbelt W. Neural NILM: deep neural networks applied to energy disaggregation[C]// Proceedings of the 2nd ACM International Conference on Embedded Systems for Energy-Efficient Built Environments. New York: ACM, 2015: 55-64.

[28]	Verma S, Singh S, Majumdar A. Multi-label LSTM autoencoder for non-intrusive appliance load monitoring[J]. Electric Power Systems Research, 2021, 199. DOI: 10.1016/j.epsr.2021.107414.

[29]	安琪, 王占彬, 安国庆, 等. 基于随机森林-遗传算法-极限学习机的非侵入式负荷识别方法[J]. 科学技术与工程, 2022, 22(5): 1929-1935.

[30]	An Qi, Wang Zhanbin, An Guoqing, et al. Non-intrusive load identification method based on random forest-genetic algorithm-extreme learning machine[J]. Science Technology and Engineering, 2022, 22(5): 1929-1935.

[31]	Massidda L, Marrocu M, Manca S. Non-intrusive load disaggregation by convolutional neural network and multilabel classification[J]. Applied Sciences, 2020, 10(4).DOI: 10.3390/app10041454.

[32]	Pan G B, Wang H P, Tian T, et al. Research on non-intrusive load decomposition model based on parallel multi-scale attention mechanism and its application in smart grid[J]. Energy and Buildings, 2024, 312. DOI: 10.1016/j.enbuild.2024.114210.

[33]	徐瑞琪, 刘丹丹. 基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测[J]. 科学技术与工程, 2024, 24(6): 2385-2395.

[34]	Xu Ruiqi, Liu Dandan. Non-intrusive load monitoring based on multi-scale feature fusion and multi-head self-attention mechanism[J]. Science Technology and Engineering, 2024, 24(6): 2385-2395.

[35]	王丹宇, 刘君, 周亚同, 等. 面向用电负荷分解的特征融合与Transformer模型[J]. 电力系统及其自动化学报, 2024, 36(6): 129-36.

[36]	Wang Danyu, Liu Jun, Zhou Yatong, et al. Feature fusion and transformer model for electricity load disaggregation[J]. Proceedings of the CSU-EPSA, 2024, 36(6): 129-136.

[37]	Shin C, Joo S, Yim J, et al. Subtask gated networks for non-intrusive load monitoring.[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Washington: AAAI, 2019: 1150-1157.

[38]	杨秀, 李安, 孙改平, 等. 基于改进GMM-CNN-GRU混合的非侵入式负荷监测方法研究[J]. 电力系统保护与控制, 2022, 50(14): 65-75.

[39]	Yang Xiu, Li An, Sun Gaiping, et al. Research on a non-intrusive load monitoring method based on improved GMM-CNN-GRU hybrid[J]. Power System Protection and Control, 2022, 50(14): 65-75.

[40]	杨秀, 吴吉海, 孙改平, 等. 基于深度学习和迁移学习的公共楼宇非侵入式负荷分解[J]. 电网技术, 2022, 46(3): 1160-1167.

[41]	Yang Xiu, Wu Jihai, Sun Gaiping, et al. Non-intrusive load decomposition of public buildings based on deep learning and transfer learning[J]. Power System Technology, 2022, 46(3): 1160-1167.

[42]	邵帅. 不同场景下工商业非侵入式负荷监测技术研究[D]. 淮南: 安徽理工大学, 2023.

[43]	Shao Shuai. Research on non-intrusive load monitoring technology for commercial and industrial loads in different scenarios[D]. Huainan: Anhui University of Science and Technology, 2023.

[44]	Yue Z R, Witzig C R, Jorde D, et al. BERT4NILM: a bidirectional transformer model for non-intrusive load monitoring[C]// Proceedings of the 5th International Workshop on Non-Intrusive Load Monitoring. Washington: AAAI, 2020: 89-93.

[45]	何敏瑶. 非侵入式家庭用户负荷监测算法研究[D]. 西安: 西安理工大学, 2021.

[46]	He Minyao. Research on non-intrusive load monitoring algorithms for household users[D]. Xi’an: Xi’an University of Technology, 2021.

[47]	江友华, 叶梦豆, 赵乐, 等. 基于seq2seq和SVM双层融合的非侵入式用户异常行为检测[J]. 计算机应用与软件, 2024, 41(9): 97-105.

[48]	Jiang Youhua, Ye Mengdou, Zhao Le, et al. Non-intrusive user abnormal behavior detection based on seq2seq and SVM dual-layer fusion[J]. Computer Applications and Software, 2024, 41(9): 97-105.

[49]	陈嘉伟, 季天瑶, 梅广, 等. 基于多尺度特征融合与多任务学习框架的非侵入式负荷监测方法[J]. 电网技术, 2024, 48(5): 2074-2083.

[50]	Chen Jiawei, Ji Tianyao, Mei Guang, et al. Non-intrusive load monitoring method based on multi-scale feature fusion and multi-task learning framework[J]. Power System Technology, 2024, 48(5): 2074-2083.

[51]	Zhang C Y, Zhong M, Wang Z Z, et al. Sequence-to-point learning with neural networks for non-intrusive load monitoring[C]// Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence. New Orleans: AAAI Press, 2018: 2604-2611.

[52]	Çimen H, Wu Y, Wu Y P, et al. Deep learning-based probabilistic autoencoder for residential energy disaggregation: an adversarial approach[J]. IEEE Transactions on Industrial Informatics, 2022, 18: 8399-8408.