基于自适应贝叶斯集成强化学习的风电系统小扰动概率稳定性

于淼; 严佳欣; 韩晋阳; 武洪浩; 曾润欣

doi:10.12404/j.issn.1671-1815.2503956

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (18) :7730-7740 DOI: 10.12404/j.issn.1671-1815.2503956

电工技术

基于自适应贝叶斯集成强化学习的风电系统小扰动概率稳定性

于淼 ¹^,²^,³ ,
严佳欣 ¹^,²^,³ ,
韩晋阳 ¹^,²^,³ ,
武洪浩 ¹^,²^,³ ,
曾润欣 ¹^,²^,³

作者信息 +

Probabilistic Stability of Small-signal Disturbance in Wind Power System Based on Adaptive Bayesian Ensemble Reinforcement Learning

YU Miao ¹^,²^,³ ,
YAN Jia-xin ¹^,²^,³ ,
HAN Jin-yang ¹^,²^,³ ,
WU Hong-hao ¹^,²^,³ ,
ZENG Run-xin ¹^,²^,³

Author information +

文章历史 +

摘要

随着高比例风电并网,风电系统在随机风速波动和微小扰动作用下呈现出显著的概率不确定性特征,传统基于确定性模型的小扰动稳定性分析方法难以支撑风电机组的实时控制与稳定性保障。针对高比例风电并网条件下,风电系统在随机风速波动和微小扰动叠加作用下,传统离线小扰动稳定性评估难以支撑实时控制决策的问题,提出一种面向概率稳定性可控化的“分析-决策-控制”一体化框架。首先,基于同步相量测量单元(phasor measurement unit,PMU)观测数据,采用自适应核密度估计(adaptive kernel density estimation, AKDE)构建风电并网条件下频率、电压、电流等关键状态量的小扰动概率模型,实现对随机环境中非高斯扰动特性的精细化刻画。其次,在概率稳定性分析结果基础上,构建以输出功率为状态、桨距角调节为动作的马尔可夫决策过程,提出一种自适应贝叶斯集成强化学习(adaptive bayesian ensemble reinforcement learning,ABERL)控制策略,通过多策略后验融合实现风电机组桨距角的自适应调节,从而直接优化系统小扰动概率稳定性。最后,在IEEE 10机39节点典型系统和南方电网真实系统上结合PMU驱动的小扰动场景对所提方法进行验证,并与Actor-Critic、蒙特卡洛方法及Q-learning等典型控制策略进行对比分析。仿真结果和案例分析表明,所提方法在扰动响应速度、桨距角控制稳定性以及概率稳定性指标方面均具有明显优势。系统级概率稳定性分析能够有效识别潜在不稳定风险,通过对局部风电机组桨距角精准调节,可显著降低风电场控制成本并提升稳定运行能力,为高渗透率风电系统的安全运行提供一种可行的概率驱动控制方案。

Abstract

With the increasing penetration of wind power into modern power systems, wind energy-integrated systems exhibit pronounced probabilistic uncertainty under the combined effects of stochastic wind speed fluctuations and small-signal disturbance. Traditional small-signal stability analysis methods based on deterministic models are therefore insufficient to support real-time control and stability assurance of wind turbines. To address the limitations of conventional offline small-signal stability assessment in providing effective real-time control decisions under high wind power penetration, an integrated “analysis-decision-control” framework oriented toward controllable probabilistic stability was proposed. First, leveraging observations from PMUs (phasor measurement units), AKDE (adaptive kernel density estimation) approach was employed to construct probabilistic small-signal models of key system states—such as frequency, voltage, and current—under wind power integration, enabling a refined characterization of non-Gaussian disturbance features in stochastic environments. Second, based on the results of probabilistic stability analysis, a Markov decision process was formulated with the output power as the system state and pitch angle regulation as the control action. ABERL (adaptive bayesian ensemble reinforcement learning) control strategy was then developed, in which multiple policies were adaptively fused through posterior inference to achieve self-adaptive pitch angle control of wind turbines, thereby directly optimizing the probabilistic small-signal stability of the system. Finally, the proposed method was validated on the IEEE 10-machine and 39-node typical system and the real-world Southern Power Grid system under PMU-driven small-disturbance scenarios, and was compared with representative control strategies including Actor-Critic, Monte Carlo methods and Q-learning. Simulation results and case study demonstrate that the proposed approach achieves superior performance in terms of disturbance response speed, pitch angle control stability, and probabilistic stability metrics. The system-level probabilistic stability analysis effectively identifies potential instability risks, while precise pitch angle regulation of local wind turbines significantly reduces wind farm control costs and enhances stable operation capability. The proposed probabilistic-driven control framework thus provides a viable solution for the secure and stable operation of power systems with high wind power penetration.

Graphical abstract

关键词

小信号扰动 / 概率密度函数 / 风机桨距角度控制 / 自适应核密度估计 / 贝叶斯强化学习

Key words

small-signal disturbance / probabilistic density function / rotor blade angle control / adaptive Kernel density estimation / Bayesian ensemble reinforcement learning

引用本文

引用格式 ▾

于淼, 严佳欣, 韩晋阳, 武洪浩, 曾润欣. 基于自适应贝叶斯集成强化学习的风电系统小扰动概率稳定性[J]. 科学技术与工程, 2026, 26(18): 7730-7740 DOI:10.12404/j.issn.1671-1815.2503956

YU Miao, YAN Jia-xin, HAN Jin-yang, WU Hong-hao, ZENG Run-xin. Probabilistic Stability of Small-signal Disturbance in Wind Power System Based on Adaptive Bayesian Ensemble Reinforcement Learning[J]. Science Technology and Engineering, 2026, 26(18): 7730-7740 DOI:10.12404/j.issn.1671-1815.2503956

登录浏览全文

4963

注册一个新账户忘记密码

风电作为一种清洁、可再生的能源,在全球能源结构优化中占据重要位置^[1]。随着风电技术飞速发展,中国已成为全球风电扩展主要推动力。风电不仅在对全球气候变化等方面发挥关键作用,还提高了中国在国际能源市场中的话语权和竞争力^[2]。风电行业持续扩展对于优化能源结构、实现“双碳”目标以及推进绿色发展战略具有不可或缺的重要性^[3]。尽管风电渗透率较高且发展前景乐观,但以风速扰动、电压频率波动、电流与有功功率输出的不确定性为代表的环境不确定性和小扰动对整个电网稳定性提出挑战。特别是风电接入增加,小扰动对电网稳定性提出新的严峻要求,进行精确且可靠的小扰动稳定性评估,对于确保系统可靠性和降低运营成本至关重要^[4]。

为评估随机环境中不确定性,不少学者推荐传统蒙特卡洛(Monte Carlo, MC)方法或准蒙特卡洛方法,以期更好地捕捉风电出力随机波动并进行精确稳定性分析。为保证计算精度同时降低MC方法的计算负担,文献[5]提出一种基于高斯过程仿真器方法,用于解决随机经济调度问题。通过结合等距映射方法和核密度估计(Kernal density estimation, KDE)技术,有效地保留数据低维结构,从而实现更高效且精确降维。KDE方法在PMU数据分析中具有显著优势,尤其在无需依赖于数据分布假设时,能够灵活地处理复杂电力系统中数据。通过KDE可以有效捕捉功率波动规律性,并为电网稳定性分析提供有价值的数据。然而,KDE在处理大规模数据时效率较低,且该方法假设数据为平稳过程,但实际PMU数据通常具有时变特性,这限制了KDE在此类数据分析中的应用效果。为应对风电渗透带来的挑战,文献[6]引入一种用于概率瞬态稳定性评估的“高斯-赫米”特多点估计方法,结合实际动态安全区域超平面和改进粒子群优化算法优化采样点。此外,采用极限学习机来建模风电输出不确定性,进一步确保评估结果的高精度。鉴于这些不确定性,确保电网稳定性成为一个关键挑战。

稳定性是风电系统分析中的基本问题,传统稳定性分析方法包括用于确定稳定性裕度Lyapunov方法^[7-8]、评估系统振荡的特征值分析^[9]、用于系统建模与控制的状态空间方法^[10]以及评估系统对小扰动响应的小信号稳定性分析^[11]。传统上,系统稳定性受到内部因素影响。但随着风电接入,其随机性会引入随机扰动,使得小信号稳定性对于确保系统可靠性至关重要^[12]。因此,对小信号稳定性进行深入研究具有重要意义^[13]。目前,各种方法已广泛应用于小信号稳定性分析研究中,包括用于获得稳健统计洞察MC方法、精确求解分析方法^[14]、用于捕捉非线性的随机响应面技术^[15]以及具有高计算效率点估计方法^[16]。

在小信号稳定性分析领域,概率方法因能够将系统输入随机变化纳入考虑来建模不确定性,并评估不同结果的概率,表现出显著优势。对动态稳定性概率方法最先通过近似多元正态分布进行探索,该方法结合特征值敏感性来计算特征值统计量。相比MC方法,这种基于特征值的概率方法在精度和效率上均有优势。在不同风电渗透率水平下,线性化特征值敏感性与风电概率特性相结合,利用最大熵理论研究概率小信号稳定性,在精度和准确性上均有所提高^[17]。为减少MC方法所需大量计算,文献[18]提出概率方法可以直接计算关键特征值的概率密度函数(probabilistic density function, PDF)以评估风电并网对电力系统小信号稳定性的影响。假设风速服从Weibull分布前提下,一种小信号稳定性概率方法通过Gram-Charlier展开推导出关键系统特征值PDF,对Weibull分布的依赖性限制其适用性。文献[19]提出一种基于矩阵铅笔方法新框架,用于分析各种数值方法在小信号稳定性分析中误差与稳定性。通过比较离散时间系统模态与实际动态系统模态,该框架提供对小信号扰动条件下数值方法在时域仿真中表现差异的更深入理解。此外,文献[20]通过不同控制策略进行频率概率稳定性分析,并在风电动态过程中进行验证。在概率分析中提供不确定性定量评估后,适当的控制措施可以迅速调整关键系统参数,确保随机环境稳定性^[21]。

为维持风电系统稳定性,风机控制策略通常包括调节桨距角度以控制转速、调整发电机转矩以管理功率输出以及优化偏航位置以提高能量捕获能力^[22]。强化学习(reinforcement learning, RL)因其优越的适应性和处理复杂动态环境能力,已被广泛应用于风电控制领域。为优化风电系统中叶片转速,文献[23]提出一种深度强化学习(deep reinforcement learning, DRL)方法,用于预测叶片涂层的疲劳损伤,提高风机运行效率并延长叶片使用寿命。通过调节风机叶片桨距角度,文献[24]提出一种基于RL的桨距控制策略,以保持输出功率接近额定值,确保能量输出稳定性。为不同风速和运行条件下增强能量捕获和稳定性,文献[25]提出一种基于深度神经网络积分与模型预测控制的风机控制策略,实现对桨距角度实时优化调整,以捕捉系统状态变化。

针对高比例风电并网条件下,风电系统在随机风速波动与微小扰动叠加作用下呈现出的显著概率不确定性特征,现有小扰动稳定性研究多停留在离线评估层面,难以为实时控制决策提供有效支撑。现围绕风电系统小扰动稳定性由“概率评估”向“概率驱动可控化”转变的核心问题,提出一种面向概率稳定性可控化的“分析-决策-控制”一体化框架,并在概率建模、控制建模与策略学习3个层面开展研究, 通过构建数据驱动的概率建模方法,并结合强化学习与贝叶斯集成策略实现控制策略的自适应优化,从概率建模、决策建模与控制优化3个层面系统开展研究。为随机环境下风电系统小扰动稳定性概率评估与主动控制提供一种统一分析与控制框架,对提升高比例风电并网系统运行稳定性具有重要意义。

1 基础方法与理论概述

关键理论方法包括概率密度估计与强化学习相关技术。首先阐述基于AKDE用于变量不确定性建模,介绍贝叶斯集成强化学习方法的构成,进一步细化为贝叶斯推断机制与强化学习原理,为后续风机控制策略设计提供理论支撑。

1.1 自适应带宽核密度估计

由于PMU设备以高频率采集电压、电流和相位等连续数据,其数据常含噪声与突变,传统方法难以有效建模其复杂动态特性。为准确地刻画风电数据中因波动性引起的局部密度差异,引入AKDE方法。通过在数据密集区采用较小带宽以捕捉细节结构,在数据稀疏区使用较大带宽以增强整体平滑性,自适应带宽 KDE 能有效提升局部特征敏感性。

在风电系统运行过程中,令采集到的电流I(t)、电压V(t)、频率f(t)和有功功率P(t),为系统化描述变量之间的统计关联性与动态特征,定义状态向量为

${\mathit{x}}_{\mathrm{i}}=[{\mathit{P}}_{\mathit{i}},{\mathit{V}}_{\mathit{i}},{\mathit{I}}_{\mathit{i}},{\mathit{f}}_{\mathit{i}}],\mathit{i}=\mathrm{1,2},\dots,\mathit{n}\mathit{。}$

为对风电系统运行状态空间中非均匀分布特性进行建模,采用AKDE方法评估各样本点的概率密度^[26]。

由于风电系统在某些运行区域状态变化较为密集,而在另一些区域稀疏,固定带宽难以兼顾精度与泛化能力。因此,引入几何平均密度缩放因子 G来实现带宽的自适应调整,即

(1)

$\mathrm{G}=\left[\stackrel{\mathit{n}}{\prod _{\mathit{i}=1}}\hat{\mathit{f}}\right({\mathit{x}}_{\mathit{i}}{\left)\right]}^{\frac{1}{\mathit{n}}}$

式(1)中:

$\hat{\mathit{f}}\left({\mathit{x}}_{\mathit{i}}\right)$

为在点x_i处的初始密度估计。

基于局部密度信息和全局几何平均密度缩放因子,构造自适应带宽为

(2)

${\mathit{h}}_{\mathit{i}}=\mathrm{h}\mathrm{G}\hat{\mathit{f}}({\mathit{x}}_{\mathit{i}}{)}^{\mathit{\alpha }}$

式(2)中:h为全局初始带宽;

$\mathit{\alpha }\in \left(\mathrm{0,1}\right)$

为带宽调节因子,通常基于 Abramson 的平方根法则取α=1/2。

该方法可有效提高密度估计在数据分布非均匀区域的局部适应性。在此基础上,系统状态变量的联合概率密度函数

$\hat{\mathit{f}}\left(\mathit{x}\right)$

可表示为

(3)

$\hat{\mathit{f}}\left(\mathit{x}\right)=\frac{1}{\mathit{n}}\stackrel{\mathit{n}}{\sum _{\mathit{i}=1}}\frac{1}{{\mathit{h}}_{\mathit{i}}^{\mathit{d}}}\mathit{K}\left(\frac{\mathit{x}-{\mathit{x}}_{\mathit{i}}}{{\mathit{h}}_{\mathit{i}}}\right)$

式(3)中:d为变量维度;K(·)为多维核函数;x为系统状态向量,

$\mathit{x}\in {\mathrm{R}}^{\mathrm{d}}\mathit{。}$

每个样本点x_i的估计带宽h_i可根据其局部密度进行调整,从而实现对复杂状态空间的灵活建模。

1.2 贝叶斯集成强化学习

贝叶斯强化学习(Bayesian reinforcement learning, BRL)融合贝叶斯推理与强化学习机制,通过引入先验概率分布,有效应对风电系统中建模不确定性,提升样本利用效率与策略探索能力^[27]。

1.2.1 贝叶斯集成学习

为进一步提升BRL方法在高维状态空间下策略收敛速度和泛化能力,引入贝叶斯集成学习(Bayesian ensemble reinforcement learning, BERL)方法与强化学习相结合。通过构建多个策略估计模型可增强BRL探索能力,利用集成分布表达模型不确定性可有效发现全局最优解。

假设有M个模型,每个模型给出一个对应于系统状态变量x=[P,V,I,f]的概率密度函数

${\hat{\mathit{f}}}_{\mathit{m}}\left(\mathit{x}\right),$

其中

$\mathit{m}=\mathrm{1,2},\dots,\mathit{M}\mathit{。}$

通过贝叶斯推断来为m模型分配后验权重

${\mathit{w}}_{\mathit{m}}=\mathit{p}\left(\mathit{m}\right|\mathit{D}),$

然后对模型的概率密度函数进行加权融合,最终的集成概率密度函数

${\hat{\mathit{f}}}_{\mathrm{e}}\left(\mathit{x}\right)$

由所有模型的加权平均表示为

(4)

${\hat{\mathit{f}}}_{\mathrm{e}}\left(\mathit{x}\right)=\stackrel{\mathit{M}}{\sum _{\mathit{m}=1}}{\mathit{w}}_{\mathit{m}}{\mathit{f}}_{\mathit{m}}\left(\mathit{x}\right)=\stackrel{\mathit{M}}{\sum _{\mathit{m}=1}}\frac{\mathit{p}\left(\mathit{D}\right|\mathit{m}\left)\mathit{p}\right(\mathit{m})}{\mathit{p}\left(\mathit{D}\right)}{\mathit{f}}_{\mathit{m}}\left(\mathit{x}\right)$

通过贝叶斯集成学习的加权融合过程

${\hat{\mathit{f}}}_{\mathrm{e}}\left(\mathit{x}\right)$

可以有效地整合多个输出。

1.2.2 强化学习

为在识别和分析风电系统运行过程中环境不确定性对系统动态稳定性的影响基础上实现有效控制,进一步设计基于概率密度估计的强化学习控制策略^[28]。为实现扰动响应下的有效调节,需从控制层面直接作用于风电机组的关键执行变量。风电机组输出功率P(t)与桨距角θ(t)存在强耦合非线性关系为

(5)

$\mathit{P}\left(\mathit{t}\right)={\int }_{0}^{\mathit{t}}\mathit{k}\mathit{\theta }\left(\mathit{\tau }\right){\mathit{v}}^{2}\left(\mathit{\tau }\right)\mathrm{d}\mathit{\tau }$

式(5)中:v(τ)为风速;θ(τ)为桨距角。

对于给定风速v(t),存在一个最优桨距角θ^*(t),使输出功率最接近目标值P_target。在风速突变或电网冲击等扰动后,如果桨距角调整得当,系统功率应快速恢复至目标值附近,代表系统稳定性好。因此,定义一个稳态误差指标以描述当前时刻系统输出功率与目标功率之间的差为

(6)

$\mathit{\epsilon }\left(\mathit{t}\right)=\left|\mathit{P}\left(\mathit{t}\right)-{\mathit{P}}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}\right|$

为引导桨距角高效调节并促使功率稳定,强化学习设计围绕鼓励桨距角的变化能有效缩小 ε(t),动态响应扰动下的快速恢复能力,以及惩罚桨距角无效或剧烈调节导致系统波动。因此,奖励函数由3个部分综合考虑设计为

(7)

$\begin{array}{l}\mathit{R}\left(\mathit{t}\right)=-{\mathit{w}}_{1}\mathit{\epsilon }\left(\mathit{t}\right)-{\mathit{w}}_{2}\left|\mathrm{\Delta }\mathit{\theta }\left(\mathit{t}\right)\right|+\\ {\mathit{w}}_{3}\left[\mathit{\epsilon }\right(\mathit{t}-1)-\mathit{\epsilon }(\mathit{t}\left)\right]\end{array}$

式(7)中:w₁、w₂、w₃为权重因子,用于调节各个组成部分对整体奖励函数的贡献程度;ε(t)为功率偏差,其值越小表明系统越接近其稳定运行状态; Δθ(t)为桨距角变化量,表示桨距角在当前时刻与上一时刻之间的差值,控制桨距角的调整可影响功率输出,过度的桨距角波动会引发系统不必要的功率变化。

因此,奖励函数通过对功率偏差的减小给予正向奖励,奖励函数对桨距角变化量绝对值进行惩罚,以避免大幅波动,保持系统平稳运行。同时,功率偏差变化量也作为奖励函数的组成部分,用以奖励功率偏差的减小趋势,若系统能够有效减少功率偏差,则给予正向奖励,进一步优化系统的控制策略。因此,智能体学习优化目标为

(8)

$\max _{\pi} E_{\pi}\left[\sum_{t=0}^{T} \gamma^{t} R(t)\right]$

式(8)中:π为给定状态下选择桨距角Δθ(t)的概率分布;γ为折扣因子。

2 自适应贝叶斯集成强化学习设计

基于自适应贝叶斯集成强化学习(adaptive Bayesian ensemble reinforcement learning,ABERL)的控制策略,旨在提升风电系统在复杂环境下运行稳定性。针对风机运行过程中受随机扰动影响问题,首先构建基于小信号扰动的概率分析模型,采用自适应核密度估计获取电压、电流、频率与功率的概率密度分布。随后更新贝叶斯后验分布,并引入集成学习机制,结合强化学习框架定义马尔可夫决策过程中的状态、动作与奖励函数。通过训练代理实现桨距角度最优调节,使输出功率在扰动后快速趋于额定值。本章将详细描述该策略的建模流程、设计步骤与实现方式,并附以伪代码展示其逻辑结构,整体框架如图1所示。

基于ABERL方法对风电系统中风机桨距角度进行控制,代理与环境进行交互,不断学习和优化控制策略,以实现系统在小概率扰动条件下稳定性恢复。强化学习框架基于MDP设计如下^[29]。

(1)状态空间:状态s_t为时间t时系统的观测状态。为兼顾控制可执行性与信息充分性,本文方法将风电系统多维运行状态作为观测向量构建状态空间,定义为

(9)

${\mathit{s}}_{\mathrm{t}}=[{\mathit{P}}_{\mathit{t}},{\mathit{V}}_{\mathit{t}},{\mathit{I}}_{\mathit{t}},{\mathit{f}}_{\mathit{t}}]$

式(9)中:P_t、V_t、I_t、f_t分别为风电系统在时间 t 的功率、电压、电流、频率。

(2)动作空间:动作a_t为时间t时控制代理选择的桨距角调整操作。为实现精细控制并避免过度调整引发的不稳定,动作空间定义为离散集合。

(10)

${\mathit{a}}_{\mathit{t}}\in \mathit{A}=\{-0.1°,-0.05°,0°,0.05°,0.1°\}$

每个动作表示对当前桨距角的微小增减或维持不变,控制目标是促使输出功率趋近目标功率。

(3)状态转移函数:风电系统输出功率与桨距角变化之间存在非线性耦合。为描述动作对系统输出的影响,引入状态转移近似模型。

(11)

${\mathit{P}}_{\mathit{t}+1}={\mathit{P}}_{\mathit{t}}+\mathit{k}{\mathit{a}}_{\mathit{t}}+{\mathit{\eta }}_{\mathit{t}}$

式(11)中:k为转子响应增益系数;η_t为扰动噪声,该项由贝叶斯核密度估计建模。

(4)奖励函数:为引导代理在保证功率稳定的同时尽量减少过度桨距角波动,奖励函数考虑两类情形:若当前功率误差在容许范围内,当|P-P_setpoint|≤ε时,表示系统处于基本稳定状态,此时奖励函数鼓励角度调整越小越好。

(12)

$\mathit{R}=1-\frac{\left|\mathit{\Delta }\mathit{\theta }\right|}{{\mathit{\theta }}_{\mathrm{m}\mathrm{a}\mathrm{x}}}$

式(12)中:P为当前输出功率;Δθ为桨距角度的调整范围。

若当前功率误差超过允许阈值,当|P-P_setpoint|>ε时,系统偏离目标值明显,奖励函数调整策略迅速纠偏,同时惩罚不必要的大幅角度调整:

(13)

$\mathit{R}=-\frac{|\mathit{P}-{\mathit{P}}_{\mathrm{s}\mathrm{e}\mathrm{t}\mathrm{p}\mathrm{o}\mathrm{i}\mathrm{n}\mathrm{t}}|}{{\mathit{P}}_{\mathrm{s}\mathrm{e}\mathrm{t}\mathrm{p}\mathrm{o}\mathrm{i}\mathrm{n}\mathrm{t}}}-\mathit{E}\left(\left|\mathrm{\Delta }\mathit{\theta }\right|>\frac{{\mathit{\theta }}_{\mathrm{m}\mathrm{a}\mathrm{x}}}{2}\right)$

式(13)中:P_setpoint为额定输出功率。

该奖励函数通过惩罚输出功率偏离额定值的程度和过大桨距角调整,旨在引导控制策略实现输出功率的精准跟踪与桨距角的合理调整,从而优化转子角度控制效果,保障系统稳定运行。所提方法主要步骤如下。

步骤1 为清洗和规范原始数据,增强数据质量与可比性,通过剔除异常值、应用卡尔曼滤波平滑时序数据,并进行正则化处理,统一各物理量量纲,同时计算有功功率并完成特征提取。

步骤2 为刻画系统状态变量分布特征,建立统计建模基础,通过核密度估计方法绘制电压、电流、频率和功率概率密度函数,用于后续状态空间构建与贝叶斯推断。

步骤3 为实现对桨距角的智能调节,提升系统在扰动下响应能力,通过设计强化学习结构,以功率为状态、桨距角变化为动作,结合自适应带宽KDE与贝叶斯集成策略,动态更新状态先验并优化控制策略。

步骤4 为验证所提方法的有效性与优势,通过与A2C网络和传统蒙特卡洛方法对比,评估功率误差、响应速度及稳定性等指标,同时采用混淆矩阵等多维度指标综合分析控制性能表现。

ABERL算法训练过程如表1所示。

3 仿真结果

3.1 数据说明与分析

采用来自新英格兰IEEE 39节点模型中 35 条线路的 PMU 数据,仿真在i9核心计算机的PyCharm应用程序进行,其他参数如表2所示。

除表2中描述参数外,桨叶角度变化与功率输出变化之间关系的控制系数设置为0.1。输出功率偏离设定值的允许误差范围为5。为了稳定训练,BRL算法中的目标网络更新频率为250,训练代理总时间步数为50 000。

数据经过异常数据清洗和特征提取处理^[30],通过图2展示风电系统中电压、电流与频率信号在经过正则化与卡尔曼滤波处理前后的对比效果。原始信号存在明显的高频噪声、突变干扰与非平稳波动,尤其在电压尖峰、电流扰动和频率跳变处表现突出。经过正则化处理后,各信号被统一映射至相同数值区间,通过卡尔曼滤波有效抑制局部异常与噪声波动,验证预处理方法在风电系统数据清洗中的有效性。

3.2 小扰动概率性分析

在风电系统中,受限于环境不确定性与微小扰动,保障系统稳定性已成为电网安全运行的关键问题。为应对此类挑战,基于新英格兰IEEE 10机39节点系统,提出一种基于ABERL的控制策略,旨在通过调节风机桨距角度,优化输出功率,提升系统概率稳定性。

为研究风速对系统扰动响应的影响,选取典型风速2、4、6、8、10 m/s进行消融实验分析。图3展示不同风速条件下系统频率的动态响应过程,结果表明随着风速升高,系统响应时间逐步延长,且功率波动峰值明显增大。图3中呈现对应频率的概率密度函数,低风速时频率分布更加集中,尾部概率较低,表明系统在低风速条件下具备更强的稳定性与抗扰动能力。

为了量化小信号概率稳定性相关不确定性,采用AKDE方法对电压、电流、频率进行PDF分析。对每个变量,图4中分别绘制基于理论设计的真实概率密度函数、KDE以及AKDE三条曲线,以对比不同方法的估计性能。

频率真实概率密度函数如图4所示,采用以60 Hz为中心的正态分布模型,反映电网频率的稳定波动特性。从图4模拟数据及估计结果表明,频率主要集中在59.9~60.1 Hz,分布较为集中且平滑。AKDE曲线更准确地贴合真实PDF的峰值形态,相比标准KDE对局部细节拟合更为灵活。

电压概率密度函数分布如图5所示。从图5可知:电压分布则表现为两个接近的峰,反映了电压偏移现象及其波动范围。AKDE同样优于标准KDE,能够更细致地揭示分布的局部特征,尤其是在峰间过渡区的拟合表现更为优越。

电流概率密度函数分布如图6所示。从图6可知:电流概率密度表现为双峰结构,分别对应风电系统不同运行状态。真实PDF采用两个不同均值和方差的正态分布混合模型。标准KDE虽能捕捉双峰趋势,但在峰值位置和峰形平滑度方面存在一定偏差。AKDE通过自适应调整带宽,显著提升对双峰特征拟合精度,使得估计曲线更贴近真实分布。AKDE方法由于其带宽自适应机制,在处理多峰、偏移及分布不均匀的数据时展现出更强的拟合能力和鲁棒性。仿真结果验证了AKDE在风电系统关键参数概率分布估计中的有效性和优势,有助于更准确地反映系统运行状态及异常识别概率特征。

3.3 小扰动稳定性分析

为实现对风电系统关键变量PDF的高精度拟合,采用AKDE方法。相比传统KDE,AKDE通过自适应调整带宽,能够更有效捕捉数据局部波动与多模态特征。后续研究引入贝叶斯集成强化学习算法,针对小扰动问题开展桨距角优化控制,以期提升系统动态响应能力和整体稳定性。提出基于ABERL的桨距角优化算法,选用A2C, MC和Q-learning方法作为对比方案。为保证RL模型达到快速收敛和稳定,通过设定合理的学习率范围,系统分析了不同学习率下训练步数与奖励值变化。

图7展示了不同学习率下ABERL算法在1 000次训练迭代中累计奖励变化情况。学习率α=0.000 5时训练过程平稳但收敛较慢,最终奖励略低;学习率为α=0.001时,模型收敛速度快且奖励最高,表现最佳;学习率α=0.005加快了收敛速度但引入较大波动;而学习率α=0.01导致训练不稳定,奖励增长缓慢且最终较低,因此设定学习率为0.001。

根据MDP过程,代理在探索中进行风机桨距角的微调以优化风机的输出功率。ABERL方法在训练过程中输出功率与桨距角的变化趋势如图8所示,随着训练的进行,代理0°~0.1°范围内持续进行微调,输出功率逐步趋于稳定,桨距角调整频率明显降低,表明策略不断优化并实现有效控制,维持输出功率有效调节确保系统稳定性。

ABERL方法融合了贝叶斯推断与自适应强化学习策略,通过建模动作价值的不确定性,并动态整合先验与实时信息以持续优化策略结构。训练过程中,代理通过对Q函数的逐步修正和策略更新,Q值整体呈现出由0.75上升至1左右的过程,如图9所示,反映了模型对动作价值估计的逐步收敛,展现出较强的稳定性与收敛特性。

同时选取A2C、MC和QL(Q-learning)方法作为比较方案,其仿真结果曲线如图10所示。为量化高比例风电接入条件下系统对小扰动的运行可靠性,引入稳定概率作为评价指标,用以描述在随机风速和微扰动作用下,系统输出功率在指定时间窗口内保持在允许波动范围内的概率。具体而言,令归一化输出功率 P(t)以额定功率为单位(1 p.u.),允许波动阈值设为0.05,评估时间窗口T取5~10 s,则稳定概率定义为:

${\mathit{P}}_{\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{b}}=\mathit{P}\left(\right|\mathit{P}\left(\mathit{t}\right)-1|\le \mathit{\delta },\forall \mathit{t}\in [0,\mathit{T}\left]\right),$

该指标用于量化系统在小扰动下维持额定功率的概率能力。相较于其他基准方法,ABERL在训练步数为380时P_stab达到0.9;训练步数600的时候,P_stab达到0.95,之后也维持稳定性和较高的收敛性。A2C方法在训练步数400时P_stab达到0.9,展现出较快的收敛性,但收敛均值仍然较低于所提方案。MC和QL算法在收敛速度和稳定均低于其他两种方案,体现优化后的强化学习方法在桨距角控制的性能较好。

为了证明所提方法性能,选取所提方法与基准方案作为比较对象,评估不同方法在RMSE、NMSE、标准差、收敛均值上的表现,如图11所示。可见ABERL方法在4种指标表现均是最佳,在RMSE和NMAE表现出较低的误差,说明它在更复杂的样条函数处理上也能维持较高的稳定性和鲁棒性,并且标准差最低,收敛均值最高,验证ABERL方法在处理风力发电系统时的稳定性和鲁棒性。

3.4 案例分析

为了验证ABERL方法在强不确定性条件下的鲁棒性以及小扰动稳定性提升效果,基于南方电网PMU数据构建3个典型运行场景:S1为低风速、弱扰动稳态段[风速为(5±1)m/s,功率波动小于3%],用于评估方法在轻扰动条件下的概率建模能力;S2为中等风速、频繁微扰动段[风速为(10±2)m/s,功率存在5%~7%波动],用于考察 AKDE对非高斯扰动的刻画精度及RL方法在中等不确定性下的控制效果;S3为高风速、功率波动显著段[风速为(15±3)m/s]短时功率波动可达10%],如表3所示。每个场景均采用系统拓扑中连续历史数据段,以保证统计显著性。扰动来源包括实际风速波动、负荷小幅突变以及测量噪声。PMU采样率为30~60 Hz,分析对象为 0.1~2 Hz 机电振荡,评估时间窗口取为10 s。为量化控制策略在高比例风电与小扰动条件下运行可靠性,引入稳定概率、RMSE、标准差及收敛步数作为评价指标。

通过对比MC、QL、A2C 与ABERL方法的表现,可以验证所提方法在概率建模与强化学习协同控制下的优势。在弱扰动 S1 场景,系统本身稳定,ABERL达到最低误差和最小波动,同时稳定概率接近 1,表明在弱扰动条件下能够快速实现稳定功率输出。中等扰动的S2场景下,MC表现较差,强化学习方法逐步改善输出功率稳定性,RMSE、标准差下降。ABERL 在 RMSE、标准差和稳定概率上明显优于其他方法,并收敛最快,验证其在中等扰动下对非高斯随机扰动的适应能力及控制策略的快速收敛性。强扰动的 S3 场景中,MC和QL 波动大、稳定概率低,A2C改善有限。ABERL依旧能够维持低误差、高稳定概率和合理收敛步数,显示其鲁棒性和小扰动概率稳定性提升效果,进一步验证本文方法在实际复杂运行环境中的可靠性。

4 结论

围绕随机扰动环境下风电系统不确定性增强与小扰动稳定性下降问题,构建一种融合概率建模、决策建模与自适应控制的统一分析与控制框架。该框架采用AKDE对频率、电压和电流等关键状态量进行概率建模,用于刻画随机风速与小扰动叠加作用下系统响应的非高斯不确定性。在此基础上,将概率稳定性分析结果引入控制层,构建以输出功率为状态、桨距角调节为动作的MDP模型,并提出基于多策略后验融合的ABERL控制方法,实现桨距角的自适应优化调节。该方法能够在随机扰动条件下通过持续修正Q函数与策略更新,使输出功率与桨距角变化快速趋于稳定,有效缓解风速升高带来的不确定性放大效应。对比结果进一步表明,ABERL在收敛速度、策略稳定性及功率波动抑制方面均优于A2C、MC和Q-learning等方法,在RMSE、NMSE及波动性指标上表现出更优的综合性能,且在高风速和强扰动工况下优势更加显著。未来本研究将面向更复杂的应用场景进一步展开,一方面将重点提升ABERL方法在大规模数据与高维状态输入条件下的计算效率与策略泛化能力,以满足实时控制需求;另一方面,计划将该方法推广至多机组风电系统及含多类型电源的复杂电网场景,实现多主体协同控制与系统级稳定性提升。

主要创新点和贡献如下。

(1)针对随机环境下风电系统小扰动响应的概率不确定性刻画,提出一种基于PMU观测数据的自适应核密度估计(adaptive kernel density estimation, AKDE)概率建模方法,对风电并网条件下频率、电压、电流等关键状态量进行非参数概率建模。通过引入自适应带宽机制,有效提升非高斯扰动及状态分布非均匀区域建模精度,为后续概率稳定性分析与控制决策提供可靠状态描述基础。

(2)针对小扰动工况下风电机组控制策略动态响应性,构建以输出功率为状态、桨距角调节为动作的强化学习控制结构,并形式化建立风电机组小扰动响应过程的马尔可夫决策过程(Markov decision process, MDP)模型。该建模方式实现了概率稳定性分析结果与风机桨距角控制之间的有效衔接,为局部风电机组的小扰动闭环调控提供了统一的决策建模框架。

(3)针对复杂随机环境下单一强化学习策略过拟合及收敛稳定性,提出一种贝叶斯集成强化学习控制方法,通过对多策略模型的贝叶斯后验推理结果进行融合,实现控制策略的自适应更新。该方法在提升桨距角控制鲁棒性同时,加快策略收敛速度,从控制层面直接增强风电系统小扰动概率稳定性。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	王泉, 张兆刚, 徐唐杰, 等. 风电场风电机组启停与偏航同步控制优化[J]. 科学技术与工程, 2024, 24(34): 14666-14671.

[2]	Wang Quan, Zhang Zhaogang, Xu Tangjie, et al. Synchronous control optimization of wind turbine start-stop and yaw in wind farm[J]. Science Technology and Engineering, 2024, 24(34): 14666-14671.

[3]	胡启国, 王泽霖, 胡豁然. 基于自抗扰控制的变桨系统优化在风电系统中的应用[J]. 科学技术与工程, 2023, 23(28): 11985-11992.

[4]	Hu Qiguo, Wang Zelin, Hu Huoran. Application of active disturba-nce rejection control based pitch system optimization in wind power system[J]. Science Technology and Engineering, 2023, 23(28): 11985-11992.

[5]	Yadav V V, Saravanan B. Technical advances and stability analysis in wind-penetrated power generation systems: a review[J]. Frontiers in Energy Research, 2022, 10: 1091512.

[6]	田京京, 邢康. 基于复杂网络与电气特性的风电光伏并网脆弱性分析[J]. 科学技术与工程, 2025, 25(6): 2379-2388.

[7]	Tian Jingjing, Xing Kang. Vulnerability analysis of wind power and photovoltaic integration based on complex network and electrical characteristics[J]. Science Technology and Engineering, 2025, 25(6): 2379-2388.

[8]	Hu Z X, Xu Y U, Korkali M, et al. A Bayesian approach for estimating uncertainty in stochastic economic dispatch considering wind power penetration[J]. IEEE Transactions on Sustainable Energy, 2021, 12(1): 671-681.

[9]	Liu Y L, Wang J Y, Yue Z Y. Improved multi-point estimation method based probabilistic transient stability assessment for power system with wind power[J]. International Journal of Electrical Power & Energy Systems, 2022, 142.DOI: 10.1016/j.ijepes.2022.108283.

[10]	Zhang T, Xiao S P. Stability analysis of the sampled-data control system and its application to the electric power market[J]. Chinese Journal of Electrical Engineering, 2020, 6(1): 61-70.

[11]	于淼, 胡敬轩, 张寿志, 等. 基于PMU梯度动态偏差的新型电力系统快速稳定性[J]. 上海交通大学学报, 2024, 58(1): 40-49.

[12]	Yu Miao, Hu Jingxuan, Zhang Shouzhi. Fast stability of new power system based on a PMU gradient dynamic deviation method[J]. Journal of Shanghai Jiao Tong University, 2024, 58(1): 40-49.

[13]	Li L M, Jiang H, Yang P H, et al. Small signal stability analysis and optimize control of large-scale wind power collection system[J]. IEEE Access, 2022, 10: 28842-28852.

[14]	Gustavo F G, Mohammad K B, et al. State space modeling of an offshore wind power plant with an MMC-HVDC connection for an eigenvalue-based stability analysis[J]. IEEE Access, 2022, 10: 82844-82869.

[15]	Yu M, Li J L, Zhang S Z. Probabilistic stability of small disturbance in wind power system based on a variational Bayes and Lyapunov theory using PMU data[J]. IET Generation, Transmission & Distribution, 2022, 16(23): 4818-4829.

[16]	Nkosi N R, Bansal R C, Adefarati T, et al. A review of small-signal stability analysis of DFIG-based wind power system[J]. International Journal of Modelling and Simulation, 2022, 43(3): 153-170.

[17]	Pepiciello A, Garcia J D. Small-signal stability analysis of uncertain power systems: a comprehensive survey[J]. Renewable and Sustainable Energy Reviews, 2024, 200: 114576.

[18]	龚浩岳, 郭强, 郭剑波, 等. 基于变流器系统状态空间法的小干扰稳定分析与控制研究[J]. 中国电机工程学报, 2025, 45(13): 4943-4955.

[19]	Gong Haoyue, Guo Qiang, Guo Jianbo, et al. Research on small-signal stability analysis and control based on converter system state-space method[J]. Proceedings of the CSEE, 2025, 45(13): 4943-4955.

[20]	Yang L, Zhang H G, Gao Z Y. Application of small disturbance instability based on random response surface method in wind power system[C]// 40th Chinese Control Conference. Shanghai: CCC, 2021: 2487-2492.

[21]	Ding Y, Ye X W, Guo Y, et al. Probabilistic method for wind speed prediction and statistics distribution inference based on SHM data-driven[J]. Probabilistic Engineering Mechanics, 2023, 73: 103475.

[22]	Cao R L, Xing J, Li Z, et al. Probabilistic small signal stability analysis with wind power based on maximum entropy theory[J]. Electric Power Components and Systems, 2024.DOI: 10.1080/15325008.2024.2310775.

[23]	Wang Z Y, Bu S Q. Probabilistic analysis of small-signal stability of power systems affected by wind power generation uncertainties considering wake effects[J]. IEEE Transactions on Power Systems, 2025, 40(2): 1955-1968.

[24]	李立新, 田旭, 刘飞, 等. 基于混合自适应核密度估计的风电波动特性分析[J]. 可再生能源, 2024, 42(7): 923-928.

[25]	Li Lixin, Tian Xu, Liu Fei, et al. Analysis ofwind power fluctuation characteristics based on hybrid adaptive kernel density estimation[J]. Renewable Energy, 2024, 42(7): 923-928.

[26]	Wang Z Y, Bu S Q. Probabilistic frequency stability analysis considering dynamics of wind power generation with different control strategies[J]. IEEE Transactions on Power Systems, 2024, 39(5): 6412-6425.

[27]	Dong H Y, Zhang J C, Zhao X W. Intelligent wind farm control via deep reinforcement learning and high-fidelity simulations[J]. Applied Energy, 2021, 292: 116928.

[28]	何婷, 乔俊强, 吴国栋. 基于小信号模型的虚拟同步机稳定性分析及参数优化[J]. 科学技术与工程, 2025, 25(5): 1927-1935.

[29]	He Ting, Qiao Junqiang, Wu Guodong. Stability analysis and parameter optimization of virtual synchronous generator based on small-signal model[J]. Science Technology and Engineering, 2025, 25(5): 1927-1935.

[30]	Fang J H, Hu W F, Liu Z Y, et al. Wind turbine rotor speed design optimization considering rain erosion based on deep reinforcement learning[J]. Renewable and Sustainable Energy Reviews, 2022, 168: 112788.

[31]	Jesus E, Matilde S. Exploring reward strategies for wind turbine pitch control by reinforcement learning[J]. Applied Sciences, 2020, 10(21): 7462.

[32]	Xie J J, Dong H Y, Zhao X W. Data-driven torque and pitch control of wind turbines via reinforcement learning[J]. Renewable Energy, 2023, 215: 118893.

[33]	Guan J S, Lin J, Guan J J, et al. A novel probabilistic short-term wind energy forecasting model based on an improved kernel density estimation[J]. International Journal of Hydrogen Energy, 2020, 45(43): 23791-23808.

[34]	Zhong T W, Zhang H T, Li Y Z, et al. Bayesian learning-based multi-objective distribution power network reconfiguration[J]. IEEE Transactions on Smart Grid, 2021, 12(2): 1174-1184.

[35]	Jasmin B. A review of Bayesian machine learning principles, methods, and applications[J]. International Journal of Innovative Science and Research Technology, 2023, 8(5): 2033-2038.

[36]	任君, 岳鹏飞, 张智宇, 等. 基于孤立森林法风电机组数据处理方法分析[J]. 科学技术与工程, 2024, 24(6): 2378-2384.

[37]	Ren Jun, Yue Pengfei, Zhang Zhiyu, et al. Analysis based on the data preprocessing method of wind turbines based on isolated forest method[J]. Science Technology and Engineering, 2024, 24(6): 2378-2384.

[38]	吴静, 程文娟, 梁肖, 等. 基于强化学习的负荷聚合商电价激励响应调频中的博弈与策略分析[J]. 科学技术与工程, 2025, 25(3): 1087-1092.

[39]	Wu Jing, Cheng Wenjuan, Liang Xiao, et al. Game and strategy analysis of power price incentive response frequency modulation in load aggregation based on reinforcement learning[J]. Science Technology and Engineering, 2025, 25(3): 1087-1092.