该技术已申请专利。仅供学习研究,如用于商业用途,请联系技术所有人。

基于ppo算法的数据模型混合驱动风电场建模方法
技术领域
1.本发明属于电力系统技术领域,具体涉及一种基于ppo算法的数据模型混合驱动风电场建模方法。
背景技术:2.随着传统电力系统向新型电力系统的转型,风力发电在电力系统发电总量的比重逐渐增大,而其具有强波动性和弱支撑性,其动态特性与传统同步发电机组有较大的差距,风电场的大规模并网会显著改变电力系统的稳定性和电能质量,因此建立风电场的准确模型有助于分析电力系统的动态特性,进而保障电网的安全稳定运行。
3.风电场中包含大量风力发电机,分别建立每台机组的模型会导致风电场模型的阶数极高、运算量极大,难以应用到电力系统的实时计算当中。风电场建模的目标是运用一台或少数几台的等值风力发电机,来等效原有的风力风电场,主要需要完成两个任务,确定等效风机的模型结构和辨识等效风机模型的关键参数。现有的研究主要分为物理机理建模或参数辨识两种方法。物理机理建模的方案需要在已知每台风机参数的前提下,对每台风机的参数进行加权,从而获得等值机的参数。然而实际上风机的部分参数可能是难以获取的,另外风机的电阻、电感等电机参数可能会受到磁路饱和特性、温度变化、集肤效应的影响而实时改变,这种参数的不确定性和动态变化特性会降低物理机理模型的准确性和鲁棒性。除此之外,物理模型的精确性依赖于良好的加权算法,较为精确的加权算法往往需要依据每台风机的输出功率进行加权,从而需要收集大规模的量测数据,来描述每台风机的运行状况,这会显著增大算法的数据获取难度和运算量。参数辨识的方法需要根据风电场在受扰后的动态量测数据,运用粒子群算法来试凑等值机的参数,通过拟合受扰曲线进行参数辨识。这种辨识方法在获取等值机参数时,存在粒子群算法耗时太长、量测量不充分导致辨识系统不可观、参数的轨迹灵敏度小而难以辨识等问题,因此难以保证风电场建模的精确性和效率。
技术实现要素:4.本发明的主要目的在于克服现有技术的缺点与不足,提出一种基于ppo算法的数据模型混合驱动风电场建模方法。
5.为了达到上述目的,本发明采用以下技术方案:
6.基于ppo算法的数据模型混合驱动风电场建模方法,包括以下步骤:
7.s1、收集风电场在经受扰动后的量测数据,在其经受扰动后,采集扰动前后和扰动过程中的风电场电压和功率数据;
8.s2、构建风电场等值机模型,运用微分方程来描述风电场在经受扰动后的暂态过程,依据微分方程组构建等值机模型;
9.s3、参数初值设置与灵敏度分析,对双馈风机的电机参数和控制参数进行轨迹灵敏度分析;
10.s4、基于ppo强化学习算法的参数辨识。
11.进一步的,步骤s1具体为:
12.搭建包含多台双馈风机的风电场simulink仿真模型,风机采用最大功率跟踪和定无功功率控制方式;
13.记录在扰动过程中风电场输出有功功率和无功功率的变化曲线。
14.进一步的,步骤s2具体为:
15.运用dq0坐标系下13阶的微分方程组来描述风电场等值机的暂态过程,并搭建抽象仿真模型;在具有数值仿真功能的软件中,运用数值计算的基本模块搭建出各个变量间的数量关系,仿真软件调用合适的数值积分方法,运用数值计算的方法求解该微分方程组,计算各个变量在每个时刻的值,达到类似时域仿真的效果。
16.进一步的,13阶的微分方程组具体包括:
17.描述异步电机转子绕组电磁暂态过程的2个微分方程:
[0018][0019][0020]
其中,lr表示转子等效两相绕组的自感,表示为励磁电感和转子侧漏感之和lr=lm+l
lr
,rr表示转子侧电阻,xm表示励磁电抗,e
′d和e
′q表示d轴和q轴的暂态电势,u
rd
和u
rq
表示转子侧绕组端电压的d轴和q轴分量,i
rd
和i
rq
表示转子电流的d轴和q轴分量,ωs表示转差;
[0021]
描述转子侧换流器双闭环pi控制的4个微分方程:
[0022][0023][0024][0025][0026]
其中,q
*
和q分别表示无功功率参考值的测量值,和表示电流内环的参考值,和ωm分别表示转子转速的参考值和测量值,ψs表示定子磁链,ls表示定子等效两相绕组的自感,表示为励磁电感和定子侧漏感之和ls=lm+l
ls
;;均为pi控制参数,d轴和q轴上两个电流内环的控制参数相同;
[0027]
描述异步电机转子运动的1个微分方程:
[0028][0029]
其中,j表示转动惯量,tm和te分别表示机械转矩和电磁转矩,d表示摩擦系数;
[0030]
描述定子侧换流器双闭环pi控制的3个微分方程:
[0031][0032][0033][0034]
其中,和表示d轴和q轴电流的参考值,i
gd
和i
gq
表示d轴和q轴电流的测量值,和u
dc
表示直流母线电压的参考值和测量值,us表示电网电压在dq0坐标系下的幅值,与有效值的换算关系表示为ω表示电网电压角频率,l表示滤波电感大小;均为pi控制参数;
[0035]
描述定子侧换流器滤波电感上电流的2个微分方程:
[0036][0037][0038]
其中,u
gd
和u
gq
表示定子侧换流器端口的d轴和q轴电压,i
gd
和i
gq
表示定子侧换流器d轴和q轴的电流,r表示滤波电路的电阻;
[0039]
描述直流母线电容电压的1个微分方程:
[0040][0041]
其中,c表示直流母线电容的容值。
[0042]
进一步的,当风电场中有n台风力发电机时,等值机的参数与每台风机的参数的比例关系表示为:
[0043][0044][0045][0046][0047]
进一步的,灵敏度分析具体为:
[0048]
针对电机参数rs,rr,l
ls
,l
lr
,lm,tj和转子侧换流器控制参数和转子侧换流器控制参数分析以上参数在某一区间内变动时,等值机模型仿真结果与原
始风电场功率曲线的均方差y:
[0049][0050]
其中,n表示采样点个数,pi和qi表示等值机仿真模型在第i个采样点的有功和无功功率,和表示风电场模型在第i个采样点的有功和无功功率,k1和k2是衡量指标时自由选择的系数;
[0051]
将参数θi在其估计值附近的区间内等间距地取100个值θ
i(1)
,θ
i(2)
……
θ
i(100)
,同时令其余参数θj(j≠i)等于估计值对这100个取值分别运行仿真模型,并记录相应仿真结果的均方差其中k=1,2
…
100,之后对参数θi的灵敏度进行分析,灵敏度分析需要研究θ
i(k)
的变化对的影响程度,使用对θ
i(k)
偏导数的绝对值来表示:
[0052][0053]
如果根据公式(19)计算得到的绝对值越大,表明在θi的第k个采样点附近,θi的波动对结果影响显著,如果对于参数θi的大部分采样点,计算得到的偏导数都偏大,表明参数θi对功率曲线的拟合效果较为明显,将其作为待辨识参数。
[0054]
进一步的,由于使用各个参数的量纲有差距,因此在比较不同参数对仿真结果的影响程度时,需要进行归一化处理,运用归一化后的指标来表示灵敏度:
[0055][0056]
进一步的,基于ppo强化学习算法的参数辨识具体为:
[0057]
首先输入原始风电场产生的功率数据和以及待辨识参数的初值;
[0058]
基于ppo强化学习算法,使用连续步长对等值机的待辨识参数进行修正;强化学习的几个要素为状态state、动作action和奖励reward,其中状态为一个6维向量即待辨识参数构成的向量,在每一步的动作中,所有待辨识变量均会叠加一个修正量从而得到下一个状态
[0059]
修正等值机的参数,并且运行仿真模型拟合出功率曲线p和q,如果拟合出的功率曲线与原始功率曲线的误差较小,则输出参数辨识的结果,否则将功率曲线拟合均方差的相反数作为环境反馈给智能体的奖励r
t
,继续进行训练,并且计算出时序差分残差δ
t
:
[0060][0061]
其中,γ表示衰减因子,表示策略π的状态价值函数,计算得到的残差用于对
ppo算法的神经网络参数进行更新;迭代的过程会逐步修正等值机的待辨识参数和深度强化学习神经网络的参数,直至功率曲线的误差达到允许的范围。
[0062]
进一步的,ppo算法中,采用actor神经网络确定修正量δtj,δrs,δrr,δlm,服从的概率密度函数;
[0063]
假设每个待辨识参数的修正量都服从正态分布,actor网络的输入向量是当前的状态向量,输出向量是各个修正量的数学期望值,之后在正态分布中抽样,确定这一步的动作向量actor网络更新参数的目标是最优化策略函数,参数更新迭代的策略表示为:
[0064][0065]
其中,θk表示当前策略网络的参数,表示当前策略的优势函数,ε是一个超参数,用于限制截断范围;
[0066]
采用critic神经网络确定某种状态的价值;
[0067]
采取时序差分残差的学习方式,减小critic网络的估计误差,其参数更新策略表示为:
[0068][0069]
其中,ω表示critic网络的参数,α
ω
表示学习率,δ
t
表示时序差分残差,表示状态价值函数的梯度。
[0070]
进一步的,在训练神经网络的过程中,需要使用adam算法作为优化器,同时需要将输入的参数进行归一化,并在每层神经网络的激活函数后面进行批标准化处理,来提高神经网络训练的效率和收敛性。
[0071]
本发明与现有技术相比,具有如下优点和有益效果:
[0072]
1、本发明采用了物理模型与数据驱动相结合的方式,考虑了风力发电机的物理特性;等值机模型具有较明确的物理意义,较易融入到电力系统的稳定性分析当中,同时也借助数据驱动的方式提升了建模的准确性;将物理模型与数据驱动相结合,既可以考虑主要的物理机理,也可以充分利用观测到的大量数据,提高模型的精度。
[0073]
2、本发明运用抽象的13阶微分代数-方程组作为强化学习的环境,提高了参数辨识的速度。由于参数辨识需要频繁运行仿真模型,若采用详细风机模型仿真会导致耗时太长;本发明中建立的抽象模型能基本描述风机功率、转速的动态特性和控制器的调节特性,由于该模型不对三相波形直接进行仿真,避免了大量的派克变换运算,仿真速度较快,可以显著节省参数辨识所需的时间。
[0074]
3、本发明考虑双馈风机的电机参数和控制参数,并运用轨迹灵敏度分析的方式提高了参数辨识的针对性;选取对功率曲线拟合影响较大的参数进行辨识,可以在保证分析精度的前提下减少参数辨识的维数,提高参数辨识的效率。
[0075]
4、本发明运用深度强化学习代替原有的粒子群算法,提高参数辨识的效率。
附图说明
[0076]
图1是本发明方法的流程图;
[0077]
图2是双馈风机典型控制方式的示意图;
[0078]
图3是风电场在扰动过程中的功率曲线图;
[0079]
图4是等值机模型电机参数灵敏度曲线图;
[0080]
图5是等值机模型控制参数灵敏度曲线图;
[0081]
图6是使用ppo强化学习算法进行参数辨识的流程示意图。
具体实施方式
[0082]
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
[0083]
实施例
[0084]
如图1所示,本发明,基于ppo算法的数据模型混合驱动风电场建模方法,包括以下步骤:
[0085]
s1、收集风电场在经受扰动后的量测数据,在其经受扰动后,采集扰动前后和扰动过程中的风电场电压和功率数据;在本实施例中,具体为:
[0086]
搭建包含多台双馈风机的风电场simulink仿真模型,风机采用最大功率跟踪和定无功功率控制方式,其中无功功率的参考值需要保证风电场的功率因数维持在0.98,控制示意图如图2所示。风电场在第2.5s起风速发生变化,开始逐渐上升,输出功率逐渐增大,在第10s时出现了电压暂降,并网点电压由1p.u.暂降到0.7p.u.,记录在该扰动过程中风电场输出有功功率p和无功功率q的变化曲线,功率曲线图如图3所示。
[0087]
s2、构建风电场等值机模型,运用微分方程来描述风电场在经受扰动后的暂态过程,依据微分方程组构建等值机模型;
[0088]
s3、参数初值设置与灵敏度分析,对双馈风机的电机参数和控制参数进行轨迹灵敏度分析;
[0089]
s4、基于ppo强化学习算法的参数辨识。
[0090]
在本实施例中,步骤s2具体为:
[0091]
运用dq0坐标系下13阶的微分方程组来描述风电场等值机的暂态过程,并搭建抽象仿真模型。实际应用时;在具有数值仿真功能的软件中(如simulink),运用数值计算的基本模块搭建出各个变量间的数量关系,仿真软件调用合适的数值积分方法,运用数值计算的方法求解该微分方程组,计算各个变量在每个时刻的值,达到类似时域仿真的效果。
[0092]
在本实施例中,13阶的微分方程组具体包括:
[0093]
描述异步电机转子绕组电磁暂态过程的2个微分方程:
[0094][0095][0096]
其中,lr表示转子等效两相绕组的自感,可以表示为励磁电感和转子侧漏感之和lr=lm+l
lr
,rr表示转子侧电阻,xm表示励磁电抗,e
′d和e
′q表示d轴和q轴的暂态电势,u
rd
和u
rq
表示转子侧绕组端电压的d轴和q轴分量,i
rd
和i
rq
表示转子电流的d轴和q轴分量,ωs表示转差;
[0097]
描述转子侧换流器双闭环pi控制的4个微分方程:
[0098][0099][0100][0101][0102]
其中,q
*
和q分别表示无功功率参考值的测量值,和表示电流内环的参考值,和ωm分别表示转子转速的参考值和测量值,ψs表示定子磁链,ls表示定子等效两相绕组的自感,可以表示为励磁电感和定子侧漏感之和ls=lm+l
ls
。均为pi控制参数,此处设定d轴和q轴上两个电流内环的控制参数相同;
[0103]
描述异步电机转子运动的1个微分方程:
[0104][0105]
其中,j表示转动惯量,tm和te分别表示机械转矩和电磁转矩,d表示摩擦系数;
[0106]
描述定子侧换流器双闭环pi控制的3个微分方程:
[0107][0108][0109][0110]
其中,和表示d轴和q轴电流的参考值,i
gd
和i
gq
表示d轴和q轴电流的测量值,和u
dc
表示直流母线电压的参考值和测量值,us表示电网电压在dq0坐标系下的幅值,与有效值的换算关系可以表示为ω表示电网电压角频率,l表示滤波电感大小;均为pi控制参数;
[0111]
描述定子侧换流器滤波电感上电流的2个微分方程:
[0112][0113][0114]
其中,u
gd
和u
gq
表示定子侧换流器端口的d轴和q轴电压,i
gd
和i
gq
表示定子侧换流器d轴和q轴的电流,r表示滤波电路的电阻;
[0115]
描述直流母线电容电压的1个微分方程:
[0116][0117]
其中,c表示直流母线电容的容值。
[0118]
在本实施例中,当风电场中有n台风力发电机时,等值机的参数与每台风机的参数的比例关系表示为:
[0119][0120][0121][0122][0123]
在本实施例中,灵敏度分析具体为:
[0124]
针对电机参数rs,rr,l
ls
,l
lr
,lm,tj和转子侧换流器控制参数和转子侧换流器控制参数分析以上参数在某一区间内变动时,等值机模型仿真结果与原始风电场功率曲线的均方差y:
[0125][0126]
其中,n表示采样点个数,pi和qi表示等值机仿真模型在第i个采样点的有功和无功功率,和表示风电场模型在第i个采样点的有功和无功功率,k1和k2是衡量指标时可以自由选择的系数。此时将参数θi在其估计值附近的区间内等间距地取100个值θ
i(1)
,θ
i(2)
……
θ
i(100)
,同时令其余参数θj(j≠i)等于估计值对这100个取值分别运行仿真模型,并记录相应仿真结果的均方差其中k=1,2
…
100,之后可以对参数θi的灵敏度进行分析,灵敏度分析需要研究θ
i(k)
的变化对的影响程度,使用对θ
i(k)
偏导数的绝对值来表示:
[0127][0128]
如果根据公式(19)计算得到的绝对值越大,表明在θi的第k个采样点附近,θi的波动对结果影响显著,如果对于参数θi的大部分采样点,计算得到的偏导数都偏大,表明参数θi对功率曲线的拟合效果较为明显,将其作为待辨识参数。
[0129]
由于使用各个参数的量纲有差距,因此在比较不同参数对仿真结果的影响程度时,需要进行归一化处理,运用归一化后的指标来表示灵敏度:
[0130][0131]
分别对电机参数和电机侧控制参数的灵敏度进行分析,分析的结果分别如图4和图5所示。从中可以看出参数rs,rr,lm,tj,的灵敏度较大,将它们作为待辨识参数,用于构造强化学习的状态向量,同时令其余参数等于容量加权得到的估算值。
[0132]
如图6所示,基于ppo强化学习算法的参数辨识具体为:
[0133]
首先输入原始风电场产生的功率数据和以及待辨识参数的初值;
[0134]
基于ppo强化学习算法,使用连续步长对等值机的待辨识参数进行修正;强化学习的几个要素为状态state、动作action和奖励reward,其中状态为一个6维向量即待辨识参数构成的向量,在每一步的动作中,所有待辨识变量均会叠加一个修正量从而得到下一个状态之后修正等值机的参数,并且运行仿真模型拟合出功率曲线p和q,如果拟合出的功率曲线与原始功率曲线的误差较小,则输出参数辨识的结果,否则将功率曲线拟合均方差的相反数作为环境反馈给智能体的奖励r
t
,继续进行训练,并且计算出时序差分残差δ
t
:
[0135][0136]
其中,γ表示衰减因子,表示策略π的状态价值函数,计算得到的残差用于对ppo算法的神经网络参数进行更新;迭代的过程会逐步修正等值机的待辨识参数和深度强化学习神经网络的参数,直至功率曲线的误差达到允许的范围。
[0137]
ppo算法中,采用actor神经网络确定修正量δtj,δrs,δrr,δlm,服从的概率密度函数;
[0138]
假设每个待辨识参数的修正量都服从正态分布,actor网络的输入向量是当前的状态向量,输出向量是各个修正量的数学期望值,之后在正态分布中抽样,确定这一步的动作向量actor网络更新参数的目标是最优化策略函数,参数更新迭代的策略表示为:
[0139][0140]
其中,θk表示当前策略网络的参数,表示当前策略的优势函数,ε是一个超参数,用于限制截断范围;
[0141]
采用critic神经网络确定某种状态的价值;
[0142]
采取时序差分残差的学习方式,减小critic网络的估计误差,其参数更新策略表示为:
[0143][0144]
其中,ω表示critic网络的参数,α
ω
表示学习率,δ
t
表示时序差分残差,表示状态价值函数的梯度。
[0145]
在训练神经网络的过程中,需要使用adam算法作为优化器,同时需要将输入的参数进行归一化,并在每层神经网络的激活函数后面进行批标准化处理,来提高神经网络训练的效率和收敛性。
[0146]
ppo强化学习算法可以逐渐缩小等值机模型与原始风电场模型功率曲线的误差,最终辨识出一组能够拟合风电场动态特性的参数。每次辨识结束之后可以保存actor和critic神经网络的参数,如果后续需要对该风电场的等值模型进行更新,或需要辨识特性相似的风电场的参数,可以在此神经网络的基础上再进行训练,运用神经网络的可迁移性进一步提高参数辨识的效率。
[0147]
还需要说明的是,在本说明书中,诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0148]
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。