基于PPO算法的光伏電站暫態模型構建與參數辨識方法與流程
基于ppo算法的光伏電站暫態模型構建與參數辨識方法
技術領域
1.本發明涉及光伏發電技術領域，具體涉及基于ppo算法的光伏電站暫態模型構建與參數辨識方法。
背景技術：
2.當前我國光伏發電的并網容量和發電量不斷擴大，2021年，我國新增光伏發電并網裝機容量約5300萬千瓦，連續9年穩居世界首位，截至2021年底，光伏發電并網裝機容量達到3.06億千瓦，突破3億千瓦大關。光伏發電在電力系統發電總量的比重逐漸增大，但其通過逆變器并網，具有強波動性和弱慣性，暫態特性與同步發電機組有較大的差距，光伏電站的大規模并網會顯著改變電力系統的穩定性和電能質量，因此建立光伏電站的有效等值模型，并對其關鍵參數進行辨識，有助于分析電力系統的動態特性，進而保障電網的安全穩定運行。
3.運用一臺或少數幾臺的等值光伏逆變器，來等效原有的光伏電站，可以在保證它們具有相近暫態特性的前提下，顯著降低新型電力系統暫態模型的維數，提升分析效率。該過程主要需要完成兩個任務：(1)確定等效逆變器的模型結構。(2)辨識等效模型的關鍵參數。現有的光伏電站建模方法主要分為機理建模或參數辨識兩種，物理機理建模的方法需要在已知各個光伏發電單元精確參數的前提下，對其參數取平均值，從而獲得等值光伏逆變器模型的參數。然而實際上電力電子器件的部分參數可能是難以準確獲取的，另外線路電阻、電感等參數可能會隨著運行工況、溫度變化的影響而實時改變，這種參數的不確定性和動態變化特性會降低物理機理模型的準確性和魯棒性。參數辨識的方法需要根據光伏電站在受擾后的動態量測數據，現有的研究主要運用粒子算法來試湊等值光伏逆變器模型的參數，通過擬合受擾曲線進行參數辨識，這種辨識方法在獲取等值光伏逆變器模型參數時，存在粒子算法耗時太長、收斂速度較慢等問題，若需對光伏電站模型的在線參數辨識與修正，則這種方法的效率較低，實時性略差。
技術實現要素：
4.為解決現有技術所存在的技術問題，本發明提供基于ppo算法的光伏電站暫態模型構建與參數辨識方法，融合了機理模型建模和參數辨識的方法，無需預先知道光伏逆變器的準確參數，顯著降低了數據獲取的難度，運用深度強化學習算法代替原有的粒子算法，提高了參數辨識的效率，有助于分析光伏電站系統的動態特性，進而保障電網的安全穩定運行。
5.本發明提出了基于ppo算法的光伏電站暫態模型構建與參數辨識方法，包括以下步驟：
6.1、采集光伏電站在其經受擾動時相關的電壓和功率數據；
7.s2、建立等值光伏逆變器模型，分別建立光伏陣列模型、boost電路模型和并網逆變器模型；
8.s3、對等值光伏逆變器模型的參數進行靈敏度分析，篩選出對功率曲線擬合影響較顯著的關鍵參數，將關鍵參數作為待辨識參數；等值光伏逆變器模型的參數包括電路參數和控制參數；
9.s4、采用ppo深度強化學習算法進行參數辨識，當等值光伏逆變器模型的功率曲線與原始光伏電站的功率曲線的誤差小于設定的范圍時，將強化學習的狀態向量作為參數辨識的結果。
10.優選的技術方案中，所述步驟s2包括：
11.建立光伏陣列模型，確定光伏電池的輸出電流與光照強度、溫度和端電壓的關系；
12.建立boost電路模型，確定boost電路在逆變器側輸出電流與光伏電池輸出電流、占空比、直流側電容和電感的關系；
13.建立并網逆變器模型，確定逆變器的輸出電流與逆變器控制參數和boost電路輸出電流的關系。
14.進一步地，所述步驟s3包括：
15.根據光伏電站內逆變器的數量和單個逆變器的電路參數和控制參數，計算等值光伏逆變器模型中的電路參數的估計值和控制參數的估計值；
16.令電路參數和控制參數在其估計值附近的設定區間內變動，根據影響程度指標y分析參數的取值變化對功率曲線擬合誤差的影響程度，計算參數的靈敏度，選取靈敏度大的參數作為待辨識參數。
17.進一步地，所述步驟s4包括：
18.將光伏電站在擾動中產生的原始有功功率無功功率和待辨識參數的初值輸入等值光伏逆變器模型，基于ppo強化學習算法使用連續步長對等值光伏逆變器模型的待辨識參數進行試湊和修正；
19.運行等值光伏逆變器模型擬合出功率曲線，計算功率曲線擬合的均方差，如果擬合出的功率曲線與原始功率曲線的誤差小于設定限值，則輸出參數辨識的結果，否則將均方差的相反數作為環境反饋給智能體的獎勵繼續進行訓練，同時更新深度強化學習的神經網絡參數。
20.本發明與現有技術相比，具有如下優點和有益效果：
21.第一，本發明提供基于ppo算法的光伏電站暫態模型構建與參數辨識方法，采用物理模型與數據驅動相結合的方法，建立了光伏電站的等值模型，等值光伏逆變器模型具有較明確的物理意義，可以融入到電力系統的穩定性分析當中，同時也借助數據驅動的方式降低了對原始參數的依賴程度，無需預先獲取各個光伏發電單元準確的電路參數和控制參數。
22.第二，通過運用靈敏度分析的方式選擇需要辨識的參數，提高了參數辨識的針對性，可以在保證分析精度的前提下減少后續強化學習的維數，提高參數辨識的效率。
23.第三，運用深度強化學習代替原有的粒子算法，提高參數辨識的效率，強化學習可以基于試驗和反饋，使智能體學習一個較好的策略，從而能主動適應環境以最大化未來獎勵，可以提高參數辨識的速度；如果后續需要對待辨識參數進行修正，可以在每次參數辨識后可以將訓練得到的神經網絡保存下來，提升對在線參數辨識的可行性和效率，有助于分析光伏電站系統的動態特性，進而保障電網的安全穩定運行。
附圖說明
24.為了更清楚地說明本發明實施例或現有技術中的技術方法，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖示出的結構獲得其他的附圖。
25.圖1為本發明實施例中的基于ppo算法的光伏電站暫態模型構建與參數辨識方法流程圖；
26.圖2為本發明實施例中的光伏電站典型控制方式框圖；
27.圖3為本發明實施例中的光伏電站在擾動過程中的功率曲線圖；
28.圖4為本發明實施例中的等值逆變器模型電路參數靈敏度曲線圖；
29.圖5為本發明實施例中的等值逆變器模型控制參數靈敏度曲線圖；
30.圖6為本發明實施例中的基于ppo算法進行參數辨識的框圖。
具體實施方式
31.下面將結合附圖和實施例，對本發明技術方法做進一步詳細描述，顯然所描述的實施例是本發明一部分實施例，而不是全部的實施例，本發明的實施方式并不限于此。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
32.實施例1：
33.如圖1所示，基于ppo算法的光伏電站暫態模型構建與參數辨識方法流程圖，本發明所述的基于ppo算法的光伏電站暫態模型構建與參數辨識方法包括步驟：
34.s1、采集光伏電站在經受擾動時相關的電壓和功率數據
35.本實施例中，光伏電站包括兩級式光伏逆變器構建的光伏電站，在其經受光照強度改變、短路故障、電壓暫降等擾動時，采集包含擾動前、完整擾動過程和擾動后的并網點電壓v、輸出有功功率p、輸出無功功率q的數據。
36.采集光伏電站在發生光照改變、電壓暫降、短路故障等擾動時的電壓和功率數據，光伏陣列采用“升壓斬波電路+逆變器”兩級式并網結構，升壓斬波電路控制采取最大功率跟蹤，逆變器采用定直流電壓和定無功功率控制方式，其中無功功率的參考值需要保證光伏電站的功率因數維持在0.98，光伏電站典型控制方式框圖，如圖2所示，框圖表明等值模型采用前級boost升壓和后級逆變器的電路結構，控制方式采用定直流母線電容電壓和定交流側無功電流的模式。如圖3所示，光伏電站在擾動過程中的功率曲線圖，光伏電站在第1s時光照強度降低，輸出功率下降，在第4s時出現了電壓暫降，并網點電壓由1p.u.暫降到0.8p.u.，在第6s時電壓恢復，記錄在該擾動過程中光伏電站輸出有功功率p和無功功率q的變化曲線。
37.s2、建立等值光伏逆變器模型，分別建立光伏陣列模型、boost電路模型和并網逆變器模型。
38.基于雙級式光伏逆變器的電路結構和控制方式，搭建相應的數值仿真模型即等值光伏逆變器模型，等值光伏逆變器模型需要輸入光照強度、溫度和并網點電壓的時間序列，輸出是有功功率p、無功功率q曲線，等值光伏逆變器模型主要充當功率曲線擬合的框架，之
后將其作為強化學習所需的交互環境。
39.建立等值光伏逆變器模型包括分別建立光伏陣列、boost電路和并網逆變器的模型，用于描述等值光伏逆變器輸出功率的動態特性。等值光伏逆變器模型包括以下暫態過程：直流側電容、電感的充放電過程；交流側濾波電路的動態過程；并網逆變器的控制過程。后續通過等值光伏逆變器模型來擬合光伏電站在動態過程中的功率曲線，將其作為運用強化學習做參數辨識所需的環境。
40.分別建立光伏陣列模型、boost電路模型和逆變器模型包括以下步驟：
41.s21、建立光伏陣列模型，確定光伏電池的輸出電流與光照強度、溫度和端電壓的關系；
42.s22、建立boost電路模型，確定boost電路在逆變器側輸出電流與光伏電池輸出電流、占空比、直流側電容和電感的關系；
43.s23、建立并網逆變器模型，確定逆變器的輸出電流與逆變器控制參數和boost電路輸出電流的關系。
44.具體地，光伏陣列模型，用于描述光伏電池輸出功率隨光照強度、溫度和端電壓的變化，其工程模型可以表示為：
[0045][0046]
其中i
l
表示光伏電池的輸出電流，u表示光伏電池輸出電壓，p是光伏輸出功率，是電壓u的函數。u
′
oc
和i
′
sc
表示光伏電池在實際溫度和太陽輻射條件下的開路電壓和短路電流，u
′m和i
′m表示光伏電池在實際環境條件下最大功率點的電壓和電流。c1和c2是由u
′
oc
，i
′
sc
，u
′m和i
′m表示的系數。其中實際溫度和太陽輻射強度下的u
′
oc
，i
′
sc
，u
′m和i
′m等光伏電池技術參數可以由標準狀況的參數經過經驗公式修正后得到：
[0047][0048]
其中t
ref
為標準電池溫度25℃，t為電池實際溫度(單位℃)，s
ref
為標準光照強度1000w
·
m-2
，s為實際光照強度(單位w
·
m-2
)。u
oc
和i
sc
表示標準狀況下光伏電池的開路電壓和短路電流，um和im表示在標準狀況下光伏電池最大功率點的電壓和電流。系數a為常數，取
0.0025/℃，b為無量綱常數，取0.05，c為常數，取0.0028/℃。
[0049]
由于光伏陣列的參數u
oc
、i
sc
、um、im很容易通過查閱器件手冊或分析穩態運行數據得到，本發明假設在參數u
oc
、i
sc
、um、im已知的前提下，辨識其余對光伏電站暫態特性影響較為顯著的參數。由于等值模型需要與原本的光伏電站具有相同的電壓等級，同時功率是各單元功率之和，因此等值光伏逆變器模型的參數u
oc
、i
sc
、um、im與單個光伏陣列參數與單個光伏陣列參數的關系可以表示為：
[0050][0051]
其中，n表示光伏逆變器的數目，同時令等值光伏逆變器模型的光照強度和溫度等于各單元光照強度和溫度的平均值。
[0052]
boost電路模型，用于描述升壓斬波電路的動態特性，基于斬波電路的開關周期平均值模型，考慮了以下微分方程：
[0053][0054][0055][0056]
其中l1表示直流側電感大小，c1和c2表示光伏側和逆變器側的電容大小，＜i
l
＞
ts
表示電感電流在開關周期內的平均值，＜u
pv
＞
ts
和＜u
dc
＞
ts
分別表示光伏側電容和逆變器側電容電壓在開關周期內的平均值，i
out
表示升壓斬波電路在逆變器側的輸出電流，d(t)表示斬波電路觸發信號的占空比。由于斬波電路可以通過調節光伏陣列端電壓來實現最大功率跟蹤，此處設端電壓參考值調整的速率為該參數與光伏模型功率調節速率相關，也將其作為等值模型的待辨識參數。
[0057]
并網逆變器模型，用于描述逆變器的控制特性和交流側濾波電路的動態過程，可以表示為：
[0058][0059][0060][0061][0062][0063]
其中ud和uq表示等值逆變器端口的d軸和q軸電壓，u
sd
和u
sq
表示并網點的d軸和q軸電壓，ω表示電網角頻率，id和iq表示逆變器d軸和q軸的電流，i
dref
和i
qref
分別表示d軸和q
軸電流內環的參考值，l和r表示濾波電路的電阻，表示pi控制參數。
[0064]
以上各環節的模型描述了光伏逆變器的主要暫態過程，依據上述方程組可以構建等值光伏逆變器模型的仿真模型，作為強化學習所需的環境。
[0065]
s3、對等值光伏逆變器模型的電路參數和控制參數進行靈敏度分析，篩選出對功率曲線擬合影響較顯著的關鍵參數，將關鍵參數作為待辨識參數。對電路參數和控制參數進行靈敏度分析，可以減少待辨識參數的數量，提高參數辨識收斂的可能性和效率。
[0066]
對光伏逆變器的電路參數和控制參數進行靈敏度分析包括以下步驟：
[0067]
s31、根據光伏電站內逆變器的數量和單個逆變器的電路參數和控制參數，計算等值光伏逆變器模型中的電路參數的估計值和控制參數的估計值。
[0068]
s32、令電路參數、控制參數在初值附近的設定區間內變動，根據影響程度指標y分析電路參數、控制參數的取值變化對功率曲線擬合誤差的影響程度，計算電路參數、控制參數的靈敏度。
[0069]
s33、選取靈敏度較大的電路參數或控制參數，將其作為待辨識參數。
[0070]
本實施例中，等值光伏逆變器模型中，涉及電路參數包括：直流側電感l1，光伏側電容c1，逆變器側電容c2，濾波電感l，濾波電阻r，濾波電容c?？刂茀蛋ǎ耗孀兤骺刂茀岛椭绷鱾萴ppt調節參數v
mppt
。當光伏電站中有n組光伏逆變器時，等值光伏逆變器模型的參數θ與每個單元的參數的比例關系可以近似地表示為：
[0071][0072][0073]
通過以上換算關系，可以依據單個逆變器的參數值來估算等值光伏逆變器模型參數θ的大致范圍。由于后續會運用強化學習算法辨識關鍵參數，此處計算估算代入的單機參數值無需特別精確，只需要保證代入的能基本描述對應參數的大致范圍和數量級。之后需要對以上參數進行靈敏度分析，選取對暫態特性影響較為顯著的參數進行辨識，其余參數可以直接設為典型值。
[0074]
在對某一參數θi進行靈敏度分析時，需要分析θi在設定區間內變動時對某一指標的影響程度，本發明將等值光伏逆變器模型仿真結果與原始光伏電站功率曲線的均方差作為影響程度指標y，指標y的計算公式為：
[0075][0076]
其中，n表示采樣點個數，pi和qi表示等值光伏逆變器模型在第i個采樣點的有功和無功功率，和表示光伏電站在第i個采樣點的有功和無功功率，k1和k2是衡量指標時可以自由選擇的系數。
[0077]
此時將參數θi在其估計值附近的區間內等步長地取100個值
同時直接令剩余參數θj(j≠i)等于估計值對這100個取值分別運行等值光伏逆變器模型，記錄均方差其中k＝1,2
…
100，并計算參數θi的靈敏度，參數θi包括電路參數和控制參數。計算參數θi的靈敏度的計算公式為：
[0078][0079]
其中，其中，來表示歸一化后的靈敏度，為第k+1個取值的均方差，θ
i(k+1)
為參數θi第k+1個采樣點取值，θ
i(k)
為參數θi第k個采樣點取值，如果計算得到的數值越大，表明在θi的第k個采樣點附近，θi取值的變動對結果影響顯著。如果對于參數θi的大部分采樣點，計算得到的靈敏度都偏大都偏大，表明參數θi對功率曲線的擬合效果較為顯著，需要將其作為待辨識參數。
[0080]
對于這些需要進行參數辨識的參數，將其估計值代入求取平均值的計算公式，得到等值光伏逆變器模型對應參數的初值，之后運用強化學習的方法對其進行進一步修正。對于靈敏度不高的非關鍵參數，可以直接將其估計值代入求取平均值的計算公式，得到等值光伏逆變器模型的對應參數。
[0081]
對主要的電路參數和控制參數的靈敏度進行分析，分析的結果分別如圖4和圖5所示，分別為等值逆變器模型電路參數靈敏度曲線圖、等值逆變器模型控制參數靈敏度曲線圖。圖4主要展示了主要的電容、電感、電阻參數在不同采樣點處的靈敏度大小，圖5主要展示了關鍵的控制參數在不同采樣點處的靈敏度大小，從中可以看出參數r,l1,c2,v
mppt
的靈敏度相對較大，將它們作為待辨識的關鍵參數，構造為強化學習的狀態向量。
[0082]
s4、采用ppo深度強化學習算法(proximal policy optimization，鄰近優化算法)進行參數辨識，當等值光伏逆變器模型的功率曲線與原始光伏電站的功率曲線的誤差小于設定的范圍時，將強化學習的狀態向量作為參數辨識的結果。
[0083]
本實施例中，將等值光伏逆變器模型作為強化學習的環境，運用ppo算法作為強化學習的智能體，采用深度強化學習的方式來修正待辨識參數，并對智能體進行訓練，可以提高等值光伏逆變器模型參數辨識的效率。
[0084]
強化學習的腳本采用python進行開發，可以在python程序中修改等值光伏逆變器模型的待辨識參數，之后運行等值光伏逆變器模型，獲得等值光伏逆變器模型在擾動過程中的p、q功率曲線，將其與原始光伏電站的p、q功率曲線進行比較，來試驗待辨識參數的擬合效果。強化學習的狀態(state)為待辨識參數構成的向量，動作(action)需要修正待辨識參數，在原始的狀態向量上面再疊加一個修正向量，從而得到下一個狀態(next state)，即修正后的參數。獎勵為等值光伏逆變器模型pq曲線和原始光伏電站pq曲線均方差的相反數，如果擬合效果越接近，則均方差越小、獎勵越大。
[0085]
如圖6所示，基于ppo算法進行參數辨識的框圖，采用ppo深度強化學習算法進行參數辨識具體包括步驟：
[0086]
s41、將光伏電站在擾動中產生的原始有功功率無功功率和待辨識參數的初值輸入等值光伏逆變器模型，基于ppo強化學習算法使用連續步長對等值光伏逆變器模型
的待辨識參數進行試湊和修正。
[0087]
s42、運行等值光伏逆變器模型擬合出功率曲線，計算功率曲線擬合的均方差，如果擬合出的功率曲線與原始功率曲線的誤差小于設定限值，則輸出參數辨識的結果，否則將均方差的相反數作為環境反饋給智能體的獎勵繼續進行訓練，同時更新深度強化學習的神經網絡參數。
[0088]
ppo強化學習算法是一種容易收斂的策略學習算法，在深度強化學習領域應用廣泛。首先需要輸入光伏電站在擾動中產生的原始功率量測數據和將其作為等值模型功率曲線擬合的目標，同時輸入待辨識參數的初值。
[0089]
基于ppo強化學習算法使用連續步長對等值光伏逆變器模型的待辨識參數進行修正，具體包括：將待辨識參數的當前值作為強化學習的狀態量，將強化學習的動作量作為待辨識參數的修正量，將修正量疊加狀態量得到修正后的待辨識參數，將修正后的待辨識參數輸入等值光伏逆變器模型。
[0090]
強化學習的幾個要素為狀態state，動作action和獎勵reward，強化學習的狀態state為一個6維向量即由待辨識參數構成的向量。在每一步的動作action中，所有待辨識變量進行一定幅度的修正，動作向量從而得到修正后的參數：
[0091][0092]
運行等值光伏逆變器模型，擬合出功率曲線p和q，并計算功率曲線擬合的均方差：
[0093][0094]
其中，其中，n表示采樣點個數，pi、qi分別表示等值光伏逆變器模型在第i個采樣點的有功和無功功率，分別表示光伏電站在第i個采樣點的有功和無功功率。如果擬合出的功率曲線與原始功率曲線的誤差較小，則輸出參數辨識的結果，否則將均方差的相反數作為環境反饋給智能體的獎勵r
t
，繼續進行訓練。這種迭代的過程會逐步修正等值光伏逆變器模型的待辨識參數和ppo算法神經網絡的參數，直至功率曲線的擬合誤差達到允許的范圍。
[0095]
訓練的過程中除了修正待辨識參數之外，還需要修正深度強化學習中用到的神經網絡參數。以最大化狀態價值函數期望為目標，更新actor網絡的參數。采取時序差分殘差的學習方式，以減小估計誤差為目標，更新critic網絡的參數。
[0096]
ppo屬于actor-critic算法，其中的actor神經網絡是學習策略網絡，用于確定各個修正量δr,δl1,δc2,δv
mppt
服從的概率密度函數，假設每個待辨識參數的修正量都服從正態分布，actor網絡的輸入向量是當前的狀態向量，輸出向量是各個修正量的數學期望值，同時也將各個修正量的方差作為神經網絡的參數，如果某個參數的識別效果較好，它的修正量的方差會逐漸減小，趨于收斂，如果識別效果波動較大，它的修正量的方差會逐漸增大，提高探索能力。每一步的動作都會在正態分布中抽樣，確定動作向量a。
[0097]
actor網絡更新參數的目標是最優化策略函數，同時ppo算法需要采取截斷的方
式，來保證新的參數和舊的參數差距不會太大，actor網絡參數更新迭代的策略可以表示為：
[0098][0099]
上式表示需要確定策略網絡的參數θ
′
，以實現狀態價值函數期望的最大化。其中θk表示當前策略網絡的參數，π
θ
′
(a|s)表示策略函數，表示當前策略的狀態價值函數，表示當前策略的優勢函數，ε是一個超參數，用于限制截斷范圍。
[0100]
critic神經網絡是價值網絡，用于確定某種狀態的價值。critic網絡的輸入向量是當前的狀態向量，輸出結果是當前策略π下的狀態價值函數值。采取時序差分殘差的學習方式，可以減小critic網絡的估計誤差，critic網絡的參數更新策略可以表示為：
[0101][0102]
其中ω表示critic網絡的參數，γ表示獎勵衰減因子，系數α
ω
表示學習率，表示狀態價值函數的梯度。
[0103]
ppo強化學習算法可以逐漸縮小等值光伏逆變器模型與原始光伏電站功率曲線的誤差，最終辨識出一組能夠擬合其動態特性的參數。隨著強化學習的不斷迭代與訓練，等值光伏逆變器模型的pq曲線會逐漸接近原始光伏電站的pq曲線，當誤差小于允許的范圍時則認為目前等值光伏逆變器模型的擬合效果達到了預期的目標，將此時強化學習的狀態向量作為參數辨識的結果。優選地，將深度強化學習中用到的actor和critic神經網絡的參數保存下來，用于對該光伏電站等值模型的參數進行在線辨識或更新，可以在該神經網絡的基礎上再進行訓練，運用神經網絡的可遷移性來進一步提高參數辨識的效率。
[0104]
本發明提供基于ppo算法的光伏電站暫態模型構建與參數辨識方法，采用物理模型與數據驅動相結合的方法，建立了光伏電站的等值模型，提出了一種基于ppo算法的等值光伏逆變器模型參數辨識方法，采用了物理模型與數據驅動相結合的方式，考慮了光伏逆變器的物理機理，該等值光伏逆變器模型具有較明確的物理意義，可以融入到電力系統的穩定性分析當中，同時也借助數據驅動的方式降低了對原始參數的依賴程度，無需預先獲取各個光伏發電單元準確的電路參數和控制參數。同時考慮光伏逆變器的電路參數和控制參數，并運用靈敏度分析的方式選擇需要辨識的參數，提高了參數辨識的針對性，可以在保證分析精度的前提下減少后續強化學習的維數，提高參數辨識的效率。運用深度強化學習代替原有的粒子算法，提高參數辨識的效率，強化學習可以基于試驗和反饋，使智能體學習一個較好的策略，從而能主動適應環境以最大化未來獎勵，可以提高參數辨識的速度；如果后續需要對待辨識參數進行修正，可以在每次參數辨識后可以將訓練得到的神經網絡保存下來，提升對在線參數辨識的可行性和效率，有助于分析光伏電站系統的動態特性，進而保障電網的安全穩定運行。
[0105]
上述實施例為本發明較佳的實施方式，但本發明的實施方式并不受上述實施例的限制，其他的任何未背離本發明的精神實質與原理下所作的改變、修飾、替代、組合、簡化，均應為等效的置換方式，都包含在本發明的保護范圍之內。
技術特征：
1.基于ppo算法的光伏電站暫態模型構建與參數辨識方法，其特征在于，包括以下步驟：s1、采集光伏電站在其經受擾動時相關的電壓和功率數據；s2、建立等值光伏逆變器模型，分別建立光伏陣列模型、boost電路模型和并網逆變器模型；s3、對等值光伏逆變器模型的參數進行靈敏度分析，篩選出對功率曲線擬合影響較顯著的關鍵參數，將關鍵參數作為待辨識參數；等值光伏逆變器模型的參數包括電路參數和控制參數；s4、采用ppo深度強化學習算法進行參數辨識，當等值光伏逆變器模型的功率曲線與原始光伏電站的功率曲線的誤差小于設定的范圍時，將強化學習的狀態向量作為參數辨識的結果。2.根據權利要求1所述的基于ppo算法的光伏電站暫態模型構建與參數辨識方法，其特征在于，所述光伏電站為兩級式光伏逆變器構建的光伏電站；所述采集光伏電站在其經受擾動時相關的電壓和功率數據包括：在光伏電站經受光照強度改變、短路故障、電壓暫降擾動時，采集光伏電站的擾動前、完整擾動過程中和擾動后的并網點電壓v、輸出有功功率p和輸出無功功率q。3.根據權利要求1所述的基于ppo算法的光伏電站暫態模型構建與參數辨識方法，其特征在于，所述步驟s2包括：建立光伏陣列模型，確定光伏電池的輸出電流與光照強度、溫度和端電壓的關系；建立boost電路模型，確定boost電路在逆變器側輸出電流與光伏電池輸出電流、占空比、直流側電容和電感的關系；建立并網逆變器模型，確定逆變器的輸出電流與逆變器控制參數和boost電路輸出電流的關系。4.根據權利要求1所述的基于ppo算法的光伏電站暫態模型構建與參數辨識方法，其特征在于，所述步驟s3包括：根據光伏電站內逆變器的數量和單個逆變器的電路參數和控制參數，計算等值光伏逆變器模型中的電路參數的估計值和控制參數的估計值；令電路參數和控制參數在其估計值附近的設定區間內變動，根據影響程度指標y分析參數的取值變化對功率曲線擬合誤差的影響程度，計算參數的靈敏度，選取靈敏度大的參數作為待辨識參數。5.根據權利要求4所述的基于ppo算法的光伏電站暫態模型構建與參數辨識方法，其特征在于，所述等值光伏逆變器模型的電路參數包括：直流側電感l1、光伏側電容c1、逆變器側電容c2、濾波電感l、濾波電阻r和濾波電容c；所述等值光伏逆變器模型的控制參數包括：逆變器控制參數和直流側mppt調節參數。6.根據權利要求4所述的基于ppo算法的光伏電站暫態模型構建與參數辨識方法，其特征在于，所述影響程度指標y為等值光伏逆變器模型仿真結果與原始光伏電站功率曲線的均方差，影響程度指標y計算公式為：
其中，n表示采樣點個數，p
i
和q
i
表示等值光伏逆變器模型在第i個采樣點的有功和無功功率，和表示光伏電站在第i個采樣點的有功和無功功率，k1和k2是衡量指標時能夠自由選擇的系數。7.根據權利要求4所述的基于ppo算法的光伏電站暫態模型構建與參數辨識方法，其特征在于，所述計算參數的靈敏度包括：將參數θ
i
在其估計值附近的設定區間內等步長地取n個值，同時令剩余參數θ
j
(j≠i)等于估計值對這n個取值分別運行等值光伏逆變器模型，記錄均方差其中k＝1,2
…
n，計算參數θ
i
的靈敏度，計算參數θ
i
的靈敏度的計算公式為：其中，來表示歸一化后的靈敏度，為第k+1個取值的均方差，為參數θ
i
第k+1個采樣點取值，為參數θ
i
第k個采樣點取值，所述參數θ
i
包括電路參數和控制參數。8.根據權利要求1所述的基于ppo算法的光伏電站暫態模型構建與參數辨識方法，其特征在于，所述步驟s4包括：將光伏電站在擾動中產生的原始有功功率無功功率和待辨識參數的初值輸入等值光伏逆變器模型，基于ppo強化學習算法使用連續步長對等值光伏逆變器模型的待辨識參數進行試湊和修正；運行等值光伏逆變器模型擬合出功率曲線，計算功率曲線擬合的均方差，如果擬合出的功率曲線與原始功率曲線的誤差小于設定限值，則輸出參數辨識的結果，否則將均方差的相反數作為環境反饋給智能體的獎勵繼續進行訓練，同時更新深度強化學習的神經網絡參數。9.根據權利要求8所述的基于ppo算法的光伏電站暫態模型構建與參數辨識方法，其特征在于，所述基于ppo強化學習算法使用連續步長對等值光伏逆變器模型的待辨識參數進行試湊和修正包括：將待辨識參數的當前值作為強化學習的狀態量，將強化學習的動作量作為待辨識參數的修正量，將修正量疊加狀態量得到修正后的待辨識參數，將修正后的待辨識參數輸入等值光伏逆變器模型。10.根據權利要求8所述的基于ppo算法的光伏電站暫態模型構建與參數辨識方法，其特征在于，所述運行等值光伏逆變器模型擬合出功率曲線，計算功率曲線擬合的均方差的計算公式為：
其中，n表示采樣點個數，p
i
、q
i
分別表示等值光伏逆變器模型在第i個采樣點的有功和無功功率，分別表示光伏電站在第i個采樣點的有功和無功功率。
技術總結
本發明涉及光伏發電技術領域，為基于PPO算法的光伏電站暫態模型構建與參數辨識方法。該方法包括：采集光伏電站在其經受擾動時相關的電壓和功率數據；建立等值光伏逆變器模型，對等值光伏逆變器模型的參數進行靈敏度分析，篩選出對功率曲線擬合影響較顯著的關鍵參數；采用PPO深度強化學習算法進行參數辨識，當等值光伏逆變器模型的功率曲線與原始光伏電站的功率曲線的誤差小于設定的范圍時，將強化學習的狀態向量作為參數辨識的結果。本發明融合了機理模型建模和參數辨識的方法，降低了數據獲取的難度，運用深度強化學習算法代替原有的粒子算法，提高了模型參數辨識的效率，有助于分析光伏電站系統的動態特性，進而保障電網的安全穩定運行。的安全穩定運行。的安全穩定運行。
