Bu tədqiqat, fərqli ilətişim gecikmələrine sahip mikroşəbəkələrin ortak bir enerji idarəetmə siyasəti öğrenmesini sşəbəkəlamak üçün bayatlıq və fiziki təhlükəsizlik farkındalıklı asinxron federativ gücləndirməli öyrənmə çərçivəsi SPA-AFRL’yi geliştirmiştir. Yöntem, gecikerek ulaşan yerli model yeniləməlerinin etkisini üstel kimi azaltan bir federatif toplulaştırma mekanizmasını, süni intellektnın ürettiği hərəkətleri batareya və güç dumantemi sınırları üçüne yansıtan təhlükəsizlik operatoruyle birləşdirməktedir. Los Angeles bölgesindeki altı bina türünü temsil eden simulyasiyalarda SPA-AFRL daha sürətli yaxınlaşma, yüzde 10-90 batareya doluluk sınırlarının korunması və nümunə 24 saatlik ekonomik yük dşəbəkəıtımında -3,10 ABŞ dolları xalis xərc, başka bir ifadeyle 3,10 ABŞ dolları gelir bildirmiştir. Bununla belə nəticələr gerçek mikroşəbəkə saha təcrübəi değil, simulyasiya çıktistilikdır və nəzəri yaxınlaşma iddiası siyasət şəbəkəsinın daralma xüsusiyyəti ilə fiziki dumantemin giriş-durum dayanıqlığı gibi varsayımlara bşəbəkəlıdır.

SPA-AFRL’nin təməl problemi, federativ öyrənməde fərqli sürətlarda çalışan mikroşəbəkələrden gelen model yeniləməlerinin eyni dəyərde kabul edilmesidir. Bir mikroşəbəkənin yeniləməsi merkezi sunucuya geç ulaştığında, yeniləmənin dayandığı küresel model çoxtan değişmiş olabilir. Tədqiqat bu durumu model bayatlığı və ya gecikmiş yeniləmə problemi kimi ele almakta və gecikmə arttıkça yeniləmənin şəbəkəırlığını azaltmaktadır.

İkinci problem fiziki təhlükəsizliktir. Pekiştirmeli öğrenme agentı təlim ardıcıllıqsında batareyanın peyəndrı dolmasına, peyəndrı boşalmasına və ya izin məlumatlen şəbəkə alış-satış gücünün peyəndlmasına yol açabiləcek bir hərəkət önerebilir. SPA-AFRL, önerilən hərəkəti birbaşa tətbiqk yerine en yaxınn fiziki olaraq uyğun hərəkəte izdüşürmektedir. Böylece təhlükəsizlik yalnızca mükafat funksiyasındaki cezalara bıraxınlmamakta, qarar uygulanmadan əvvəl matematiksel bir uygunluk nəzarətünden geçirilmektedir.

Türkiyə baxımından tədqiqat; mütəşəkgil sənaye zonaları, kampusler, hasdənələr, kommersiya binalar və yenilənebilir enerji içeren lokal enerji topluluklarında məlumat merkeziləştirilmeden ortaq enerji idarəetmə siyasəti geliştirilmesi üçün araştırılabiləcek bir yaklpeyəndm təqdim edir. Lakin istifadə edilən yük, hava durumu, tarif və günəş istehsalı şərtlərı Los Angeles bölgesine aittir. Türkiyədəki elektrik tarifleri, dşəbəkəıtım dumantemi kuralları, batareya teknik sınırları, iklim bölgeleri və məlumat haberleşme altstrukturuyla yeniden modellenmeden Türkiyə üçün ekonomik kazanç və ya saha inamliği sonucu çıqarılamaz.

Araşdırmanın təməl sualsu nedir?

Araşdırmanın təməl sualsu şudur: Farklı ilətişim gecikmələrine və yerli tədqiqat şərtlərına sahip dşəbəkəıtık mikroşəbəkələr, məlumatlarini merkezi bir sunucuda toplamadan ortak bir enerji idarəetmə siyasəti öğrenirken hem model yaxınlaşması hem də fiziki cihaz inamliği nasıl korunabilir?

Federatif gücləndirməli öyrənməde her mikroşəbəkə kendi yerli məlumatsi və ortamıyla bir siyasət modeli eğitir. Merkezî sunucu ham yük, istehsal və ya kullanıcı məlumatsini almak yerine model parametrelerini birleştirir. Lakin mikroşəbəkələrin işlem gücü, şəbəkə keçidsı və yerli təlim müddəti fərqli olduğunda bütün yeniləməler eyni anda gelmez. Geç gelen bir yeniləmənin birbaşa küresel modele eklenmesi, güncel siyasətyı eski bilgi yönünde bozabilir.

Həmçinin gücləndirməli öyrənmə agentının yüksek mükafat ararken fiziki sınırları ihlal etmesi mümkündür. Örneğin agent, kısa vadeli maliyeti azaltmak amacıyla batareyayı izin məlumatlen doluluk sınırının dışına çıqaran və ya cihaz gücünü aşan bir hərəkət önerebilir. Tədqiqat, ilətişim qatındaki bayat model problemiyle fiziki qatdaki təhlükəsizlik problemini eyni qapalı dövrə üçünde ele almaktadır.

SPA-AFRL ne anlama gelmektedir?

SPA-AFRL, Staleness-and Physics-Aware Asynchronous Federated Reinforcement Learning ifadesinin kısaltmasıdır. Türkçe kimi “Bayatlık və Fiziksel Güvenlik Farkındalıklı Asinxron Federativ Gücləndirməli Öyrənmə” şeklinde açıklanabilir.

Çerçeve iki təməl mekanizma içerir:

• Bayatlık farkındalıklı asinxron toplulaştırma: Merkezi sunucu, geç gelen yeniləməlerin küresel model üzərindəki etkisini azaltır.
• Fiziksel təhlükəsizlik proyeksiyası: Yerel süni intellekt siyasətsının önerdiği hərəkət, mikroşəbəkənin inamli və uyğun hərəkət kümesine yansıtılır.

Federatif gücləndirməli öyrənmənin iş axınşı nasıldır?

Federatif öğrenmenin təməl müddətci dört adımdan oluşmaktadır:

1. Merkezî sunucu güncel küresel model parametrelerini yerli mikroşəbəkə agentlarına gönderir.
2. Her agent kendi özel məlumatlari və fiziki ortamıyla yerli gücləndirməli öyrənmə təlimi yapar.
3. Ajanlar xam məlumatleri değil, öğrenilən model parametresi değişimlerini mərkəzi serverya yükler.
4. Sunucu gelen yeniləməleri birleştirerek yeni küresel modeli oluşturur.

SPA-AFRL’də bu müddətç sinxron değildir. Sunucu bütün agentların eyni anda tamamlanmasını boynaqez. Bir agent yeniləməsini gönderdiğinde, yeniləmə hemen dəyərlendirilir və bayatlıq şəbəkəırlığına görə küresel modele eklenir.

Mikroşəbəkənin fiziki strukturu nasıl modellenmiştir?

Her mikroşəbəkə; yerli elektrik yükü, fotovoltaik istehsal dumantemi, batareya enerji saxlama dumantemi və əsas şəbəkə ya da diğer mikroşəbəkələrle enerji alışməlumatşi yapan bir birim kimi modellenmiştir.

Batareyanın doluluq nisbəti, diğer adıyla şarj vəziyyəti (state of charge, SOC), şu ilişkiyle güncellenmektedir:

\[ SOC_i(t+1)=SOC_i(t)+\left(\eta_i^{ch}P_i^{ch}(t)-\frac{P_i^{dis}(t)}{\eta_i^{dis}}\right)\frac{\Delta t}{E_i^{cap}} \]

Burada:

• SOC_i(t), i numaralı mikroşəbəkənin mevcut batareya doluluq nisbətidır.
• P_i^ch(t), batareya şarj gücüdür.
• P_i^dis(t), batareya deşarj gücüdür.
• η_i^ch və η_i^dis, şarj və deşarj səmərəlilikleridir.
• E_i^cap, batareyanın nominal enerji tutumudir.
• Δt, nəzarət zaman aralığıdır.

Formül, batareyaya giren kullanılabilir enerjinin doluluq nisbətinı artırdığını, batareyadan çıkan enerjinin isə deşarj səmərəliliki diqqəte alınarak doluluq nisbətinı azalttığını ifade eder.

Elektrik güc balansı nasıl korunmaktadır?

Mikroşəbəkəde üretilən və satın alınan güç, tüketilən, anbarlanan və satılan güce eşit olmalıdır:

\[ P_i^{pv}(t)+P_i^{dis}(t)+P_i^{buy}(t)=P_i^{load}(t)+P_i^{ch}(t)+P_i^{sell}(t) \]

P_i^pv fotovoltaik istehsali, P_i^load yerli yükü, P_i^buy satın alınan gücü və P_i^sell satılan gücü göstərir. Bu tənlik, enerji idarəetməsi qararlarının yalnız ekonomik değil, fiziki arz-talep dengesi üçünde məlumatlmesini sşəbəkəlar.

Şarj, deşarj, şəbəkədən alış və şəbəkəyə satış güçleri həmçinin sıfır ilə cihazların diaqnozmlanan maksimum güç dəyərləri arasında sınırlandırılmıştır:

\[ 0\leq P_i^{ch}(t)\leq P_{i,max}^{ch} \]

\[ 0\leq P_i^{dis}(t)\leq P_{i,max}^{dis} \]

\[ 0\leq P_i^{buy}(t)\leq P_{i,max}^{grid} \]

\[ 0\leq P_i^{sell}(t)\leq P_{i,max}^{grid} \]

Batareya doluluq nisbəti da şu sınırlar üçünde tutulmaktadır:

\[ SOC_i^{min}\leq SOC_i(t)\leq SOC_i^{max} \]

Simülasyondaki inamli SOC aralığı yüzde 10 ilə yüzde 90 kimi müəyyən edilmişdir.

Fiziksel kimi uyğun hərəkət kümesi nedir?

Yerel agentın qarar vektörü şarj, deşarj, elektrik satın alma və elektrik satma komponentlərinden oluşmaktadır:

\[ a_i(t)=[P_i^{ch}(t),P_i^{dis}(t),P_i^{buy}(t),P_i^{sell}(t)]^{T} \]

Bu hərəkətlerden bütün güç və cihaz sınırlarını qarşılayanlar fiziki olaraq uyğun küme F_i(t) üçünde yer alır. Tədqiqat, söz konusu sınırların doğrusal eşitlik və eşitsizliklerden oluştuğunu və uyğun kümenin kapalı, boş olmayan və konveks olduğunu kabul etmektedir.

Markov qarar müddətcinin durumu və hərəkəti nelerdir?

Her mikroşəbəkə agentının durumu şu bilgiləri içermektedir:

\[ s_i(t)=[SOC_i(t),P_i^{pv}(t),P_i^{load}(t),\lambda_{buy}^{grid}(t),\hat{P}_i^{pv}(t+1),\hat{P}_i^{load}(t+1)]^{T} \]

Durum vektöründe mevcut batareya doluluğu, anlık günəş istehsalı, anlık yük, şəbəkəden elektrik satın alma fiyatı və bir sonraxın zaman pəncərəsi üçün proqnozlaşdırılan günəş istehsalı ilə yük bilgisi yer almaktadır.

Bu struktur, agentın yalnız mevcut şərtləra tepki vermek yerine yaxınn gələcəkteki istehsal və talep beklentisini də qararına katmasını amaçlamaktadır.

Ödül fonksionu neyi teşvik etmektedir?

Yerel agentın mükafatü bu şəgildə diaqnozmlanmıştır:

\[ R_i(t)=-C_{trans,i}(t)-\mu\|a_i^{ML}(t)-a_i^{*}(t)\|^{2} \]

Burada C_trans,i enerji işlem maliyetidir. a_i^ML, süni intellekt siyasətsının xam hərəkəti; a_i^* isə fiziki təhlükəsizlik proyeksiyasınden sonra uygulanabilən hərəkətdir.

Ödül iki hədəfi birlikte gözetir:

• Enerji satın alma, satma və saxlama qararlarının toplam ekonomik maliyetini azaltmak.
• Süni intellektnın önerdiği xam hərəkət ilə təhlükəsiz hərəkət arasındaki farkı küçültmek.

İkinci ceza terimi, agentın zamanla yalnızca təhlükəsizlik operatoru tarafından düzeltilən qararlar üretmək yerine fiziki sınırlara daha yaxınn hərəkətler öğrenmesini amaçlar.

Üç yerli operatör nasıl tədqiqatktadır?

Yerel mikroşəbəkə agentının qarar müddətci üç operatöre ayrılmışdır:

1. Tahmin operatörü: Geçmiş məlumatlarden gələcək yük və fotovoltaik istehsal proqnozu üretir.
2. Politika operatörü: Mevcut və proqnozlaşdırılan durumdan ham enerji idarəetməsi hərəkəti oluşturur.
3. Güvenlik izdüşüm operatörü: Ham hərəkəti fiziki olaraq uyğun kümeye yansıtır.

Politika şəbəkəının ürettiği xam hərəkət:

\[ a_i^{ML}(t)=T_{\pi}(s_i(t)\mid\theta_i) \]

kimi ifade edilmiştir. θ_i, yerli siyasət şəbəkəsinın parametreleridir.

Güvenli hərəkət isə şu optimallaşdırmala hesaplanır:

\[ a_i^{*}(t)=T_x(a_i^{ML}(t))=\arg\min_{a\in F_i(t)}\frac{1}{2}\|a-a_i^{ML}(t)\|^{2} \]

Bu formula, süni intellektnın önerdiği hərəkəte Öklid uzaklığı texniki xidmətından en yaxınn uyğun hərəkəti seçer. Başka bir ifadeyle təhlükəsizlik operatoru, qararı tamamen yeniden üretmək yerine yalnızca fiziki sınırları qarşılayacak kadar düzeltmeye çalışır.

Güvenlik izdüşümünün matematiksel özelliği nedir?

Kapalı və konveks bir kümeye ortogonal proyeksiya, genişletmeyen bir operatördür:

\[ \|P_C(x)-P_C(y)\|\leq\|x-y\| \]

Daha güclü biçimi olan qəti genişlətməmə özelliği isə şöyledir:

\[ \langle P_C(x)-P_C(y),x-y\rangle\geq\|P_C(x)-P_C(y)\|^{2} \]

Bu özellik, izdüşümün iki fərqli hərəkət arasındaki mesafeyi büyütmediği anlamına gelir. Tədqiqatın teorik yaklpeyəndmında bu özellik, fiziki təhlükəsizlik qatının kiber-fiziki geri besleme üçündeki xətaları büyütmemesinin dayanşəbəkəıdır.

Actor-Critic öğrenmesi nasıl tətbiq edilmişdir?

Her yerli agent bir Actor-Critic arxitekturasi kullanmaktadır. Actor şəbəkəı hərəkəti üretirken Critic şəbəkəı durum-hərəkət cütinin beklenen uzun müddətli dəyərini proqnoz eder.

Actor kaybı bu şəgildə diaqnozmlanmıştır:

\[ L_A(\theta_i)=-E[Q(s_i,a_i^{ML})]+\mu E[\|\pi(s_i\mid\theta_i)-a_i^{*}\|^{2}] \]

İlk terim beklenen getiriyi artırmaya, ikinci terim isə siyasətnın çıktistiliknı təhlükəsiz hərəkəte yaklaştırmaya çalışır.

Critic kaybı:

\[ L_C(\phi_i)=E[(R_i+\gamma Q(s_i',a_i'\mid\phi_i')-Q(s_i,a_i^{ML}\mid\phi_i))^{2}] \]

şeklindedir. Burada γ gələcəkteki mükafatlerin bugünkü qarar üzərindəki şəbəkəırlığını belirleyen indirim katsayistilikdır. İfade, gerçekleşen mükafat və sonraxın durum dəyərinden yaranan zamanla bşəbəkəlı fark hədəfiyle mevcut dəyər proqnozu arasındaki qaresel xətayı azaltır.

Asinxron yeniləməlerde model bayatlığı nasıl ölçülmektedir?

Yerel agent, təlim bpeyəndnda aldığı küresel modelin zaman damgasını kaydeder. Yerel təlim tamamlanıp yeniləmə sunucuya ulaştığında, aradaki küresel model yeniləmə sayistilik model bayatlığı kimi dəyərlendirilir.

Bayatlığa bşəbəkəlı şəbəkəırlık bu şəgildə hesaplanır:

\[ w_i=\exp(-\lambda\tau_i) \]

τ_i yeniləmənin bayatlıq derecesi, λ isə gecikmə cezalandırma katsayistilikdır. Gecikme sıfıra yaxınn olduğunda şəbəkəırlık 1’e yaklpeyəndr. Gecikme büyüdükçe şəbəkəırlık üstel biçimde azalır.

Bu mekanizma eski yeniləməyi tamamen yasaklamaz; yalnızca küresel modeli değiştirme gücünü azaltır.

Küresel model nasıl güncellenmektedir?

Merkezî sunucu, Krasnosel’skii-Mann yaklpeyəndmına dayanan sürüşən bir yeniləmə kullanır:

\[ \theta_{global}\leftarrow(1-\beta w_i)\theta_{global}+\beta w_i(\theta_{global}+\Delta\theta_i) \]

β gevşetmə parametri, w_i bayatlıq şəbəkəırlığı və Δθ_i yerli model değişimidir. Denklem sadeleştirildiğinde yeniləmənin küresel modele βw_iΔθ_i eklediği görülür.

Yeni və güncel bir yerli model daha böyük, gecikmiş bir model isə daha kiçik değişiklik oluşturur. Sunucu diğer mikroşəbəkələri boynaqeden yeniləməyi gerçekleştirdiği üçün protokol engellemeyen asinxron bir strukturdadır.

Belgedeki bayatlıq formulaünde bir uyğunsuzluq var mıdır?

Evet. Ana mətndeki 20 numaralı tənlik bayatlığı t_pull-t_push biçiminde göstərir. Bu ardıcıllıq, yükleme zamanı indirme zamanından böyükse negatif bir bayatlıq dəyəri üretebilir. Bunun əksinə Algorithm 1 üçünde bayatlıq doğru zaman ardıcıllıqsıyla t_push-t_pull kimi hesaplanmaktadır.

Algoritmanın işleyişi və eksponensial azalma mantığı, ikinci diaqnozmın amaçlandığını göstərir. Lakin tədqiqat metni sessizce düzeltilmemeli; iki gösterim arasındaki işaret tutarsızlığı mənbəta bulunan bir notasyon xətası kimi dəyərlendirilmelidir.

Mikroşəbəkəler arasındaki enerji fiyatı nasıl belirlenmektedir?

İç ticaret fiyatı, mikroşəbəkənin ana şəbəkəyə satış fiyatı ilə ana şəbəkədən alış fiyatı arasında tutulur:

\[ \lambda_{sell}^{grid}(t)\leq\lambda_{int}(t)\leq\lambda_{buy}^{grid}(t) \]

İç fiyat, toplam enerji açığının arz və talep toplamına nisbətina görə hesaplanır:

\[ \lambda_{int}(t)=\lambda_{sell}^{grid}(t)+\frac{D(t)}{S(t)+D(t)}(\lambda_{buy}^{grid}(t)-\lambda_{sell}^{grid}(t)) \]

Talep arttığında daxili ticarət qiyməti şəbəkədən alış fiyatına, arz fazalası arttığında isə şəbəkəyə satış fiyatına yaklpeyəndr. Böylece hem enerji fazalası bulunan hem də enerji açığı bulunan mikroşəbəkələrin iç ticarete katılması teşvik edilir.

Tədqiqat alış və satış uyğunlaşdırma nisbətlarını bu şəgildə diaqnozmlar:

\[ r_{buy}(t)=\min\left(1,\frac{S(t)}{D(t)}\right) \]

\[ r_{sell}(t)=\min\left(1,\frac{D(t)}{S(t)}\right) \]

Bu nisbətlar, iç mikroşəbəkə ticaretiyle qarşılanamayan miqdarın əsas şəbəkəden alınmasını və ya əsas şəbəkəye satılmasını müəyyən etməktedir.

Enerji ticareti formulalerinde hangi qeyri-müəyyənlikler bulunmaktadır?

Tədqiqatda net güç şu biçimde yazılmıştır:

\[ P_{net,i}(t)=P_{load,i}(t)-P_{PV,i}(t)+a_i^{*}(t) \]

Lakin a_i^* daha əvvəl dört komponentli bir hərəkət vektoru kimi diaqnozmlanırken P_net,i skaler güç kimi kullanılmaktadır. Şarj, deşarj, alış və satış komponentlərinin net güce hangi işaretlerle eklendiği bu tənlikde açıkça gösterilmemiştir.

Həmçinin toplam arz və toplam talep üçün məlumatlen 26 və 27 numaralı formulaler, pozitif açıklarla negatif fazalaları ayrı ayrı seçen şərtlu toplamları açık biçimde içermemektedir. Bu nedenle işlem modelinin kod düzeyinde nasıl uygulandığı yalnızca yazılı tənliklerden əskiksiz kimi yeniden üretiləmeyebilir.

Kiber-fiziki sabitlik nasıl ele alınmıştır?

Tədqiqat dumantemi iki geri beslemeli alt dumanteme ayırmaktadır:

• Siber qat: Küresel model, yerli siyasət şəbəkəları və asinxron federativ yeniləmələr.
• Fiziksel qat: Batareya, fotovoltaik dumantem, yük və enerji alışməlumatşinden yaranan mikroşəbəkə dinamiği.

Siber qatdaki parametre xətası:

\[ e_{\theta}(k)=\|\theta(k)-\theta^{*}\| \]

kimi diaqnozmlanmış və şu eşitsizlikle sınırlandırılmıştır:

\[ e_{\theta}(k+1)\leq\gamma_c e_{\theta}(k)+\delta_c e_x(k) \]

γ_c kiber qatın kendi xətasını azaltma nisbətinı, δ_c fiziki qatdaki sapmaların öğrenme dumantemina etkisini gösterir.

Fiziksel durum xətası üçün benzer biçimde:

\[ e_x(k+1)\leq\gamma_p e_x(k)+\delta_p e_{\theta}(k) \]

eşitsizliği məlumatlmiştir. γ_p fiziki dumantemin kendi sapmasını azaltma yeteneğini, δ_p siyasət xətasının fiziki dumanteme aktarımını temsil eder.

İki alt dumantemin birlikte sabit kalması üçün önerilən kiçik qazanc şərtu şöyledir:

\[ \delta_c\delta_p<(1-\gamma_c)(1-\gamma_p) \]

Bu şərt, kiber və fiziki qatlar arasındaki qarşılıklı xəta aktarımının iki qatın kendi kendini sönümleme tutumsinden kiçik olması gerektiğini ifade eder.

Teorik yaxınlaşma ispatı şərtsuz mudur?

Hayır. İspat, bir dizi varsayıma bşəbəkəlıdır. Ek A’da siyasət operatorunün parametrelere görə Lipschitz katsayistiliknın α<1 olduğu, yani daralma xüsusiyyəti gösterdiği varsayılmıştır. Genel bir sinir şəbəkəsinın bu özelliği arxitekturaden bşəbəkəımsız kimi otomatik biçimde sşəbəkəladığı söylerütubətez.

Ek B’də fiziki mikroşəbəkə üçün uygun bir giriş-durum dayanıqlığı Lyapunov fonksionunun var olduğu kabul edilmiştir. Bu fonksionun simulyasiyadaki bütün mikroşəbəkələr üçün ayrı ayrı sayısal kimi doğrulandığı gösterilmemiştir.

Buna görə tədqiqat, belirtilən daralma, giriş-durum dayanıqlığı və kiçik qazanc şərtlərı sşəbəkəlandığında qapalı dövrə xəta dinamiğinin sabit olacşəbəkəını göstərir. Bu teorik nəticə, bütün sinir şəbəkəsi parametreleri və bütün gerçek mikroşəbəkə şərtlərı üçün şərtsuz sabitlik garantisi kimi yorumlanmamalıdır.

Simülasyon məlumatlari nasıl yaradılmışdır?

Yük profilleri üçün ABD’deki TMY3 konumlarına ait kommersiya və konut tipi saatlik bina yük profilleri istifadə edilmişdir. Tədqiqatçılar Los Angeles International Airport bölgesindeki kommersiya və diğer bina profillerini seçmiştir.

Hava durumu üçün Los Angeles Intl AP 722950 istasyonunun tipik meteorolojik yıl məlumatlari istifadə edilmişdir. Fotovoltaik paneller güneye dönük və 30 derece eğimli kabul edilmiştir. Global üfüqi ışınım, birbaşa normal ışınım və yayılı üfüqi ışınım dəyərlərinden panel düzlemi ışınımı pvlib-python ilə hesaplanmış, ardından fotovoltaik güç istehsali modellenmiştir.

Bir gilovatlık standart fotovoltaik dumantemin yıllık simüle edilən istehsali 1.788,22 kWh kimi bildirilmişdir. Yıllık istehsal grafiği, yaz aylarında daha yüksek və kış dəhəmiyyətinde daha düşük günlük istehsalle mevsimsel değişimi göstərir.

Enerji saxlama bina öz istehlakini nasıl değiştirmiştir?

Orta böyüklükteki ofis binası örneğinde enerji saxlama olmadan:

• Enerji öz yetərlilik nisbəti yüzde 43,9’dur.
• Fotovoltaik öz istehlak nisbəti yüzde 78,2’dir.

200 kWh enerji saxlama dumantemi eklendiğinde:

• Enerji öz yetərlilik nisbəti yüzde 50,2’ye yüksəlmişdir.
• Fotovoltaik öz istehlak nisbəti yüzde 89,5’e yüksəlmişdir.

Bu nəticələr SPA-AFRL algoritmasının müqayisəlı başaristilikndan əvvəl oluşturulan fiziki simulyasiya başlanğıc şərtlərına aittir. Gerçek bir binada ölçülmüş saxlama performansı kimi yorumlanmamalıdır.

Simülasyondaki altı mikroşəbəkə agentı nelerdir?

Tablodaki fotovoltaik sütunu “PV (kWh)” biçiminde məlumatlmiştir. Bunun kurulu fotovoltaik güç, enerji tutumu və ya miqyaslendirilmiş istehsal dəyərlərinden hangisini temsil ettiği açıkça diaqnozmlanmamıştır. Fotovoltaik kurulu güç normalde kW, üretilən enerji isə kWh birimiyle ifade edildiğinden mənbəta vahid qeyri-müəyyənliyi bulunmaktadır.

Elektrik tarifsi nasıl ayarlanmıştır?

Ana şəbəkəden elektrik alış qiyməti saat dilimin görə bu şəgildə müəyyən edilmişdir:

Şebekeye satış fiyatı sabit 0,08 ABŞ dolları/kWh kimi ayarlanmıştır. Bu tarif tədqiqatçıların simulyasiya varsayımıdır və Los Angeles’taki belirli bir güncel kommersiya tarifnin əskiksiz temsil edildiği gösterilmemiştir.

İletişim gecikmələri nasıl simüle edilmiştir?

Normal düyünlerin bayatlıq dəyəri Poisson dşəbəkəılımı və ortalama 1 ilə, yüksək gecikməli düyünler isə Poisson dşəbəkəılımı və ortalama 10 ilə modellenmiştir:

\[ \tau_i\sim Poisson(1) \]

\[ \tau_i\sim Poisson(10) \]

Bayatlık azalma katsayistilik ana təcrübələrde λ=0,15 kimi seçilmiştir.

Yaxınnsama grafiği ne göstərir?

Kümülatif mükafat-zaman grafiğinde SPA-AFRL ən yüksək və en sabit eğriyi üretməktedir. Grafikten təxminən kimi SPA-AFRL’nin 60-80 dəqiqə üçünde 2.450-2.500 kumulyativ mükafat düzeyine ulaştığı görülmektedir.

Diğer üsullerin davranışları şöyledir:

• Local-RL: Başlangıçta sürətli yükselmiş, lakin təxminən 1.500 mükafat çevresinde erken plato yapmıştır.
• Sync-FedAvg: Daha yavaş lakin düzenli yükselmiş və 120 dəqiqə sonunda təxminən 1.950 düzeyine ulaşmıştır.
• AFRL w/o w_i: Yaklpeyəndk 2.000-2.100 düzeyinde dalğalı bir seyir göstərmişdir.
• SPA-AFRL: Daha sürətli yaxınnsamış və təxminən 2.500 ilə ən yüksək son mükafatü sşəbəkəlamıştır.

Grafikten okunan dəyərler təxminən dəyərlerdir; cədvəl halinde kesin son ortalama, standart sapma və ya çoxlu təcrübə etibar aralığı məlumatlmemiştir.

Batareya təhlükəsizlik sərhədləri korunmuş mudur?

72 saatlik keşif evresi grafiğinde inamli SOC aralığı yüzde 10 ilə yüzde 90 arasında göstərilmişdir. SPA-AFRL eğrisi təhlükəsizlik sərhədlərinın üzərində ilərleyerek alt və üst sınırları izləmə etmektedir.

Local-DDPG, Sync-FedAvg və xüsusilə bayatlıq şəbəkəırlığı bulunmayan AFRL varyantında bazı zamanlarda SOC dəyərləri yüzde 10’un altına və ya yüzde 90’ın üzerine çıkmaktadır. Tədqiqat bunu, yalnızca mükafat cezasına dayanan inamliğin gecikməli tepki vermesi və eski model yeniləməlerinin siyasətyı bozmasıyla açıklamaktadır.

Şegil 6’nın alt yazistilik yanlışlıkla “kumulyativ mükafatün divar saatı zamanına görə öğrenme eğriləri” kimi yazılmıştır. Görsel gerçekte 72 saatlik batareya SOC trayektoriyasini və təhlükəsizlik sərhədlərinı göstərir.

Ekonomik dşəbəkəıtım nəticələri nelerdir?

15 Temmuz üçün orta böyüklükteki ofis agentında qarşılaştırılan xalis xərcler şöyledir:

SPA-AFRL, günəş istehsalınin yüksek olduğu saatlerde fazala enerjiyi batareyaya yönlendirmiş və elektrik alış qiymətinın 0,35 ABŞ dolları/kWh olduğu zirve dəhəmiyyətde batareyadan deşarj yapmıştır. Lakin bu tek gün, tek agent və simüle edilmiş tarif üzərindən əldə edilən bir nümunətir. Uzun dmühüm ekonomik performans, batareya yaşlanması, itgilar və gerçek piyasa ücretleri dəyərlendirilmemiştir.

Bayatlık katsayistilik hangi dəyərde en iyi sonucu vermiştir?

Bayatlık katsayistilik həssaslıq grafiği, çox kiçik və çox böyük λ dəyərlərinin performansı düşürdüğünü göstərir. Eğri təxminən λ=0,15 çevresinde 2.500’ün üzərində kumulyativ mükafatle tepe yapmaktadır.

Küçük bir λ, gecikmiş yeniləməleri yeterince cezalandırmadığı üçün eski parametrelerin küresel modeli bozmasına izin məlumatr. Çok böyük bir λ isə normal haberleşme gecikmələrini bilə şəbəkəır biçimde cezalandırarak bazı mikroşəbəkə yeniləməlerini neredeyse yok sayar və model çeşitliliğini azaltır.

Tədqiqatın desteklediği nəticələr nelerdir?

• Bayatlık şəbəkəırlığı, simulyasiyadaki yüksək gecikməli düyünlerin küresel modele etkisini azaltmışdır.
• Asinxron toplulaştırma, bütün düyünleri bekleyen Sync-FedAvg üsulunden daha sürətli yaxınlaşma göstərmişdir.
• Fiziksel təhlükəsizlik proyeksiyası, simüle edilən batareya SOC dəyərini yüzde 10-90 aralığında tutmuştur.
• SPA-AFRL, seçilən simulyasiya və tarif şərtlərində qarşılaştırılan üsullerden daha yüksek kumulyativ mükafat elde etmiştir.
• Örnek 24 saatlik ofis senaryosunda SPA-AFRL’nin xalis xərci -3,10 ABŞ dolları kimi hesablanmışdır.
• Bayatlık azalma katsayistiliknın çox düşük və ya çox yüksek seçilmesi performansı azaltmışdır.

Tədqiqat neyi sübut etmir?

• SPA-AFRL gerçek bir mikroşəbəkəde və ya fiziki batareya donanımında test edilmemiştir.
• Simülasyondaki ekonomik nəticələr uzun müddətlili kommersiya kârlılık kanıtı değildir.
• Ham məlumat paylpeyəndlmaması tek bpeyəndna əskiksiz gizlilik və ya saldırılara qarşı təhlükəsizlik garantisi sşəbəkəlamaz.
• Model yeniləməlerinden məlumat sızması, pis niyyətli klient, model zəhərlənməsi və ya haberleşme saldırıları araşdırılmamışdır.
• Güvenlik izdüşümü yalnızca modele diaqnozmlanan fiziki sınırları qoruyur; bilinmeyen arızaları və ya yanlış diaqnozmlanmış sınırları önleyemez.
• Küçük kazanç ispatı, genel kimi bütün sinir şəbəkəsi və mikroşəbəkə strukturlarına şərtsuz sabitlik garantisi vermez.
• Sonuçlar Türkiyə elektrik dumantemi, tarifleri və ya dşəbəkəıtım mevzuatı üçün təsdiqlənməmişdir.
• Fotovoltaik və yük proqnoz səhvlərinın ekonomik performans üzərindəki ayrıntılı etkisi ayrı bir təcrübəle gösterilmemiştir.

Tədqiqatın güclü yönleri nelerdir?

• İletişim gecikməsi və fiziki təhlükəsizlik eyni kiber-fiziki çərçivəde ele alınmıştır.
• Güvenlik yalnız mükafat cezasına bıraxınlmamış, uygulanmadan əvvəl hərəkət izdüşümü istifadə edilmişdir.
• SPA-AFRL; bşəbəkəımsız öğrenme, sinxron FedAvg və bayatlıq cezası bulunmayan asinxron üsulle qarşılaştırılmıştır.
• Yaxınnsama, fiziki sınır, iqtisadi paylama və parametre duyarlılığı ayrı təcrübələrle araşdırılmışdır.
• Teorik yaklpeyəndm operatör teorisi, giriş-durum dayanıqlığı və kiçik qazanc şərtuyla ilişgiləndirilmiştir.
• Altı fərqli bina yük profiliyle heterojen mikroşəbəkə strukturu yaradılmışdır.

Tədqiqatın təməl məhdudlıkları nelerdir?

• Tədqiqat rəyçi qiymətləndirməsindən keçməmiş preprintdir.
• Deneyler gerçek saha yerine simulyasiyaa dayanmaktadır.
• Yazar adları və qurum bilgiləri yüklenen belgenin ilk sayfasında görünmemektedir.
• Teorik yaxınlaşma, siyasət şəbəkəsinın daralma xüsusiyyəti və fiziki dumantemin ISS varsayımına bşəbəkəlıdır.
• Bayatlığın diaqnozmında ana tənlik ilə Algorithm 1 arasında işaret tutarsızlığı vardır.
• Net enerji və toplam arz-talep tənliklerinde boyut və işaret diaqnozmları tam açık değildir.
• PV tutumsi sütununun kWh birimiyle məlumatlmesi teknik kimi qeyri-müəyyənlik yaratmaqtadır.
• Sonuç qrafiklerinde çoxlu təsadüfi başlanğıc, etibar aralığı və istatistiksel əhəmiyyətlilık dəyərləri məlumatlmemiştir.
• Batareya eskimesi, dövr maliyeti və tutum itkisi ekonomik modele katılmamıştır.
• Federatif öğrenmenin gizlilik saldırıları və ya pis niyyətli klientlere dayanıklılığı test edilmemiştir.
• Tədqiqat yalnızca belirli Los Angeles bina və hava şərtlərına görə modellenmiştir.

Tədqiqatın Yöntemi və Bulguları

Deney düzeninin teknik özeti

Sinir şəbəkəı və təlim hiperparametrleri

Karşılaştırılan üsuller

• Local-RL: Federatif toplulaştırma olmadan bşəbəkəımsız yerli gücləndirməli öyrənmə.
• Sync-FedAvg: Bütün istemciləri bekleyen geleneksel sinxron federatif ortalama.
• AFRL w/o w_i: Bayatlık cezası kullanmadan gelen yeniləməleri birbaşa birleştiren asinxron üsul.
• SPA-AFRL: Bayatlık şəbəkəırlığı və fiziki təhlükəsizlik proyeksiyası kullanan önerilən üsul.

SPA-AFRL algoritmasının teknik axınşı

1. Merkezî sunucu küresel siyasət parametrelerini və küresel saati başlatır.
2. Her yerli agent güncel küresel modeli indirir və indirme zaman damgasını kaydeder.
3. Tahmin operatörü gələcək PV və yük dəyərlərini üretir.
4. Politika operatörü ham enerji idarəetməsi hərəkətini hesaplar.
5. Güvenlik operatörü xam hərəkəti fiziki uygunluk kümesine yansıtır.
6. Güvenli hərəkət mikroşəbəkə simulyasiyasında uygulanır.
7. Ödül və sonraxın durum yerli təcrübə havuzuna kaydedilir.
8. Critic şəbəkəı zamanla bşəbəkəlı fark xətasıyla, Actor şəbəkəı ekonomik getiri və təhlükəsizlik cezasıyla güncellenir.
9. Yerel model değişimi və eski küresel modelin zaman damgası sunucuya asinxron kimi gönderilir.
10. Sunucu gecikməyi hesaplar, üstel bayatlıq şəbəkəırlığını uygular və küresel modeli günceller.

Ana tapıntıların özeti

Gerçek tətbiqya geçiş üçün lazımlı doğrulamalar

• Gerçek mikroşəbəkə və ya donanım döngüde test düzeneğinde doğrulama
• Batareya hüceyrə temperaturu, yaşlanma və dövr maliyetinin modele eklenmesi
• Yanlış PV və yük proqnozlarınin təhlükəsizlik və ekonomi üzərindəki etkisinin ölçülmesi
• Gerçek haberleşme şəbəkəında gecikmə, paket itkisi və keçid kəsilməsinın denenmesi
• Kötü niyetli istemci və model zəhərlənməsi saldırılarına qarşı dayanıklılık
• Federatif yeniləməlerden bilgi sızıntistilikna qarşı gizlilik analizi
• Yerel elektrik bazarı və dşəbəkəıtım dumantemi kurallarıyla uyarlama
• Uzun dmühüm, çox mevsimli və çoxlu təsadüfi başlanğıclı təcrübələr

Mənbə və Metod Qeydi

• Tədqiqatın tam özgün adı: SPA-AFRL: Staleness-and Physics-Aware Asynchronous Federated Reinforcement Learning for Microgrid Energy Management
• Yazarlar: Hexiao Li, Jaafar Gaber, Salah Laghrouche
• Yazar ardıcıllıqlaması: Hexiao Li birinci, Jaafar Gaber ikinci, Salah Laghrouche üçüncü müəllifdır.
• Eş birinci müəllif: Eş töhfə və ya eş birinci müəlliflık bilgisi doğrulanamamıştır.
• Sorumlu müəllif: SSRN kaydında Hexiao Li əlaqə müəllifidır.
• Kurumlar: SSRN kaydında Jaafar Gaber üçün University of Burgundy Franche-Comté qeyd edilmişdir. Hexiao Li və Salah Laghrouche’un qurumları SSRN kaydında məlumatlmemiştir. Yüklenen sürümde müəllif və qurum satırları görünmemektedir.
• DOI:10.2139/ssrn.7192454
• Dergi: Belirli bir hakemli jurnal və ya kabul edilmiş nəşr bilgisi doğrulanamamıştır.
• Yayın platformau: SSRN
• Belgedeki nəşr açıklaması: “Preprint submitted to Elsevier”
• Yayın yılı: 2026
• SSRN tarihi: 27 Temmuz 2026
• Qaynaq türü: Modelleme, teorik analiz və simulyasiya içeren preprint araşdırma tədqiqatsı
• Hakemlik durumu: Bu tədqiqat rəyçi qiymətləndirməsindən keçməmişdir.
• Resmî mənbə keçidsı:SSRN rəsmi tədqiqat sayfası

Bu Türkçe makale, yüklenen tədqiqatın tüm metni, matematiksel modeli, Algorithm 1 axınşı, şəgilleri, cədvəlları, simulyasiya qrafikleri və A-C eklerindeki teorik türetmeleri incelenerek hazırlanmışdır. Bilimsel içerik yalnızca araşdırılan tədqiqatya dayanmaktadır. Dış mənbə nəzarətü yalnızca müəllif listesi, müəllif ardıcıllıqsı, əlaqə müəllifi, DOI, tarih və rəsmi yayım platformaasınun bibliyoqrafik doğrulanması amacıyla istifadə edilmişdir.

Bu tədqiqat rəyçi qiymətləndirməsindən keçməmiş preprintdir; nəticələri bu məhdudlık diqqəte alınarak okunmalıdır. Bulgular gerçek mikroşəbəkə saha tətbiqsı değil, Los Angeles bölgesi məlumatlari və tədqiqatçıların belirlediği teknik-ekonomik varsayımlarla oluşturulan bir simulyasiyadur.

Tədqiqatın teorik sabitlik sonucu; siyasət operatorunün daralma xüsusiyyəti, fiziki mikroşəbəkə dinamiğinin giriş-durum dayanıqlığı, təhlükəsizlik proyeksiyasınün konveks uyğun küme üzərində tədqiqatsı və kiçik qazanc eşitsizliğinin sşəbəkəlanması şərtlərına bşəbəkəlıdır. Bu varsayımların herhangi biri gerçek dumantemde qarşılanmazsa sunulan ispat tek bpeyəndna sabitlik garantisi oluşturmaz.

Qaynaqta həmçinin bayatlıq zamanının işaretinde, net güç tənlikinde, toplam arz-talep ifadelerinde, fotovoltaik kapasitə biriminde və Şegil 6 alt yazistiliknda açıqlıq və ya tutarlılık problemları bulunmaktadır. Bu noktalar sessizce düzeltilmemiş, tədqiqatın yeniden üretiləbilirliğini etgiləyebiləcek mənbə məhdudlıkları kimi qeyd edilmişdir.