Ushbu tadqiqot turli aloqa kechikishlariga ega mikrotarmoqlarning umumiy energiya boshqaruvi siyosatini o‘rganishini ta’minlash uchun eskirish va fizik xavfsizlikdan xabardor asinxron federativ mustahkamlovchi o‘rganish doirasi SPA-AFRLni ishlab chiqdi. Usul kechikib kelgan mahalliy model yangilanishlarining ta’sirini eksponensial ravishda kamaytiradigan federativ agregatsiya mexanizmini sun’iy intellekt ishlab chiqargan harakatlarni batareya va elektr tizimi chegaralariga proyeksiya qiladigan xavfsizlik operatori bilan birlashtiradi. Los-Anjeles hududidagi oltita bino turini ifodalovchi simulyatsiyalarda SPA-AFRL tezroq yaqinlashish, batareyaning 10-90 foizlik zaryad holati chegaralarini saqlash va namunaviy 24 soatlik iqtisodiy yuk taqsimotida -3,10 AQSh dollari sof xarajat, boshqacha aytganda 3,10 AQSh dollari daromad haqida xabar berdi. Biroq natijalar real mikrotarmoq dala tajribasi emas, balki simulyatsiya natijalaridir va nazariy yaqinlashish da’vosi siyosat tarmog‘ining qisqarish xususiyati hamda fizik tizimning kirish-holat barqarorligi kabi farazlarga bog‘liq.

SPA-AFRLning asosiy muammosi federativ o‘rganishda turli tezliklarda ishlaydigan mikrotarmoqlardan keladigan model yangilanishlarini bir xil qiymatda qabul qilishdir. Mikrotarmoq yangilanishi markaziy serverga kech kelganda, yangilanish asoslangan global model allaqachon o‘zgargan bo‘lishi mumkin. Tadqiqot bu holatni model eskirishi yoki kechikkan yangilanish muammosi sifatida ko‘rib chiqadi va kechikish oshgani sayin yangilanish og‘irligini kamaytiradi.

Ikkinchi muammo fizik xavfsizlikdir. Mustahkamlovchi o‘rganish agenti o‘qitish vaqtida batareyaning ortiqcha zaryadlanishi, ortiqcha razryadlanishi yoki ruxsat etilgan tarmoqdan xarid-sotuv quvvati oshib ketishiga olib kelishi mumkin bo‘lgan harakatni taklif qilishi mumkin. SPA-AFRL taklif qilingan harakatni to‘g‘ridan-to‘g‘ri qo‘llash o‘rniga uni fizik jihatdan bajarilishi mumkin bo‘lgan eng yaqin harakatga proyeksiya qiladi. Shu tariqa xavfsizlik faqat mukofot funksiyasidagi jazolarga tashlab qo‘yilmaydi, qaror bajarilishidan oldin matematik yaroqlilik nazoratidan o‘tkaziladi.

Turkiya nuqtai nazaridan tadqiqot tashkil etilgan sanoat hududlari, kampuslar, shifoxonalar, tijorat binolari va qayta tiklanuvchi energiyani o‘z ichiga olgan mahalliy energiya hamjamiyatlarida ma’lumotlarni markazlashtirmasdan umumiy energiya boshqaruvi siyosatini ishlab chiqish uchun o‘rganilishi mumkin bo‘lgan yondashuvni taklif etadi. Biroq ishlatilgan yuk, ob-havo, tarif va quyosh ishlab chiqarish sharoitlari Los-Anjeles hududiga tegishli. Turkiyadagi elektr tariflari, taqsimlash tizimi qoidalari, batareya texnik chegaralari, iqlim mintaqalari va ma’lumot uzatish infratuzilmasi bilan qayta modellashtirilmasdan Turkiya uchun iqtisodiy foyda yoki dala xavfsizligi xulosasini chiqarib bo‘lmaydi.

Tadqiqotning asosiy savoli nima?

Tadqiqotning asosiy savoli quyidagicha: turli aloqa kechikishlari va mahalliy ish sharoitlariga ega taqsimlangan mikrotarmoqlar o‘z ma’lumotlarini markaziy serverda jamlamasdan umumiy energiya boshqaruvi siyosatini o‘rganayotganda ham model yaqinlashuvi, ham fizik qurilma xavfsizligi qanday saqlanishi mumkin?

Federativ mustahkamlovchi o‘rganishda har bir mikrotarmoq o‘zining mahalliy ma’lumotlari va muhiti bilan siyosat modelini o‘qitadi. Markaziy server xom yuk, ishlab chiqarish yoki foydalanuvchi ma’lumotlarini olish o‘rniga model parametrlarini birlashtiradi. Biroq mikrotarmoqlarning hisoblash quvvati, tarmoq ulanishi va mahalliy o‘qitish vaqti turlicha bo‘lgani sababli barcha yangilanishlar bir vaqtda kelmaydi. Kech kelgan yangilanishni to‘g‘ridan-to‘g‘ri global modelga qo‘shish joriy siyosatni eski ma’lumot tomonga buzishi mumkin.

Bundan tashqari, mustahkamlovchi o‘rganish agenti yuqori mukofotni izlar ekan, fizik cheklovlarni buzishi mumkin. Masalan, agent qisqa muddatli xarajatni kamaytirish uchun batareyani ruxsat etilgan zaryad holati chegarasidan tashqariga chiqaradigan yoki qurilma quvvatini oshiradigan harakatni taklif qilishi mumkin. Tadqiqot aloqa qatlamidagi eskirgan model muammosi bilan fizik qatlamdagi xavfsizlik muammosini bir xil yopiq kontur ichida ko‘rib chiqadi.

SPA-AFRL nimani anglatadi?

SPA-AFRL, Staleness-and Physics-Aware Asynchronous Federated Reinforcement Learning iborasining qisqartmasidir. O‘zbekcha “Eskirish va fizik xavfsizlikdan xabardor asinxron federativ mustahkamlovchi o‘rganish” deb tushuntirilishi mumkin.

Doira ikki asosiy mexanizmni o‘z ichiga oladi:

• Eskirishdan xabardor asinxron agregatsiya: Markaziy server kech kelgan yangilanishlarning global modelga ta’sirini kamaytiradi.
• Fizik xavfsizlik proyeksiyasi: Mahalliy sun’iy intellekt siyosati taklif qilgan harakat mikrotarmoqning xavfsiz va bajarilishi mumkin bo‘lgan harakatlar to‘plamiga proyeksiya qilinadi.

Federativ mustahkamlovchi o‘rganish ish oqimi qanday?

Federativ o‘rganishning asosiy jarayoni to‘rt bosqichdan iborat:

1. Markaziy server joriy global model parametrlarini mahalliy mikrotarmoq agentlariga yuboradi.
2. Har bir agent o‘zining maxfiy ma’lumotlari va fizik muhiti bilan mahalliy mustahkamlovchi o‘rganish mashg‘ulotini bajaradi.
3. Agentlar xom ma’lumotlarni emas, o‘rganilgan model parametrlaridagi o‘zgarishlarni markaziy serverga yuklaydi.
4. Server kelgan yangilanishlarni birlashtirib yangi global modelni yaratadi.

SPA-AFRLda bu jarayon sinxron emas. Server barcha agentlar bir vaqtda yakunlashini kutmaydi. Agent yangilanishini yuborganda, yangilanish darhol baholanadi va eskirish og‘irligiga ko‘ra global modelga qo‘shiladi.

Mikrotarmoqning fizik tuzilishi qanday modellashtirilgan?

Har bir mikrotarmoq mahalliy elektr yuki, fotovoltaik ishlab chiqarish tizimi, batareya energiya saqlash tizimi va asosiy tarmoq yoki boshqa mikrotarmoqlar bilan energiya almashuvchi birlik sifatida modellashtirilgan.

Batareyaning zaryad holati (state of charge, SOC) quyidagi munosabat bilan yangilanadi:

\[ SOC_i(t+1)=SOC_i(t)+\left(\eta_i^{ch}P_i^{ch}(t)-\frac{P_i^{dis}(t)}{\eta_i^{dis}}\right)\frac{\Delta t}{E_i^{cap}} \]

Bu yerda:

• SOC_i(t), i-raqamli mikrotarmoq batareyasining joriy zaryad holatidir.
• P_i^ch(t), batareya zaryadlash quvvatidir.
• P_i^dis(t), batareya razryadlash quvvatidir.
• η_i^ch va η_i^dis, zaryadlash va razryadlash samaradorliklaridir.
• E_i^cap, batareyaning nominal energiya sig‘imidir.
• Δt, boshqaruv vaqt oralig‘idir.

Formula batareyaga kiradigan foydali energiya zaryad holatini oshirishini, batareyadan chiqadigan energiya esa razryad samaradorligini hisobga olgan holda zaryad holatini kamaytirishini ifodalaydi.

Elektr quvvati muvozanati qanday saqlanadi?

Mikrotarmoqda ishlab chiqarilgan va sotib olingan quvvat iste’mol qilingan, saqlangan va sotilgan quvvatga teng bo‘lishi kerak:

\[ P_i^{pv}(t)+P_i^{dis}(t)+P_i^{buy}(t)=P_i^{load}(t)+P_i^{ch}(t)+P_i^{sell}(t) \]

P_i^pv fotovoltaik ishlab chiqarishni, P_i^load mahalliy yukni, P_i^buy sotib olingan quvvatni va P_i^sell sotilgan quvvatni bildiradi. Bu tenglama energiya boshqaruvi qarorlari faqat iqtisodiy emas, balki fizik taklif-talab muvozanati doirasida qabul qilinishini ta’minlaydi.

Zaryadlash, razryadlash, tarmoqdan xarid va tarmoqqa sotish quvvatlari, shuningdek, noldan qurilmalar uchun belgilangan maksimal quvvat qiymatlarigacha cheklangan:

\[ 0\leq P_i^{ch}(t)\leq P_{i,max}^{ch} \]

\[ 0\leq P_i^{dis}(t)\leq P_{i,max}^{dis} \]

\[ 0\leq P_i^{buy}(t)\leq P_{i,max}^{grid} \]

\[ 0\leq P_i^{sell}(t)\leq P_{i,max}^{grid} \]

Batareyaning zaryad holati ham quyidagi chegaralarda saqlanadi:

\[ SOC_i^{min}\leq SOC_i(t)\leq SOC_i^{max} \]

Simulyatsiyadagi xavfsiz SOC oralig‘i 10 foizdan 90 foizgacha belgilangan.

Fizik jihatdan bajarilishi mumkin bo‘lgan harakatlar to‘plami nima?

Mahalliy agentning qaror vektori zaryadlash, razryadlash, elektr xarid qilish va elektr sotish komponentlaridan iborat:

\[ a_i(t)=[P_i^{ch}(t),P_i^{dis}(t),P_i^{buy}(t),P_i^{sell}(t)]^{T} \]

Ushbu harakatlardan barcha quvvat va qurilma cheklovlarini qanoatlantiradiganlari fizik jihatdan bajarilishi mumkin bo‘lgan F_i(t) to‘plamiga kiradi. Tadqiqot ushbu cheklovlar chiziqli tenglik va tengsizliklardan iboratligini hamda bajarilishi mumkin bo‘lgan to‘plam yopiq, bo‘sh bo‘lmagan va qavariq ekanini qabul qiladi.

Markov qaror jarayonining holati va harakati nimalardan iborat?

Har bir mikrotarmoq agentining holati quyidagi ma’lumotlarni o‘z ichiga oladi:

\[ s_i(t)=[SOC_i(t),P_i^{pv}(t),P_i^{load}(t),\lambda_{buy}^{grid}(t),\hat{P}_i^{pv}(t+1),\hat{P}_i^{load}(t+1)]^{T} \]

Holat vektorida joriy batareya zaryadi, bir lahzalik quyosh ishlab chiqarishi, bir lahzalik yuk, tarmoqdan elektr xarid narxi va keyingi vaqt oynasi uchun prognoz qilingan quyosh ishlab chiqarishi hamda yuk ma’lumoti mavjud.

Bu tuzilma agentning faqat joriy sharoitlarga javob berishi emas, balki yaqin kelajakdagi ishlab chiqarish va talab kutilmalarini ham qaroriga qo‘shishini maqsad qiladi.

Mukofot funksiyasi nimani rag‘batlantiradi?

Mahalliy agentning mukofoti quyidagicha aniqlangan:

\[ R_i(t)=-C_{trans,i}(t)-\mu\|a_i^{ML}(t)-a_i^{*}(t)\|^{2} \]

Bu yerda C_trans,i energiya tranzaksiya xarajatidir. a_i^ML sun’iy intellekt siyosatining xom harakati; a_i^* esa fizik xavfsizlik proyeksiyasidan keyin bajarilishi mumkin bo‘lgan harakatdir.

Mukofot ikki maqsadni birgalikda ko‘zlaydi:

• Energiya xarid qilish, sotish va saqlash qarorlarining umumiy iqtisodiy xarajatini kamaytirish.
• Sun’iy intellekt taklif qilgan xom harakat bilan xavfsiz harakat orasidagi farqni kamaytirish.

Ikkinchi jazo hadi agentning vaqt o‘tishi bilan faqat xavfsizlik operatori tomonidan tuzatiladigan qarorlar ishlab chiqarish o‘rniga fizik chegaralarga yaqinroq harakatlarni o‘rganishini maqsad qiladi.

Uchta mahalliy operator qanday ishlaydi?

Mahalliy mikrotarmoq agentining qaror jarayoni uchta operatorga ajratilgan:

1. Prognoz operatori: O‘tgan ma’lumotlardan kelajak yuk va fotovoltaik ishlab chiqarish prognozini yaratadi.
2. Siyosat operatori: Joriy va prognoz qilingan holatdan xom energiya boshqaruvi harakatini hosil qiladi.
3. Xavfsizlik proyeksiyasi operatori: Xom harakatni fizik jihatdan bajarilishi mumkin bo‘lgan to‘plamga proyeksiya qiladi.

Siyosat tarmog‘i ishlab chiqargan xom harakat:

\[ a_i^{ML}(t)=T_{\pi}(s_i(t)\mid\theta_i) \]

ko‘rinishida ifodalangan. θ_i mahalliy siyosat tarmog‘ining parametrlaridir.

Xavfsiz harakat esa quyidagi optimallashtirish bilan hisoblanadi:

\[ a_i^{*}(t)=T_x(a_i^{ML}(t))=\arg\min_{a\in F_i(t)}\frac{1}{2}\|a-a_i^{ML}(t)\|^{2} \]

Bu formula sun’iy intellekt taklif qilgan harakatga Yevklid masofasi bo‘yicha eng yaqin bajarilishi mumkin bo‘lgan harakatni tanlaydi. Boshqacha aytganda, xavfsizlik operatori qarorni to‘liq qayta ishlab chiqish o‘rniga uni faqat fizik cheklovlarni qanoatlantiradigan darajada tuzatishga harakat qiladi.

Xavfsizlik proyeksiyasining matematik xususiyati nima?

Yopiq va qavariq to‘plamga ortogonal proyeksiya kengaytirmaydigan operatordir:

\[ \|P_C(x)-P_C(y)\|\leq\|x-y\| \]

Uning kuchliroq shakli bo‘lgan qat’iy kengaytirmaslik xususiyati esa quyidagicha:

\[ \langle P_C(x)-P_C(y),x-y\rangle\geq\|P_C(x)-P_C(y)\|^{2} \]

Bu xususiyat proyeksiya ikki xil harakat orasidagi masofani oshirmasligini anglatadi. Tadqiqotning nazariy yondashuvida bu xususiyat fizik xavfsizlik qatlamining kiber-fizik qayta aloqa ichidagi xatolarni kattalashtirmasligiga asos bo‘ladi.

Actor-Critic o‘rganishi qanday qo‘llangan?

Har bir mahalliy agent Actor-Critic arxitekturasidan foydalanadi. Actor tarmog‘i harakatni ishlab chiqarar ekan, Critic tarmog‘i holat-harakat juftligining kutilgan uzoq muddatli qiymatini baholaydi.

Actor yo‘qotishi quyidagicha aniqlangan:

\[ L_A(\theta_i)=-E[Q(s_i,a_i^{ML})]+\mu E[\|\pi(s_i\mid\theta_i)-a_i^{*}\|^{2}] \]

Birinchi had kutilgan qaytimni oshirishga, ikkinchi had esa siyosat chiqishini xavfsiz harakatga yaqinlashtirishga intiladi.

Critic yo‘qotishi:

\[ L_C(\phi_i)=E[(R_i+\gamma Q(s_i',a_i'\mid\phi_i')-Q(s_i,a_i^{ML}\mid\phi_i))^{2}] \]

ko‘rinishidadir. Bu yerda γ kelajak mukofotlarining joriy qarorga ta’sirini belgilaydigan diskont koeffitsiyentidir. Ifoda amalga oshgan mukofot va keyingi holat qiymatidan iborat vaqt farqi maqsadi bilan joriy qiymat bahosi orasidagi kvadratik xatoni kamaytiradi.

Asinxron yangilanishlarda model eskirishi qanday o‘lchanadi?

Mahalliy agent o‘qitish boshida olgan global model vaqt tamg‘asini saqlaydi. Mahalliy o‘qitish tugab, yangilanish serverga yetib kelganda, oradagi global model yangilanishlari soni model eskirishi sifatida baholanadi.

Eskirishga bog‘liq og‘irlik quyidagicha hisoblanadi:

\[ w_i=\exp(-\lambda\tau_i) \]

τ_i yangilanishning eskirish darajasi, λ esa kechikishni jazolash koeffitsiyentidir. Kechikish nolga yaqin bo‘lganda og‘irlik 1 ga yaqinlashadi. Kechikish kattalashgani sari og‘irlik eksponensial ravishda kamayadi.

Bu mexanizm eski yangilanishni butunlay taqiqlamaydi; faqat uning global modelni o‘zgartirish kuchini kamaytiradi.

Global model qanday yangilanadi?

Markaziy server Krasnosel’skii-Mann yondashuviga asoslangan sirg‘aluvchi yangilanishdan foydalanadi:

\[ \theta_{global}\leftarrow(1-\beta w_i)\theta_{global}+\beta w_i(\theta_{global}+\Delta\theta_i) \]

β bo‘shashtirish parametri, w_i eskirish og‘irligi va Δθ_i mahalliy model o‘zgarishidir. Tenglama soddalashtirilganda yangilanish global modelga βw_iΔθ_i qo‘shishini ko‘rsatadi.

Yangi va dolzarb mahalliy model kattaroq, kechikkan model esa kichikroq o‘zgarish hosil qiladi. Server boshqa mikrotarmoqlarni kutmasdan yangilanishni amalga oshirgani uchun protokol bloklamaydigan asinxron tuzilishga ega.

Hujjatdagi eskirish formulasida nomuvofiqlik bormi?

Ha. Asosiy matndagi 20-raqamli tenglama eskirishni t_pull-t_push ko‘rinishida ko‘rsatadi. Bu tartib, yuklash vaqti yuklab olish vaqtidan katta bo‘lsa, manfiy eskirish qiymatini hosil qilishi mumkin. Bunga qarshi ravishda Algorithm 1 ichida eskirish to‘g‘ri vaqt tartibida t_push-t_pull sifatida hisoblanadi.

Algoritm ishlashi va eksponensial pasayish mantiqi ikkinchi ta’rif ko‘zda tutilganini ko‘rsatadi. Biroq tadqiqot matni yashirincha tuzatilmasligi kerak; ikki yozuv o‘rtasidagi ishora nomuvofiqligi manbadagi notatsion xato sifatida baholanishi lozim.

Mikrotarmoqlar orasidagi energiya narxi qanday belgilanadi?

Ichki savdo narxi mikrotarmoqning asosiy tarmoqqa sotish narxi bilan asosiy tarmoqdan xarid narxi orasida saqlanadi:

\[ \lambda_{sell}^{grid}(t)\leq\lambda_{int}(t)\leq\lambda_{buy}^{grid}(t) \]

Ichki narx umumiy energiya tanqisligining taklif va talab yig‘indisiga nisbatiga ko‘ra hisoblanadi:

\[ \lambda_{int}(t)=\lambda_{sell}^{grid}(t)+\frac{D(t)}{S(t)+D(t)}(\lambda_{buy}^{grid}(t)-\lambda_{sell}^{grid}(t)) \]

Talab oshganda ichki savdo narxi tarmoqdan xarid narxiga, ortiqcha taklif oshganda esa tarmoqqa sotish narxiga yaqinlashadi. Shu tariqa ham energiya ortig‘iga, ham energiya tanqisligiga ega mikrotarmoqlarning ichki savdoda qatnashishi rag‘batlantiriladi.

Tadqiqot xarid va sotuv moslashtirish koeffitsiyentlarini quyidagicha aniqlaydi:

\[ r_{buy}(t)=\min\left(1,\frac{S(t)}{D(t)}\right) \]

\[ r_{sell}(t)=\min\left(1,\frac{D(t)}{S(t)}\right) \]

Bu koeffitsiyentlar ichki mikrotarmoq savdosi bilan qoplanmagan miqdorning asosiy tarmoqdan olinishi yoki asosiy tarmoqqa sotilishini belgilaydi.

Energiya savdosi formulalarida qanday noaniqliklar mavjud?

Tadqiqotda sof quvvat quyidagicha yozilgan:

\[ P_{net,i}(t)=P_{load,i}(t)-P_{PV,i}(t)+a_i^{*}(t) \]

Biroq a_i^* avval to‘rt komponentli harakat vektori sifatida aniqlangan bo‘lsa, P_net,i skalyar quvvat sifatida ishlatiladi. Zaryadlash, razryadlash, xarid va sotish komponentlarining sof quvvatga qaysi ishoralar bilan qo‘shilishi bu tenglamada aniq ko‘rsatilmagan.

Bundan tashqari, jami taklif va jami talab uchun berilgan 26 va 27-raqamli formulalar musbat tanqisliklar bilan manfiy ortiqchaliklarni alohida tanlaydigan shartli yig‘indilarni ochiq ko‘rsatmaydi. Shu sababli tranzaksiya modelining kod darajasida qanday amalga oshirilgani faqat yozilgan tenglamalardan to‘liq qayta ishlab chiqilmasligi mumkin.

Kiber-fizik barqarorlik qanday ko‘rib chiqilgan?

Tadqiqot tizimni ikki qayta aloqali quyi tizimga ajratadi:

• Kiber qatlam: Global model, mahalliy siyosat tarmoqlari va asinxron federativ yangilanishlar.
• Fizik qatlam: Batareya, fotovoltaik tizim, yuk va energiya almashinuvidan iborat mikrotarmoq dinamikasi.

Kiber qatlamdagi parametr xatosi:

\[ e_{\theta}(k)=\|\theta(k)-\theta^{*}\| \]

deb aniqlanib, quyidagi tengsizlik bilan chegaralangan:

\[ e_{\theta}(k+1)\leq\gamma_c e_{\theta}(k)+\delta_c e_x(k) \]

γ_c kiber qatlamning o‘z xatosini kamaytirish tezligini, δ_c fizik qatlamdagi og‘ishlarning o‘rganish tizimiga ta’sirini ko‘rsatadi.

Fizik holat xatosi uchun xuddi shunday:

\[ e_x(k+1)\leq\gamma_p e_x(k)+\delta_p e_{\theta}(k) \]

tengsizligi berilgan. γ_p fizik tizimning o‘z og‘ishini kamaytirish qobiliyatini, δ_p siyosat xatosining fizik tizimga uzatilishini ifodalaydi.

Ikki quyi tizimning birgalikda barqaror qolishi uchun tavsiya etilgan kichik kuchaytirish sharti quyidagicha:

\[ \delta_c\delta_p<(1-\gamma_c)(1-\gamma_p) \]

Bu shart kiber va fizik qatlamlar orasidagi o‘zaro xato uzatilishi ikki qatlamning o‘z-o‘zini so‘ndirish qobiliyatidan kichik bo‘lishi kerakligini anglatadi.

Nazariy yaqinlashish isboti shartsizmi?

Yo‘q. Isbot bir qator farazlarga bog‘liq. A ilovasida siyosat operatorining parametrlarga nisbatan Lipschitz koeffitsiyenti α<1 ekani, ya’ni qisqarish xususiyatini ko‘rsatishi faraz qilingan. Umumiy neyron tarmoq bu xususiyatni arxitekturadan mustaqil tarzda avtomatik ravishda ta’minlaydi, deb bo‘lmaydi.

B ilovasida fizik mikrotarmoq uchun mos kirish-holat barqarorligi Lyapunov funksiyasi mavjudligi qabul qilingan. Bu funksiya simulyatsiyadagi barcha mikrotarmoqlar uchun alohida sonli tarzda tekshirilgani ko‘rsatilmagan.

Shu sababli tadqiqot ko‘rsatilgan qisqarish, kirish-holat barqarorligi va kichik kuchaytirish shartlari bajarilganda yopiq kontur xato dinamikasi barqaror bo‘lishini ko‘rsatadi. Bu nazariy natija barcha neyron tarmoq parametrlari va barcha real mikrotarmoq sharoitlari uchun shartsiz barqarorlik kafolati sifatida talqin qilinmasligi kerak.

Simulyatsiya ma’lumotlari qanday yaratilgan?

Yuk profillari uchun AQShdagi TMY3 joylariga tegishli tijorat va turar-joy tipidagi soatlik bino yuk profillaridan foydalanilgan. Tadqiqotchilar Los Angeles International Airport hududidagi tijorat va boshqa bino profillarini tanlagan.

Ob-havo uchun Los Angeles Intl AP 722950 stansiyasining tipik meteorologik yil ma’lumotlaridan foydalanilgan. Fotovoltaik panellar janubga qaratilgan va 30 daraja qiyalikda deb qabul qilingan. Global gorizontal nurlanish, to‘g‘ridan-to‘g‘ri normal nurlanish va diffuz gorizontal nurlanish qiymatlaridan panel tekisligidagi nurlanish pvlib-python bilan hisoblangan, so‘ng fotovoltaik quvvat ishlab chiqarish modellashtirilgan.

Bir kilovattli standart fotovoltaik tizimning yillik simulyatsiya qilingan ishlab chiqarishi 1.788,22 kWh deb xabar qilingan. Yillik ishlab chiqarish grafigi yoz oylarida yuqoriroq, qish davrida pastroq kundalik ishlab chiqarish bilan mavsumiy o‘zgarishni ko‘rsatadi.

Energiya saqlash bino o‘z iste’molini qanday o‘zgartirdi?

O‘rta kattalikdagi ofis binosi misolida energiya saqlashsiz:

• Energiya o‘zini-o‘zi ta’minlash darajasi 43,9 foiz.
• Fotovoltaik o‘z iste’mol darajasi 78,2 foiz.

200 kWh energiya saqlash tizimi qo‘shilganda:

• Energiya o‘zini-o‘zi ta’minlash darajasi 50,2 foizga ko‘tarildi.
• Fotovoltaik o‘z iste’mol darajasi 89,5 foizga ko‘tarildi.

Bu natijalar SPA-AFRL algoritmining qiyosiy muvaffaqiyatidan oldin yaratilgan fizik simulyatsiya boshlang‘ich shartlariga tegishli. Ularni real binoda o‘lchangan saqlash samaradorligi sifatida talqin qilish kerak emas.

Simulyatsiyadagi oltita mikrotarmoq agenti qaysilar?

Jadvaldagi fotovoltaik ustun “PV (kWh)” ko‘rinishida berilgan. Bu o‘rnatilgan fotovoltaik quvvat, energiya sig‘imi yoki masshtablangan ishlab chiqarish qiymatlaridan qaysi birini anglatishi aniq ta’riflanmagan. Fotovoltaik o‘rnatilgan quvvat odatda kW, ishlab chiqarilgan energiya esa kWh birligida ifodalanganligi sababli manbada birlik noaniqligi mavjud.

Elektr tarifi qanday sozlangan?

Asosiy tarmoqdan elektr xarid narxi vaqt oralig‘iga ko‘ra quyidagicha belgilangan:

Tarmoqqa sotish narxi doimiy 0,08 AQSh dollari/kWh qilib belgilangan. Bu tarif tadqiqotchilarning simulyatsiya farazidir va Los-Anjelesdagi muayyan joriy tijorat tarifini to‘liq ifodalashi ko‘rsatilmagan.

Aloqa kechikishlari qanday simulyatsiya qilingan?

Oddiy tugunlarning eskirish qiymati Poisson taqsimoti va o‘rtacha 1 bilan, yuqori kechikishli tugunlar esa Poisson taqsimoti va o‘rtacha 10 bilan modellashtirilgan:

\[ \tau_i\sim Poisson(1) \]

\[ \tau_i\sim Poisson(10) \]

Eskirish kamayish koeffitsiyenti asosiy tajribalarda λ=0,15 qilib tanlangan.

Yaqinlashish grafigi nimani ko‘rsatadi?

Kumulyativ mukofot-vaqt grafigida SPA-AFRL eng yuqori va eng barqaror egri chiziqni hosil qiladi. Grafikdan taxminan SPA-AFRL 60-80 daqiqa ichida 2.450-2.500 kumulyativ mukofot darajasiga yetgani ko‘rinadi.

Boshqa usullarning xatti-harakatlari quyidagicha:

• Local-RL: Dastlab tez ko‘tarilgan, ammo taxminan 1.500 mukofot atrofida erta plato qilgan.
• Sync-FedAvg: Sekinroq, ammo muntazam ko‘tarilgan va 120 daqiqa oxirida taxminan 1.950 darajaga yetgan.
• AFRL w/o w_i: Taxminan 2.000-2.100 darajasida tebranuvchi yo‘l ko‘rsatgan.
• SPA-AFRL: Tezroq yaqinlashgan va taxminan 2.500 bilan eng yuqori yakuniy mukofotni ta’minlagan.

Grafikdan o‘qilgan qiymatlar taxminiydir; jadval shaklida aniq yakuniy o‘rtacha, standart og‘ish yoki ko‘p tajribali ishonch oralig‘i berilmagan.

Batareya xavfsizlik chegaralari saqlanganmi?

72 soatlik tadqiqot bosqichi grafigida xavfsiz SOC oralig‘i 10 foizdan 90 foizgacha ko‘rsatilgan. SPA-AFRL egri chizig‘i xavfsizlik chegaralari ichida harakatlanib, quyi va yuqori chegaralarni kuzatadi.

Local-DDPG, Sync-FedAvg va ayniqsa eskirish og‘irligisiz AFRL variantida ayrim vaqtlarda SOC qiymatlari 10 foizdan pastga yoki 90 foizdan yuqoriga chiqadi. Tadqiqot buni faqat mukofot jazolariga asoslangan xavfsizlikning kechikkan javob berishi va eski model yangilanishlarining siyosatni buzishi bilan izohlaydi.

6-rasm taglavhasi xato ravishda “kumulyativ mukofotning devor soati vaqtiga nisbatan o‘rganish egri chiziqlari” deb yozilgan. Rasm aslida 72 soatlik batareya SOC traektoriyasi va xavfsizlik chegaralarini ko‘rsatadi.

Iqtisodiy taqsimot natijalari qanday?

15 iyul uchun o‘rta kattalikdagi ofis agentida taqqoslangan sof xarajatlar quyidagicha:

SPA-AFRL quyosh ishlab chiqarishi yuqori bo‘lgan soatlarda ortiqcha energiyani batareyaga yo‘naltirgan va elektr xarid narxi 0,35 AQSh dollari/kWh bo‘lgan cho‘qqi davrida batareyadan razryad qilgan. Biroq bu bitta kun, bitta agent va simulyatsiya qilingan tarif bo‘yicha olingan misoldir. Uzoq muddatli iqtisodiy samaradorlik, batareya qarishi, yo‘qotishlar va real bozor to‘lovlari baholanmagan.

Eskirish koeffitsiyenti qaysi qiymatda eng yaxshi natija berdi?

Eskirish koeffitsiyenti sezgirlik grafigi juda kichik va juda katta λ qiymatlari samaradorlikni pasaytirishini ko‘rsatadi. Egri chiziq taxminan λ=0,15 atrofida 2.500 dan yuqori kumulyativ mukofot bilan cho‘qqiga chiqadi.

Kichik λ kechikkan yangilanishlarni yetarlicha jazolamagani uchun eski parametrlarning global modelni buzishiga imkon beradi. Juda katta λ esa odatiy aloqa kechikishlarini ham qattiq jazolab, ayrim mikrotarmoq yangilanishlarini deyarli e’tiborsiz qoldiradi va model xilma-xilligini kamaytiradi.

Tadqiqot qaysi natijalarni qo‘llab-quvvatlaydi?

• Eskirish og‘irligi simulyatsiyadagi yuqori kechikishli tugunlarning global modelga ta’sirini kamaytirdi.
• Asinxron agregatsiya barcha tugunlarni kutadigan Sync-FedAvg usulidan tezroq yaqinlashishni ko‘rsatdi.
• Fizik xavfsizlik proyeksiyasi simulyatsiya qilingan batareya SOC qiymatini 10-90 foiz oralig‘ida ushlab turdi.
• SPA-AFRL tanlangan simulyatsiya va tarif sharoitlarida taqqoslangan usullardan yuqoriroq kumulyativ mukofot oldi.
• Namunaviy 24 soatlik ofis ssenariysida SPA-AFRLning sof xarajati -3,10 AQSh dollari qilib hisoblandi.
• Eskirish kamayish koeffitsiyentining juda past yoki juda yuqori tanlanishi samaradorlikni pasaytirdi.

Tadqiqot nimani isbotlamaydi?

• SPA-AFRL real mikrotarmoq yoki fizik batareya apparatida sinovdan o‘tkazilmagan.
• Simulyatsiyadagi iqtisodiy natijalar uzoq muddatli tijorat rentabelligi dalili emas.
• Xom ma’lumot ulashilmasligi o‘z-o‘zidan to‘liq maxfiylik yoki hujumlarga qarshi xavfsizlik kafolatini bermaydi.
• Model yangilanishlaridan ma’lumot sizib chiqishi, zararli mijoz, modelni zaharlash yoki aloqa hujumlari o‘rganilmagan.
• Xavfsizlik proyeksiyasi faqat modelga kiritilgan fizik cheklovlarni himoya qiladi; noma’lum nosozliklar yoki noto‘g‘ri belgilangan chegaralarni oldini ola olmaydi.
• Kichik kuchaytirish isboti umuman barcha neyron tarmoq va mikrotarmoq tuzilmalariga shartsiz barqarorlik kafolatini bermaydi.
• Natijalar Turkiya elektr tizimi, tariflari yoki taqsimlash qoidalari uchun tasdiqlanmagan.
• Fotovoltaik va yuk prognozi xatolarining iqtisodiy samaradorlikka batafsil ta’siri alohida tajriba bilan ko‘rsatilmagan.

Tadqiqotning kuchli tomonlari nimalar?

• Aloqa kechikishi va fizik xavfsizlik bir xil kiber-fizik doirada ko‘rib chiqilgan.
• Xavfsizlik faqat mukofot jazolariga tashlab qo‘yilmagan, bajarilishdan oldin harakat proyeksiyasidan foydalanilgan.
• SPA-AFRL mustaqil o‘rganish, sinxron FedAvg va eskirish jazosisiz asinxron usul bilan taqqoslangan.
• Yaqinlashish, fizik chegara, iqtisodiy taqsimot va parametr sezgirligi alohida tajribalar bilan o‘rganilgan.
• Nazariy yondashuv operator nazariyasi, kirish-holat barqarorligi va kichik kuchaytirish sharti bilan bog‘langan.
• Oltita turli bino yuk profili bilan geterogen mikrotarmoq tuzilishi yaratilgan.

Tadqiqotning asosiy cheklovlari qanday?

• Tadqiqot ekspertlar ko‘rib chiqishidan o‘tmagan preprintdir.
• Tajribalar real dala o‘rniga simulyatsiyaga asoslangan.
• Yuklangan hujjatning birinchi sahifasida muallif nomlari va muassasa ma’lumotlari ko‘rinmaydi.
• Nazariy yaqinlashish siyosat tarmog‘ining qisqarish xususiyati va fizik tizimning ISS faraziga bog‘liq.
• Eskirish ta’rifida asosiy tenglama bilan Algorithm 1 orasida ishora nomuvofiqligi mavjud.
• Sof energiya va jami taklif-talab tenglamalarida o‘lcham va ishora ta’riflari to‘liq aniq emas.
• PV sig‘imi ustunining kWh birligida berilishi texnik noaniqlik tug‘diradi.
• Natija grafiklarida ko‘p tasodifiy boshlanish, ishonch oralig‘i va statistik ahamiyat qiymatlari berilmagan.
• Batareya qarishi, sikl xarajati va sig‘im yo‘qolishi iqtisodiy modelga qo‘shilmagan.
• Federativ o‘rganishning maxfiylik hujumlari yoki zararli mijozlarga chidamliligi sinovdan o‘tkazilmagan.
• Tadqiqot faqat muayyan Los-Anjeles bino va ob-havo sharoitlariga ko‘ra modellashtirilgan.

Tadqiqotning usuli va natijalari

Tajriba tuzilmasining texnik xulosasi

Neyron tarmoq va o‘qitish giperparametrlari

Taqqoslangan usullar

• Local-RL: Federativ agregatsiyasiz mustaqil mahalliy mustahkamlovchi o‘rganish.
• Sync-FedAvg: Barcha mijozlarni kutadigan an’anaviy sinxron federativ o‘rtachalashtirish.
• AFRL w/o w_i: Eskirish jazosisiz kelgan yangilanishlarni to‘g‘ridan-to‘g‘ri birlashtiradigan asinxron usul.
• SPA-AFRL: Eskirish og‘irligi va fizik xavfsizlik proyeksiyasidan foydalanadigan taklif etilgan usul.

SPA-AFRL algoritmining texnik oqimi

1. Markaziy server global siyosat parametrlarini va global soatni ishga tushiradi.
2. Har bir mahalliy agent joriy global modelni yuklab oladi va yuklab olish vaqt tamg‘asini qayd etadi.
3. Prognoz operatori kelajak PV va yuk qiymatlarini ishlab chiqaradi.
4. Siyosat operatori xom energiya boshqaruvi harakatini hisoblaydi.
5. Xavfsizlik operatori xom harakatni fizik yaroqlilik to‘plamiga proyeksiya qiladi.
6. Xavfsiz harakat mikrotarmoq simulyatsiyasida qo‘llanadi.
7. Mukofot va keyingi holat mahalliy tajriba xotirasiga yoziladi.
8. Critic tarmog‘i vaqt farqi xatosi bilan, Actor tarmog‘i iqtisodiy qaytim va xavfsizlik jazosi bilan yangilanadi.
9. Mahalliy model o‘zgarishi va eski global modelning vaqt tamg‘asi serverga asinxron yuboriladi.
10. Server kechikishni hisoblaydi, eksponensial eskirish og‘irligini qo‘llaydi va global modelni yangilaydi.

Asosiy natijalar xulosasi

Real qo‘llashga o‘tish uchun zarur tekshiruvlar

• Real mikrotarmoq yoki apparat-in-the-loop sinov qurilmasida tasdiqlash
• Batareya hujayra harorati, qarish va sikl xarajatini modelga qo‘shish
• Noto‘g‘ri PV va yuk prognozlarining xavfsizlik va iqtisodga ta’sirini o‘lchash
• Real aloqa tarmog‘ida kechikish, paket yo‘qolishi va ulanish uzilishini sinash
• Zararli mijoz va modelni zaharlash hujumlariga qarshi chidamlilik
• Federativ yangilanishlardan ma’lumot sizib chiqishiga qarshi maxfiylik tahlili
• Mahalliy elektr bozori va taqsimlash tizimi qoidalariga moslashtirish
• Uzoq muddatli, ko‘p mavsumli va ko‘p tasodifiy boshlanishli tajribalar

Manba va usul eslatmasi

• Tadqiqotning to‘liq asl nomi: SPA-AFRL: Staleness-and Physics-Aware Asynchronous Federated Reinforcement Learning for Microgrid Energy Management
• Mualliflar: Hexiao Li, Jaafar Gaber, Salah Laghrouche
• Mualliflar tartibi: Hexiao Li birinchi, Jaafar Gaber ikkinchi, Salah Laghrouche uchinchi muallifdir.
• Teng birinchi muallif: Teng hissa yoki teng birinchi mualliflik ma’lumoti tasdiqlanmagan.
• Mas’ul muallif: SSRN yozuvida Hexiao Li aloqa muallifidir.
• Muassasalar: SSRN yozuvida Jaafar Gaber uchun University of Burgundy Franche-Comté ko‘rsatilgan. Hexiao Li va Salah Laghrouche muassasalari SSRN yozuvida berilmagan. Yuklangan versiyada muallif va muassasa satrlari ko‘rinmaydi.
• DOI:10.2139/ssrn.7192454
• Jurnal: Muayyan ekspertlar ko‘rib chiqqan jurnal yoki qabul qilingan nashr ma’lumoti tasdiqlanmagan.
• Nashr platformasi: SSRN
• Hujjatdagi nashr izohi: “Preprint submitted to Elsevier”
• Nashr yili: 2026
• SSRN sanasi: 27 iyul 2026
• Manba turi: Modellashtirish, nazariy tahlil va simulyatsiyani o‘z ichiga olgan preprint tadqiqot ishi
• Ekspert ko‘rib chiqish holati: Ushbu tadqiqot ekspertlar ko‘rib chiqishidan o‘tmagan.
• Rasmiy manba havolasi:SSRN rasmiy tadqiqot sahifasi

Ushbu o‘zbekcha maqola yuklangan tadqiqotning butun matni, matematik modeli, Algorithm 1 oqimi, rasmlari, jadvallari, simulyatsiya grafiklari va A-C ilovalaridagi nazariy hosilalar o‘rganilib tayyorlangan. Ilmiy mazmun faqat ko‘rib chiqilgan tadqiqotga asoslangan. Tashqi manbalarni tekshirish faqat mualliflar ro‘yxati, mualliflar tartibi, aloqa muallifi, DOI, sana va rasmiy nashr platformasini bibliografik tasdiqlash maqsadida ishlatilgan.

Ushbu tadqiqot ekspertlar ko‘rib chiqishidan o‘tmagan preprintdir; natijalar shu cheklovni hisobga olgan holda o‘qilishi kerak. Topilmalar real mikrotarmoq dala qo‘llanmasi emas, balki Los-Anjeles hududi ma’lumotlari va tadqiqotchilar belgilagan texnik-iqtisodiy farazlar bilan yaratilgan simulyatsiyadir.

Tadqiqotning nazariy barqarorlik natijasi siyosat operatorining qisqarish xususiyati, fizik mikrotarmoq dinamikasining kirish-holat barqarorligi, xavfsizlik proyeksiyasining qavariq bajarilishi mumkin bo‘lgan to‘plamda ishlashi va kichik kuchaytirish tengsizligi bajarilishi shartlariga bog‘liq. Ushbu farazlardan biri real tizimda bajarilmasa, taqdim etilgan isbotning o‘zi barqarorlik kafolatini bermaydi.

Manbada, shuningdek, eskirish vaqtining ishorasida, sof quvvat tenglamasida, jami taklif-talab ifodalarida, fotovoltaik sig‘im birligida va 6-rasm taglavhasida aniqlik yoki izchillik muammolari mavjud. Bu nuqtalar yashirincha tuzatilmagan, balki tadqiqotning qayta ishlab chiqilishiga ta’sir qilishi mumkin bo‘lgan manba cheklovlari sifatida ko‘rsatilgan.