Utafiti huu umeunda SPA-AFRL, mfumo wa ujifunzaji wa kuimarisha wa shirikisho usio wa wakati mmoja unaozingatia ukongwe wa masasisho na usalama wa kimwili, ili mikrogridi zenye ucheleweshaji tofauti wa mawasiliano zijifunze sera ya pamoja ya usimamizi wa nishati. Mbinu hii inaunganisha utaratibu wa uagregishaji wa shirikisho unaopunguza kwa namna ya kielelezo athari za masasisho ya modeli za ndani yanayowasili kwa kuchelewa na opereta wa usalama anayeyaonyesha vitendo vinavyozalishwa na akili bandia ndani ya mipaka ya betri na mfumo wa nguvu. Katika uigaji unaowakilisha aina sita za majengo katika eneo la Los Angeles, SPA-AFRL iliripoti ukaribiaji wa haraka zaidi, kuhifadhi mipaka ya asilimia 10-90 ya hali ya chaji ya betri na gharama halisi ya -3,10 dola za Marekani katika mfano wa usambazaji wa kiuchumi wa mzigo wa saa 24, yaani mapato ya dola za Marekani 3,10. Hata hivyo, matokeo haya si jaribio la uwanjani la mikrogridi halisi bali ni matokeo ya uigaji, na dai la kinadharia la ukaribiaji linategemea dhana kama sifa ya contraction ya mtandao wa sera na uthabiti wa input-state wa mfumo wa kimwili.

Tatizo kuu la SPA-AFRL ni kwamba katika ujifunzaji wa shirikisho, masasisho ya modeli yanayotoka kwenye mikrogridi zinazofanya kazi kwa kasi tofauti yanaweza kuchukuliwa kuwa na thamani sawa. Sasisho la mikrogridi linapowasili kwa kuchelewa kwenye seva kuu, modeli ya kimataifa ambayo sasisho hilo lilitegemea inaweza kuwa tayari imebadilika. Utafiti unashughulikia hali hii kama ukongwe wa modeli au tatizo la sasisho lililochelewa na hupunguza uzito wa sasisho kadiri ucheleweshaji unavyoongezeka.

Tatizo la pili ni usalama wa kimwili. Wakala wa ujifunzaji wa kuimarisha anaweza kupendekeza kitendo wakati wa mafunzo ambacho kinaweza kusababisha betri kuchajiwa kupita kiasi, kutolewa chaji kupita kiasi au kuzidi nguvu inayoruhusiwa ya kununua na kuuza kutoka kwenye gridi. SPA-AFRL haitekelezi moja kwa moja kitendo kilichopendekezwa; badala yake, hukionyesha kwenye kitendo cha karibu zaidi kinachowezekana kimwili. Kwa njia hii, usalama hauachwi tu kwa adhabu katika kitendaji cha zawadi, bali uamuzi hupitia ukaguzi wa kihisabati wa uwezekano kabla ya kutekelezwa.

Kwa mtazamo wa Uturuki, utafiti huu unatoa mbinu inayoweza kuchunguzwa kwa ajili ya kuunda sera ya pamoja ya usimamizi wa nishati bila kuweka data zote kituo kimoja katika maeneo ya viwanda yaliyopangwa, kampasi, hospitali, majengo ya biashara na jumuiya za nishati za ndani zenye nishati jadidifu. Hata hivyo, hali za mzigo, hali ya hewa, tarifu na uzalishaji wa jua zilizotumiwa zinahusu eneo la Los Angeles. Bila kuunda upya modeli kwa kutumia tarifu za umeme za Uturuki, sheria za mfumo wa usambazaji, mipaka ya kiufundi ya betri, maeneo ya hali ya hewa na miundombinu ya mawasiliano ya data, haiwezekani kutoa hitimisho la faida ya kiuchumi au usalama wa uwanjani kwa Uturuki.

Swali kuu la utafiti ni lipi?

Swali kuu la utafiti ni hili: mikrogridi zilizosambazwa zenye ucheleweshaji tofauti wa mawasiliano na hali tofauti za ndani zinawezaje kujifunza sera ya pamoja ya usimamizi wa nishati bila kukusanya data zao kwenye seva kuu huku zikidumisha ukaribiaji wa modeli na usalama wa vifaa vya kimwili?

Katika ujifunzaji wa kuimarisha wa shirikisho, kila mikrogridi hufunza modeli ya sera kwa kutumia data zake za ndani na mazingira yake ya kimwili. Seva kuu haihitaji kupokea data ghafi za mzigo, uzalishaji au watumiaji; badala yake, huunganisha vigezo vya modeli. Lakini kwa sababu uwezo wa kukokotoa, muunganisho wa mtandao na muda wa mafunzo ya ndani wa mikrogridi hutofautiana, masasisho yote hayawasili kwa wakati mmoja. Kuongeza moja kwa moja sasisho lililochelewa kwenye modeli ya kimataifa kunaweza kuipotosha sera ya sasa kuelekea taarifa za zamani.

Zaidi ya hayo, wakala wa ujifunzaji wa kuimarisha anaweza kuvunja mipaka ya kimwili anapotafuta zawadi kubwa. Kwa mfano, ili kupunguza gharama ya muda mfupi, wakala anaweza kupendekeza kitendo kinachoitoa betri nje ya mipaka inayoruhusiwa ya chaji au kuzidi nguvu ya kifaa. Utafiti unashughulikia tatizo la modeli kongwe katika safu ya mawasiliano na tatizo la usalama katika safu ya kimwili ndani ya kitanzi kimoja kilichofungwa.

SPA-AFRL inamaanisha nini?

SPA-AFRL ni kifupi cha Staleness-and Physics-Aware Asynchronous Federated Reinforcement Learning. Kwa Kiswahili inaweza kuelezwa kama “Ujifunzaji wa Kuimarisha wa Shirikisho Usio wa Wakati Mmoja Unaotambua Ukongwe wa Masasisho na Usalama wa Kimwili”.

Mfumo una taratibu kuu mbili:

• Uagregishaji usio wa wakati mmoja unaotambua ukongwe: Seva kuu hupunguza athari za masasisho yanayowasili kwa kuchelewa kwenye modeli ya kimataifa.
• Uonyeshaji wa usalama wa kimwili: Kitendo kinachopendekezwa na sera ya ndani ya akili bandia huonyeshwa kwenye seti ya vitendo salama na vinavyotekelezeka ya mikrogridi.

Mtiririko wa kazi wa ujifunzaji wa kuimarisha wa shirikisho ukoje?

Mchakato wa msingi wa ujifunzaji wa shirikisho una hatua nne:

1. Seva kuu hutuma vigezo vya modeli ya kimataifa ya sasa kwa mawakala wa ndani wa mikrogridi.
2. Kila wakala hufanya mafunzo ya ndani ya ujifunzaji wa kuimarisha kwa kutumia data zake binafsi na mazingira yake ya kimwili.
3. Mawakala hawapandishi data ghafi, bali hupakia mabadiliko ya vigezo vya modeli vilivyojifunzwa kwenye seva kuu.
4. Seva huunganisha masasisho yaliyowasili ili kuunda modeli mpya ya kimataifa.

Katika SPA-AFRL mchakato huu si wa wakati mmoja. Seva haisubiri mawakala wote wamalize kwa wakati mmoja. Wakala anapotuma sasisho, sasisho hilo hutathminiwa mara moja na kuongezwa kwenye modeli ya kimataifa kulingana na uzito wake wa ukongwe.

Muundo wa kimwili wa mikrogridi umeundwa vipi?

Kila mikrogridi imeundwa kama kitengo chenye mzigo wa umeme wa ndani, mfumo wa uzalishaji wa photovoltaic, mfumo wa kuhifadhi nishati kwa betri na ubadilishanaji wa nishati na gridi kuu au mikrogridi nyingine.

Hali ya chaji ya betri, yaani state of charge (SOC), husasishwa kwa uhusiano ufuatao:

\[ SOC_i(t+1)=SOC_i(t)+\left(\eta_i^{ch}P_i^{ch}(t)-\frac{P_i^{dis}(t)}{\eta_i^{dis}}\right)\frac{\Delta t}{E_i^{cap}} \]

Hapa:

• SOC_i(t) ni hali ya sasa ya chaji ya betri ya mikrogridi namba i.
• P_i^ch(t) ni nguvu ya kuchaji betri.
• P_i^dis(t) ni nguvu ya kutoa chaji kutoka betri.
• η_i^ch na η_i^dis ni ufanisi wa kuchaji na kutoa chaji.
• E_i^cap ni uwezo wa nishati uliokadiriwa wa betri.
• Δt ni muda wa hatua ya udhibiti.

Fomula inaonyesha kwamba nishati inayoweza kutumika inapoingia kwenye betri huongeza hali ya chaji, huku nishati inayotoka kwenye betri ikipunguza hali ya chaji kwa kuzingatia ufanisi wa kutoa chaji.

Usawazishaji wa nguvu ya umeme unadumishwaje?

Nguvu inayozalishwa na kununuliwa katika mikrogridi lazima iwe sawa na nguvu inayotumiwa, kuhifadhiwa na kuuzwa:

\[ P_i^{pv}(t)+P_i^{dis}(t)+P_i^{buy}(t)=P_i^{load}(t)+P_i^{ch}(t)+P_i^{sell}(t) \]

P_i^pv inaonyesha uzalishaji wa photovoltaic, P_i^load mzigo wa ndani, P_i^buy nguvu iliyonunuliwa na P_i^sell nguvu iliyouzwa. Mlinganyo huu huhakikisha kwamba maamuzi ya usimamizi wa nishati hayafanywi kwa msingi wa uchumi pekee bali pia ndani ya usawa wa kimwili wa ugavi na mahitaji.

Nguvu za kuchaji, kutoa chaji, kununua kutoka kwenye gridi na kuuza kwenye gridi pia zimewekewa mipaka kati ya sifuri na viwango vya juu vilivyofafanuliwa vya vifaa:

\[ 0\leq P_i^{ch}(t)\leq P_{i,max}^{ch} \]

\[ 0\leq P_i^{dis}(t)\leq P_{i,max}^{dis} \]

\[ 0\leq P_i^{buy}(t)\leq P_{i,max}^{grid} \]

\[ 0\leq P_i^{sell}(t)\leq P_{i,max}^{grid} \]

Hali ya chaji ya betri pia hudumishwa ndani ya mipaka ifuatayo:

\[ SOC_i^{min}\leq SOC_i(t)\leq SOC_i^{max} \]

Katika uigaji, kiwango salama cha SOC kiliwekwa kati ya asilimia 10 na asilimia 90.

Seti ya vitendo vinavyowezekana kimwili ni nini?

Vekta ya uamuzi ya wakala wa ndani ina vipengele vya kuchaji, kutoa chaji, kununua umeme na kuuza umeme:

\[ a_i(t)=[P_i^{ch}(t),P_i^{dis}(t),P_i^{buy}(t),P_i^{sell}(t)]^{T} \]

Kati ya vitendo hivi, vile vinavyotimiza mipaka yote ya nguvu na vifaa huingia kwenye seti ya vitendo vinavyowezekana kimwili F_i(t). Utafiti unachukulia kwamba mipaka hii inaundwa na usawa na kutokuwa sawa wa mstari na kwamba seti inayowezekana ni iliyofungwa, si tupu na convex.

Hali na kitendo cha mchakato wa uamuzi wa Markov ni nini?

Hali ya kila wakala wa mikrogridi inajumuisha taarifa zifuatazo:

\[ s_i(t)=[SOC_i(t),P_i^{pv}(t),P_i^{load}(t),\lambda_{buy}^{grid}(t),\hat{P}_i^{pv}(t+1),\hat{P}_i^{load}(t+1)]^{T} \]

Vekta ya hali ina hali ya sasa ya chaji ya betri, uzalishaji wa jua wa wakati huo, mzigo wa wakati huo, bei ya kununua umeme kutoka kwenye gridi, pamoja na uzalishaji wa jua na mzigo uliotabiriwa kwa dirisha linalofuata la muda.

Muundo huu unalenga kufanya wakala asijibu tu hali za sasa, bali pia ajumuishe matarajio ya uzalishaji na mahitaji ya siku za karibu katika uamuzi wake.

Kitendaji cha zawadi kinahamasisha nini?

Zawadi ya wakala wa ndani imefafanuliwa kama:

\[ R_i(t)=-C_{trans,i}(t)-\mu\|a_i^{ML}(t)-a_i^{*}(t)\|^{2} \]

Hapa C_trans,i ni gharama ya muamala wa nishati. a_i^ML ni kitendo ghafi cha sera ya akili bandia; a_i^* ni kitendo kinachoweza kutekelezwa baada ya uonyeshaji wa usalama wa kimwili.

Zawadi inazingatia malengo mawili kwa pamoja:

• Kupunguza gharama ya jumla ya kiuchumi ya maamuzi ya kununua, kuuza na kuhifadhi nishati.
• Kupunguza tofauti kati ya kitendo ghafi kinachopendekezwa na akili bandia na kitendo salama.

Kipengele cha pili cha adhabu kinalenga wakala ajifunze kwa muda kutoa vitendo vilivyo karibu zaidi na mipaka ya kimwili, badala ya kuzalisha maamuzi ambayo kila mara yanahitaji kusahihishwa na opereta wa usalama.

Waendeshaji watatu wa ndani hufanyaje kazi?

Mchakato wa uamuzi wa wakala wa ndani wa mikrogridi umegawanywa katika waendeshaji watatu:

1. Opereta wa utabiri: Hutengeneza utabiri wa mzigo wa baadaye na uzalishaji wa photovoltaic kutoka kwenye data za zamani.
2. Opereta wa sera: Hutengeneza kitendo ghafi cha usimamizi wa nishati kutokana na hali ya sasa na iliyotabiriwa.
3. Opereta wa uonyeshaji wa usalama: Huonyesha kitendo ghafi kwenye seti inayowezekana kimwili.

Kitendo ghafi kinachozalishwa na mtandao wa sera:

\[ a_i^{ML}(t)=T_{\pi}(s_i(t)\mid\theta_i) \]

kimeelezwa kwa namna hii. θ_i ni vigezo vya mtandao wa sera wa ndani.

Kitendo salama huhesabiwa kwa uboreshaji ufuatao:

\[ a_i^{*}(t)=T_x(a_i^{ML}(t))=\arg\min_{a\in F_i(t)}\frac{1}{2}\|a-a_i^{ML}(t)\|^{2} \]

Fomula hii huchagua kitendo kinachowezekana ambacho kiko karibu zaidi na kitendo kilichopendekezwa na akili bandia kwa umbali wa Euclidean. Kwa maneno mengine, opereta wa usalama haibuni upya uamuzi wote, bali hujaribu kuusahihisha kwa kiwango kinachohitajika tu ili kukidhi mipaka ya kimwili.

Sifa ya kihisabati ya uonyeshaji wa usalama ni ipi?

Uonyeshaji wa orthogonal kwenye seti iliyofungwa na convex ni opereta asiyeongeza umbali:

\[ \|P_C(x)-P_C(y)\|\leq\|x-y\| \]

Umbo lake lenye nguvu zaidi, sifa ya firmly non-expansive, ni:

\[ \langle P_C(x)-P_C(y),x-y\rangle\geq\|P_C(x)-P_C(y)\|^{2} \]

Sifa hii ina maana kwamba uonyeshaji hauongezi umbali kati ya vitendo viwili tofauti. Katika mtazamo wa kinadharia wa utafiti, sifa hii ndiyo msingi wa dai kwamba safu ya usalama wa kimwili haiongezi makosa ndani ya mrejesho wa cyber-physical.

Ujifunzaji wa Actor-Critic ulitekelezwaje?

Kila wakala wa ndani hutumia usanifu wa Actor-Critic. Mtandao wa Actor huzalisha kitendo, huku mtandao wa Critic ukikadiria thamani ya muda mrefu inayotarajiwa ya jozi ya hali-kitendo.

Hasara ya Actor imefafanuliwa kama:

\[ L_A(\theta_i)=-E[Q(s_i,a_i^{ML})]+\mu E[\|\pi(s_i\mid\theta_i)-a_i^{*}\|^{2}] \]

Kipengele cha kwanza hulenga kuongeza marejesho yanayotarajiwa, na cha pili hulenga kuleta matokeo ya sera karibu na kitendo salama.

Hasara ya Critic:

\[ L_C(\phi_i)=E[(R_i+\gamma Q(s_i',a_i'\mid\phi_i')-Q(s_i,a_i^{ML}\mid\phi_i))^{2}] \]

imefafanuliwa kwa namna hii. Hapa γ ni kipengele cha punguzo kinachoamua uzito wa zawadi za baadaye katika uamuzi wa sasa. Usemi hupunguza kosa la mraba kati ya lengo la temporal difference linaloundwa na zawadi iliyopatikana pamoja na thamani ya hali inayofuata, na makadirio ya thamani ya sasa.

Ukongwe wa modeli hupimwaje katika masasisho yasiyo ya wakati mmoja?

Wakala wa ndani huhifadhi muhuri wa muda wa modeli ya kimataifa aliyopokea mwanzoni mwa mafunzo. Mafunzo ya ndani yanapokamilika na sasisho kufika kwenye seva, idadi ya masasisho ya modeli ya kimataifa yaliyotokea katikati huchukuliwa kuwa kiwango cha ukongwe wa modeli.

Uzito unaotegemea ukongwe huhesabiwa kama:

\[ w_i=\exp(-\lambda\tau_i) \]

τ_i ni kiwango cha ukongwe wa sasisho na λ ni kigezo cha kuadhibu ucheleweshaji. Ucheleweshaji unapokaribia sifuri, uzito hukaribia 1. Kadiri ucheleweshaji unavyoongezeka, uzito hupungua kwa namna ya kielelezo.

Utaratibu huu haukatazi kabisa sasisho la zamani; hupunguza tu uwezo wake wa kubadilisha modeli ya kimataifa.

Modeli ya kimataifa husasishwaje?

Seva kuu hutumia sasisho linalosogea linalotegemea mbinu ya Krasnosel’skii-Mann:

\[ \theta_{global}\leftarrow(1-\beta w_i)\theta_{global}+\beta w_i(\theta_{global}+\Delta\theta_i) \]

β ni kigezo cha relaxation, w_i ni uzito wa ukongwe na Δθ_i ni mabadiliko ya modeli ya ndani. Mlinganyo ukirahisishwa, inaonekana kwamba sasisho linaongeza βw_iΔθ_i kwenye modeli ya kimataifa.

Modeli mpya na ya sasa ya ndani huleta mabadiliko makubwa zaidi, huku modeli iliyochelewa ikileta mabadiliko madogo zaidi. Kwa kuwa seva husasisha bila kusubiri mikrogridi nyingine, itifaki ina muundo usiozuia na usio wa wakati mmoja.

Je, kuna kutokulingana katika fomula ya ukongwe kwenye hati?

Ndiyo. Mlinganyo namba 20 katika maandishi makuu unaonyesha ukongwe katika umbo la t_pull-t_push. Mpangilio huu unaweza kutoa thamani hasi ya ukongwe iwapo muda wa kupakia ni mkubwa kuliko muda wa kuvuta modeli. Kinyume chake, ndani ya Algorithm 1 ukongwe huhesabiwa kwa mpangilio sahihi wa muda kama t_push-t_pull.

Utendaji wa algoriti na mantiki ya upungufu wa kielelezo vinaonyesha kwamba ufafanuzi wa pili ndiyo uliokusudiwa. Hata hivyo, maandishi ya utafiti hayapaswi kusahihishwa kimya kimya; kutokulingana kwa ishara kati ya maonyesho haya mawili kunapaswa kuzingatiwa kama hitilafu ya notation iliyopo kwenye chanzo.

Bei ya nishati kati ya mikrogridi huamuliwaje?

Bei ya biashara ya ndani huwekwa kati ya bei ya kuuza ya mikrogridi kwenda kwenye gridi kuu na bei ya kununua kutoka kwenye gridi kuu:

\[ \lambda_{sell}^{grid}(t)\leq\lambda_{int}(t)\leq\lambda_{buy}^{grid}(t) \]

Bei ya ndani huhesabiwa kulingana na uwiano wa upungufu wa jumla wa nishati kwa jumla ya ugavi na mahitaji:

\[ \lambda_{int}(t)=\lambda_{sell}^{grid}(t)+\frac{D(t)}{S(t)+D(t)}(\lambda_{buy}^{grid}(t)-\lambda_{sell}^{grid}(t)) \]

Mahitaji yanapoongezeka, bei ya biashara ya ndani hukaribia bei ya kununua kutoka kwenye gridi; ugavi wa ziada unapoongezeka, hukaribia bei ya kuuza kwenye gridi. Kwa njia hii, mikrogridi zenye ziada ya nishati na zile zenye upungufu wa nishati zote huhamasishwa kushiriki katika biashara ya ndani.

Utafiti unafafanua uwiano wa ulinganishaji wa ununuzi na uuzaji kama ifuatavyo:

\[ r_{buy}(t)=\min\left(1,\frac{S(t)}{D(t)}\right) \]

\[ r_{sell}(t)=\min\left(1,\frac{D(t)}{S(t)}\right) \]

Uwiano huu huamua kiasi ambacho hakikidhiwi na biashara ya ndani ya mikrogridi na hivyo kununuliwa kutoka kwenye gridi kuu au kuuzwa kwenye gridi kuu.

Ni utata gani uliopo katika fomula za biashara ya nishati?

Katika utafiti, nguvu halisi imeandikwa kama:

\[ P_{net,i}(t)=P_{load,i}(t)-P_{PV,i}(t)+a_i^{*}(t) \]

Hata hivyo, a_i^* ilifafanuliwa awali kama vekta ya kitendo yenye vipengele vinne, huku P_net,i ikitumika kama nguvu ya scalar. Mlinganyo huu hauonyeshi wazi kwa ishara zipi vipengele vya kuchaji, kutoa chaji, kununua na kuuza vinaongezwa kwenye nguvu halisi.

Zaidi ya hayo, fomula namba 26 na 27 zilizotolewa kwa ugavi wa jumla na mahitaji ya jumla hazionyeshi wazi jumla zenye masharti zinazochagua tofauti upungufu chanya na ziada hasi. Kwa sababu hiyo, namna modeli ya muamala ilivyotekelezwa katika kiwango cha msimbo huenda isiweze kujengwa upya kikamilifu kutokana na milinganyo iliyoandikwa pekee.

Uthabiti wa cyber-physical umeshughulikiwaje?

Utafiti hugawanya mfumo katika mifumo midogo miwili yenye mrejesho:

• Safu ya cyber: Modeli ya kimataifa, mitandao ya sera za ndani na masasisho ya shirikisho yasiyo ya wakati mmoja.
• Safu ya kimwili: Mienendo ya mikrogridi inayojumuisha betri, mfumo wa photovoltaic, mzigo na ubadilishanaji wa nishati.

Kosa la kigezo katika safu ya cyber limefafanuliwa kama:

\[ e_{\theta}(k)=\|\theta(k)-\theta^{*}\| \]

na limewekewa mpaka kwa kutokuwa sawa ufuatao:

\[ e_{\theta}(k+1)\leq\gamma_c e_{\theta}(k)+\delta_c e_x(k) \]

γ_c inaonyesha kiwango ambacho safu ya cyber hupunguza kosa lake yenyewe, na δ_c inaonyesha athari ya mikengeuko katika safu ya kimwili kwenye mfumo wa kujifunza.

Kwa kosa la hali ya kimwili, kwa namna sawa:

\[ e_x(k+1)\leq\gamma_p e_x(k)+\delta_p e_{\theta}(k) \]

kutokuwa sawa kumetolewa. γ_p inawakilisha uwezo wa mfumo wa kimwili kupunguza mkengeuko wake wenyewe, na δ_p inaonyesha uhamishaji wa kosa la sera kwenda kwenye mfumo wa kimwili.

Ili mifumo midogo yote miwili ibaki thabiti kwa pamoja, sharti la small-gain linalopendekezwa ni:

\[ \delta_c\delta_p<(1-\gamma_c)(1-\gamma_p) \]

Sharti hili lina maana kwamba uhamishaji wa makosa kwa pande zote kati ya safu ya cyber na ya kimwili lazima uwe mdogo kuliko uwezo wa safu hizo mbili kupunguza makosa yao wenyewe.

Je, uthibitisho wa kinadharia wa ukaribiaji hauna masharti?

Hapana. Uthibitisho unategemea mfululizo wa dhana. Katika Kiambatisho A, inadhaniwa kwamba kigezo cha Lipschitz cha opereta wa sera kulingana na vigezo ni α<1, yaani kinaonyesha sifa ya contraction. Haiwezi kusemwa kwamba mtandao wowote wa neva unatimiza sifa hii kiotomatiki bila kutegemea usanifu.

Katika Kiambatisho B, inachukuliwa kwamba kuna kitendaji kinachofaa cha Lyapunov cha uthabiti wa input-state kwa mikrogridi ya kimwili. Haijaonyeshwa kwamba kitendaji hiki kimethibitishwa kwa namba kivyake kwa mikrogridi zote katika uigaji.

Kwa hiyo, utafiti unaonyesha kwamba mienendo ya kosa ya kitanzi kilichofungwa itakuwa thabiti iwapo masharti yaliyotajwa ya contraction, uthabiti wa input-state na small-gain yatatimizwa. Matokeo haya ya kinadharia hayapaswi kutafsiriwa kama dhamana isiyo na masharti ya uthabiti kwa vigezo vyote vya mitandao ya neva na hali zote halisi za mikrogridi.

Data za uigaji zilitengenezwa vipi?

Kwa profaili za mzigo, profaili za kila saa za majengo ya biashara na makazi za maeneo ya TMY3 nchini Marekani zilitumiwa. Watafiti walichagua profaili za majengo ya biashara na aina nyingine katika eneo la Los Angeles International Airport.

Kwa hali ya hewa, data za mwaka wa kawaida wa hali ya hewa za kituo cha Los Angeles Intl AP 722950 zilitumiwa. Paneli za photovoltaic zilichukuliwa kuwa zinaelekea kusini na zimeinamishwa kwa digrii 30. Kutokana na thamani za global horizontal irradiance, direct normal irradiance na diffuse horizontal irradiance, irradiance kwenye ndege ya paneli ilikokotolewa kwa pvlib-python na kisha uzalishaji wa nguvu ya photovoltaic ukaigwa.

Uzalishaji wa kila mwaka uliosimuliwa wa mfumo wa kawaida wa photovoltaic wa kilowati moja uliripotiwa kuwa 1.788,22 kWh. Grafu ya uzalishaji wa mwaka inaonyesha mabadiliko ya msimu, ikiwa na uzalishaji wa kila siku wa juu zaidi katika miezi ya kiangazi na wa chini zaidi wakati wa majira ya baridi.

Uhifadhi wa nishati ulibadilishaje matumizi binafsi ya jengo?

Katika mfano wa jengo la ofisi la ukubwa wa kati bila mfumo wa kuhifadhi nishati:

• Kiwango cha kujitosheleza kwa nishati ni asilimia 43,9.
• Kiwango cha matumizi binafsi ya photovoltaic ni asilimia 78,2.

Mfumo wa kuhifadhi nishati wa 200 kWh ulipoongezwa:

• Kiwango cha kujitosheleza kwa nishati kiliongezeka hadi asilimia 50,2.
• Kiwango cha matumizi binafsi ya photovoltaic kiliongezeka hadi asilimia 89,5.

Matokeo haya ni ya hali za mwanzo za uigaji wa kimwili zilizoundwa kabla ya mafanikio ya kulinganisha ya algoriti ya SPA-AFRL. Hayapaswi kutafsiriwa kama utendaji wa uhifadhi uliopimwa katika jengo halisi.

Mawakala sita wa mikrogridi katika uigaji ni nani?

Safu ya photovoltaic katika jedwali imetolewa kama “PV (kWh)”. Haijafafanuliwa wazi kama hii inawakilisha nguvu ya photovoltaic iliyosakinishwa, uwezo wa nishati au thamani ya uzalishaji iliyopimwa kwa kiwango. Kwa kuwa nguvu iliyosakinishwa ya photovoltaic kwa kawaida huonyeshwa kwa kW na nishati inayozalishwa kwa kWh, kuna utata wa kitengo katika chanzo.

Tarifu ya umeme iliwekaje?

Bei ya kununua umeme kutoka kwenye gridi kuu iliwekwa kulingana na kipindi cha saa kama ifuatavyo:

Bei ya kuuza kwenye gridi iliwekwa kuwa thabiti, 0,08 dola za Marekani/kWh. Tarifu hii ni dhana ya uigaji ya watafiti na haijaonyeshwa kwamba inawakilisha kikamilifu tarifu maalum ya sasa ya biashara ya Los Angeles.

Ucheleweshaji wa mawasiliano ulisimuliwaje?

Thamani ya ukongwe ya nodi za kawaida iliundwa kwa usambazaji wa Poisson wenye wastani wa 1, na nodi zenye ucheleweshaji mkubwa kwa usambazaji wa Poisson wenye wastani wa 10:

\[ \tau_i\sim Poisson(1) \]

\[ \tau_i\sim Poisson(10) \]

Kigezo cha kupungua kwa ukongwe katika majaribio makuu kilichaguliwa kuwa λ=0,15.

Grafu ya ukaribiaji inaonyesha nini?

Katika grafu ya zawadi limbikizi dhidi ya muda, SPA-AFRL inatoa mzunguko wa juu zaidi na thabiti zaidi. Kutokana na grafu, SPA-AFRL inaonekana kufikia takriban kiwango cha zawadi limbikizi 2.450-2.500 ndani ya dakika 60-80.

Tabia za mbinu nyingine ni kama ifuatavyo:

• Local-RL: Ilipanda haraka mwanzoni lakini ikafikia plateau mapema karibu na zawadi 1.500.
• Sync-FedAvg: Ilipanda polepole zaidi lakini kwa utaratibu na kufikia takriban 1.950 baada ya dakika 120.
• AFRL w/o w_i: Ilionyesha mwenendo wa kubadilika karibu na kiwango cha 2.000-2.100.
• SPA-AFRL: Ilikaribia haraka zaidi na kutoa zawadi ya mwisho ya juu zaidi ya takriban 2.500.

Thamani zinazosomwa kutoka kwenye grafu ni za makadirio; hakuna wastani kamili wa mwisho, mkengeuko sanifu au vipindi vya kujiamini vya majaribio mengi vilivyotolewa katika jedwali.

Je, mipaka ya usalama ya betri ilidumishwa?

Katika grafu ya awamu ya uchunguzi ya saa 72, kiwango salama cha SOC kinaonyeshwa kati ya asilimia 10 na asilimia 90. Mzunguko wa SPA-AFRL unasalia ndani ya mipaka ya usalama na kufuatilia mpaka wa chini na wa juu.

Katika Local-DDPG, Sync-FedAvg na hasa katika toleo la AFRL lisilo na uzito wa ukongwe, thamani za SOC wakati mwingine hushuka chini ya asilimia 10 au kupanda juu ya asilimia 90. Utafiti unaeleza hali hii kwa mwitikio uliochelewa wa usalama unaotegemea adhabu ya zawadi pekee na kwa kuvurugwa kwa sera kutokana na masasisho ya zamani ya modeli.

Maelezo ya Mchoro 6 yameandikwa kimakosa kama “curves za ujifunzaji za zawadi limbikizi dhidi ya muda wa wall-clock”. Picha kwa kweli inaonyesha trajectory ya SOC ya betri ya saa 72 na mipaka ya usalama.

Matokeo ya usambazaji wa kiuchumi ni yapi?

Kwa tarehe 15 Julai, gharama halisi zilizolinganishwa katika wakala wa ofisi ya ukubwa wa kati ni kama ifuatavyo:

SPA-AFRL ilielekeza ziada ya nishati kwenye betri katika saa za uzalishaji mkubwa wa jua na kutoa chaji ya betri katika kipindi cha kilele ambapo bei ya kununua umeme ilikuwa 0,35 dola za Marekani/kWh. Hata hivyo, huu ni mfano wa siku moja, wakala mmoja na tarifu iliyosimuliwa. Utendaji wa kiuchumi wa muda mrefu, kuzeeka kwa betri, hasara na ada halisi za soko hazikutathminiwa.

Kigezo cha ukongwe kilitoa matokeo bora kwa thamani gani?

Grafu ya unyeti wa kigezo cha ukongwe inaonyesha kwamba thamani ndogo sana na kubwa sana za λ hupunguza utendaji. Mzunguko hufikia kilele karibu na λ=0,15 ukiwa na zawadi limbikizi zaidi ya 2.500.

λ ndogo haiadhibu vya kutosha masasisho yaliyochelewa, hivyo kuruhusu vigezo vya zamani kuvuruga modeli ya kimataifa. λ kubwa sana huadhibu hata ucheleweshaji wa kawaida wa mawasiliano, na kufanya baadhi ya masasisho ya mikrogridi karibu yapuuzwe kabisa na hivyo kupunguza utofauti wa modeli.

Utafiti unaunga mkono matokeo gani?

• Uzito wa ukongwe ulipunguza athari ya nodi zenye ucheleweshaji mkubwa kwenye modeli ya kimataifa katika uigaji.
• Uagregishaji usio wa wakati mmoja ulionyesha ukaribiaji wa haraka zaidi kuliko Sync-FedAvg inayosubiri nodi zote.
• Uonyeshaji wa usalama wa kimwili uliweka SOC ya betri iliyosimuliwa ndani ya kiwango cha asilimia 10-90.
• SPA-AFRL ilipata zawadi limbikizi ya juu kuliko mbinu zilizolinganishwa chini ya hali za uigaji na tarifu zilizochaguliwa.
• Katika mfano wa ofisi wa saa 24, gharama halisi ya SPA-AFRL ilikokotolewa kuwa -3,10 dola za Marekani.
• Kuchagua kigezo cha kupungua kwa ukongwe kuwa cha chini sana au cha juu sana kulipunguza utendaji.

Utafiti hauthibitishi nini?

• SPA-AFRL haijajaribiwa katika mikrogridi halisi au vifaa vya betri vya kimwili.
• Matokeo ya kiuchumi ya uigaji si ushahidi wa faida ya biashara ya muda mrefu.
• Kutokushiriki data ghafi peke yake hakuhakikishi faragha kamili au usalama dhidi ya mashambulizi.
• Uvujaji wa taarifa kutoka masasisho ya modeli, mteja hasidi, model poisoning au mashambulizi ya mawasiliano hayakuchunguzwa.
• Uonyeshaji wa usalama hulinda tu mipaka ya kimwili iliyofafanuliwa kwenye modeli; hauwezi kuzuia hitilafu zisizojulikana au mipaka iliyofafanuliwa vibaya.
• Uthibitisho wa small-gain hautoi dhamana isiyo na masharti ya uthabiti kwa miundo yote ya mitandao ya neva na mikrogridi.
• Matokeo hayajathibitishwa kwa mfumo wa umeme, tarifu au kanuni za usambazaji za Uturuki.
• Athari ya kina ya makosa ya utabiri wa photovoltaic na mzigo kwenye utendaji wa kiuchumi haijaonyeshwa kwa jaribio tofauti.

Nguvu za utafiti ni zipi?

• Ucheleweshaji wa mawasiliano na usalama wa kimwili vimeshughulikiwa ndani ya mfumo mmoja wa cyber-physical.
• Usalama haukuachwa kwa adhabu za zawadi pekee; uonyeshaji wa kitendo ulitumika kabla ya utekelezaji.
• SPA-AFRL ililinganishwa na ujifunzaji huru, Sync-FedAvg na mbinu isiyo ya wakati mmoja isiyo na adhabu ya ukongwe.
• Ukaribiaji, mipaka ya kimwili, usambazaji wa kiuchumi na unyeti wa vigezo vilichunguzwa kwa majaribio tofauti.
• Mbinu ya kinadharia imehusishwa na nadharia ya opereta, uthabiti wa input-state na sharti la small-gain.
• Muundo wa mikrogridi wenye utofauti uliundwa kwa profaili sita tofauti za mzigo wa majengo.

Mapungufu makuu ya utafiti ni yapi?

• Utafiti ni preprint ambayo haijapitiwa na wenzao.
• Majaribio yanategemea uigaji badala ya uwanja halisi.
• Majina ya waandishi na taarifa za taasisi hayaonekani kwenye ukurasa wa kwanza wa hati iliyopakiwa.
• Ukaribiaji wa kinadharia unategemea sifa ya contraction ya mtandao wa sera na dhana ya ISS ya mfumo wa kimwili.
• Kuna kutokulingana kwa ishara kati ya mlinganyo mkuu na Algorithm 1 katika ufafanuzi wa ukongwe.
• Ufafanuzi wa vipimo na ishara katika milinganyo ya nishati halisi na jumla ya ugavi-mahitaji hauko wazi kikamilifu.
• Safu ya uwezo wa PV kutolewa kwa kitengo cha kWh inaleta utata wa kiufundi.
• Grafu za matokeo hazitoi thamani za kuanzia kwa bahati nasibu nyingi, vipindi vya kujiamini au umuhimu wa kitakwimu.
• Kuzeeka kwa betri, gharama ya mzunguko na kupungua kwa uwezo havikujumuishwa kwenye modeli ya kiuchumi.
• Ustahimilivu wa ujifunzaji wa shirikisho dhidi ya mashambulizi ya faragha au wateja hasidi haukujaribiwa.
• Utafiti umeundwa kwa hali maalum za majengo na hali ya hewa ya Los Angeles pekee.

Mbinu na Matokeo ya Utafiti

Muhtasari wa kiufundi wa mpangilio wa majaribio

Vigezo vya mtandao wa neva na mafunzo

Mbinu zilizolinganishwa

• Local-RL: Ujifunzaji wa kuimarisha wa ndani wa kujitegemea bila uagregishaji wa shirikisho.
• Sync-FedAvg: Wastani wa kawaida wa shirikisho wa wakati mmoja unaosubiri wateja wote.
• AFRL w/o w_i: Mbinu isiyo ya wakati mmoja inayounganisha moja kwa moja masasisho yanayowasili bila kutumia adhabu ya ukongwe.
• SPA-AFRL: Mbinu inayopendekezwa inayotumia uzito wa ukongwe na uonyeshaji wa usalama wa kimwili.

Mtiririko wa kiufundi wa algoriti ya SPA-AFRL

1. Seva kuu huanzisha vigezo vya sera ya kimataifa na saa ya kimataifa.
2. Kila wakala wa ndani huvuta modeli ya kimataifa ya sasa na kuhifadhi muhuri wa muda wa kuvuta.
3. Opereta wa utabiri huzalisha thamani za PV na mzigo za baadaye.
4. Opereta wa sera huhesabu kitendo ghafi cha usimamizi wa nishati.
5. Opereta wa usalama huonyesha kitendo ghafi kwenye seti ya uwezekano wa kimwili.
6. Kitendo salama hutekelezwa katika uigaji wa mikrogridi.
7. Zawadi na hali inayofuata huhifadhiwa kwenye hifadhi ya uzoefu wa ndani.
8. Mtandao wa Critic husasishwa kwa kosa la temporal difference, na mtandao wa Actor kwa marejesho ya kiuchumi na adhabu ya usalama.
9. Mabadiliko ya modeli ya ndani na muhuri wa muda wa modeli ya zamani ya kimataifa hutumwa kwa seva bila wakati mmoja.
10. Seva huhesabu ucheleweshaji, hutumia uzito wa ukongwe wa kielelezo na kusasisha modeli ya kimataifa.

Muhtasari wa matokeo makuu

Uthibitishaji unaohitajika kabla ya matumizi halisi

• Uthibitishaji katika mikrogridi halisi au mpangilio wa hardware-in-the-loop
• Kuongeza joto la seli za betri, kuzeeka na gharama za mizunguko kwenye modeli
• Kupima athari za utabiri usio sahihi wa PV na mzigo kwenye usalama na uchumi
• Kujaribu ucheleweshaji, upotevu wa pakiti na kukatika kwa muunganisho katika mtandao halisi wa mawasiliano
• Ustahimilivu dhidi ya mteja hasidi na mashambulizi ya model poisoning
• Uchambuzi wa faragha dhidi ya uvujaji wa taarifa kutoka masasisho ya shirikisho
• Kubadilisha mfumo kulingana na soko la umeme la ndani na sheria za mfumo wa usambazaji
• Majaribio ya muda mrefu, misimu mingi na kuanzia kwa bahati nasibu nyingi

Maelezo ya Chanzo na Mbinu

• Jina kamili la asili la utafiti: SPA-AFRL: Staleness-and Physics-Aware Asynchronous Federated Reinforcement Learning for Microgrid Energy Management
• Waandishi: Hexiao Li, Jaafar Gaber, Salah Laghrouche
• Mpangilio wa waandishi: Hexiao Li ni mwandishi wa kwanza, Jaafar Gaber wa pili na Salah Laghrouche wa tatu.
• Mwandishi mwenza wa kwanza: Taarifa ya mchango sawa au uandishi mwenza wa kwanza haijathibitishwa.
• Mwandishi anayewajibika: Kwenye rekodi ya SSRN, Hexiao Li ndiye mwandishi wa mawasiliano.
• Taasisi: Kwenye rekodi ya SSRN, University of Burgundy Franche-Comté imeonyeshwa kwa Jaafar Gaber. Taasisi za Hexiao Li na Salah Laghrouche hazijatolewa katika rekodi ya SSRN. Kwenye toleo lililopakiwa, mistari ya waandishi na taasisi haionekani.
• DOI:10.2139/ssrn.7192454
• Jarida: Hakuna jarida mahususi lililopitiwa na wenzao au taarifa ya uchapishaji iliyokubaliwa iliyothibitishwa.
• Jukwaa la uchapishaji: SSRN
• Maelezo ya uchapishaji katika hati: “Preprint submitted to Elsevier”
• Mwaka wa uchapishaji: 2026
• Tarehe ya SSRN: 27 Julai 2026
• Aina ya chanzo: Utafiti wa preprint unaojumuisha uundaji wa modeli, uchambuzi wa kinadharia na uigaji
• Hali ya mapitio: Utafiti huu haujapitiwa na wenzao.
• Kiungo rasmi cha chanzo:Ukurasa rasmi wa utafiti wa SSRN

Makala haya ya Kiswahili yameandaliwa baada ya kuchunguza maandishi yote ya utafiti uliopakiwa, modeli ya kihisabati, mtiririko wa Algorithm 1, michoro, majedwali, grafu za uigaji na u derivation wa kinadharia katika viambatisho A-C. Maudhui ya kisayansi yanategemea tu utafiti uliopitiwa. Ukaguzi wa vyanzo vya nje ulitumika tu kuthibitisha kibibliografia orodha ya waandishi, mpangilio wa waandishi, mwandishi wa mawasiliano, DOI, tarehe na jukwaa rasmi la uchapishaji.

Utafiti huu ni preprint ambayo haijapitiwa na wenzao; matokeo yanapaswa kusomwa kwa kuzingatia kikomo hiki. Matokeo si matumizi ya uwanjani ya mikrogridi halisi, bali ni uigaji ulioundwa kwa data za eneo la Los Angeles na dhana za kiufundi na kiuchumi zilizowekwa na watafiti.

Matokeo ya kinadharia ya uthabiti wa utafiti yanategemea masharti ya sifa ya contraction ya opereta wa sera, uthabiti wa input-state wa mienendo ya mikrogridi ya kimwili, kufanya kazi kwa uonyeshaji wa usalama kwenye seti convex inayowezekana na kutimizwa kwa kutokuwa sawa kwa small-gain. Ikiwa mojawapo ya dhana hizi haitatimizwa katika mfumo halisi, uthibitisho uliotolewa peke yake hautoi dhamana ya uthabiti.

Chanzo pia kina matatizo ya uwazi au uthabiti katika ishara ya muda wa ukongwe, mlinganyo wa nguvu halisi, usemi wa jumla wa ugavi-mahitaji, kitengo cha uwezo wa photovoltaic na maelezo ya Mchoro 6. Vipengele hivi havikusahihishwa kimya kimya, bali vimeonyeshwa kama mipaka ya chanzo inayoweza kuathiri uwezo wa kurudia utafiti.