Tarmoq orqali ishlaydigan boshqaruv tizimlarida o‘lchov yoki boshqaruv paketlarining yo‘qolishi boshqaruvchining tizimning haqiqiy holatini o‘z vaqtida bilolmasligiga yoki u yaratgan boshqaruv buyrug‘i aktuatorga yetib bormasligiga sabab bo‘lishi mumkin. Ushbu tadqiqot tizimning chiziqli bo‘lmagan dinamik funksiyalari \(f(x)\) va \(g(x)\) oldindan ma’lum bo‘lmagan holda shunday muhitda tayanch trayektoriyani kuzatishni amalga oshirish uchun Actor-Identifier-Critic (AIC) arxitekturasini ishlab chiqadi.

AIC tuzilmasida actor boshqaruv buyrug‘ini yaratadi; identifier/identifikator noma’lum tizim dinamikasi va keyingi tizim holatini bashorat qiladi; critic/tanqidchi esa joriy boshqaruv siyosatining uzoq muddatli xarajatini baholaydi. Identifierning ikkinchi muhim vazifasi faqat yo‘qolgan holat ma’lumotini taxmin qilish emas: modeldan mustaqil tuzilmada criticdan actorga gradient uzatilishini ta’minlaydigan matematik oraliq bog‘lanishni ham yaratadi.

Paket uzatishlari Bernoulli o‘zgaruvchilari bilan modellashtirilgan va boshqaruv muammosi paket yo‘qolishi bo‘lgan hamda bo‘lmagan ehtimoliy kelajak holatlarini og‘irliklangan tarzda hisobga oladigan Bernoulli Hamilton–Jacobi–Bellman (BHJB) tenglamasi asosida qurilgan. Actor, identifier va critic tarmoqlarining o‘rganish qoidalari alohida-alohida aniqlangan; barqarorlik tahlili Lyapunov usuli bilan bajarilgan va manbada yopiq kontur kuzatuv xatosi uniform ultimate bounded (UUB) ekanligi xulosasiga kelingan.

Usul ikki chiziqli bo‘lmagan benchmark tizimida sinovdan o‘tkazilgan. Beshta aloqa sharti ostida bajarilgan SIMO va MIMO simulyatsiyalarida har bir tajriba besh marta takrorlangan; Normalized Root Mean Square Error (NRMSE) va Pearson Correlation Coefficient (PCC) hisobot qilingan. Eng intensiv sinovdan o‘tkazilgan ssenariylardan biri bo‘lgan \(\bar{\gamma}_s=0.8,\bar{\gamma}_c=0.7\) shartida MIMO tizimining yaqinlashuvdan keyingi o‘rtacha NRMSE qiymati 0,0670, PCC qiymati esa 0,9926 deb berilgan. Xuddi shu ssenariyda SIMO tizimi uchun qiymatlar mos ravishda 0,0281 va 0,9995 bo‘lgan.

Uchinchi misolda AIC boshqaruvchisi past virtual inertiyali Virtual Synchronous Machine (VSM) quvvat tizimi modeliga qo‘llangan. Quvvat nomutanosibligidan keyin boshqarilmagan modelda chastota tebranishlari ortib borgani ko‘rilgan, AIC ishlatilganda esa simulyatsiya chastotasi yana 50 Hz tayanch qiymatiga qaytarilgan. Manba buni AIC yondashuvining quvvat tizimlariga ehtimoliy qo‘llanishiga misol sifatida taqdim etadi; biroq bu natija haqiqiy elektr tarmog‘i yoki jismoniy inverter tajribasi emas.

Turkiya nuqtai nazaridan tadqiqot sanoat aloqa tarmoqlari, masofadan boshqariladigan energetika tizimlari, mikrogridlar, inverterga asoslangan ishlab chiqarish va simsiz sensor–aktuator tizimlarida paket yo‘qolishiga chidamli aqlli boshqaruv tadqiqotlari uchun uslubiy ahamiyatga ega. Biroq simulyatsiyalarda olingan xato ko‘rsatkichlari haqiqiy Turkiya elektr tarmog‘i, sanoat Ethernet, 5G/6G yoki simsiz boshqaruv tizimi uchun bevosita amal qiladi deb bo‘lmaydi. Haqiqiy qo‘llanmada kechikish, ketma-ket/burst paket yo‘qolishi, o‘lchov shovqini, hisoblash vaqti, aktuator cheklovlari va apparat xavfsizligi alohida tasdiqlanishi kerak.

Asosiy boshqaruv muammosi nima?

Tadqiqot quyidagi uzluksiz vaqtli affine chiziqli bo‘lmagan tizimni ko‘rib chiqadi:

\[ \dot{x}(t)=f(x(t))+g(x(t))u(t) \]

Bu yerda \(x\) tizim holatlarini, \(u\) boshqaruv kirishini, \(f(x)\) va \(g(x)\) esa boshqaruvchiga oldindan noma’lum deb qaraladigan tizim dinamikasini ifodalaydi.

Mualliflar tahlilni osonlashtirish uchun tizimga diagonal va Hurwitz xususiyatli \(A_cx(t)\) hadini qo‘shib-ayirib:

\[ \dot{x}(t) = A_cx(t)+f_c(x(t))+g(x(t))u(t) \]

va:

\[ f_c(x)=f(x)-A_cx \]

ko‘rinishidan foydalanadilar.

Tizim holatlarining kichik \(\Delta t\) qadamidagi rivojlanishi Euler yondashuvi bilan:

\[ x(t+\Delta t) \approx x(t)+\dot{x}(t)\Delta t \]

ko‘rinishida qaraladi.

Tadqiqotning asosiy farazlari nimalar?

• Chiziqli bo‘lmagan tizim kuzatiluvchan.
• \(g(x)\) funksiyasi noma’lum, ammo chekli yuqori chegara bilan chegaralangan.
• \(f(x)\) va \(g(x)\) uzluksiz Lipschitz funksiyalaridir.
• Istalgan tayanch trayektoriya \(x_d(t)\) va uning hosilasi silliq va chegaralangan.
• Critic tarmog‘ida ishlatiladigan bazis funksiyalari va ideal critic og‘irliklari uchun chegaralanganlik farazi qo‘yiladi.

Bu farazlar muhim; “model-free” iborasi tizim haqida hech qanday matematik faraz qilinmaganini anglatmaydi. Boshqaruvchi \(f(x)\) va \(g(x)\) ning sonli modelini bilmasdan ishlashga mo‘ljallangan, ammo kuzatiluvchanlik, Lipschitz uzluksizligi va chegaralanganlik kabi tuzilmaviy shartlar tahlilning bir qismidir.

Paket yo‘qolishlari qanday modellashtiriladi?

Sensordan boshqaruvchiga ketadigan kanal uchun:

\[ x_s(t)=\gamma_sx(t) \]

aniqlanadi. Bu yerda:

\[ \gamma_s= \begin{cases} 1,& \text{paket ulaştı}\\ 0,& \text{paket kayboldu} \end{cases} \]

Boshqaruvchidan aktuatorga ketadigan kanal uchun esa:

\[ u(t)=\gamma_cu_c(t) \]

ishlatiladi va \(\gamma_c\) xuddi shu tarzda Bernoulli o‘zgaruvchisidir.

Manba:

\[ P(\gamma_s=1)=\bar{\gamma}_s,\qquad P(\gamma_c=1)=\bar{\gamma}_c \]

ta’rifi bilan \(\bar{\gamma}_s\) va \(\bar{\gamma}_c\) ni paket muvaffaqiyatli yetib borish ehtimoli sifatida belgilaydi. Demak, masalan, \(\bar{\gamma}_c=0.7\), matematik ta’rif bo‘yicha boshqaruv buyruqlari %70 ehtimol bilan yetib boradigan va %30 ehtimol bilan yo‘qoladigan Bernoulli modelini anglatadi.

Optimal kuzatuv muammosi qanday ta’riflanadi?

Kuzatuv xatosi:

\[ e(t)=x(t)-x_d(t) \]

deb ta’riflangan. Boshqaruv siyosatining maqsadi ham kuzatuv xatosini, ham ishlatilayotgan boshqaruv energiyasini kamaytirishdir:

\[ J= \int_t^\infty \left[ e(\tau)^TQe(\tau) + \hat{u}_c(\tau)^TR\hat{u}_c(\tau) \right]d\tau \]

\(Q\) va \(R\) musbat aniqlangan vazn matritsalaridir. Shu sababli o‘rganish faqat “tayanchni kuzat” maqsadini ishlatmaydi; boshqaruv buyrug‘ining kattaligi ham optimallashtirish xarajatining bir qismidir.

Actor–Identifier–Critic tuzilmasida uchta tarmoq nima qiladi?

Tadqiqotning 3-sahifasidagi 1-rasm AIC arxitekturasining asosiy oqimini ko‘rsatadi. Jismoniy tizim aktuator va sensor aloqa tarmog‘i orqali RL boshqaruvchisiga ulanadi. Boshqaruvchi ichida uchta turli neyron tarmoq mavjud.

1. Identifier: Noma’lum dinamikani o‘rganadigan qatlam

Identifier noma’lum:

\[ f_c(x(t))+g(x(t))u_c(t) \]

ifodasini neyron tarmoq bilan yaqinlashtiradi:

\[ F_i(x_s,u_c) = \hat{W}_i \sigma(\hat{V}_i\bar{x}) \]

Bu yerda:

\[ \bar{x}=[x_s,u_c] \]

va aktivatsiya sifatida bipolar sigmoid ishlatiladi:

\[ \sigma(x)=\frac{2}{1+e^{-x}}-1 \]

Identifier bashorat qilgan kelajak holati ikki xil maqsadda ishlatiladi: sensor paketi yo‘qolganda yetishmayotgan holat ma’lumotini to‘ldirish va criticdan actorga gradient hisoblashda noma’lum tizim dinamikasi o‘rniga differensiallanuvchi oraliq model taqdim etish.

2. Critic: Boshqaruv siyosatining xarajatini o‘rganadigan tarmoq

Critic noma’lum qiymat funksiyasini:

\[ \hat{V}(t) = F_c(\hat{e}_s(t)) = \hat{W}_c\Psi_c(\hat{e}_s(t)) \]

ko‘rinishida yaqinlashtiradi. Criticning o‘rganish signali temporal-difference xatosiga asoslanadi.

Tadqiqotning ajralib turadigan jihatlaridan biri paket yo‘qolish ehtimolini klassik HJB ifodasiga kiritib, model-free Bernoulli Hamilton–Jacobi–Bellman (BHJB) tenglamasini yaratganidir:

\[ \hat{V}(t) = \int_t^{t+\Delta t} \left[ \hat{e}_s^TQ\hat{e}_s+ \hat{u}_c^TR\hat{u}_c \right]d\tau + \bar{\gamma}_c F_c(\hat{e}_s(t+\Delta t)) \big|_{u=\hat{u}_c} + (1-\bar{\gamma}_c) F_c(\hat{e}_s(t+\Delta t)) \big|_{u=0} \]

Shu tariqa kelajak qiymati faqat boshqaruv buyrug‘i aktuatorga yetib borgan holat bo‘yicha emas, buyruq yo‘qolgan holat bo‘yicha ham hisobga olinadi.

3. Actor: Boshqaruv buyrug‘ini ishlab chiqaradigan tarmoq

Actorning taxmin qilingan boshqaruv siyosati:

\[ \hat{u}_c(t) = \hat{W}_a \sigma \left( \hat{V}_a\hat{e}_s(t) \right) \]

ko‘rinishidadir. Actorning maqsadi Hamiltonianni minimallashtiradigan boshqaruv siyosatiga yaqinlashishdir.

Identifier nima uchun klassik actor–critic tuzilmasiga qo‘shiladi?

Agar model ma’lum bo‘lsa, criticning kelajakdagi qiymat funksiyasining boshqaruv kirishiga nisbatan hosilasini hisoblash uchun \(g(x)\) ishlatilishi mumkin edi. Ammo tadqiqot \(f(x)\) va \(g(x)\) noma’lum bo‘lgan holatda buni bevosita qila olmaydi.

Shu sababli gradient zanjiri:

\[ \frac{\partial\hat V(t+\Delta t)} {\partial\hat u_c(t)} = \frac{\partial\hat V} {\partial\hat e_s} \cdot \frac{\partial\hat e_s} {\partial F_i} \cdot \frac{\partial F_i} {\partial\hat u_c} \]

ko‘rinishida identifier orqali o‘tkaziladi.

Taklif qilingan arxitekturada identifier shu sababli faqat “holat baholagichi” emas, modeldan mustaqil actor o‘qitishining gradient ko‘prigidir.

Stoxastik oldinga hisoblash qanday bajariladi?

4- va 5-sahifalardagi 2-rasm va 3-rasm, identifier va critic yangilanishlarida paket yo‘qolgan va yo‘qolmagan ikki parallel kelajak ehtimol bilan og‘irliklanishini ko‘rsatadi.

Identifier kelajak holatini:

\[ \hat{x}_s(t+\Delta t) = \bar{\gamma}_c \hat{x}_s(t+\Delta t)|_{u=\hat u_c} + (1-\bar{\gamma}_c) \hat{x}_s(t+\Delta t)|_{u=0} \]

ko‘rinishida bashorat qiladi.

Bu tuzilma haqiqiy vaqtda bir vaqtning o‘zida ikki fizik kelajak sodir bo‘lishini anglatmaydi; o‘qitish hisobida boshqaruv paketi yetib kelishi va yo‘qolishi ehtimollarining kutiladigan ta’sirini birgalikda hisobga olishdir.

Barqarorlik qanday tahlil qilinadi?

Umumiy Lyapunov funksiyasi:

\[ L=L_a+L_i+L_c \]

ko‘rinishida actor, identifier va critic komponentlaridan tuzilgan.

Tadqiqotda to‘rtta teorema mavjud:

• Teorema 1: Identifier og‘irlik xatosining mos o‘rganish tezligida UUB ekanligi avvalgi barqarorlik natijasiga asoslanadi.
• Teorema 2: Yopiq kontur barqaror deb qabul qilinganda identifier paket yo‘qolishlari ostida tizimni chegaralangan xato bilan baholashi ilgari suriladi.
• Teorema 3: Critic og‘irlik baholash xatosi \(0<\eta_c<2\) sharti ostida UUB ekanligi Lyapunov tahlili bilan ko‘rsatiladi.
• Teorema 4: Actor siyosati ostida yopiq kontur holat kuzatuv xatosi UUB ekanligi ko‘rsatiladi.

Manbada olingan kuzatuv xatosi chegarasi:

\[ \|\hat e_s(t)\| \le \sqrt{ \frac{C}{\lambda_{\min}(Q)} } \]

ko‘rinishidadir.

Bu natija uniform ultimate boundedness natijasidir. Boshqacha aytganda, analitik da’vo barcha shartlarda xatoning matematik jihatdan aynan nolga asimptotik yaqinlashishi emas; ma’lum farazlar va loyihalash parametrlari ostida chegaralangan soha ichida qolishidir.

\(\Delta t\) va o‘rganish tezligi nima uchun muhim?

Manba \(\Delta t\) va actor o‘rganish tezligi \(\eta_a\) xatoning yuqori chegarasiga ta’sir qiladigan loyihalash parametrlari ekaniga e’tibor qaratadi. Shu sababli AIC ishlashi faqat tarmoq tuzilmasiga emas, vaqt qadami va o‘rganish parametrlarining tanlanishiga ham bog‘liq.

Tadqiqot qo‘llab-quvvatlaydigan natijalar

• AIC arxitekturasi ko‘rib chiqilgan SIMO va MIMO simulyatsiyalarida noma’lum plant dinamikasi bilan tayanch trayektoriya kuzatuvini amalga oshirgan.
• Bernoulli tipidagi sensor va boshqaruv kanali paket yo‘qolishlari ostida kuzatuv xatolari simulyatsiyalarda chegaralangan bo‘lib qolgan.
• Identifier noma’lum dinamikaning taxminiy modelini ta’minlash bilan birga critic–actor gradient bog‘lanishi sifatida ham ishlatilgan.
• Beshta aloqa ssenariysining barchasida yaqinlashuvdan keyingi PCC qiymatlari SIMO uchun 0,9988–0,9998, MIMO uchun 0,9926–0,9965 oralig‘ida hisobot qilingan.
• VSM simulyatsiyasida AIC quvvat nomutanosibligidan keyin chastotani 50 Hz tayanch qiymatiga qaytargan.
• Manbada actor, identifier va critic tarmoqlari uchun Lyapunov/UUB asosidagi barqarorlik tahlili taqdim etilgan.

Tadqiqot qo‘llab-quvvatlamaydigan yoki sinamagan natijalar

• AIC boshqaruvchisi haqiqiy sanoat apparatida yoki fizik quvvat tarmog‘ida ayni ishlashni berishi ko‘rsatilmagan.
• Tadqiqotda laboratoriya asosidagi hardware-in-the-loop yoki real vaqt boshqaruvchi sinovi yo‘q.
• Aloqa kechikishi mavjud usulda sinovdan o‘tkazilmagan; mualliflar buni kelajak tadqiqoti mavzusi deb ko‘rsatadilar.
• Bernoulli modelidan tashqari burst/ketma-ket paket yo‘qolishi, Markov kanal tuzilmalari yoki zararli aloqa hujumlari ushbu ishning asosiy tajriba doirasiga kiritilmagan.
• UUB barqarorlik natijasi barcha boshlang‘ich shartlarda nol doimiy xato yoki global asimptotik barqarorlik da’vosi bilan bir xil emas.
• VSM misoli haqiqiy inverter yoki milliy tarmoq tajribasi emas.
• NRMSE va PCC natijalari faqat ishda ishlatilgan ikki benchmark tizim va ko‘rsatilgan giperparametrlar bilan bajarilgan simulyatsiyalarga tegishli.

Tadqiqot Usuli va Natijalari

SIMO benchmark tizimi

Birinchi sinov ikki holat o‘zgaruvchisi va bitta boshqaruv kirishiga ega chiziqli bo‘lmagan SIMO tizimidir. Tayanch trayektoriya:

\[ x_d= \begin{bmatrix} \sin(t)\\ \cos(t)+\sin(t) \end{bmatrix} \]

deb tanlangan.

Ishlatilgan ishlash xarajati:

\[ V= \int_t^\infty \frac{1}{2} \left( e_1^2+ e_2^2+ 5\times10^{-4}\hat u_c^2 \right)d\tau \]

ko‘rinishidadir.

8-sahifadagi 4-rasm ikki tizim holati tayanch signallarini kuzatishini, boshlang‘ich o‘tkinchi rejimdan so‘ng kuzatuv xatolari kamayishini va boshqaruv buyrug‘i chegaralangan bo‘lib qolishini ko‘rsatadi. Shu rasmning pastki panelida paket yo‘qolish hodisalari vaqt bo‘yicha ko‘rsatilgan.

5-rasmda ikki o‘lchovli \((e_1,e_2)\) xato trayektoriyasi boshlang‘ich nuqtadan nol atrofidagi kichik sohaga yo‘naladi. Bu tasvir manbada UUB xatti-harakatining sonli ifodasi sifatida taqdim etilgan.

AIC tarmoqlarining o‘rganish xatti-harakati

8-sahifadagi 6-rasm critic, actor va identifier xato signallari hamda actor gradientlarining vaqt bo‘yicha o‘zgarishini ko‘rsatadi. Dastlabki o‘tkinchi davrdan so‘ng tarmoq xatolari va gradientlari chegaralangan sohalarda qolishi ko‘rinadi.

7-rasm critic tomonidan o‘rganilgan qiymat fazosini taxminan kvadratik sirt ko‘rinishida ko‘rsatadi. 8-rasm esa identifier o‘rgangan \(\hat g(x)\) gradient yo‘nalishi haqiqiy benchmark tizimining \(g(x)\) yo‘nalishi bilan asosan bir xil ishorada qolishini ko‘rsatuvchi tekshiruvdir.

MIMO benchmark tizimi

Ikkinchi sinov ikki holat va ikki boshqaruv kirishiga ega nonlinear MIMO tizimidir. Tizim 30 soniya simulyatsiya qilingan.

9-sahifadagi 9-rasm ikki holat o‘tkinchi rejimdan keyin o‘z tayanchlarini kuzatishini ko‘rsatadi. Paket yo‘qolishlari davom etgan davrlarda ham boshqaruv buyruqlari ishlab chiqarishda davom etgan va kuzatuv xatolari chegaralangan sohaga yaqinlashgan.

Beshta paket yo‘qolishi ssenariysi qanday tuzilgan?

Miqdoriy tahlilda beshta aloqa holati ishlatilgan:

Bu foizlar manbada ta’riflangan \(P(\gamma=1)=\bar{\gamma}\) muvaffaqiyatli uzatish ehtimollaridan keltirib chiqarilgan. Parametr jadvallarida ishlatilgan “Dropout rate” yorlig‘iga qarama-qarshi ravishda matematik ta’rif \(\bar{\gamma}\) ni muvaffaqiyatli uzatish ehtimoli sifatida beradi.

Natijadorlik qanday o‘lchandi?

Ikki asosiy mezon ishlatilgan:

Normalized Root Mean Square Error (NRMSE): kuzatilgan trayektoriya va tayanch o‘rtasidagi normallashtirilgan o‘rtacha xato kattaligini o‘lchaydi. Pastroq qiymat yaxshiroq kuzatuvni bildiradi.

Pearson Correlation Coefficient (PCC): haqiqiy holat trayektoriyasi bilan istalgan tayanch trayektoriyaning korrelyatsiyasini o‘lchaydi. 1 ga yaqin qiymatlar kuchli chiziqli moslikni ko‘rsatadi.

Har bir simulyatsiya 5 marta takrorlangan va maksimum, o‘rtacha hamda standart og‘ish qiymatlari hisobot qilingan.

Bundan tashqari, ikki xil baholash davri ishlatilgan:

• OTE — Overall Tracking Error: butun simulyatsiya vaqtini qamrab oladi.
• PCTE — Post-Convergence Tracking Error: boshlang‘ich yaqinlashuv rejimidan keyingi kuzatuv ishlashini baholaydi.

SIMO tizimining miqdoriy natijalari

Bu natijalarda paket yo‘qolishi ortgani sari xato qiymatlari majburiy ravishda monoton oshmasligi ko‘rinadi. Masalan, ayrim dropout ssenariylarida SIMO NRMSE yo‘qolishsiz ssenariydan pastroq chiqqan. Tadqiqot natijalari stoxastik tajribalar va adaptiv o‘rganish jarayoniga asoslangani sababli bitta jadvaldan “paket yo‘qolishi natijadorlikni yaxshilaydi” degan xulosa chiqarib bo‘lmaydi.

MIMO tizimining miqdoriy natijalari

MIMO tizimida paket yo‘qolishlari ayniqsa butun simulyatsiyani qamrab olgan OTE metrikasida aniqroq ishlash pasayishi bilan bog‘liq. Yo‘qolishsiz holatda o‘rtacha OTE NRMSE 0,1125 bo‘lsa, \(\bar{\gamma}_s=0.8,\bar{\gamma}_c=0.7\) ssenariysida 0,2301 gacha oshgan. Shunga qaramay, boshlang‘ich yaqinlashuvdan keyin PCTE PCC barcha ssenariylarda 0,99 dan yuqori qolgan.

VSM quvvat tizimi misoli

Oxirgi qo‘llanma misoli inverterga asoslangan ishlab chiqarish ulushi yuqori bo‘lgan quvvat tizimining Virtual Synchronous Machine (VSM) dinamikasidir. Klassik sinxron generatorlardagi jismoniy aylanish inertiyasi inverterlarda tabiiy ravishda mavjud bo‘lmagani uchun VSM boshqaruvi virtual inertsiya xatti-harakatini taqlid qilish uchun ishlatiladi.

Manbada VSM dinamikasining tegishli qismi:

\[ f(x)= \begin{bmatrix} \omega-\omega_{nom}\\ \frac{1}{H} \left[ -D_p(\omega-\omega_{nom}) -\frac{EV_c}{X_{eq}}\sin(\delta) \right] \end{bmatrix} \]

va boshqaruv kirish matritsasi:

\[ g(x)= \begin{bmatrix} 0\\ 1/H \end{bmatrix} \]

deb ta’riflangan.

Tayanch chastota:

\[ \omega_d=\omega_{nom}=50\ \mathrm{Hz} \]

deb belgilangan.

11-sahifadagi 13(a)-rasm, \(t=0\) da qo‘llangan quvvat nomutanosibligidan keyin boshqarilmagan VSM chastotasi 50 Hz atrofida ortib boruvchi tebranish ko‘rsatishini; 13(b)-rasm esa AIC boshqaruvi yoqilganda chastota yana 50 Hz ga qaytarilishini ko‘rsatadi. Shu rasmning pastki panellarida boshqaruv buyrug‘i va paket yo‘qolish hodisalari keltirilgan.

Tadqiqot ushbu misol uchun alohida NRMSE, PCC yoki haqiqiy tarmoq standartiga asoslangan chastota sifati metrikasini hisobot qilmaydi. Shu sababli quvvat tizimi natijasi asosan simulyatsiya vaqt qatorining xatti-harakatiga asoslanadi.

Tadqiqotning kuchli jihatlari

Tadqiqotning kuchli tomoni paket yo‘qolishini faqat simulyatsiyaga keyin qo‘shilgan buzuvchi sifatida emas, balki qiymat funksiyasi va o‘rganish tenglamasiga bevosita kiritganidir. Identifierning ham yetishmayotgan ma’lumotni taxmin qilish, ham critic–actor gradient bog‘lanishi sifatida ishlatilishi taklif qilingan AIC arxitekturasining asosiy tuzilmaviy hissasini tashkil etadi.

Bundan tashqari, usul faqat bitta misolda ko‘rsatilmagan; SIMO, MIMO va quvvat tizimi dinamikasi bo‘yicha uch xil boshqaruv kontekstida sinovdan o‘tkazilgan. SIMO va MIMO sinovlarida beshta turli aloqa holati va beshta takror ishlatilib, o‘rtacha va standart og‘ishlar hisobot qilinishi bitta tasodifiy paket yo‘qolish ketma-ketligiga bog‘liq baholashga qaraganda kuchliroq miqdoriy nazorat beradi.

Asosiy cheklovlar

Shunga qaramay, tadqiqot butunlay sonli simulyatsiyaga asoslanadi. Haqiqiy tarmoqdagi paket yo‘qolishlari mustaqil Bernoulli hodisalaridan farqli ravishda ketma-ket, korrelyatsiyalangan yoki yuk holatiga bog‘liq bo‘lishi mumkin bo‘lgan holatlar sinovdan o‘tkazilmagan.

Manba shuningdek aloqa kechikishini mavjud ish doirasidan tashqarida qoldiradi va uni kelajak tadqiqot mavzusi deb ko‘rsatadi. Haqiqiy tarmoqqa ulangan boshqaruv tizimlarida kechikish va paket yo‘qolishi bir vaqtda yuz berishi muhim bo‘lgani uchun joriy natijalarni real vaqt tarmoq ishonchliligining bevosita kafolati deb baholash kerak emas.

Nihoyat, modeldan mustaqillik boshqaruvchi nuqtai nazaridan tizimning \(f(x)\) va \(g(x)\) funksiyalari oldindan berilmasligini anglatadi. Benchmark va VSM plantlarining xatti-harakatini hosil qilish uchun simulyatsiya tomonida, albatta, haqiqiy tizim tenglamalari ishlatiladi. Bu farq “tadqiqotda hech qanday tizim modeli ishlatilmadi” degan noto‘g‘ri talqinning oldini olish uchun muhimdir.

Manba va Usul Haqida Izoh

Tam özgün çalışma adı: Actor-Identifier-Critic Reinforcement Learning for Adaptive Model-Free Optimal Control of Nonlinear Systems with Stochastic Packet Dropouts

Mualliflar: Kianoush Aqabakee, Kosar Behnia, Amirhossein Heydarian Ardakani, Farzaneh Abdollahi va Elham Shirazi.

Mualliflar tartibi: Manba versiyasidagi tartib aynan saqlangan.

Teng birinchi muallif/teng hissa: Ko‘rib chiqilgan versiyada teng hissa bayonoti yo‘q.

Mas’ul muallif: Manbada alohida corresponding-author belgisi bo‘lmagani sababli muayyan muallif mas’ul muallif deb e’lon qilinmagan.

Manbada berilgan aloqa ma’lumotlari: Kianoush Aqabakee — kianoush.aqabakee@aut.ac.ir; Kosar Behnia — kosar.behnia@aut.ac.ir; Farzaneh Abdollahi — f_abdollahi@aut.ac.ir; Amirhossein Heydarian Ardakani — a.heydarian@utwente.nl; Elham Shirazi — e.shirazi@utwente.nl.

Muassasalar: Department of Electrical Engineering, Amirkabir University of Technology, Tehran, Iran; Faculty of Engineering Technology, University of Twente, Enschede, Netherlands.

Platforma: arXiv.

arXiv identifikatori: 2605.28569.

Ko‘rib chiqilgan versiya: arXiv:2605.28569v2.

Birinchi topshirish: 27 May 2026.

v2 tahriri: 28 May 2026.

Kategoriya: Systems and Control (eess.SY).

arXiv/DataCite DOI: 10.48550/arXiv.2605.28569.

Rasmiy qayd:https://arxiv.org/abs/2605.28569

Manba turi va taqriz holati: Ko‘rib chiqilgan ish arXiv tadqiqot preprintidir. Rasmiy arXiv qaydida taqrizli yakuniy jurnal nashri yoki journal-reference ma’lumoti tasdiqlanmagan.

Jurnal/nashriyot: Ko‘rib chiqilgan versiya uchun asl taqrizli jurnal yoki konferensiya nashri ko‘rsatilmagan. arXiv preprint platformasi bo‘lib, taqrizli jurnal sifatida baholanmasligi kerak.

Litsenziya: arXiv perpetual non-exclusive distribution license. Bu litsenziya Creative Commons qayta foydalanish litsenziyasi sifatida talqin qilinmasligi kerak.

Moliyalashtirish: Ko‘rib chiqilgan versiyada alohida moliyalashtirish bayonoti aniqlanmagan.

Manfaatlar to‘qnashuvi: Ko‘rib chiqilgan versiyada alohida competing-interests bayonoti aniqlanmagan.

Ma’lumot/kod mavjudligi: Ko‘rib chiqilgan versiyada alohida data availability yoki ochiq kod ombori bayonoti aniqlanmagan.

CRediT hissalari: Ko‘rib chiqilgan versiyada alohida CRediT authorship contribution statement yo‘q.

Asosiy usul: Uzluksiz vaqtli affine chiziqli bo‘lmagan tizimlar uchun Actor-Identifier-Critic mustahkamlovchi o‘rganish tuzilmasi; Bernoulli sensor va aktuator paket yo‘qolishlari; model-free BHJB; neural-network identifier; temporal-difference critic yangilanishi; Hamiltonian minimallashtirishiga asoslangan actor yangilanishi va Lyapunov asosidagi UUB barqarorlik tahlili.

Tasdiqlash: Ikki nonlinear sonli benchmark — SIMO va MIMO — hamda Virtual Synchronous Machine asosidagi quvvat tizimi simulyatsiyasi. SIMO va MIMO miqdoriy tahlillari beshta turli paket uzatish ssenariysida beshtadan takror bilan baholangan.

Manba ichidagi paket ehtimoli izohi: Usul bo‘limida \(\bar{\gamma}_s\) va \(\bar{\gamma}_c\) paketlarning muvaffaqiyatli qabul qilinish ehtimoli sifatida ta’riflangan. Bunga qarshi ravishda SIMO va MIMO parametr jadvallarida ayni kattaliklar qator sarlavhasida “Dropout rate” iborasi ishlatilgan. Ushbu Verianla izohida matematik ta’rif asos qilib olingan va qiymatlar uzatish muvaffaqiyati ehtimoli sifatida talqin qilingan.

Manba ichidagi belgi izohi: Asosiy usul sensor kanalini \(\gamma_s\), boshqaruv kanalini \(\gamma_c\) bilan ta’riflagan bo‘lsa, ayrim simulyatsiya jadval/grafiklari \(\gamma_p\) belgilashidan foydalanadi. Manba bu belgilash o‘zgarishini alohida izohlamaydi; Verianla matnida belgilar jimlik bilan yangi fizik o‘zgaruvchi deb talqin qilinmagan.

Barqarorlik chegarasi: Tadqiqotning Lyapunov tahlili UUB natijasiga asoslanadi. Bu ifoda barcha shartlarda global asimptotik nol kuzatuv xatosi kafolati emas.

Tajribaviy tasdiqlash chegarasi: Jismoniy plant, hardware-in-the-loop, haqiqiy aloqa tarmog‘i, haqiqiy inverter yoki elektr tarmog‘i sinovi yo‘q. Quvvat tizimi qo‘llanmasi ham sonli VSM simulyatsiyasidir.

Kelajakdagi ish: Mualliflar aloqa kechikishini tarmoqqa ulangan boshqaruv tizimi muammosi sifatida kelajakda ko‘rib chiqishni bildiradilar.

Mazmun asosi: Ushbu Verianla izohi ko‘rib chiqilgan ishning muammo ta’rifi, tenglamalari, Actor-Identifier-Critic tuzilmasi, o‘rganish qoidalari, Lyapunov tahlillari, algoritmi, SIMO/MIMO simulyatsiyalari, III-jadval miqdoriy natijalari va VSM quvvat tizimi misoliga asoslanadi. Bibliografik identifikatsiyani tekshirishdan tashqari tashqi manbalardan yangi ilmiy natija qo‘shilmagan.