Дар системаҳои идоракуние, ки тавассути шабака кор мекунанд, гум шудани бастаҳои ченкунӣ ё идоракунӣ метавонад боис шавад, ки идоракунанда ҳолати воқеии системаро сари вақт надонад ё фармони идоракунии тавлидкардааш ба актуатор нарасад. Ин таҳқиқот барои пайгирии траекторияи истинодӣ дар чунин муҳит, бе донистани пешакии функсияҳои динамикии ғайрихаттии система \(f(x)\) ва \(g(x)\), меъмории Actor-Identifier-Critic (AIC)-ро таҳия мекунад.

Дар сохтори AIC actor фармони идоракуниро тавлид мекунад; identifier/муайянкунанда динамикаи номаълуми система ва ҳолати навбатии системаро пешгӯӣ мекунад; critic/танқидгар бошад хароҷоти дарозмуддати сиёсати ҷории идоракуниро арзёбӣ мекунад. Вазифаи дуюми муҳими Identifier танҳо пешгӯии маълумоти ҳолати гумшуда нест: он ҳамчунин пайванди математикии миёнараверо ташкил медиҳад, ки дар сохтори model-free интиқоли gradient аз critic ба actor-ро имконпазир месозад.

Интиқоли бастаҳо бо тағйирёбандаҳои Bernoulli модел карда шуда, масъалаи идоракунӣ бар асоси муодилаи Bernoulli Hamilton–Jacobi–Bellman (BHJB) сохта шудааст, ки ҳолатҳои имконпазири ояндаро бо ва бе гумшавии баста бо вазн ба ҳисоб мегирад. Қоидаҳои омӯзиши шабакаҳои actor, identifier ва critic алоҳида муайян шудаанд; таҳлили устуворӣ бо усули Lyapunov анҷом дода шуда, дар манбаъ ба хулоса омадаанд, ки хатои пайгирии ҳалқаи пӯшида uniform ultimate bounded (UUB) мебошад.

Усул дар ду системаи ғайрихаттии benchmark санҷида шудааст. Дар симулятсияҳои SIMO ва MIMO таҳти панҷ шарти иртиботӣ ҳар таҷриба панҷ маротиба такрор шуда, Normalized Root Mean Square Error (NRMSE) ва Pearson Correlation Coefficient (PCC) гузориш шудаанд. Дар яке аз сенарияҳои бештар санҷидашуда, яъне \(\bar{\gamma}_s=0.8,\bar{\gamma}_c=0.7\), қимати миёнаи NRMSE-и системаи MIMO пас аз ҳамгароӣ 0,0670, ва қимати PCC 0,9926 дода шудааст. Дар ҳамон сенария барои системаи SIMO ин қиматҳо мутаносибан 0,0281 ва 0,9995 мебошанд.

Дар мисоли сеюм идоракунандаи AIC ба модели системаи қувваи Virtual Synchronous Machine (VSM) бо инерсияи виртуалии паст татбиқ шудааст. Пас аз номувозинатии қувва дар модели беидорашаванда афзоиши ларзишҳои басомад мушоҳида шудааст, дар ҳоле ки бо истифода аз AIC басомади симулятсия боз ба истиноди 50 Hz баргардонида шудааст. Манбаъ инро ҳамчун намунаи имкони татбиқи равиши AIC ба системаҳои қувва пешниҳод мекунад; аммо ин натиҷа озмоиши шабакаи воқеии барқӣ ё inverter-и физикӣ нест.

Аз нуқтаи назари Туркия, таҳқиқот барои пажӯҳишҳои идоракунии интеллектуалии тобовар ба гумшавии баста дар шабакаҳои иртиботии саноатӣ, системаҳои энергетикии идорашаванда аз масофа, микрошабакаҳо, истеҳсоли inverter-асос ва системаҳои бесими sensor–aktuator арзиши методологӣ дорад. Бо вуҷуди ин, наметавон гуфт, ки сатҳҳои хатои бадастомада дар симулятсияҳо мустақиман барои шабакаи воқеии барқи Туркия, Ethernet-и саноатӣ, 5G/6G ё системаи бесими идоракунӣ эътибор доранд. Дар татбиқи воқеӣ таъхир, гумшавии пайдарпай/burst-и баста, садои ченкунӣ, вақти ҳисоб, маҳдудиятҳои актуатор ва амнияти таҷҳизот бояд алоҳида санҷида шаванд.

Масъалаи асосии идоракунӣ чист?

Таҳқиқот системаи зерини affine ғайрихаттии вақти пайвастаро баррасӣ мекунад:

\[ \dot{x}(t)=f(x(t))+g(x(t))u(t) \]

Дар ин ҷо \(x\) ҳолатҳои система, \(u\) воридоти идоракунӣ, \(f(x)\) ва \(g(x)\) бошад динамикаи системаро ифода мекунанд, ки барои идоракунанда пешакӣ номаълум фарз шудаанд.

Муаллифон барои осон кардани таҳлил узви диагоналӣ ва дорои хосияти Hurwitz-и \(A_cx(t)\)-ро ба система илова ва тарҳ карда:

\[ \dot{x}(t) = A_cx(t)+f_c(x(t))+g(x(t))u(t) \]

ва:

\[ f_c(x)=f(x)-A_cx \]

-ро истифода мебаранд.

Рушди ҳолатҳои система дар қадами хурди \(\Delta t\) бо равиши Euler:

\[ x(t+\Delta t) \approx x(t)+\dot{x}(t)\Delta t \]

баррасӣ мешавад.

Фарзияҳои асосии таҳқиқот кадомҳоянд?

• Системаи ғайрихаттӣ мушоҳидашаванда аст.
• Функсияи \(g(x)\) номаълум аст, вале бо ҳади болоии ниҳоӣ маҳдуд мебошад.
• \(f(x)\) ва \(g(x)\) функсияҳои пайвастаи Lipschitz мебошанд.
• Траекторияи истинодии дилхоҳ \(x_d(t)\) ва ҳосилаи он ҳамвор ва маҳдуданд.
• Барои функсияҳои базисӣ ва вазнҳои идеалии critic дар шабакаи Critic фарзияи маҳдудият гузошта мешавад.

Ин фарзияҳо муҳиманд; ибораи “model-free” маънои онро надорад, ки дар бораи система ҳеҷ фарзияи математикӣ карда намешавад. Идоракунанда тавре тарҳрезӣ шудааст, ки бе донистани модели ададии \(f(x)\) ва \(g(x)\) кор кунад, аммо шартҳои сохторӣ ба монанди мушоҳидашавандагӣ, пайвастагии Lipschitz ва маҳдудият қисми таҳлил мебошанд.

Гумшавии бастаҳо чӣ гуна модел карда мешавад?

Барои канали аз sensor ба идоракунанда:

\[ x_s(t)=\gamma_sx(t) \]

муайян карда мешавад. Дар ин ҷо:

\[ \gamma_s= \begin{cases} 1,& \text{paket ulaştı}\\ 0,& \text{paket kayboldu} \end{cases} \]

Барои канали аз идоракунанда ба актуатор бошад:

\[ u(t)=\gamma_cu_c(t) \]

истифода мешавад ва \(\gamma_c\) низ тағйирёбандаи Bernoulli мебошад.

Манбаъ:

\[ P(\gamma_s=1)=\bar{\gamma}_s,\qquad P(\gamma_c=1)=\bar{\gamma}_c \]

бо ин таъриф \(\bar{\gamma}_s\) ва \(\bar{\gamma}_c\)-ро эҳтимоли бомуваффақият расидани баста муайян мекунад. Аз ин рӯ, масалан \(\bar{\gamma}_c=0.7\) тибқи таърифи математикӣ модели Bernoulli-ро ифода мекунад, ки фармонҳои идоракунӣ бо эҳтимоли %70 мерасанд ва бо эҳтимоли %30 гум мешаванд.

Масъалаи пайгирии оптималӣ чӣ гуна муайян мешавад?

Хатои пайгирӣ:

\[ e(t)=x(t)-x_d(t) \]

таъриф шудааст. Ҳадафи сиёсати идоракунӣ кам кардани ҳам хатои пайгирӣ ва ҳам энергияи идоракунии истифодашуда мебошад:

\[ J= \int_t^\infty \left[ e(\tau)^TQe(\tau) + \hat{u}_c(\tau)^TR\hat{u}_c(\tau) \right]d\tau \]

\(Q\) ва \(R\) матритсаҳои вазнии мусбат муайяншуда мебошанд. Аз ин рӯ омӯзиш танҳо ҳадафи “пайгирии истинод”-ро истифода намекунад; бузургии фармони идоракунӣ низ қисми арзиши оптимизатсия аст.

Дар сохтори Actor–Identifier–Critic се шабака чӣ кор мекунанд?

Расми 1 дар саҳифаи 3-и таҳқиқот ҷараёни асосии меъмории AIC-ро нишон медиҳад. Системаи физикӣ тавассути шабакаи иртиботии актуатор ва sensor ба идоракунандаи RL пайваст мешавад. Дар дохили идоракунанда се шабакаи нейронии гуногун мавҷуданд.

1. Identifier: Қабате, ки динамикаи номаълумро меомӯзад

Identifier ифодаи номаълуми:

\[ f_c(x(t))+g(x(t))u_c(t) \]

-ро бо шабакаи нейронӣ наздик мекунад:

\[ F_i(x_s,u_c) = \hat{W}_i \sigma(\hat{V}_i\bar{x}) \]

Дар ин ҷо:

\[ \bar{x}=[x_s,u_c] \]

ва ҳамчун фаъолсозӣ bipolar sigmoid истифода мешавад:

\[ \sigma(x)=\frac{2}{1+e^{-x}}-1 \]

Ҳолати ояндае, ки Identifier пешгӯӣ мекунад, барои ду вазифаи гуногун истифода мешавад: пур кардани маълумоти ҳолати гумшуда ҳангоми гум шудани бастаи sensor ва таъмин кардани модели миёнарави дифференсиатсияшаванда ба ҷойи динамикаи номаълуми система дар ҳисоби gradient аз critic ба actor.

2. Critic: Шабакае, ки арзиши сиёсати идоракуниро меомӯзад

Critic функсияи арзиши номаълумро:

\[ \hat{V}(t) = F_c(\hat{e}_s(t)) = \hat{W}_c\Psi_c(\hat{e}_s(t)) \]

наздик мекунад. Сигнали омӯзиши Critic ба хатои temporal-difference асос ёфтааст.

Яке аз хусусиятҳои фарқкунандаи таҳқиқот ворид кардани эҳтимоли гумшавии баста ба ифодаи классикии HJB ва сохтани муодилаи model-free Bernoulli Hamilton–Jacobi–Bellman (BHJB) мебошад:

\[ \hat{V}(t) = \int_t^{t+\Delta t} \left[ \hat{e}_s^TQ\hat{e}_s+ \hat{u}_c^TR\hat{u}_c \right]d\tau + \bar{\gamma}_c F_c(\hat{e}_s(t+\Delta t)) \big|_{u=\hat{u}_c} + (1-\bar{\gamma}_c) F_c(\hat{e}_s(t+\Delta t)) \big|_{u=0} \]

Ҳамин тавр, арзиши оянда на танҳо барои ҳолате, ки фармони идоракунӣ ба актуатор мерасад, балки барои ҳолати гум шудани фармон низ ба ҳисоб гирифта мешавад.

3. Actor: Шабакае, ки фармони идоракуниро тавлид мекунад

Сиёсати тахминии идоракунии actor:

\[ \hat{u}_c(t) = \hat{W}_a \sigma \left( \hat{V}_a\hat{e}_s(t) \right) \]

мебошад. Ҳадафи actor наздик шудан ба сиёсати идоракуние мебошад, ки Hamiltonian-ро кам мекунад.

Чаро Identifier ба сохтори классикии actor–critic илова мешавад?

Агар модел маълум мебуд, барои ҳисоб кардани ҳосилаи функсияи арзиши ояндаи critic нисбат ба воридоти идоракунӣ \(g(x)\) истифода мешуд. Аммо таҳқиқот дар ҳолати номаълум будани \(f(x)\) ва \(g(x)\) ин корро бевосита карда наметавонад.

Аз ин рӯ занҷири gradient:

\[ \frac{\partial\hat V(t+\Delta t)} {\partial\hat u_c(t)} = \frac{\partial\hat V} {\partial\hat e_s} \cdot \frac{\partial\hat e_s} {\partial F_i} \cdot \frac{\partial F_i} {\partial\hat u_c} \]

тавассути identifier гузаронида мешавад.

Дар меъмории пешниҳодшуда identifier бинобар ин танҳо “баҳодиҳандаи ҳолат” нест, балки пули gradient барои омӯзиши actor-и model-free мебошад.

Ҳисоби стохастикии пеш чӣ гуна анҷом мешавад?

Расми 2 ва Расми 3 дар саҳифаҳои 4 ва 5 нишон медиҳанд, ки дар навсозиҳои identifier ва critic ду ояндаи параллелӣ — бо гумшавии баста ва бе он — бо эҳтимол вазн дода мешаванд.

Identifier ҳолати ояндаро:

\[ \hat{x}_s(t+\Delta t) = \bar{\gamma}_c \hat{x}_s(t+\Delta t)|_{u=\hat u_c} + (1-\bar{\gamma}_c) \hat{x}_s(t+\Delta t)|_{u=0} \]

пешгӯӣ мекунад.

Ин сохтор маънои онро надорад, ки дар вақти воқеӣ ду ояндаи физикӣ ҳамзамон рух медиҳанд; балки дар ҳисоби омӯзиш таъсири интизории эҳтимолҳои расидан ва гум шудани бастаи идоракунӣ якҷоя ба ҳисоб гирифта мешавад.

Устуворӣ чӣ гуна таҳлил мешавад?

Функсияи умумии Lyapunov:

\[ L=L_a+L_i+L_c \]

аз ҷузъҳои actor, identifier ва critic сохта шудааст.

Дар таҳқиқот чор теорема мавҷуд аст:

• Теорема 1: UUB будани хатои вазни Identifier дар суръати мувофиқи омӯзиш ба натиҷаи қаблии устуворӣ такя мекунад.
• Теорема 2: Ҳангоми устувор қабул кардани ҳалқаи пӯшида гуфта мешавад, ки identifier системаро дар шароити гумшавии баста бо хатои маҳдуд тахмин мекунад.
• Теорема 3: Бо таҳлили Lyapunov нишон дода мешавад, ки хатои тахминии вазни Critic таҳти шарти \(0<\eta_c<2\) UUB аст.
• Теорема 4: Нишон дода мешавад, ки таҳти сиёсати Actor хатои пайгирии ҳолати ҳалқаи пӯшида UUB аст.

Ҳади хатои пайгирие, ки манбаъ ба даст меорад:

\[ \|\hat e_s(t)\| \le \sqrt{ \frac{C}{\lambda_{\min}(Q)} } \]

мебошад.

Ин натиҷа натиҷаи uniform ultimate boundedness аст. Ба ибораи дигар, иддаои аналитикӣ ин нест, ки дар ҳамаи шароит хато аз ҷиҳати математикӣ асимптотикӣ ба сифри дақиқ наздик мешавад; балки таҳти фарзияҳо ва параметрҳои муайяни тарҳрезӣ дар минтақаи маҳдуд боқӣ мемонад.

Чаро \(\Delta t\) ва суръати омӯзиш муҳиманд?

Манбаъ таъкид мекунад, ки \(\Delta t\) ва суръати омӯзиши actor \(\eta_a\) параметрҳои тарҳрезӣ мебошанд, ки ба ҳади болоии хато таъсир мерасонанд. Аз ин рӯ, иҷрои AIC на танҳо аз сохтори шабака, балки аз интихоби қадами вақт ва параметрҳои омӯзиш низ таъсир мегирад.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

• Меъмории AIC дар симулятсияҳои баррасишудаи SIMO ва MIMO бо динамикаи номаълуми plant пайгирии траекторияи истинодиро анҷом додааст.
• Таҳти гумшавии бастаҳои sensor ва канали идоракунӣ аз навъи Bernoulli, хатогиҳои пайгирӣ дар симулятсияҳо маҳдуд боқӣ мондаанд.
• Identifier ҳам модели наздики динамикаи номаълумро таъмин кардааст ва ҳам ҳамчун пайванди gradient-и critic–actor истифода шудааст.
• Дар ҳамаи панҷ сенарияи иртиботӣ қиматҳои PCC пас аз ҳамгароӣ барои SIMO дар доираи 0,9988–0,9998 ва барои MIMO дар доираи 0,9926–0,9965 гузориш шудаанд.
• Дар симулятсияи VSM, AIC пас аз номувозинатии қувва басомадро ба истиноди 50 Hz баргардондааст.
• Дар манбаъ барои шабакаҳои actor, identifier ва critic таҳлили устувории Lyapunov/UUB пешниҳод шудааст.

Натиҷаҳое, ки таҳқиқот дастгирӣ намекунад ё насанҷидааст

• Нишон дода нашудааст, ки идоракунандаи AIC дар таҷҳизоти воқеии саноатӣ ё шабакаи физикии қувва ҳамон иҷрои корро медиҳад.
• Дар таҳқиқот hardware-in-the-loop-и лабораторӣ ё санҷиши идоракунандаи вақти воқеӣ вуҷуд надорад.
• Таъхири иртибот дар усули ҷорӣ санҷида нашудааст; муаллифон онро мавзӯи кори оянда мешуморанд.
• Ғайр аз модели Bernoulli, гумшавии burst/пайдарпайи баста, сохторҳои канали Markov ё ҳамлаҳои иртиботии бадқасдона ба доираи асосии таҷрибавии ин кор дохил нестанд.
• Натиҷаи устувории UUB бо иддаои хатои доимии сифр ё устувории глобалии асимптотикӣ барои ҳамаи шартҳои ибтидоӣ ҳаммаъно нест.
• Мисоли VSM озмоиши inverter-и воқеӣ ё шабакаи миллӣ нест.
• Натиҷаҳои NRMSE ва PCC танҳо ба ду системаи benchmark ва симулятсияҳо бо гиперпараметрҳои зикршуда тааллуқ доранд.

Усул ва Натиҷаҳои Таҳқиқот

Системаи benchmark-и SIMO

Санҷиши аввал системаи ғайрихаттии SIMO бо ду тағйирёбандаи ҳолат ва як воридоти идоракунӣ мебошад. Траекторияи истинодӣ:

\[ x_d= \begin{bmatrix} \sin(t)\\ \cos(t)+\sin(t) \end{bmatrix} \]

интихоб шудааст.

Хароҷоти иҷрои истифодашуда:

\[ V= \int_t^\infty \frac{1}{2} \left( e_1^2+ e_2^2+ 5\times10^{-4}\hat u_c^2 \right)d\tau \]

мебошад.

Расми 4 дар саҳифаи 8 нишон медиҳад, ки ду ҳолати система сигналҳои истинодиро пайгирӣ мекунанд, пас аз режими гузариши ибтидоӣ хатогиҳои пайгирӣ кам мешаванд ва фармони идоракунӣ маҳдуд мемонад. Дар панели поёнии ҳамон расм ҳодисаҳои гумшавии бастаҳо дар тӯли вақт нишон дода шудаанд.

Дар Расми 5 траекторияи дученакаи хатои \((e_1,e_2)\) аз нуқтаи ибтидоӣ ба минтақаи хурде атрофи сифр ҳаракат мекунад. Ин визуализатсия дар манбаъ ҳамчун ҳамтои ададии рафтори UUB пешниҳод шудааст.

Рафтори омӯзиши шабакаҳои AIC

Расми 6 дар саҳифаи 8 ҳаракати сигналҳои хатои critic, actor ва identifier ва gradient-ҳои actor-ро дар тӯли вақт нишон медиҳад. Пас аз давраи гузариши аввал дида мешавад, ки хатогиҳо ва gradient-ҳои шабака дар минтақаҳои маҳдуд боқӣ мемонанд.

Расми 7 фазои арзишеро, ки critic омӯхтааст, тақрибан ҳамчун сатҳи квадратикӣ нишон медиҳад. Расми 8 бошад санҷишеро нишон медиҳад, ки самти gradient-и \(\hat g(x)\), ки identifier омӯхтааст, асосан бо самти \(g(x)\)-и системаи benchmark аломати якхела дорад.

Системаи benchmark-и MIMO

Санҷиши дуюм системаи nonlinear MIMO бо ду ҳолат ва ду воридоти идоракунӣ мебошад. Система барои 30 сония симулятсия шудааст.

Расми 9 дар саҳифаи 9 нишон медиҳад, ки ду ҳолат пас аз режими гузариш истинодҳои худро пайгирӣ мекунанд. Дар давраҳое, ки гумшавии бастаҳо идома дошт, фармонҳои идоракунӣ ҳамоно тавлид шуда, хатогиҳои пайгирӣ ба минтақаи маҳдуд ҳамгаро шудаанд.

Панҷ сенарияи гумшавии баста чӣ гуна сохта шуданд?

Дар таҳлили миқдорӣ панҷ ҳолати иртибот истифода шудааст:

Ин фоизҳо аз эҳтимолҳои интиқоли бомуваффақияти \(P(\gamma=1)=\bar{\gamma}\), ки дар манбаъ муайян шудаанд, ҳосил шудаанд. Бар хилофи нишони “Dropout rate” дар ҷадвалҳои параметрҳо, таърифи математикӣ \(\bar{\gamma}\)-ро ҳамчун эҳтимоли интиқоли бомуваффақият медиҳад.

Иҷро чӣ гуна чен карда шуд?

Ду меъёри асосӣ истифода шуд:

Normalized Root Mean Square Error (NRMSE): бузургии миёнаи нормализатсияшудаи хато байни траекторияи пайгиришуда ва истинодро чен мекунад. Қимати пасттар пайгирии беҳтарро нишон медиҳад.

Pearson Correlation Coefficient (PCC): коррелятсия байни траекторияи воқеии ҳолат ва траекторияи истинодии дилхоҳро чен мекунад. Қиматҳои наздик ба 1 мутобиқати қавии хаттиро нишон медиҳанд.

Ҳар симулятсия 5 маротиба такрор шуда, қиматҳои максимум, миёна ва инҳирофи стандартӣ гузориш шудаанд.

Илова бар ин, ду давраи гуногуни арзёбӣ истифода шудааст:

• OTE — Overall Tracking Error: тамоми давраи симулятсияро фаро мегирад.
• PCTE — Post-Convergence Tracking Error: иҷрои пайгириро пас аз режими ибтидоии ҳамгароӣ арзёбӣ мекунад.

Натиҷаҳои миқдории системаи SIMO

Дар ин натиҷаҳо дида мешавад, ки бо зиёд шудани гумшавии баста қиматҳои хато ҳатман ба таври монотонӣ зиёд намешаванд. Масалан, дар баъзе сенарияҳои dropout, SIMO NRMSE аз сенарияи бе гумшавӣ пасттар баромадааст. Азбаски натиҷаҳои таҳқиқот ба таҷрибаҳои стохастикӣ ва раванди омӯзиши мутобиқшаванда асос ёфтаанд, аз як ҷадвал наметавон хулоса кард, ки “гумшавии баста иҷрои корро беҳтар мекунад”.

Натиҷаҳои миқдории системаи MIMO

Дар системаи MIMO гумшавии бастаҳо махсусан дар метрикаи OTE, ки тамоми симулятсияро фаро мегирад, бо коҳиши равшантари иҷро алоқаманданд. Дар ҳолати бе гумшавӣ миёнаи OTE NRMSE 0,1125 буд, дар сенарияи \(\bar{\gamma}_s=0.8,\bar{\gamma}_c=0.7\) бошад то 0,2301 афзуд. Бо вуҷуди ин, пас аз ҳамгароии ибтидоӣ PCTE PCC дар ҳамаи сенарияҳо аз 0,99 боло монд.

Мисоли системаи қувваи VSM

Мисоли охирини татбиқ динамикаи Virtual Synchronous Machine (VSM)-и системаи қувва бо ҳиссаи баланди истеҳсоли inverter-асос мебошад. Азбаски инерсияи физикии гардишии генераторҳои классикии синхронӣ дар inverter-ҳо табиатан вуҷуд надорад, идоракунии VSM барои тақлид кардани рафтори инерсияи виртуалӣ истифода мешавад.

Қисми марбути динамикаи VSM дар манбаъ:

\[ f(x)= \begin{bmatrix} \omega-\omega_{nom}\\ \frac{1}{H} \left[ -D_p(\omega-\omega_{nom}) -\frac{EV_c}{X_{eq}}\sin(\delta) \right] \end{bmatrix} \]

ва матритсаи воридоти идоракунӣ:

\[ g(x)= \begin{bmatrix} 0\\ 1/H \end{bmatrix} \]

таъриф шудаанд.

Басомади истинодӣ:

\[ \omega_d=\omega_{nom}=50\ \mathrm{Hz} \]

муайян шудааст.

Расми 13(a) дар саҳифаи 11 нишон медиҳад, ки пас аз номувозинатии қувва дар \(t=0\) басомади VSM-и беидора дар атрофи 50 Hz ларзишҳои афзоянда нишон медиҳад; Расми 13(b) бошад нишон медиҳад, ки ҳангоми фаъол кардани идоракунии AIC басомад боз ба 50 Hz баргардонида мешавад. Дар панелҳои поёнии ҳамон расм фармони идоракунӣ ва ҳодисаҳои гумшавии баста нишон дода шудаанд.

Таҳқиқот барои ин мисол NRMSE, PCC ё метрикаи сифати басомадро дар асоси стандарти воқеии шабака алоҳида гузориш намекунад. Аз ин рӯ, натиҷаи системаи қувва асосан ба рафтори силсилаи вақти симулятсия такя мекунад.

Ҷиҳатҳои қавии таҳқиқот

Ҷиҳати қавии таҳқиқот он аст, ки гумшавии баста на танҳо ҳамчун халале, ки баъдтар ба симулятсия илова мешавад, балки бевосита ба функсияи арзиш ва муодилаи омӯзиш дохил карда шудааст. Истифодаи Identifier ҳам барои пешгӯии маълумоти гумшуда ва ҳам ҳамчун пайванди gradient-и critic–actor саҳми асосии сохтории меъмории пешниҳодшудаи AIC мебошад.

Илова бар ин, усул танҳо дар як мисол нишон дода нашудааст; он дар се контексти гуногуни идоракунӣ — SIMO, MIMO ва динамикаи системаи қувва — санҷида шудааст. Дар санҷишҳои SIMO ва MIMO истифодаи панҷ ҳолати гуногуни иртибот ва панҷ такрор ва гузориши миёнаҳо ва инҳирофҳои стандартӣ санҷиши миқдории қавитареро нисбат ба арзёбии вобаста ба як пайдарпайии тасодуфии гумшавии баста таъмин мекунад.

Маҳдудиятҳои асосӣ

Бо вуҷуди ин, таҳқиқот пурра ба симулятсияи ададӣ асос ёфтааст. Ҳолатҳое, ки дар шабакаи воқеӣ гумшавии бастаҳо бар хилофи ҳодисаҳои мустақили Bernoulli пайдарпай, ҳамбаста ё вобаста ба ҳолати сарборӣ мешаванд, санҷида нашудаанд.

Манбаъ инчунин таъхири иртиботро берун аз доираи кори ҷорӣ мегузорад ва онро мавзӯи кори оянда мешуморад. Азбаски дар системаҳои воқеии идоракунии шабакавӣ таъхир ва гумшавии баста метавонанд ҳамзамон рӯй диҳанд, натиҷаҳои мавҷударо набояд ҳамчун кафолати мустақими эътимоднокии шабакаи вақти воқеӣ арзёбӣ кард.

Ниҳоят, model-free будан аз нуқтаи назари идоракунанда маънои онро дорад, ки функсияҳои \(f(x)\) ва \(g(x)\)-и система пешакӣ дода намешаванд. Барои тавлиди рафтори plant-ҳои benchmark ва VSM, дар тарафи симулятсия, албатта, муодилаҳои воқеии система истифода мешаванд. Ин фарқ барои пешгирии тафсири нодурусти “дар таҳқиқот ҳеҷ модели система истифода нашудааст” муҳим аст.

Ёддошт оид ба Манбаъ ва Усул

Tam özgün çalışma adı: Actor-Identifier-Critic Reinforcement Learning for Adaptive Model-Free Optimal Control of Nonlinear Systems with Stochastic Packet Dropouts

Муаллифон: Kianoush Aqabakee, Kosar Behnia, Amirhossein Heydarian Ardakani, Farzaneh Abdollahi ва Elham Shirazi.

Тартиби муаллифон: Тартиб дар версияи манбаъ бетағйир нигоҳ дошта шудааст.

Муаллифи якуми муштарак/саҳми баробар: Дар версияи баррасишуда изҳороти саҳми баробар вуҷуд надорад.

Муаллифи масъул: Азбаски дар манбаъ аломати алоҳидаи corresponding-author вуҷуд надорад, ягон муаллифи мушаххас ҳамчун муаллифи масъул эълон нашудааст.

Маълумоти иртиботӣ дар манбаъ: Kianoush Aqabakee — kianoush.aqabakee@aut.ac.ir; Kosar Behnia — kosar.behnia@aut.ac.ir; Farzaneh Abdollahi — f_abdollahi@aut.ac.ir; Amirhossein Heydarian Ardakani — a.heydarian@utwente.nl; Elham Shirazi — e.shirazi@utwente.nl.

Муассисаҳо: Department of Electrical Engineering, Amirkabir University of Technology, Tehran, Iran; Faculty of Engineering Technology, University of Twente, Enschede, Netherlands.

Платформа: arXiv.

Шиносаи arXiv: 2605.28569.

Версияи баррасишуда: arXiv:2605.28569v2.

Пешниҳоди аввал: 27 Май 2026.

Ревизияи v2: 28 Май 2026.

Категория: Systems and Control (eess.SY).

arXiv/DataCite DOI: 10.48550/arXiv.2605.28569.

Сабти расмӣ:https://arxiv.org/abs/2605.28569

Навъи манбаъ ва ҳолати баррасӣ: Кори баррасишуда preprint-и таҳқиқотии arXiv мебошад. Дар сабти расмии arXiv нашри ниҳоии маҷаллаи баррасишуда ё маълумоти journal-reference тасдиқ нашудааст.

Маҷалла/ношир: Барои версияи баррасишуда нашри аслии маҷалла ё конференсияи баррасишуда нишон дода нашудааст. arXiv платформаи preprint аст ва набояд ҳамчун маҷаллаи баррасишуда арзёбӣ шавад.

Иҷозатнома: arXiv perpetual non-exclusive distribution license. Ин иҷозатнома набояд ҳамчун иҷозатномаи истифодаи дубораи Creative Commons тафсир шавад.

Маблағгузорӣ: Дар версияи баррасишуда изҳороти ҷудогонаи маблағгузорӣ муайян нашудааст.

Тазоди манфиатҳо: Дар версияи баррасишуда изҳороти ҷудогонаи competing-interests муайян нашудааст.

Дастрасии дода/код: Дар версияи баррасишуда изҳороти ҷудогонаи data availability ё анбори кушодаи код муайян нашудааст.

Саҳмҳои CRediT: Дар версияи баррасишуда CRediT authorship contribution statement-и ҷудогона вуҷуд надорад.

Усули асосӣ: Сохтори омӯзиши тақвиятии Actor-Identifier-Critic барои системаҳои affine ғайрихаттии вақти пайваста; гумшавии бастаҳои Bernoulli дар sensor ва актуатор; model-free BHJB; neural-network identifier; навсозии critic дар асоси temporal-difference; навсозии actor дар асоси камкунии Hamiltonian ва таҳлили устувории UUB дар асоси Lyapunov.

Санҷиш: Ду benchmark-и ададии nonlinear — SIMO ва MIMO — ва симулятсияи системаи қувваи Virtual Synchronous Machine. Таҳлилҳои миқдории SIMO ва MIMO дар панҷ сенарияи гуногуни интиқоли баста бо панҷ такрор арзёбӣ шудаанд.

Ёддошти эҳтимоли баста дар дохили манбаъ: Дар бахши усул \(\bar{\gamma}_s\) ва \(\bar{\gamma}_c\) ҳамчун эҳтимоли бомуваффақият қабул шудани баста муайян шудаанд. Аммо дар ҷадвалҳои параметрҳои SIMO ва MIMO барои ҳамин бузургиҳо дар номи сатр ибораи “Dropout rate” истифода шудааст. Дар ин шарҳи Verianla таърифи математикӣ асос гирифта шуда, қиматҳо ҳамчун эҳтимоли муваффақияти интиқол тафсир шудаанд.

Ёддошти рамзӣ дар дохили манбаъ: Усули асосӣ канали sensor-ро бо \(\gamma_s\) ва канали идоракуниро бо \(\gamma_c\) муайян мекунад, аммо баъзе ҷадвалҳо/графикҳои симулятсия \(\gamma_p\)-ро истифода мебаранд. Манбаъ ин тағйири нишонгузориро алоҳида шарҳ намедиҳад; дар матни Verianla рамзҳо хомӯшона ҳамчун тағйирёбандаи нави физикӣ тафсир нашудаанд.

Ҳади устуворӣ: Таҳлили Lyapunov-и таҳқиқот ба натиҷаи UUB асос ёфтааст. Ин ифода кафолати хатои пайгирии глобалии асимптотикии сифр дар ҳамаи шароит нест.

Ҳади санҷиши таҷрибавӣ: Plant-и физикӣ, hardware-in-the-loop, шабакаи воқеии иртибот, inverter-и воқеӣ ё санҷиши шабакаи барқӣ вуҷуд надорад. Татбиқи системаи қувва низ симулятсияи ададии VSM аст.

Кори оянда: Муаллифон таъхири иртиботро ҳамчун масъалаи системаи идоракунии ба шабака пайваст дар оянда баррасӣ кардан мехоҳанд.

Асоси мундариҷа: Ин шарҳи Verianla ба таърифи масъала, муодилаҳо, сохтори Actor-Identifier-Critic, қоидаҳои омӯзиш, таҳлилҳои Lyapunov, алгоритм, симулятсияҳои SIMO/MIMO, натиҷаҳои миқдории Ҷадвали III ва мисоли системаи қувваи VSM-и кори баррасишуда асос ёфтааст. Ба ғайр аз тасдиқи ҳувияти библиографӣ, аз манбаъҳои беруна натиҷаи нави илмӣ илова нашудааст.