Тармак аркылуу иштеген башкаруу системаларында өлчөө же башкаруу пакеттеринин жоголушу башкаргычтын системанын чыныгы абалын өз убагында биле албай калышына же түзгөн башкаруу буйругунун актуаторго жетпей калышына алып келиши мүмкүн. Бул изилдөө системанын сызыктуу эмес динамикалык функциялары \(f(x)\) жана \(g(x)\) алдын ала белгисиз болгон шартта ушундай чөйрөдө эталондук траекторияны көзөмөлдөө үчүн Actor-Identifier-Critic (AIC) архитектурасын иштеп чыгат.

AIC түзүлүшүндө актор башкаруу буйругун түзөт; identifier/аныктагыч белгисиз система динамикасын жана кийинки система абалын болжолдойт; critic/сынчы болсо учурдагы башкаруу саясатынын узак мөөнөттүү чыгымын баалайт. Identifierдин экинчи маанилүү функциясы жоголгон абал маалыматын гана болжолдоо эмес: модельден көз каранды эмес түзүлүштө criticтен акторго gradient өткөрүлүшүн камсыз кылган математикалык аралык байланышты да түзөт.

Пакет берүүлөр Bernoulli өзгөрмөлөрү менен моделденген жана башкаруу маселеси пакет жоголгон жана жоголбогон мүмкүн болгон келечек абалдарын салмактап эске алган Bernoulli Hamilton–Jacobi–Bellman (BHJB) теңдемеси аркылуу курулган. Актор, identifier жана critic тармактарынын үйрөнүү эрежелери өз-өзүнчө аныкталган; туруктуулук анализи Lyapunov ыкмасы менен жүргүзүлүп, булакта жабык контурдун көзөмөл катасы uniform ultimate bounded (UUB) экени жөнүндө жыйынтык чыгарылган.

Ыкма эки сызыктуу эмес benchmark системасында сыналган. Беш байланыш шарты астында жүргүзүлгөн SIMO жана MIMO симуляцияларында ар бир эксперимент беш жолу кайталанып; Normalized Root Mean Square Error (NRMSE) жана Pearson Correlation Coefficient (PCC) берилген. Эң интенсивдүү текшерилген сценарийлердин бири болгон \(\bar{\gamma}_s=0.8,\bar{\gamma}_c=0.7\) шартында MIMO системасынын жакындашуудан кийинки орточо NRMSE мааниси 0,0670, PCC мааниси болсо 0,9926 деп көрсөтүлгөн. Ошол эле сценарийде SIMO системасы үчүн маанилер тиешелүүлүгүнө жараша 0,0281 жана 0,9995.

Үчүнчү мисалда AIC башкаргычы төмөн виртуалдык инерциялуу Virtual Synchronous Machine (VSM) күч системасынын моделине колдонулган. Күч тең салмаксыздыгынан кийин башкарылбаган моделде жыштык термелүүлөрү өсүп жатканда, AIC колдонулганда симуляция жыштыгы кайрадан 50 Hz эталонуна кайтарылган. Булак муну AIC ыкмасынын күч системаларына мүмкүн болгон колдонулушунун мисалы катары берет; бирок бул жыйынтык реалдуу электр тармагы же физикалык inverter эксперименти эмес.

Түркия жагынан изилдөө өнөр жай байланыш тармактары, алыстан башкарылуучу энергетикалык системалар, микро-тармактар, inverter негизиндеги өндүрүш жана зымсыз sensor–aktuator системаларында пакет жоготуусуна туруктуу акылдуу башкаруу изилдөөлөрү үчүн методологиялык мааниге ээ. Бирок симуляцияларда алынган ката көрсөткүчтөрү реалдуу Түркия электр тармагы, өнөр жай Ethernet, 5G/6G же зымсыз башкаруу системасы үчүн түз колдонулат деп айтууга болбойт. Реалдуу колдонмодо кечигүү, катарлаш/burst пакет жоготуу, өлчөө ызы-чуусу, эсептөө убактысы, актуатор чектөөлөрү жана аппараттык коопсуздук өзүнчө текшерилиши керек.

Негизги башкаруу маселеси эмне?

Изилдөө төмөнкү үзгүлтүксүз убакыттагы affine сызыктуу эмес системаны карайт:

\[ \dot{x}(t)=f(x(t))+g(x(t))u(t) \]

Бул жерде \(x\) системанын абалдарын, \(u\) башкаруу киришин, \(f(x)\) жана \(g(x)\) болсо башкаргычка алдын ала белгисиз деп кабыл алынган система динамикасын билдирет.

Авторлор анализди жеңилдетүү үчүн системага диагоналдык жана Hurwitz касиеттүү \(A_cx(t)\) мүчөсүн кошуп-алып:

\[ \dot{x}(t) = A_cx(t)+f_c(x(t))+g(x(t))u(t) \]

жана:

\[ f_c(x)=f(x)-A_cx \]

түрүн колдонушат.

Системанын абалдарынын кичине \(\Delta t\) кадамындагы өнүгүшү Euler ыкмасы менен:

\[ x(t+\Delta t) \approx x(t)+\dot{x}(t)\Delta t \]

түрүндө каралат.

Изилдөөнүн негизги божомолдору кайсылар?

• Сызыктуу эмес система байкалчу.
• \(g(x)\) функциясы белгисиз, бирок чектүү жогорку чек менен чектелген.
• \(f(x)\) жана \(g(x)\) үзгүлтүксүз Lipschitz функциялары.
• Каалаган эталондук траектория \(x_d(t)\) жана анын туундусу жылма жана чектелген.
• Critic тармагында колдонулган базистик функциялар жана идеал critic салмактары үчүн чектелгендик божомолу жасалат.

Бул божомолдор маанилүү; “model-free” деген сөз система жөнүндө эч кандай математикалык божомол жок дегенди билдирбейт. Башкаргыч \(f(x)\) жана \(g(x)\) функцияларынын сандык моделин билбей иштөөгө ылайыкталган, бирок байкалуу, Lipschitz үзгүлтүксүздүгү жана чектелгендик сыяктуу түзүлүштүк шарттар анализдин бөлүгү.

Пакет жоготуулар кантип моделденет?

Сенсордон башкаргычка баруучу канал үчүн:

\[ x_s(t)=\gamma_sx(t) \]

аныкталат. Бул жерде:

\[ \gamma_s= \begin{cases} 1,& \text{paket ulaştı}\\ 0,& \text{paket kayboldu} \end{cases} \]

Башкаргычтан актуаторго баруучу канал үчүн болсо:

\[ u(t)=\gamma_cu_c(t) \]

колдонулат жана \(\gamma_c\) ошол эле түрдө Bernoulli өзгөрмөсү.

Булак:

\[ P(\gamma_s=1)=\bar{\gamma}_s,\qquad P(\gamma_c=1)=\bar{\gamma}_c \]

аныктамасы менен \(\bar{\gamma}_s\) жана \(\bar{\gamma}_c\)-ни пакеттин ийгиликтүү жетүү ыктымалдыгы катары берет. Демек, мисалы \(\bar{\gamma}_c=0.7\) математикалык аныктама боюнча башкаруу буйруктары %70 ыктымалдык менен жетип, %30 ыктымалдык менен жоголгон Bernoulli моделин билдирет.

Оптималдуу көзөмөл маселеси кантип аныкталат?

Көзөмөл катасы:

\[ e(t)=x(t)-x_d(t) \]

деп аныкталган. Башкаруу саясатынын максаты көзөмөл катасын да, колдонулган башкаруу энергиясын да азайтуу:

\[ J= \int_t^\infty \left[ e(\tau)^TQe(\tau) + \hat{u}_c(\tau)^TR\hat{u}_c(\tau) \right]d\tau \]

\(Q\) жана \(R\) оң аныкталган салмак матрицалары. Ошондуктан үйрөнүү “эталонду көзөмөлдө” деген максат менен гана чектелбейт; башкаруу буйругунун чоңдугу да оптималдаштыруу чыгымынын бөлүгү.

Actor–Identifier–Critic түзүлүшүндө үч тармак эмне кылат?

Изилдөөнүн 3-бетиндеги 1-сүрөт AIC архитектурасынын негизги агымын көрсөтөт. Физикалык система актуатор жана сенсор байланыш тармагы аркылуу RL башкаргычына туташат. Башкаргычтын ичинде үч башка нейрондук тармак бар.

1. Identifier: Белгисиз динамиканы үйрөнгөн катмар

Identifier белгисиз:

\[ f_c(x(t))+g(x(t))u_c(t) \]

туюнтмасын нейрондук тармак менен жакындатат:

\[ F_i(x_s,u_c) = \hat{W}_i \sigma(\hat{V}_i\bar{x}) \]

Бул жерде:

\[ \bar{x}=[x_s,u_c] \]

жана активдештирүү катары bipolar sigmoid колдонулат:

\[ \sigma(x)=\frac{2}{1+e^{-x}}-1 \]

Identifier болжолдогон келечектеги абал эки башка функция үчүн колдонулат: сенсор пакети жоголгондо жетишпеген абал маалыматын толуктоо жана criticтен акторго gradient эсептөөдө белгисиз система динамикасынын ордуна дифференциалдануучу аралык модель берүү.

2. Critic: Башкаруу саясатынын чыгымын үйрөнгөн тармак

Critic белгисиз баалуулук функциясын:

\[ \hat{V}(t) = F_c(\hat{e}_s(t)) = \hat{W}_c\Psi_c(\hat{e}_s(t)) \]

түрүндө жакындатат. Criticтин үйрөнүү сигналы temporal-difference катасына негизделет.

Изилдөөнүн айырмалоочу жактарынын бири классикалык HJB туюнтмасына пакет жоготуу ыктымалдыгын кошуп, model-free Bernoulli Hamilton–Jacobi–Bellman (BHJB) теңдемесин түзүшү:

\[ \hat{V}(t) = \int_t^{t+\Delta t} \left[ \hat{e}_s^TQ\hat{e}_s+ \hat{u}_c^TR\hat{u}_c \right]d\tau + \bar{\gamma}_c F_c(\hat{e}_s(t+\Delta t)) \big|_{u=\hat{u}_c} + (1-\bar{\gamma}_c) F_c(\hat{e}_s(t+\Delta t)) \big|_{u=0} \]

Ошентип келечектеги баа башкаруу буйругу актуаторго жеткен учурда гана эмес, буйрук жоголгон учурда да эсепке алынат.

3. Actor: Башкаруу буйругун түзгөн тармак

Актордун болжолдонгон башкаруу саясаты:

\[ \hat{u}_c(t) = \hat{W}_a \sigma \left( \hat{V}_a\hat{e}_s(t) \right) \]

түрүндө. Актордун максаты Hamiltonianды минималдаштырган башкаруу саясатына жакындашуу.

Identifier эмне үчүн классикалык actor–critic түзүлүшүнө кошулат?

Эгер модель белгилүү болсо, criticтин келечектеги баалуулук функциясынын башкаруу киришине карата туундусун эсептөө үчүн \(g(x)\) колдонулмак. Бирок изилдөө \(f(x)\) жана \(g(x)\) белгисиз учурда муну түз жасай албайт.

Ошондуктан gradient чынжыры:

\[ \frac{\partial\hat V(t+\Delta t)} {\partial\hat u_c(t)} = \frac{\partial\hat V} {\partial\hat e_s} \cdot \frac{\partial\hat e_s} {\partial F_i} \cdot \frac{\partial F_i} {\partial\hat u_c} \]

түрүндө identifier аркылуу өткөрүлөт.

Сунушталган архитектурада identifier ошондуктан жөн гана “абал баалоочу” эмес, модельден көз каранды эмес акторду үйрөтүүнүн gradient көпүрөсү.

Стохастикалык алдыга эсептөө кантип жасалат?

4- жана 5-беттердеги 2-сүрөт жана 3-сүрөт identifier жана critic жаңыртууларында пакет жоголгон жана жоголбогон эки параллелдүү келечек ыктымалдык менен салмакталары көрсөтүлөт.

Identifier келечектеги абалды:

\[ \hat{x}_s(t+\Delta t) = \bar{\gamma}_c \hat{x}_s(t+\Delta t)|_{u=\hat u_c} + (1-\bar{\gamma}_c) \hat{x}_s(t+\Delta t)|_{u=0} \]

түрүндө болжолдойт.

Бул түзүлүш реалдуу убакытта бир учурда эки физикалык келечек ишке ашат дегенди билдирбейт; үйрөтүү эсептөөсүндө башкаруу пакети жеткен жана жоголгон ыктымалдыктардын күтүлгөн таасирлери бирге эсепке алынат.

Туруктуулук кантип анализделет?

Жалпы Lyapunov функциясы:

\[ L=L_a+L_i+L_c \]

түрүндө актор, identifier жана critic компоненттеринен түзүлгөн.

Изилдөөдө төрт теорема бар:

• Теорема 1: Identifier салмак катасы ылайыктуу үйрөнүү ылдамдыгында UUB экени мурдагы туруктуулук жыйынтыгына негизделет.
• Теорема 2: Жабык контур туруктуу деп кабыл алынганда identifier пакет жоготууларында системаны чектелген ката менен баалай турганы айтылат.
• Теорема 3: Critic салмак баалоо катасы \(0<\eta_c<2\) шартында UUB экени Lyapunov анализи менен көрсөтүлөт.
• Теорема 4: Актор саясаты астында жабык контурдун абал көзөмөл катасы UUB экени көрсөтүлөт.

Булакта алынган көзөмөл ката чеги:

\[ \|\hat e_s(t)\| \le \sqrt{ \frac{C}{\lambda_{\min}(Q)} } \]

түрүндө.

Бул жыйынтык uniform ultimate boundedness жыйынтыгы. Башкача айтканда, аналитикалык доомат бардык шарттарда ката математикалык так нөлгө асимптотикалык жакындайт деген эмес; белгилүү божомолдор жана долбоор параметрлеринде чектелген аймакта калат дегенди билдирет.

\(\Delta t\) жана үйрөнүү ылдамдыгы эмне үчүн маанилүү?

Булак \(\Delta t\) жана актор үйрөнүү ылдамдыгы \(\eta_a\) ката жогорку чегине таасир берген долбоор параметрлери экенин белгилейт. Ошондуктан AIC иштешине тармак түзүлүшү гана эмес, убакыт кадамы жана үйрөнүү параметрлеринин тандалышы да таасир этет.

Изилдөө колдогон жыйынтыктар

• AIC архитектурасы каралган SIMO жана MIMO симуляцияларында белгисиз plant динамикасы менен эталондук траекторияны көзөмөлдөгөн.
• Bernoulli тибиндеги сенсор жана башкаруу каналынын пакет жоготууларында көзөмөл каталары симуляцияларда чектелген бойдон калган.
• Identifier белгисиз динамиканын жакындатылган моделин берип, critic–actor gradient байланышы катары да колдонулган.
• Беш байланыш сценарийинин баарында жакындашуудан кийинки PCC маанилери SIMO үчүн 0,9988–0,9998, MIMO үчүн 0,9926–0,9965 диапазонунда берилген.
• VSM симуляциясында AIC күч тең салмаксыздыгынан кийин жыштыкты 50 Hz эталонуна кайтарган.
• Булакта актор, identifier жана critic тармактары үчүн Lyapunov/UUB негизиндеги туруктуулук анализи берилген.

Изилдөө колдобогон же текшербеген жыйынтыктар

• AIC башкаргыч реалдуу өнөр жай аппаратында же физикалык күч тармагында ошол эле натыйжа берет деп көрсөтүлгөн эмес.
• Изилдөөдө лабораториялык hardware-in-the-loop же реалдуу убакыт башкаргыч тести жок.
• Байланыш кечигүүсү учурдагы ыкмада текшерилген эмес; авторлор муну келечектеги иш катары көрсөтөт.
• Bernoulli моделинен тышкары burst/катарлаш пакет жоготуу, Markov канал түзүлүштөрү же зыяндуу байланыш чабуулдары негизги эксперименттик көлөмгө кирбейт.
• UUB туруктуулук жыйынтыгы бардык баштапкы шарттарда нөл туруктуу ката же глобалдык асимптотикалык туруктуулук дооматына тең эмес.
• VSM мисалы реалдуу inverter же улуттук тармак эксперименти эмес.
• NRMSE жана PCC жыйынтыктары изилдөөдө колдонулган эки benchmark система жана көрсөтүлгөн гиперпараметрлер менен симуляцияларга гана тиешелүү.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

SIMO benchmark системасы

Биринчи тест эки абал өзгөрмөсү жана бир башкаруу кириши бар сызыктуу эмес SIMO система. Эталондук траектория:

\[ x_d= \begin{bmatrix} \sin(t)\\ \cos(t)+\sin(t) \end{bmatrix} \]

деп тандалган.

Колдонулган иштөө чыгымы:

\[ V= \int_t^\infty \frac{1}{2} \left( e_1^2+ e_2^2+ 5\times10^{-4}\hat u_c^2 \right)d\tau \]

түрүндө.

8-беттеги 4-сүрөт эки система абалы эталондук сигналдарды көзөмөлдөп, баштапкы өтмө режимден кийин көзөмөл каталары азайып, башкаруу буйругу чектелген бойдон калганын көрсөтөт. Ошол эле сүрөттүн төмөнкү панелинде пакет жоготуу окуялары убакыт боюнча берилген.

5-сүрөттө эки өлчөмдүү \((e_1,e_2)\) ката траекториясы баштапкы чекиттен нөлдүн айланасындагы кичине аймакка жылат. Бул көрүнүш булакта UUB жүрүм-турумунун сандык чагылдырылышы катары берилет.

AIC тармактарынын үйрөнүү жүрүм-туруму

8-беттеги 6-сүрөт critic, actor жана identifier ката сигналдары менен актор gradientтеринин убакыт боюнча өзгөрүшүн көрсөтөт. Алгачкы өтмө мезгилден кийин тармак каталары жана gradientтер чектелген аймактарда калганын көрүүгө болот.

7-сүрөт critic үйрөнгөн баалуулук мейкиндигин болжол менен квадраттык бет түрүндө көрсөтөт. 8-сүрөт болсо identifier үйрөнгөн \(\hat g(x)\) gradient багыты реалдуу benchmark системасынын \(g(x)\) багыты менен негизинен бирдей белгиде калганын текшерет.

MIMO benchmark системасы

Экинчи тест эки абал жана эки башкаруу кириши бар nonlinear MIMO система. Система 30 секунд симуляцияланган.

9-беттеги 9-сүрөт эки абал өтмө режимден кийин эталондорун көзөмөлдөгөнүн көрсөтөт. Пакет жоготуулары уланып турган мезгилдерде да башкаруу буйруктары түзүлүп, көзөмөл каталары чектелген аймакка жакындаган.

Беш пакет жоготуу сценарийи кантип түзүлгөн?

Сандык анализде беш байланыш абалы колдонулган:

Бул пайыздар булакта аныкталган \(P(\gamma=1)=\bar{\gamma}\) ийгиликтүү берүү ыктымалдыгынан чыгарылган. Параметр таблицаларындагы “Dropout rate” белгисине карама-каршы, математикалык аныктама \(\bar{\gamma}\)-ны ийгиликтүү берүү ыктымалдыгы деп берет.

Натыйжа кантип өлчөнгөн?

Эки негизги көрсөткүч колдонулган:

Normalized Root Mean Square Error (NRMSE): көзөмөлдөнгөн траектория менен эталондун ортосундагы нормалдаштырылган орточо ката чоңдугун өлчөйт. Төмөн маани жакшыраак көзөмөлдү билдирет.

Pearson Correlation Coefficient (PCC): реалдуу абал траекториясы менен каалаган эталондук траекториянын корреляциясын өлчөйт. 1 ге жакын маанилер күчтүү сызыктуу шайкештикти көрсөтөт.

Ар бир симуляция 5 жолу кайталанып, максимум, орточо жана стандарттык четтөө маанилери берилген.

Мындан тышкары эки башка баалоо мезгили колдонулган:

• OTE — Overall Tracking Error: бүт симуляция убактысын камтыйт.
• PCTE — Post-Convergence Tracking Error: баштапкы жакындашуу режиминен кийинки көзөмөл натыйжасын баалайт.

SIMO системасынын сандык жыйынтыктары

Бул жыйынтыктарда пакет жоготуу көбөйгөн сайын ката маанилери сөзсүз монотондуу өспөй турганы көрүнөт. Мисалы, айрым dropout сценарийлеринде SIMO NRMSE жоготуусуз сценарийден төмөн чыккан. Натыйжалар стохастикалык эксперименттерге жана адаптивдүү үйрөнүү процессине негизделгендиктен бир таблицадан “пакет жоготуу натыйжаны жакшыртат” деген жыйынтык чыгарууга болбойт.

MIMO системасынын сандык жыйынтыктары

MIMO системасында пакет жоготуулары айрыкча бүт симуляцияны камтыган OTE метрикасында ачык натыйжа төмөндөшү менен байланыштуу. Жоготуусуз учурда орточо OTE NRMSE 0,1125 болсо, \(\bar{\gamma}_s=0.8,\bar{\gamma}_c=0.7\) сценарийинде 0,2301 ге өскөн. Ошого карабастан баштапкы жакындашуудан кийин PCTE PCC бардык сценарийлерде 0,99 дан жогору калган.

VSM күч системасынын мисалы

Акыркы колдонмо мисалы inverter негизиндеги өндүрүш үлүшү жогору күч системасынын Virtual Synchronous Machine (VSM) динамикасы. Классикалык синхрондук генераторлордогу физикалык айланма инерция inverterлерде табигый түрдө жок болгондуктан, VSM башкаруу виртуалдык инерция жүрүм-турумун окшоштуруу үчүн колдонулат.

Булакта VSM динамикасынын тиешелүү бөлүгү:

\[ f(x)= \begin{bmatrix} \omega-\omega_{nom}\\ \frac{1}{H} \left[ -D_p(\omega-\omega_{nom}) -\frac{EV_c}{X_{eq}}\sin(\delta) \right] \end{bmatrix} \]

жана башкаруу кириш матрицасы:

\[ g(x)= \begin{bmatrix} 0\\ 1/H \end{bmatrix} \]

деп аныкталган.

Эталондук жыштык:

\[ \omega_d=\omega_{nom}=50\ \mathrm{Hz} \]

деп белгиленген.

11-беттеги 13(a)-сүрөт \(t=0\) учурда колдонулган күч тең салмаксыздыгынан кийин башкарылбаган VSM жыштыгы 50 Hz айланасында өсүүчү термелүү көрсөткөнүн; 13(b)-сүрөт болсо AIC башкаруу иштетилгенде жыштык кайра 50 Hzге келтирилгенин көрсөтөт. Ошол эле сүрөттүн төмөнкү панелдеринде башкаруу буйругу жана пакет жоготуу окуялары бар.

Изилдөө бул мисал үчүн өзүнчө NRMSE, PCC же реалдуу тармак стандартына негизделген жыштык сапаты метрикасын бербейт. Ошондуктан күч системасынын жыйынтыгы негизинен симуляция убакыт катарынын жүрүм-турумуна негизделет.

Изилдөөнүн күчтүү жактары

Изилдөөнүн күчтүү жагы пакет жоготууну симуляцияга кийин кошулган бузуу катары гана эмес, баалуулук функциясына жана үйрөнүү теңдемесине түз киргизүүсү. Identifierдин жетишпеген маалыматты болжолдоо жана critic–actor gradient байланышы катары колдонулушу сунушталган AIC архитектурасынын негизги түзүлүштүк салымын түзөт.

Мындан тышкары, ыкма бир гана мисалда көрсөтүлгөн эмес; SIMO, MIMO жана күч системасынын динамикасы болуп үч башка башкаруу контекстинде сыналган. SIMO жана MIMO тесттеринде беш ар башка байланыш абалы жана беш кайталоо колдонулуп, орточо жана стандарттык четтөөлөр берилгени бир гана туш келди пакет жоготуу катарына таянган баалоодон күчтүүрөөк сандык текшерүү берет.

Негизги чектөөлөр

Ошого карабастан изилдөө толугу менен сандык симуляцияга негизделет. Реалдуу тармактагы пакет жоготуулар көз карандысыз Bernoulli окуяларынан айырмаланып катарлаш, корреляцияланган же жүк абалына көз каранды болушу мүмкүн болгон шарттар текшерилген эмес.

Булак ошондой эле байланыш кечигүүсүн учурдагы иштин сыртында калтырып, аны келечектеги изилдөө темасы катары белгилейт. Реалдуу тармакка туташкан башкаруу системаларында кечигүү менен пакет жоготуунун бир убакта болушу маанилүү болгондуктан учурдагы жыйынтыктар түз реалдуу убакыт тармак ишенимдүүлүгүнүн кепилдиги деп бааланбашы керек.

Акырында, модельден көз каранды эместик башкаргыч жагынан системанын \(f(x)\) жана \(g(x)\) функциялары алдын ала берилбешин билдирет. Benchmark жана VSM plantтардын жүрүм-турумун түзүү үчүн симуляция жагында, албетте, реалдуу система теңдемелери колдонулат. Бул айырма “изилдөөдө эч кандай система модели колдонулган эмес” деген туура эмес түшүндүрмөнүн алдын алуу үчүн маанилүү.

Булак жана Ыкма Жөнүндө Эскертүү

Tam özgün çalışma adı: Actor-Identifier-Critic Reinforcement Learning for Adaptive Model-Free Optimal Control of Nonlinear Systems with Stochastic Packet Dropouts

Авторлор: Kianoush Aqabakee, Kosar Behnia, Amirhossein Heydarian Ardakani, Farzaneh Abdollahi жана Elham Shirazi.

Авторлордун ирети: Булак версиясындагы ирет өзгөртүүсүз сакталган.

Тең биринчи автор/тең салым: Каралган версияда тең салым билдирүүсү жок.

Жооптуу автор: Булакта өзүнчө corresponding-author белгиси жок болгондуктан белгилүү бир автор жооптуу автор катары жарыяланган эмес.

Булакта берилген байланыш маалыматтары: Kianoush Aqabakee — kianoush.aqabakee@aut.ac.ir; Kosar Behnia — kosar.behnia@aut.ac.ir; Farzaneh Abdollahi — f_abdollahi@aut.ac.ir; Amirhossein Heydarian Ardakani — a.heydarian@utwente.nl; Elham Shirazi — e.shirazi@utwente.nl.

Мекемелер: Department of Electrical Engineering, Amirkabir University of Technology, Tehran, Iran; Faculty of Engineering Technology, University of Twente, Enschede, Netherlands.

Платформа: arXiv.

arXiv идентификатору: 2605.28569.

Каралган версия: arXiv:2605.28569v2.

Биринчи жөнөтүү: 27 Май 2026.

v2 ревизиясы: 28 Май 2026.

Категория: Systems and Control (eess.SY).

arXiv/DataCite DOI: 10.48550/arXiv.2605.28569.

Расмий жазуу:https://arxiv.org/abs/2605.28569

Булак түрү жана рецензия статусу: Каралган иш arXiv изилдөө preprintи. Расмий arXiv жазуусунда рецензияланган акыркы журнал жарыясы же journal-reference маалыматы ырасталган эмес.

Журнал/басма: Каралган версия үчүн оригиналдуу рецензияланган журнал же конференция жарыясы көрсөтүлгөн эмес. arXiv preprint платформасы жана рецензияланган журнал катары бааланбашы керек.

Лицензия: arXiv perpetual non-exclusive distribution license. Бул лицензия Creative Commons кайра колдонуу лицензиясы катары чечмеленбеши керек.

Каржылоо: Каралган версияда өзүнчө каржылоо билдирүүсү аныкталган эмес.

Кызыкчылыктардын кагылышы: Каралган версияда өзүнчө competing-interests билдирүүсү аныкталган эмес.

Маалымат/код жеткиликтүүлүгү: Каралган версияда өзүнчө data availability же ачык код репозиторийи тууралуу билдирүү аныкталган эмес.

CRediT салымдары: Каралган версияда өзүнчө CRediT authorship contribution statement жок.

Негизги ыкма: Үзгүлтүксүз убакыттагы affine сызыктуу эмес системалар үчүн Actor-Identifier-Critic бекемдөөчү үйрөнүү түзүлүшү; Bernoulli сенсор жана актуатор пакет жоготуулары; model-free BHJB; neural-network identifier; temporal-difference critic жаңыртуусу; Hamiltonian минималдаштыруусуна негизделген actor жаңыртуусу жана Lyapunov негизиндеги UUB туруктуулук анализи.

Текшерүү: Эки nonlinear сандык benchmark — SIMO жана MIMO — жана Virtual Synchronous Machine негизиндеги күч системасынын симуляциясы. SIMO жана MIMO сандык анализдери беш ар башка пакет берүү сценарийинде бештен кайталоо менен бааланган.

Булак ичиндеги пакет ыктымалдыгы жөнүндө эскертүү: Ыкма бөлүмүндө \(\bar{\gamma}_s\) жана \(\bar{\gamma}_c\) пакеттердин ийгиликтүү кабыл алынуу ыктымалдыгы катары аныкталган. Бирок SIMO жана MIMO параметр таблицаларында ошол эле чоңдуктардын сап аталышында “Dropout rate” деген сөз колдонулат. Бул Verianla түшүндүрмөсүндө математикалык аныктама негиз болуп, маанилер берүү ийгилигинин ыктымалдыгы катары чечмеленген.

Булак ичиндеги символ эскертүүсү: Негизги ыкма сенсор каналын \(\gamma_s\), башкаруу каналын \(\gamma_c\) менен аныктаса, айрым симуляция таблица/графиктери \(\gamma_p\) белгилөөсүн колдонушат. Булак бул белгилөө өзгөрүшүн өзүнчө түшүндүрбөйт; Verianla текстинде символдор унчукпай жаңы физикалык өзгөрмө катары чечмеленген эмес.

Туруктуулук чеги: Изилдөөнүн Lyapunov анализи UUB жыйынтыгына негизделет. Бул туюнтма бардык шарттарда глобалдык асимптотикалык нөл көзөмөл катасынын кепилдиги эмес.

Эксперименттик текшерүү чеги: Физикалык plant, hardware-in-the-loop, реалдуу байланыш тармагы, реалдуу inverter же электр тармагынын тести жок. Күч системасынын колдонмосу да сандык VSM симуляциясы.

Келечектеги иш: Авторлор байланыш кечигүүсүн тармакка туташкан башкаруу системасынын маселеси катары келечекте карай турганын белгилешет.

Мазмундун негизи: Бул Verianla түшүндүрмөсү каралган иштин маселе аныктамасына, теңдемелерине, Actor-Identifier-Critic түзүлүшүнө, үйрөнүү эрежелерине, Lyapunov анализдерине, алгоритмине, SIMO/MIMO симуляцияларына, III таблицадагы сандык жыйынтыктарга жана VSM күч системасынын мисалына негизделген. Библиографиялык идентификацияны текшерүүдөн тышкары тышкы булактардан жаңы илимий жыйынтык кошулган эмес.