Ҳама ҳамзамон як чизро намедонанд

Дар ҳаёти ҳаррӯза бисёр системаҳо аз ҷониби танҳо як қарордиҳанда идора намешаванд. Якчанд нафар, сенсор, робот, маркази назорат ё агенти нармафзор метавонанд дар болои як система қарор қабул кунанд.

Масалан:

Як гурӯҳи роботҳо метавонад дар як анбор кор кунад.
Дар як шабакаи энергетикӣ марказҳои гуногуни назорат метавонанд минтақаҳои гуногунро пайгирӣ кунанд.
Дар як флоти нақлиёти худрон ҳар як мошин сенсорҳои худро мебинад, аммо иттилооти мошинҳои дигарро бо таъхир мегирад.
Дар як шабакаи мудофиа, иртибот ё назорати офатҳо нуқтаҳои гуногуни мушоҳида метавонанд иттилооти гуногун дошта бошанд.

Дар чунин системаҳо бузургтарин масъала чунин аст:

Ҳар қарордиҳанда тамоми системаро намебинад.

Як агент ченакҳои худро фавран медонад, аммо иттилооте, ки агентҳои дигар дидаанд, метавонад дертар ба ӯ расад. Баъзе иттилоот муштарак мешавад, баъзеи дигар хусусӣ мемонад. Дар чунин ҳолат қароргирии хуб танҳо ба саволи “ман чӣ дидам?” вобаста нест; он ҳамчунин ба саволҳои “дигарон чӣ медонанд, ҳанӯз чиро намедонанд ва чиро бо таъхир хоҳанд донист?” бастагӣ дорад.

Масъалаи асосие, ки ин мақола ба он таваҷҷуҳ мекунад, маҳз ҳамин аст.

POMDP чӣ маъно дорад?

Яке аз мафҳумҳои асосии мақола POMDP мебошад. Кушодаи он Partially Observable Markov Decision Process аст. Ба тоҷикӣ онро метавон “раванди қароргирии Марков бо мушоҳидаи қисман” номид.

Агар содда кунем:

Система як ҳолати воқеӣ дорад, аммо қарордиҳанда ин ҳолатро пурра дида наметавонад. Ба ҷои ин, ӯ мушоҳидаҳои пурғавғо ё нопурра мегирад. Қарордиҳанда бо ин мушоҳидаҳо дар бораи он ки система дар кадом ҳолат буда метавонад, як эътиқод месозад ва мувофиқи он амал интихоб мекунад.

Дар POMDP-и якқарордиҳанда ин аллакай душвор аст. Аммо дар ин мақола масъала боз ҳам душвортар мешавад: якчанд қарордиҳанда вуҷуд дорад ва ҳар кадом иттилооти гуногун дорад.

Аз ин сабаб мавзӯъ ба “POMDP-и ғайримарказӣ” табдил меёбад.

Мубодилаи иттилоот бо таъхир чӣ маъно дорад?

Дар мақола мубодилаи иттилоот бо таъхири T-қадам баррасӣ мешавад. Маънои он чунин аст:

Як қарордиҳанда мушоҳидаи нави худро фавран медонад. Аммо қарордиҳандагони дигар ин иттилоотро танҳо баъд аз T қадами вақт меомӯзанд.

Агар масалан T = 2 бошад, иттилооте, ки як агент ҳоло мебинад, барои дигарон баъд аз ду қадам ба иттилооти муштарак табдил меёбад.

Дар ин ҳолат иттилооти ҳар агент ба ду қисм ҷудо мешавад:

Иттилооти хусусӣ: иттилооте, ки агент ҳоло медонад, аммо дигарон ҳанӯз намедонанд.
Иттилооти муштарак: иттилооте, ки бо гузаштани муҳлати таъхир акнун ҳамаи агентҳо медонанд.

Ин ҷудокунӣ муҳим аст. Зеро қарордиҳанда ҳам иттилооти нави худро ва ҳам гузаштаи муштаракеро, ки ҳама медонанд, истифода бурда қарор қабул мекунад.

Формулаи асосии иттилоот дар мақола чиро мефаҳмонад?

Сохтори иттилоот дар мақола ба таври содда чунин хонда мешавад:

Ik,t = Λk,t ∪ Δt(K)

Дар ин формула:

Ik,t, иттилооти умумии агенти рақами k дар лаҳзаи t мебошад.
Λk,t, иттилооти хусусии ҳамон агент мебошад.
Δt(K), иттилооти деррасест, ки ҳамаи агентҳо муштарак доранд.

Бо забони ҳаррӯза:

Қарори як агент = бар асоси иттилооти хусусии худ + иттилооти муштараке, ки ҳама медонанд, сохта мешавад.

Ин содда менамояд, аммо дар масъалаҳои қароргирии бисёрагентӣ ҷудокунии муҳим аст. Зеро бе донистани он ки кадом иттилоот хусусӣ ва кадом иттилоот муштарак аст, модели дурусти қарор сохта намешавад.

Стратегияи қарор чӣ маъно дорад?

Ифодаи асосии дигари мақола чунин аст:

Uk,t = γk,t(Ik,t)

Маънои соддаи ин формула:

Амал ё иқдоми агент аз рӯйи иттилооте интихоб мешавад, ки ӯ дар ҳамон лаҳза дорад.

Дар ин ҷо:

Uk,t, амали агенти рақами k дар лаҳзаи t мебошад.
γk,t, стратегияи қарории агент мебошад.
Ik,t, сохтори иттилоотии агент дар ҳамон лаҳза мебошад.

Яъне агент тасодуфӣ қарор намегирад; ӯ мувофиқи иттилооти дар дастдоштааш стратегияро татбиқ мекунад.

Аммо масъала чунин аст: бо гузашти вақт таърихи иттилоот калон мешавад. Агар агент маҷбур бошад тамоми гузаштаро ҳамон тавр нигоҳ дорад, масъала зуд аз ҷиҳати ҳисоббарорӣ ҳалнашаванда мегардад. Аз ин рӯ фишурдани иттилоот лозим аст.

Чаро фишурдани иттилоот муҳим аст?

Тасаввур кунем, ки як қарордиҳанда тамоми мушоҳидаҳои гузашта, амалҳои гузашта ва ҳамаи иттилооти бо таъхир аз агентҳои дигар омадаро нигоҳ медорад. Бо афзоиши вақт ин анбӯҳи иттилоот калон мешавад.

Ин аз ду ҷиҳат мушкил аст:

Якум, ҳисобкунии қарор душвортар мешавад.
Дуюм, таърифи стратегия ба гузаштаи рӯ ба афзоиш вобаста мегардад.

Дар назарияи классикии POMDP ин мушкил бо “ҳолати эътиқод” ҳал карда мешавад. Қарордиҳанда ба ҷои нигоҳ доштани тамоми гузашта, як тақсимоти эҳтимолӣ дар бораи он ки система дар кадом ҳолат буда метавонад, нигоҳ медорад.

Ин мақола ҳам мекӯшад фикри монандро ба системаҳои ғайримарказӣ гузаронад. Аммо дар ин ҷо як эътиқоди ягона кофӣ нест. Зеро ҳар агент иттилооти хусусӣ ва иттилооти муштараки гуногун дорад.

Фикри асосии таҳқиқот: ҳолати иттилоотии сеқисма

Муҳимтарин натиҷаи мақола ин аст, ки ҳар агент метавонад сохтори иттилооти таъхирдори худро ба се қисм фишурда кунад.

1. Тақсимоти постериории хусусӣ
Ин эътиқоди эҳтимолиест, ки агент мувофиқи иттилооти худ дар бораи ҳолати воқеии система ва иттилооти хусусие, ки агентҳои дигар намебинанд, месозад.

Бо баёни содда:
“Аз рӯйи он чи ман дидаам, дар бораи система ва паҳлӯҳои хусусии агентҳои дигар ба чӣ бовар дорам?”

2. Тақсимоти постериории муштарак
Ин эътиқоди эҳтимолии муштарак дар бораи система мебошад, ки аз рӯйи иттилооти муштараки ҳамаи агентҳо ба вуҷуд меояд.

Бо баёни содда:
“Аз рӯйи гузаштаи муштараке, ки ҳама медонанд, тахмини муштараки мо дар бораи система чист?”

3. Ҷузъи кӯтоҳи иттилооти хусусии агент
Ин қисми иттилооти хусусии ҷорӣ аст, ки ҳанӯз танҳо дар худи агент мавҷуд мебошад.

Бо баёни содда:
“Ҳоло кадом иттилооти кӯтоҳ танҳо ба ман маълум аст, аммо дигарон ҳанӯз онро наомӯхтаанд?”

Ин сохтори сегона фишурдасозии назариявие пешниҳод мекунад, ки метавонад ба агентҳо имкон диҳад бе нигоҳ кардан ба гузаштаи беохир афзоянда қарор тавлид кунанд.

Фарқи “эътиқоди хусусӣ” ва “эътиқоди муштарак” чист?

Муҳимтарин роҳи фаҳмидани ин мақола дарк кардани фарқи байни эътиқоди хусусӣ ва эътиқоди муштарак аст.

Ду роботеро тасаввур кунем, ки дар як анбор кор мекунанд.

Роботи A дар пеши худ монеа дид. Роботи B ҳанӯз инро намедонад. Аммо ҳар ду иттилооти харитаеро, ки чанд сония пеш мубодила шуда буд, медонанд.

Дар ин ҳолат:

Эътиқоди муштарак аз харитаи кӯҳна ва мушоҳидаҳои кӯҳнае иборат аст, ки ҳар ду робот медонанд.
Эътиқоди хусусии Роботи A мушоҳидаи нави монеаи худро низ дар бар мегирад.
Эътиқоди хусусии Роботи B бошад чизҳои дигареро дар бар мегирад, ки худи ӯ дидааст.

Роботи A ҳангоми қароргирӣ ҳам харитаи муштарак ва ҳам иттилооти нави худро истифода мебарад. Аммо мумкин аст ҳамчунин ба ҳисоб гирифт, ки Роботи B ҳанӯз чиро намедонад.

Чорчӯбе, ки мақола пешниҳод мекунад, мекӯшад чунин асимметрияҳои мураккаби иттилоотиро ба таври математикӣ идора кунад.

Чаро барномасозии динамикӣ истифода мешавад?

Барномасозии динамикӣ усулест, ки ба ҳал кардани масъалаҳои бузурги қароргирӣ бо тақсим кардани онҳо ба қадамҳои вақт кумак мекунад. Қарори имрӯз ба хароҷот ё фоидаҳои эҳтимолии оянда таъсир мерасонад. Аз ин рӯ масъалаи қарор ба қафо ё қадам ба қадам таҳлил карда мешавад.

Дар POMDP-и классикии як агент барномасозии динамикиро метавон аз рӯйи ҳолати эътиқод анҷом дод. Ин бисёр муҳим аст, зеро агент на тамоми гузаштаро, балки танҳо ҳолати эътиқоди ҷориро истифода бурда қарор мегирад.

Саҳми ин мақола дар он аст, ки он мекӯшад дар системаҳои ғайримарказӣ ва дорои мубодилаи иттилооти таъхирдор низ сохтори монанди барномасозии динамикӣ бисозад.

Аммо он аз равиши классикӣ фарқ дорад: ба ҷои як функсияи арзиши муштарак, барои ҳар агент функсияҳои ҷудогонаи хароҷот-идома ва муодилаҳои ҷудогонаи DP истифода мешаванд.

Чаро як муодилаи DP метавонад кофӣ набошад?

Баъзе таҳқиқоти пешина кӯшиш кардаанд барои ҳамаи агентҳо як муодилаи барномасозии динамикиеро истифода баранд, ки ба иттилооти муштарак такя мекунад.

Ин равиш метавонад дар баъзе ҳолатҳои махсус кор кунад. Аммо мувофиқи мақола, хусусан дар ҳолатҳои мубодилаи таъхирдори дарозтар, чунин муодилаи ягона маҳдудиятҳои муҳим дорад.

Зеро як муодилаи иттилооти муштарак метавонад иттилооти хусусӣ ва эътиқоди хусусии ҳар агентро ба қадри кофӣ ифода накунад. Илова бар ин, дар баъзе равишҳои кӯҳна оптимизатсия ба ҷои фазои амалҳо бевосита дар фазои стратегияҳо анҷом дода мешавад. Ин ҳам масъаларо вазнинтар мекунад.

Ин мақола роҳи дигар пешниҳод мекунад:

Барои ҳар агент муодилаи ҷудогонаи барномасозии динамикӣ сохтан, ки ба сохтори иттилоотии худи ӯ вобаста аст.

Ҳамин тавр ҳар агент дар фазои амали худ оптимизатсия мекунад. Ин ба барномасозии динамикии классикии POMDP бештар монанд аст.

Тавозуни дастаи ғайримарказӣ чӣ маъно дорад?

Яке аз мафҳумҳои муҳими мақола “decentralized sequential team equilibrium” мебошад. Онро ба таври содда метавон “тавозуни пайдарпайи дастаи ғайримарказӣ” тарҷума кард.

Фикр дар ин ҷо чунин аст:

Якчанд агент вуҷуд дорад. Ҳамаи онҳо мекӯшанд як ҳадафи муштараки дастаро беҳтар кунанд. Аммо ҳар кадом мувофиқи иттилооти худ қарор мегирад.

Ҳангоми арзёбии стратегияи як агент, стратегияҳои агентҳои дигар собит нигоҳ дошта мешаванд. Сипас дида мешавад, ки оё ин агент метавонад стратегияи худро беҳтар кунад ё не.

Ин ба фикри тавозуни Nash дар назарияи бозӣ монанд аст. Аммо фарқи муҳим чунин аст: дар ин ҷо манфиатҳои ҷудогонаи агентҳо не, балки як хароҷоти муштараки даста ё ҳадафи муштараки даста вуҷуд дорад.

Яъне ҳадафи система “ҳар кас фоидаи худро максималӣ кунад” нест; равиш чунин аст: “ҳар агент дар доираи маҳдудияти иттилоотии худ барои ҳадафи муштараки даста беҳтарин посухро диҳад”.

Принсипи ҷудосозӣ чӣ маъно дорад?

Дар мақола “separation principle”, яъне принсипи ҷудосозӣ, ҳамчун натиҷаи муҳим баррасӣ мешавад.

Дар назарияи классикии идоракунӣ принсипи ҷудосозӣ тақрибан чунин мегӯяд:

Аввал ҳолати системаро тахмин кун.
Сипас аз рӯйи ин тахмин қарори идоракуниро бидеҳ.

Яъне тахмин ва идоракунӣ аз ҷиҳати мафҳумӣ метавонанд аз ҳам ҷудо бошанд.

Ин мақола мекӯшад версияи умумитарини инро барои системаҳои ғайримарказӣ ва дорои мубодилаи иттилооти таъхирдор пешниҳод кунад.

Ҳар агент аввал ҳолатҳои иттилоотии хусусӣ ва муштаракро нав мекунад. Сипас қарори худро аз рӯйи ҳамин ҳолатҳои фишурдашудаи иттилоотӣ медиҳад.

Ин аз ин ҷиҳат муҳим аст:

Барои қарор гирифтан агент маҷбур нест тамоми гузаштаи хомро нигоҳ дорад. Ҳолатҳои тахминии иттилоотӣ метавонанд ҳамчун омори кофӣ истифода шаванд.

Формулаҳо ба мо чӣ меомӯзанд?

Гарчанде формулаҳои мақола хеле техникӣ менамоянд, барои хонанда се фикри асосӣ доранд.

Якум: иттилооти ҳар агент ба ҷузъҳои хусусӣ ва муштарак ҷудо мешавад.
Ин муодили математикии мубодилаи таъхирдор аст.

Дуюм: амали ҳар агент ба ҳолати иттилоотии худи ӯ вобаста аст.
Яъне стратегияи қарор бо он чизе маҳдуд мешавад, ки агент медонад.

Сеюм: тақсимотҳои постериории хусусӣ ва муштарак метавонанд ба услуби Марков нав карда шаванд.
Ин имкон медиҳад ба ҷои нигоҳ доштани тамоми гузашта бо ҳолати эътиқоди ҷорӣ пеш рафт.

Аз ин рӯ формулаҳо танҳо рамзҳои абстрактӣ нестанд. Ҳадафи асосӣ ин аст, ки таърихи иттилоотии рӯ ба афзоиш ба қисмҳои хурдтар ва барои қарор кофӣ кам карда шавад.

Таҳқиқот чӣ мегӯяд?

Паёми асосии таҳқиқот чунин аст:

Дар системаҳои қароргирии ғайримарказӣ, қисман мушоҳидашаванда ва дорои мубодилаи иттилооти таъхирдор, ҳар агент метавонад иттилооти зарурӣ барои қарорро ба сохтори сеқисма фишурда кунад.

Ин се қисм:

• тақсимоти постериории хусусӣ,
• тақсимоти постериории муштарак,
• ҷузъи кӯтоҳи иттилооти хусусӣ.

Муҳаққиқон ҳамчунин иддао мекунанд, ки бо ин ҳолатҳои иттилоотӣ метавон муодилаҳои нави барномасозии динамикӣ сохт ва ин муодилаҳо баъзе хусусиятҳои асосии барномасозии динамикии классикии POMDP-и марказиро нигоҳ медоранд.

Яке аз ин хусусиятҳо он аст, ки оптимизатсия на дар фазои стратегияҳо, балки дар фазои амалҳо анҷом дода мешавад. Ин аз ҷиҳати назариявӣ муҳим аст, зеро фазои стратегияҳо хеле бузургтар ва мураккабтар мебошад.

Нуқтаи муҳими дигар он аст, ки ҳолатҳои иттилоотӣ метавонанд ба навсозии навъи Марков итоат кунанд. Ин нишон медиҳад, ки ба ҷои таърихи додаҳои бо вақт афзоянда метавон тағйирёбандаҳои қарории идорашавандаро истифода бурд.

Чаро ин муҳим аст?

Ҳарчанд ин таҳқиқот назариявӣ менамояд, бо технологияҳои имрӯза робитаҳои қавӣ дорад.

Зеро бисёр системаҳои муосир ғайримарказӣ мебошанд:

Гурӯҳҳои роботҳо якҷоя кор мекунанд.
Флотҳои нақлиёти худрон иттилоот мубодила мекунанд.
Шабакаҳои энергетикӣ бо марказҳои минтақавии назорат идора мешаванд.
Шабакаҳои тақсимшудаи сенсорҳо муҳит, офат ё амниятро назорат мекунанд.
Системаҳои бисёрагентии зеҳни сунъӣ дар вазифаҳои муштарак қарор мегиранд.

Дар ин системаҳо ҳама ҳамзамон ҳама чизро намедонанд. Иттилоот метавонад нопурра, таъхирдор ё танҳо маҳаллӣ бошад. Аз ин рӯ назарияи қароргирӣ бояд на танҳо барои системаҳои марказӣ, балки барои системаҳои тақсимшудае низ таҳия шавад, ки асимметрияи иттилоот доранд.

Аҳамияти мақола дар он аст, ки барои ин масъалаи душвор як чорчӯбаи математикӣ пешниҳод мекунад, ки онро тартибмандтар месозад.

Нуқтаҳое, ки бояд бо эҳтиёт баррасӣ шаванд

Ин таҳқиқот мустақиман як нармафзори омода, алгоритми идоракунии робот ё татбиқи саноатӣ нест. Саҳми асосии он дар сатҳи назариявӣ ва математикӣ аст.

Аввалан, таҳқиқот preprint мебошад. Набояд гумон кард, ки он аз арзёбии ҳамсолон гузаштааст.

Дуюм, мақола муодилаҳои умумии барномасозии динамикӣ ва сохторҳои ҳолати иттилоотиро пешниҳод мекунад. То чӣ андоза самаранок татбиқ шудани онҳо дар системаҳои бузурги воқеӣ аз ҷиҳати ҳисоббарорӣ мавзӯи таҳқиқоти ҷудогона аст.

Сеюм, масъалаҳои POMDP-и ғайримарказӣ худ аллакай синфҳои хеле душвори масъалаҳо мебошанд. Ҳарчанд сохтори фишурдани иттилоот аз ҷиҳати назариявӣ муҳим аст, барои алгоритмҳои амалӣ шояд усулҳои иловагии ҳалли тақрибӣ лозим шаванд.

Чорум, таҳқиқот аз рӯйи равиши тавозуни даста ва оптималияти шахс-ба-шахс пеш меравад. Ин дар ҳар ҳолат маънои кафолати оптималияти комили глобалии дастаиро надорад; мумкин аст шартҳои иловагӣ лозим бошанд.

Панҷум, пеш аз татбиқ дар роботикаи воқеӣ, энергетика, мудофиа, шабакаҳои молиявӣ ё системаҳои нақлиёт, фарзияҳои модел, таъхирҳои додаҳо, хатогиҳои иртибот ва ҳудудҳои амниятӣ бояд ҷудогона санҷида шаванд.

Хулоса

Ин таҳқиқот ба як саволи муҳим дар системаҳои бисёрагентӣ ва ғайримарказии қароргирӣ ҷавоб меҷӯяд:

Як агент бе нигоҳ доштани тамоми гузашта бо иттилооти нопурра ва таъхирдор чӣ гуна қарор гирифта метавонад?

Ҷавобе, ки мақола пешниҳод мекунад, фишурдани иттилоот ба се қисми асосӣ мебошад: эътиқоди хусусии агент, эътиқоди муштараки ҳама ва иттилооти кӯтоҳи хусусии агент.

Ин чорчӯба барои масъалаҳои POMDP бо мубодилаи иттилооти таъхирдор муодилаҳои нави барномасозии динамикӣ ва принсипи ҷудосозӣ пешниҳод мекунад. Гарчанде таҳқиқот даъвои татбиқи мустақими амалӣ надорад, барои гурӯҳҳои роботҳои оянда, шабакаҳои тақсимшудаи сенсорҳо ва системаҳои бисёрагентии зеҳни сунъӣ самти муҳими назариявӣ нишон медиҳад.

Паёми содатарини ин навишта чунин аст:

Дар системаҳои тақсимшуда қароргирии хуб аз донистани ҳама чиз намегузарад; он метавонад аз ҷамъбасти дурусти он гузарад, ки кӣ чиро медонад.

Ёддошти манбаъ ва усул

Ин мундариҷа бо истифода аз таҳқиқоти академии Charalambos D. Charalambous, Umarbek Guvercin ва Seddik Djouadi бо номи “Private & Common Information States in Decentralized Team Equilibrium via Dynamic Programming for POMDPs with Delayed Sharing” дар формати таҳририи Verianla ба таври аслӣ омода шудааст.

Таҳқиқот preprint буда, дар arXiv нашр шудааст. Мундариҷа ҳадафи иттилоотӣ ва омӯзишӣ дорад. Он ҷойгузини машварати техникӣ барои системаҳои идоракунӣ, роботика, инфрасохтори ҳаётан муҳим, технологияҳои мудофиа, системаҳои молиявӣ ё татбиқҳои муҳандисии касбӣ нест.