Ин таҳқиқот тақсимоти канал ва қувваи интиқолро барои алоқаи дастгоҳ-ба-дастгоҳ баррасӣ кардааст, ки дар шабакаҳои мобилии 5G ба дастгоҳҳои наздик имкон медиҳад бидуни гузаштан аз истгоҳи пойгоҳӣ мустақиман бо ҳам муошират кунанд. Муҳаққиқон чорчӯбаи дуқабатаи омӯзиши амиқи тақвиятии иерархиро пешниҳод кардаанд, ки дар шароити набудани маълумоти пурраи ҳолати канал интихоби блоки захираро бо Double DQN ва идоракунии пайвастаи қувваро бо сохтори актор–танқидчии дорои ду танқидкунанда иҷро мекунад. Дар симулятсия усули пешниҳодшуда ба суръати умумии додаҳои 108,562 Mbps, индекси адолати Jain-и 0,971 ва мукофоти миёнаи 1,542 расидааст. Бо вуҷуди ин, байни формулаи система ва шумораи корбарон номувофиқии муҳими тақсимоти захираҳо мавҷуд аст; параметрҳои модели маълумоти қисмии канал ва натиҷаҳои устуворӣ нисбат ба сатҳҳои гуногуни хато шарҳ дода нашудаанд.

Ғояи асосии равиши пешниҳодшуда ин аст, ки ба ҷойи ҳал кардани интихоби дискретии канал ва идоракунии пайвастаи қувва дар як фазои бузурги амалҳо, онҳоро ба ду қабати ба ҳам пайвасти қарор ҷудо кунад. Назоратчии сатҳи боло барои ҳар ҷуфти D2D муайян мекунад, ки кадом блоки захираи мобилӣ дубора истифода шавад. Назоратчии сатҳи поён бошад қувваи интиқолро дар блоки захираи интихобшуда танзим мекунад. Функсияи мукофот ба зиёд кардани суръати умумии додаҳо ва адолат байни корбарон ва кам кардани дахолат, қувва ва вайронкунии сифати хизматрасонӣ нигаронда шудааст.

Арзёбӣ аз нуқтаи назари Туркия: Ин равиш барои гурӯҳҳои тадқиқотӣ дар Туркия, ки рӯйи шабакаҳои хусусии 5G, корхонаҳои оқил, системаҳои зичи IoT, алоқаи восита-ба-восита, шабакаҳои кампусӣ ва алоқа дар ҳолатҳои офат кор мекунанд, намунаи мутобиқшавандаи идоракунии захираҳоро пешниҳод мекунад. Аммо пеш аз истифодаи воқеӣ бояд бо басомадҳои истифодашаванда дар Туркия, зичии истгоҳҳои пойгоҳӣ, ҳаракатнокӣ, сохтори биноҳо, сатҳи дахолат ва хатоҳои арзёбии канал симулятсияҳои бисёрмарказӣ гузаронида шаванд. Озмоишҳои hardware-in-the-loop, платформаҳои воқеии санҷиши радио, ченкунии таъхир ва энергия ва тасдиқи беруна дар шабакаҳои операторони гуногун низ заруранд. Аз ин таҳқиқот наметавон хулоса кард, ки дар шабакаҳои зиндаи мобилии Туркия ҳамон афзоиши суръати додаҳо ба даст меояд ё усул барои истифодаи мустақим омода аст.

Алоқаи дастгоҳ-ба-дастгоҳ чист?

Алоқаи дастгоҳ-ба-дастгоҳ ба ду дастгоҳи корбари наздик имкон медиҳад додаҳоро мустақиман интиқол диҳанд. Ба ин тартиб, додаҳо маҷбур нестанд ҳамеша ба истгоҳи пойгоҳӣ рафта, сипас аз нав ба дастгоҳи ҳадаф фиристода шаванд. Пайвастҳои D2D метавонанд бо истифодаи дубораи захираҳои радиоии барои корбарони мобилӣ ҷудошуда самаранокии спектрро зиёд кунанд, сарбории трафикро дар истгоҳи пойгоҳӣ кам кунанд ва таъхири алоқаро коҳиш диҳанд.

Ин фоида ройгон нест, зеро интиқолдиҳандаи D2D метавонад ба корбари мобилӣ ё истгоҳи пойгоҳӣ дахолат эҷод кунад. Канал ва қувваи интиқоли пайвастҳое, ки як блоки захираро истифода мебаранд, бояд якҷоя интихоб шаванд. Истифодаи қувваи аз ҳад зиёд метавонад суръати додаҳои як ҷуфти D2D-ро баланд кунад, аммо сифати сигнали корбарони дигарро паст намояд.

Чаро маълумоти қисмии ҳолати канал муҳим аст?

Маълумоти ҳолати канал сифати ҷории пайванди радиоиро байни интиқолдиҳанда ва қабулкунанда ифода мекунад. Гирифтани маълумоти пурраи канал дар шабакаҳои воқеӣ аз сабаби ҳаракатнокии корбар, хатоҳои арзёбӣ, таъхири бозхурд ва сарбории сигнализатсия душвор аст. Аз ин рӯ, системаи тақсимоти захираҳо метавонад маҷбур шавад ба ҷойи худи канали воқеӣ бо арзёбие қарор қабул кунад, ки шов ё таъхирро дар бар мегирад.

Дар таҳқиқот каналҳои мустақими D2D ва каналҳои дахолат на бо арзишҳои пурра, балки бо арзишҳои арзёбишуда ба фазои ҳолат ворид карда шудаанд. Дар шарҳи симулятсия гуфта мешавад, ки маълумоти қисмии канал бо истифода аз шови Гауссӣ ва коррелятсияи вақтӣ сохта шудааст. Аммо дисперсияи шов, коэффисиенти коррелятсия ва дақиқии арзёбии канал дода нашудаанд. Ин камбудӣ такрори шароити таҷриба ва муқоисаи моделро дар сатҳҳои гуногуни номуайянӣ душвор мегардонад.

Модели система чӣ гуна сохта шудааст?

Таҳқиқот модели шабакаи якҳуҷайраиро истифода бурдааст. Истгоҳи пойгоҳӣ ба таҷҳизоти корбарони мобилӣ ва ҷуфтҳои D2D хизмат мерасонад. Ба ҳар корбари мобилӣ як блоки захираи ортогоналӣ ҷудо шуда, ба ҷуфтҳои D2D иҷозат дода шудааст, ки ин блокҳоро дубора истифода баранд.

Схемаи система дар саҳифаи 4-и таҳқиқот панҷ навъи асосии пайвандро нишон медиҳад:

• Пайванди муфиди болораванда аз корбари мобилӣ ба истгоҳи пойгоҳӣ,
• Дахолати байниқабатӣ аз интиқолдиҳандаи D2D ба истгоҳи пойгоҳӣ,
• Дахолати байниқабатӣ аз корбари мобилӣ ба қабулкунандаи D2D,
• Дахолати ҳамқабатӣ байни интиқолдиҳандаҳои D2D,
• Пайванди мустақим байни интиқолдиҳандаи D2D ва қабулкунандаи худи он.

Барои ҷуфти D2D i таносуби сигнал-дахолат-иловаи-шов дар таҳқиқот чунин моделсозӣ шудааст:

\[ \gamma_i^{D} = \frac{p_i h_{i,i}} {\sum_{j \neq i} p_j h_{j,i} + p_{c_i}^{C} h_{c_i,i} + \sigma^2} \]

Сурат қувваи сигнали муфидеро ифода мекунад, ки аз интиқолдиҳандаи D2D ба қабулкунандаи худи он мерасад. Дар махраҷ дахолати ҳамқабатӣ аз интиқолдиҳандаҳои дигари D2D, дахолати корбари мобилии истифодабарандаи ҳамон блоки захира ва шови ҳароратӣ ҷой доранд.

SINR-и корбари мобилии k дар истгоҳи пойгоҳӣ бошад чунин дода шудааст:

\[ \gamma_k^{C} = \frac{p_k^{C} h_{k,B}} {\sum_{i:c_i=k} p_i h_{i,B}+\sigma^2} \]

Истифодаи дубораи захираи мобилӣ аз ҷониби пайвастҳои D2D ба сигнали мобилӣ дар истгоҳи пойгоҳӣ дахолат илова мекунад. Аз ин рӯ, нигоҳ доштани арзиши SINR-и корбарони мобилӣ болотар аз ҳадди ақали муайяншуда ҳамчун маҳдудияти сифати хизматрасонӣ таъриф шудааст.

Суръати додаҳо чӣ гуна ҳисоб шудааст?

Муҳаққиқон суръатҳои дастрасии додаҳоро барои пайвастҳои D2D ва мобилӣ бо ифодаи иқтидори Shannon ҳисоб кардаанд:

\[ R_i^{D}=B\log_2(1+\gamma_i^{D}) \]

\[ R_k^{C}=B\log_2(1+\gamma_k^{C}) \]

Дар ин ҷо B паҳноии канал, R суръати додаҳо ва γ арзиши SINR-и пайванди дахлдор аст. Суръати умумии додаҳои D2D маҷмӯи суръатҳои ҳамаи ҷуфтҳои D2D мебошад:

\[ R_{\mathrm{sum}}^{D}=\sum_{i=1}^{N_d}R_i^{D} \]

Адолат байни корбарон чӣ гуна чен шудааст?

Танҳо ба ҳадди аксар расондани суръати умумии додаҳо метавонад боис шавад, ки ба корбарони дорои шароити хуби канал пайваста захира дода шуда, дигарон ақиб монанд. Аз ин рӯ, таҳқиқот индекси адолати Jain-ро истифода бурдааст:

\[ J = \frac{\left(\sum_i R_i^{D}\right)^2} {N_d\sum_i\left(R_i^{D}\right)^2} \]

Индекс байни 0 ва 1 арзиш мегирад. Наздик шудани арзиш ба 1 нишон медиҳад, ки суръатҳои додаҳои корбарони D2D мутавозинтар тақсим шудаанд. Аммо индекси баланди Jain худ аз худ маънои онро надорад, ки ҳамаи корбарон хизматрасонии кофӣ мегиранд; суръатҳои паст, вале ба ҳам наздик низ метавонанд арзиши баланди адолатро ба вуҷуд оваранд.

Тақсимоти захираҳо бо кадом ҳадафи оптимизатсия таъриф шудааст?

Муҳаққиқон масъалаи бисёрҳадафаро таъриф кардаанд, ки суръати умумии додаҳо, адолат ва самаранокии энергияро зиёд мекунад ва истифодаи қувва ва вайронкунии SINR-ро ҷазо медиҳад:

\[ \max_{\mathbf{c},\mathbf{p}} \alpha \bar{R}+\beta J+\eta E-\Phi_P-\Phi_S \]

Ин ҳадаф ҳамроҳ бо шартҳои нигоҳ доштани қувваҳои интиқоли D2D ва мобилӣ дар ҳудудҳо, ҷудо кардани блоки захира ба ҳар ҷуфти D2D, нигоҳ доштани ҳадҳои SINR ва болотар нигоҳ доштани индекси адолат аз ҳадди поёнии муайяншуда баррасӣ шудааст.

Мушкилоти блоки захира дар формула чист?

Маҳдудияти C3-и таҳқиқот талаб мекунад, ки ҳар ҷуфти D2D аз маҷмӯи захираҳои мобилӣ як блок интихоб кунад. Маҳдудияти C4 бошад мегӯяд, ки як блоки захираи мобилиро ҳадди аксар як ҷуфти D2D истифода бурда метавонад:

\[ \sum_{i:c_i=k}1\leq 1 \]

Дар ҷадвали симулятсия 75 корбари мобилӣ ва 110 ҷуфти D2D мавҷуд аст. Агар ҳар корбари мобилӣ танҳо як блоки захира дошта бошад, 75 блок мавҷуд мешавад. Агар ҳар ҷуфти D2D ҳатман як блок интихоб кунад ва ҳар блокро ҳадди аксар як ҷуфт истифода барад, ҷобаҷо кардани 110 ҷуфт ба 75 блок ғайриимкон аст.

Дар таҷрибаҳои зичии шабака низ нисбатҳои 25 корбари мобилӣ ба 40 ҷуфти D2D, 50 ба 75, 75 ба 110, 100 ба 150 ва 125 ба 200 ҷуфт истифода шудаанд. Дар ҳамаи конфигуратсияҳо шумораи ҷуфтҳои D2D аз шумораи блокҳои захира зиёд аст. Маълум нест, ки модел дар амал ба чанд ҷуфти D2D иҷозати истифодаи як блокро медиҳад, баъзе ҷуфтҳоро берун аз хизмат мегузорад ё маҳдудияти C4 нодуруст навишта шудааст.

Ғайр аз ин, агар C4 воқеан татбиқ шавад, дар як блоки захира ду ҷуфти D2D вуҷуд нахоҳад дошт; бинобар ин чӣ гуна пайдо шудани ҷамъбасти дахолати ҳамқабатии D2D–D2D дар муодилаи SINR-и D2D номуайян аст. Ин номувофиқии дохилӣ яке аз муҳимтарин маҳдудиятҳои тафсири натиҷаҳо мебошад.

Чаро масъала ба шакли иерархӣ ҷудо шудааст?

Интихоби канал қарори дискретӣ ва идоракунии қувва қарори пайваста мебошад. Якҷоя кардани ҳар ду қарор дар як фазои ҳамвори амалҳо бо афзоиши шумораи корбарон масъалаи хеле бузург ва мураккаби қарорро ба вуҷуд меорад. Аз ин рӯ, таҳқиқот вазифаро ба ду қабат ҷудо кардааст:

1. Қабати боло: Интихоби блоки захира ё канал бо Double DQN.
2. Қабати поён: Муайян кардани қувваи пайвастаи интиқол бо шабакаи актор–танқидчӣ.

Схемаи меъморӣ дар саҳифаи 6 нишон медиҳад, ки дар қабати боло ҳолати вуруд ба шабакаи DQN дода мешавад, барои ҳар блоки захира арзишҳои Q тавлид мешаванд ва бо интихоби epsilon-ҳирс як блок муайян мегардад. Дар қабати поён шабакаи актор арзиши пайвастаи қувваро тавлид мекунад, шабакаҳои танқидчӣ бошад бозгашти интизории ҷуфти ҳолат–амалро арзёбӣ мекунанд.

Чаро Double DQN истифода шудааст?

DQN-и стандартӣ ҳангоми интихоби амал ва ҳисоб кардани арзиши ҳамон амал аз як шабака истифода мебарад, бинобар ин метавонад арзишҳои Q-ро аз воқеият баландтар арзёбӣ кунад. Double DQN интихобро бо шабакаи онлайн ва арзёбии арзишро бо шабакаи ҳадаф анҷом дода, ин ғаразро кам кардан мехоҳад:

\[ y=r+\gamma Q\left( s', \arg\max_{a'}Q(s',a';\theta); \theta^{-} \right) \]

Дар ин ҷо θ параметрҳои шабакаи онлайн, θ⁻ параметрҳои шабакаи ҳадаф ва γ коэффисиенти тахфифест, ки вазни мукофотҳои ояндаро муайян мекунад.

Идоракунии қувва чӣ гуна анҷом шудааст?

Шабакаи актор баромади u_y-ро байни 0 ва 1 тавлид мекунад. Ин баромад бо ин харитасозӣ ба ҳадди қувва табдил дода шудааст:

\[ p_y=(0{,}05+0{,}95u_y)P_{\max} \]

Ин харитасозӣ интихоби қувваи сифриро ҳангоми омӯзиш пешгирӣ мекунад ва қувваи ҳадди ақалро ба %5-и қувваи ҳадди аксар муқаррар мекунад. Аммо дар маҳдудиятҳои оптимизатсия ба сифр баробар будани қувва иҷозат дода шудааст, аз ин рӯ байни модели математикӣ ва татбиқ фарқи хурд ба вуҷуд меояд.

Дар қабати поён ду шабакаи танқидчӣ истифода шудаанд:

\[ y=r+\gamma\min \left(Q_1(s',a'),Q_2(s',a')\right) \]

Истифодаи арзиши хурдтари ду Q барои кам кардани аз ҳад зиёд арзёбӣ шудани арзишҳо пешбинӣ шудааст. Гуфта мешавад, ки усулҳои илҳомгирифта аз TD3, аз ҷумла навсозии таъхирноки сиёсат ва ҳамворкунии амали ҳадаф истифода шудаанд. Бо ин вуҷуд, ҷузъиёте чун қабатҳои шабака, андозаҳои пинҳонӣ, функсияҳои фаъолсозӣ, коэффисиенти навсозии ҳадаф ва шови кашф дода нашудаанд.

Омӯзиши марказонидашуда ва иҷрои тақсимшуда чӣ маъно дорад?

Таҳқиқот равиши омӯзиши марказонидашуда–иҷрои тақсимшударо истифода мебарад. Гуфта мешавад, ки ҳангоми омӯзиш ба маълумоти глобалии шабака дастрасӣ мавҷуд аст, вале ҳангоми иҷрои воқеӣ ҳар корбари D2D мувофиқи мушоҳидаи маҳаллии худ қарор мегирад.

Барои агенти D2D y ҳолати маҳаллӣ аз қувваи арзёбишудаи канали мустақим, дахолати мушоҳидашуда, қувваи қаблӣ ва намоиши рамзгузоришудаи канали қаблӣ иборат аст:

\[ s_y^{\mathrm{local}}= \left[ \hat{g}_y^{(d)}, \hat{I}_y, p_y^{\mathrm{prev}}, e(c_y^{\mathrm{prev}}) \right] \]

Аммо шумораи агентҳои мустақил, мубодила шудани параметрҳои шабака байни корбарон, кадом маълумоти глобалиро гирифтани танқидчии марказӣ ва чӣ гуна ҳамоҳанг шудани қарорҳои ҳамзамон ба таври муфассал шарҳ дода нашудааст.

Функсияи мукофот чиро мувозинат мекунад?

Ифодаи асосии мукофот суръати умумии додаҳо ва адолатро зиёд карда, вайронкунии маҳдудиятҳоро ҷазо медиҳад:

\[ r_t=\alpha R_{\mathrm{sum}}+\beta J-\lambda\cdot\mathrm{Penalty} \]

Гуфта мешавад, ки ҷузъи ҷазо вайронкунии SINR, дахолати аз ҳад зиёд ба корбарони мобилӣ ва истеъмоли зиёди қувваро фаро мегирад. Барои вайронкунии SINR инчунин ифодаи зерин дода шудааст:

\[ \Phi_S=\sum_{i=1}^{N_d} \max(0,\gamma_{\min}-\mathrm{SINR}_i) \]

Арзишҳои ададии вазнҳои мукофот α, β ва λ ошкор нашудаанд. Азбаски ин арзишҳо мустақиман ба интихоби бартарӣ байни суръати додаҳо ва адолат таъсир мерасонанд, барои такрорпазирӣ муҳиманд.

Оё таҳқиқот PPO-ро истифода мебарад?

Дар муқаддима ибораи “оптимизатсияи сиёсати навъи PPO” мавҷуд аст. Аммо дар бахши усул таносуби эҳтимолияти PPO, функсияи ҳадафи ивазкунандаи буридашуда ё арзёбии афзалият таъриф нашудааст. Меъмории воқеии шарҳдодашуда омезиши Double DQN ва актор–танқидчии дорои ду танқидкунандаи монанд ба TD3 мебошад. Аз ин рӯ, тавсифи таҳқиқот ҳамчун системаи бар PPO асосёфта дуруст нест.

Тарҳи таҷриба чӣ гуна аст?

Симулятсияҳо бо Python ва PyTorch дар компютери дорои GPU-и NVIDIA A100 иҷро шудаанд. Модели канал ба пажмурдашавии Rayleigh асос ёфта, маълумоти қисмии канал бо шови Гауссии дорои коррелятсияи вақтӣ ифода шудааст.

Усулҳои муқоисавӣ Q-learning-и классикӣ, DQN ва усули эвристикии RACG мебошанд, ки захираҳоро аз рӯи қувваи канал тақсим мекунад. Хатҳои асосии дорои меъмории наздиктар, ба монанди PPO, DDPG, TD3, актор–танқидчии гибридии ҳамвор ё DRL-и муосири бисёрагента мавҷуд нестанд.

Натиҷаҳои асосӣ кадомҳоянд?

Усули пешниҳодшуда нисбат ба хати асосии DQN дар таҳқиқот суръати умумии додаҳоро тақрибан %27,4 ва мукофоти миёнаро тақрибан %13,5 зиёд кардааст. Фарқи мутлақ дар индекси адолат танҳо 0,003 аст. Дар муқоиса бо Q-learning афзоиши суръати додаҳо тақрибан %27,8 ва дар муқоиса бо RACG тақрибан %28,1 мебошад.

Ин арзишҳо дар дохили симулятсияи истифодашуда фарқи назарраси суръати умумии додаҳоро нишон медиҳанд. Аммо аз ҷиҳати адолат ҳамаи усулҳо аллакай дар фосилаи танги 0,968 то 0,971 қарор доранд. Аз ин рӯ, дастоварди асосии ададии HDRL бештар дар суръати умумии додаҳо аст, на дар адолат.

Графикҳои ҳамгароӣ чиро нишон медиҳанд?

Дар графики суръати умумии додаҳо дар саҳифаи 8 ҳамаи усулҳо дар оғози омӯзиш тақрибан дар сатҳи 85 Mbps қарор доранд. Хати HDRL байни қисмҳои 40–60. босуръат боло рафта, тақрибан ба сатҳи 108–109 Mbps мерасад, дар ҳоле ки усулҳои дигар дар атрофи 85 Mbps мемонанд.

Дар графики адолат дида мешавад, ки HDRL ҳангоми омӯзиш коҳиши муваққатӣ дорад ва баъд ба атрофи 0,971 бармегардад. Дар графики мукофот низ пас аз тақрибан қисми 40. ҷаҳиши равшан ва раванди устувор дар атрофи 1,55 мушоҳида мешавад.

Гарчанде дар унвонҳои графикҳо нишон додани миёна ва инҳирофи стандартӣ зикр шудааст, инҳирофҳои стандартӣ дар шакли ҷадвал дода нашудаанд. Истифодаи танҳо се тухми тасодуфӣ, махсусан барои таҷрибаҳои омӯзиши тақвиятӣ бо тағйирпазирии баланд, шумораи маҳдуди такрор мебошад.

Ҳангоми зиёд шудани зичии шабака чӣ рӯй дод?

Дар таҷрибаҳои саҳифаи 9 шумораи корбарони мобилӣ ва ҷуфтҳои D2D мутаносибан дар конфигуратсияҳои зерин зиёд карда шудааст:

• 25 корбари мобилӣ ва 40 ҷуфти D2D,
• 50 корбари мобилӣ ва 75 ҷуфти D2D,
• 75 корбари мобилӣ ва 110 ҷуфти D2D,
• 100 корбари мобилӣ ва 150 ҷуфти D2D,
• 125 корбари мобилӣ ва 200 ҷуфти D2D.

Суръати умумии додаҳо дар ҳамаи усулҳо бо шумораи корбарон афзуда, HDRL дар график хати баландтаринро ба вуҷуд овардааст. HDRL аз тақрибан 40 Mbps то 200 Mbps боло рафтааст, дар ҳоле ки наздиктарин хати асосӣ дар конфигуратсияи зич тақрибан ба 155 Mbps расидааст.

Дар хати адолат HDRL дар ҳамаи зичиҳо тақрибан дар фосилаи 0,973–0,975 мемонад. Дар хати мукофоти миёна HDRL фосилаи тақрибан 1,54–1,57-ро нигоҳ медорад, дар ҳоле ки мукофоти хатҳои асосӣ бо афзоиши зичӣ паст мешавад. Аммо азбаски шарҳ дода нашудааст, ки маҳдудияти блоки захира бо ин шумораи корбарон чӣ гуна татбиқ шудааст, мутобиқати натиҷаи миқёспазирӣ бо модели математикӣ номуайян аст.

Суръати омӯзиш ба натиҷаҳо чӣ гуна таъсир кардааст?

Гурӯҳи аввалини графикҳо дар саҳифаи 10 суръатҳои омӯзиши 10⁻⁵, 5×10⁻⁵, 10⁻⁴ ва 5×10⁻⁴-ро муқоиса мекунад. Суръатҳои баландтари омӯзиш аз ҷиҳати суръати умумии додаҳо ва мукофот ҳамгароии тезтар нишон додаанд. Пасттарин суръати омӯзиш сусттар пеш рафта, дар охири 200 қисм дар сатҳи пасттари кор боқӣ мондааст.

Арзишҳои адолат ҳангоми омӯзиш тағйир ёфта, дар баъзе танзимот коҳишҳои муваққатӣ мушоҳида шудаанд, аммо хатҳо асосан болотар аз 0,96 барқарор шудаанд. Таҳқиқот натиҷаҳои суръатҳои гуногуни омӯзишро дар график нишон медиҳад, вале арзишҳои ниҳоии кор ва дисперсияҳоро барои ҳар суръат дар шакли ҷадвал намедиҳад.

Кадом оптимизатор натиҷаи беҳтар дод?

Оптимизаторҳои Adam, AdamW, RMSProp ва SGD муқоиса шудаанд. Adam, AdamW ва RMSProp дар суръати умумии додаҳо нисбат ба SGD каме тезтар ҳамгаро шудаанд. SGD дар хатҳои мукофот ва адолат тағйирёбии бештар нишон додааст.

Мувофиқи графикҳо, оптимизаторҳои мутобиқшаванда ба суръатҳои ниҳоии монанди додаҳо мерасанд. Аз ин рӯ, натиҷа на бартарии равшани як оптимизатор, балки бештар ноустувор будани SGD-ро дар ин таҷриба нишон медиҳад.

Мувозинати суръати додаҳо–адолат чиро нишон дод?

Графики охирини саҳифаи 10 суръати умумии додаҳо ва индекси адолати Jain-ро дар як ҳамворӣ муқоиса мекунад. HDRL бо тақрибан 109 Mbps ва адолати 0,972 дар қисми рости боло ҷойгир аст, дар ҳоле ки хатҳои асосӣ тақрибан дар фосилаи 85–86 Mbps ҷамъ шудаанд.

Ин намоиш нишон медиҳад, ки HDRL дар таҷрибаи истифодашуда ҳангоми зиёд кардани суръати умумии додаҳо арзиши адолатро нигоҳ доштааст. Аммо графики ҷамъбастии якнуқтаӣ каҷии воқеии Pareto-ро, ки метавонад зери вазнҳои гуногуни мукофот ба вуҷуд ояд, нишон намедиҳад. Барои арзёбии қавитар интихоб байни суръати додаҳо ва адолат бояд бо арзишҳои гуногуни α ва β таҷриба гузаронда шавад.

Таҳқиқот кадом натиҷаҳоро дастгирӣ мекунад?

• Интихоби дискретии канал ва идоракунии пайвастаи қувваро метавон ба ду назоратчии иерархӣ ҷудо кард.
• Омезиши Double DQN ва актор–танқидчии дорои ду танқидкунанда дар симулятсияи истифодашуда нисбат ба Q-learning, DQN ва RACG суръати умумии баландтари додаҳоро тавлид кардааст.
• Усули пешниҳодшуда ҳангоми афзоиши суръати додаҳо индекси адолати Jain-ро тақрибан дар ҳамон сатҳи баланд нигоҳ доштааст.
• Ҳангоми зиёд шудани зичии шабака хатҳои HDRL болотар аз хатҳои асосии истифодашуда боқӣ мондаанд.
• Суръати омӯзиш ва интихоби оптимизатор ба суръати ҳамгароӣ ва устувории омӯзиш таъсир расондаанд.

Таҳқиқот чиро нишон намедиҳад?

• Нишон намедиҳад, ки усул дар истгоҳи воқеии 5G ё дастгоҳҳои ҷисмонии D2D кор мекунад.
• Таъхир, талафи бастаҳо, эътимоднокӣ, сарбории сигнализатсия ё истеъмоли воқеии энергия чен нашудаанд.
• Ба таври низомманд нишон намедиҳад, ки модел дар бузургиҳои гуногуни хатои CSI устувор аст.
• Исбот намекунад, ки HDRL аз усулҳои муосири PPO, TD3, DDPG ё бисёрагента беҳтар аст.
• Хароҷоти алоқа, таъхири қарор ё амнияти иҷрои тақсимшударо арзёбӣ намекунад.
• Нишон намедиҳад, ки дар шабакаҳои операторони Туркия ҳамон натиҷаҳо ба даст меоянд.
• Бе ҳал кардани номувофиқии блоки захира дар формула исбот намекунад, ки миқёспазирии гузоришшуда аз ҷиҳати физикӣ татбиқшаванда аст.

Усул ва натиҷаҳои таҳқиқот

Хулосаи ҷараёни усул

1. Муҳити шабакаи якҳуҷайраии дастгирикардаи D2D сохта шудааст.
2. Корбарони мобилӣ ва D2D ба таври тасодуфӣ дар дохили ҳуҷайраи 500 метра ҷойгир шудаанд.
3. Бо истифода аз пажмурдашавии Rayleigh қувваҳои канал тавлид шудаанд.
4. Бо илова кардани шови Гауссии дорои коррелятсияи вақтӣ ба арзёбиҳои канал CSI-и қисмӣ сохта шудааст.
5. Ба вектори ҳолат каналҳои арзёбишуда, маълумоти канали қаблӣ ва қувваи қаблӣ ворид шудаанд.
6. Қабати болоии Double DQN блоки захираро интихоб кардааст.
7. Шабакаи актор барои блоки интихобшуда қувваи интиқолро тавлид кардааст.
8. SINR, суръати додаҳо, адолат ва арзишҳои ҷазо ҳисоб шудаанд.
9. Гузаришҳо дар хотираи такрори таҷриба нигоҳ дошта шудаанд.
10. Double DQN, актор, ду танқидчӣ ва шабакаҳои ҳадаф навсозӣ шудаанд.
11. Пас аз 200 қисм натиҷаҳо бо усулҳои асосӣ муқоиса шудаанд.

Арзёбии пуррагии тафсилоти усул

Заминаи дастовардҳои ададӣ

Арзиши 108,562 Mbps ченаки воқеии саҳроӣ нест, балки суръати умумии додаҳои D2D дар муҳити симулятсияи муайяншуда мебошад. Афзоиши тақрибан %27–28 танҳо нисбат ба се хати асосии интихобшуда, ҳамон модели канал ва танзимоти мукофоти истифодашуда дар таҳқиқот эътибор дорад.

Афзоиши индекси адолат аз ҷиҳати ададӣ хурд аст. Арзиши 0,971-и HDRL аз арзиши 0,968-и DQN ва RACG 0,003 ва аз арзиши 0,969-и Q-learning 0,002 баландтар аст. Аз ин рӯ, ифодаи “тақсимоти одилонаи захираҳо нигоҳ дошта шуд” дастгирӣ мешавад, аммо ифодаи “беҳбудии бузург дар адолат” дастгирӣ намешавад.

Таҷрибаҳои зарурӣ барои баланд бардоштани эътимоднокии натиҷаҳо

• Ба ҳолати математикӣ мувофиқ овардани маҳдудиятҳои блоки захира ва шумораи корбарон,
• Санҷиши устувории CSI бо дисперсияҳои гуногуни хатои арзёбии канал ва таъхирҳои бозхурд,
• Муқоиса бо PPO, TD3, DDPG, актор–танқидчии гибридии ҳамвор ва DRL-и бисёрагента,
• Таҷрибаҳои аблятсия барои иерархия, ду танқидчӣ, мукофоти адолат ва ҷузъҳои CTDE,
• Фосилаҳои эътимод ва муқоисаҳои оморӣ бо ҳадди ақал панҷ ё даҳ тухми тасодуфӣ,
• Ченкунии таъхир, истеъмоли энергия, талафи бастаҳо, сатҳи вайронкунии QoS ва вақти ҳисоб,
• Тасдиқи берунии симулятсия бо радиусҳои гуногуни ҳуҷайра, суръатҳои ҳаракатнокӣ ва моделҳои канал,
• Нашри коди манбаъ, файлҳои конфигуратсия ва тухмҳои тасодуфӣ,
• Тасдиқ дар платформаи радиои барномавӣ ё озмоиши hardware-in-the-loop.

Ёддошт оид ба манбаъ ва усул

Номи пурраи аслии таҳқиқот: Hierarchical Deep Reinforcement Learning for Scalable Resource Allocation in D2D Communication under Partial Channel State Information in 5G Networks

Муаллифон: Rohit Singh Thakur ва Pavan Kumar Mishra

Тартиби муаллифон: Rohit Singh Thakur, Pavan Kumar Mishra

Маълумоти саҳми баробар: Дар таҳқиқот изҳороти саҳми баробар ё ҳаммуаллифии якум вуҷуд надорад.

Муаллифи масъул: Rohit Singh Thakur. Дар таҳқиқоти намоён бо ситорача ва дар сабти SSRN ҳамчун “Contact Author” нишон дода шудааст.

Муассиса: Department of Information Technology, National Institute of Technology Raipur, India

DOI:10.2139/ssrn.6990038

Маҷалла: Таҳқиқот дар маҷалла нашр нашудааст.

Ношири аслии маҷалла: Мавҷуд нест.

Платформаи нашр: SSRN

Санаи боргузорӣ: 24 Июн 2026

Соли нашр: 2026

Навъи манбаъ: Препринти таҳқиқоти таҷрибавии алоқаи бесими ба симулятсия асосёфта ва омӯзиши амиқи тақвиятӣ

Ҳолати тақриз: Таҳқиқот аз тақризи ҳамсолон нагузаштааст. Дар поёни саҳифаҳо низ огоҳии “Preprint not peer reviewed” мавҷуд аст.

Пайванди расмӣ:Саҳифаи таҳқиқот дар SSRN

Дар саҳифаи сабти SSRN номи муаллифи аввал ҳамчун “Rohit Singh Singh Thakur” такрор шудааст. Дар муқоваи таҳқиқоти намоён ва сатри почтаи электронӣ номи “Rohit Singh Thakur” истифода шудааст. Дар ин мақола номи дар таҳқиқоти намоён овардашуда асос гирифта шудааст.

Ин мақолаи туркӣ бо баррасии матн, муодилаҳо, ҷадвалҳо, алгоритм ва 11 шакли таҳқиқоти 12-саҳифагии боршуда омода шудааст. Натиҷаҳои илмӣ танҳо ба симулятсияҳои дар таҳқиқот гузоришшуда асос меёбанд. Манбаъҳои беруна танҳо барои тасдиқи библиографии унвон, муаллиф, муассиса, DOI, платформа, сана ва ҳолати тақриз истифода шудаанд.

Натиҷаҳои таҳқиқот бояд бо дарназардошти номувофиқӣ байни маҳдудиятҳои блоки захира ва шумораи корбарон, набудани параметрҳои CSI-и қисмӣ, хатҳои асосии маҳдуд, се тухми тасодуфӣ, коди манбаи нашрнашуда ва набудани тасдиқи саҳроӣ хонда шаванд. Ин таҳқиқот муваффақияти амалиётӣ дар шабакаи воқеии 5G ё ҳалли омода барои истифодаи тиҷоратиро исбот намекунад.