Wakati modeli kadhaa zinazojifunza zinafanya kazi katika mazingira yale yale, je, zinaweza kubobea katika hali tofauti badala ya zote kuelekea njia ileile ya kutatua tatizo? La muhimu zaidi, je, mgawanyo huu wa kazi unaweza kujitokeza wenyewe bila wanaojifunza kuwasiliana wao kwa wao na bila kuongeza “tuzo ya utofauti” maalumu kwenye mfumo? Mbinu inayoitwa NichePopulation inachunguza swali hili kwa kuhamishia katika ujifunzaji wa mashine wazo la kuondolewa kwa ushindani kutoka katika nadharia ya niche ya ikolojia.

Katika mkabala mkuu wa utafiti, kundi la wanaojifunza wanane hukutana na regime tofauti za kimazingira. Kila anayejifunza huchagua mojawapo ya mbinu tano za utabiri. Ingawa wanaojifunza wote huonyesha utendaji katika raundi moja, ni yule tu anayepata tuzo ya juu zaidi iliyorekebishwa ndiye husasishwa. Muundo huu wa winner-take-all, yaani “mshindi anachukua yote”, huwaweka wanaojifunza wanaoendeleza tabia ileile katika ushindani wa moja kwa moja. Dhana ya mwandishi ni kwamba ushindani huu hufanya kuelekea niche za tabia zenye msongamano mdogo kuwa na faida na hivyo kusababisha ubobezi kadiri muda unavyopita.

Mbinu ilitathminiwa katika nyanja sita za data halisi: sarafu za kripto, bei za bidhaa ghafi, utabiri wa hali ya hewa, mionzi ya jua, trafiki ya mijini na ubora wa hewa. Kulingana na Jedwali Kuu la 2, wastani wa Fahirisi ya Ubobezi (Specialization Index, SI) ya NichePopulation ni 0,747. Thamani za SI kwa kila nyanja zilitofautiana kati ya 0,573 na 0,826. SI katika kundi la kulinganisha lenye usawa ilikuwa takribani 0,002, huku wastani wa SI katika ulinganisho wa nasibu ukiwa 0,127.

Katika jaribio muhimu zaidi la ablation katika utafiti, bonasi ya hiari ya niche inayohamasisha ubobezi moja kwa moja ilizimwa kabisa: λ = 0. Katika hali hii wastani wa SI ulipatikana kuwa 0,329. Thamani hii iko wazi juu ya kiwango cha nasibu cha 0,127. Kwa hiyo, majaribio yanaunga mkono kwamba katika mpangilio wa winner-take-all uliochunguzwa, ushindani peke yake unaweza kuzalisha ubobezi unaoweza kupimwa. Hata hivyo, λ = 0,3 ilipotumika, wastani wa SI uliongezeka hadi 0,747; yaani bonasi iliongeza kwa kiasi kikubwa ukubwa wa ubobezi.

Iliripotiwa kwamba wanaojifunza walitofautiana si tu katika regime za kimazingira bali pia katika mbinu za utabiri walizotumia. Makundi yalitumia kwa wastani %87 ya mbinu zilizopo na yakaonyesha ongezeko la wastani la %26,5 katika utendaji uliorekebishwa ikilinganishwa na msingi wenye mbinu moja sawa. Ongezeko lililoripotiwa lilikuwa %41,6 katika sarafu za kripto, %37,2 katika bidhaa ghafi, %28,6 katika utabiri wa hali ya hewa, %23,8 katika trafiki, %17,6 katika mionzi ya jua na %9,9 katika ubora wa hewa.

Ulinganisho wa MARL kwa kutumia QMIX, MAPPO na IQL unahusisha nyanja nne tu —sarafu za kripto, bidhaa ghafi, hali ya hewa na mionzi ya jua. Mwandishi anaripoti kwamba NichePopulation ilitoa SI takribani mara 4,3 zaidi katika ulinganisho huu, ilikuwa takribani mara nne haraka kwa kutumia karibu 0,9 sekunde dhidi ya 3,7 sekunde katika mafunzo ya iteresheni 500, na ilitumia karibu 1 MB ya kumbukumbu dhidi ya 384–512 MB. Kwa kuwa hakuna uboreshaji wa ziada wa hyperparameter uliofanywa kwa mbinu za MARL, matokeo haya hayapaswi kutafsiriwa kama ubora wa hakika dhidi ya usanidi wote unaowezekana wa mbinu hizo.

Utafiti hauonyeshi kwamba ushindani utazalisha utofauti kiotomatiki katika kila mazingira. Ili mbinu ifanye kazi, mazingira yanapaswa kuwa na regime zaidi ya moja yenye maana, mbinu tofauti zinapaswa kuwa na faida katika regime tofauti, na wanaojifunza lazima washindanie kweli tuzo yenye ukomo. Regime na mbinu za utabiri katika kila nyanja zilifafanuliwa mapema na mtafiti; algoriti haizigundui regime hizi yenyewe.

Kwa mtazamo wa Türkiye, mbinu hii inaweza kuchunguzwa katika maeneo kama vikundi vya modeli vinavyozoea hali tofauti za soko, modeli za matengenezo ya kutabiri zinazobobea katika regime tofauti za uendeshaji viwandani, mifumo ya utabiri wa mahitaji ya nishati au uzalishaji wa nishati ya jua, na mitandao ya sensa za mazingira. Hata hivyo, matokeo ya utafiti hayajathibitishwa kwa data za Türkiye na hakuna jaribio la shambani lililofanywa katika mifumo halisi ya uendeshaji. Kwa hiyo, kwa matumizi ya ndani, ufafanuzi wa regime, orodha ya mbinu, muundo wa tuzo na utaratibu wa ushindani vinahitaji kuthibitishwa kando.

Ubobezi Katika Makundi ya Wanaojifunza Unamaanisha Nini?

Katika utafiti huu, anayejifunza (learner) ni kitengo cha kihesabu kinachochagua mbinu ya utabiri katika hali fulani ya kimazingira, kinapata tuzo kulingana na matokeo yake, na kinajaribu kujifunza kutokana na uzoefu wa zamani ni mbinu ipi inayofanya kazi vizuri zaidi katika hali zipi. Kundi ni hali ambapo wanaojifunza kadhaa wenye uwezo wa jumla unaofanana hufanya kazi katika mazingira yale yale.

Ubobezi ni hali ambapo anayejifunza huendeleza upendeleo au umahiri wa juu katika regime fulani badala ya kuelekea kwa usawa katika hali zote za mazingira. Kwa mfano, katika mazingira ya kifedha, anayejifunza mmoja anaweza kuanza kuelekea mbinu zinazofanya vizuri katika soko linalopanda, mwingine katika soko linaloshuka, na mwingine katika soko la pembeni.

Mlinganisho wa kiikolojia wa utafiti unategemea dhana ya niche (niche). Katika ikolojia, viumbe vinavyotumia rasilimali ileile yenye ukomo kwa namna ileile huingia katika ushindani wa moja kwa moja. Kuelekea rasilimali au hali tofauti kunaweza kupunguza ushindani huu. NichePopulation inachunguza iwapo utaratibu unaofanana unaweza kujitokeza katika makundi ya wanaojifunza bandia.

Regime ni nini?

Regime (regime) ni daraja la hali ambapo data au mazingira huonyesha tabia tofauti kwa namna ya kimsingi. Dhana ya regime hubadilika kulingana na nyanja.

• Katika sarafu za kripto: vipindi vya kupanda, kushuka, kwenda pembeni na volatiliti kubwa.
• Katika bidhaa ghafi: vipindi vya kupanda, kushuka, uthabiti na volatiliti kubwa.
• Katika utabiri wa hali ya hewa: hali ya anga safi, yenye mawingu, yenye mvua na hali kali.
• Katika mionzi ya jua: kiwango cha juu, cha kati, cha chini na usiku.
• Katika trafiki: msongamano wa asubuhi, msongamano wa jioni, mchana, usiku, wikendi na kipindi cha mpito.
• Katika ubora wa hewa: nzuri, wastani, isiyofaa kwa makundi nyeti na isiyofaa.

Kuna kikomo muhimu cha kimetodolojia hapa: regime hizi hazikugunduliwa na algoriti kwa njia isiyosimamiwa. Zilifafanuliwa mapema kwa msingi wa maarifa ya nyanja. Mwandishi pia anataja hili wazi miongoni mwa vikwazo.

Ukaribu wa regime–mbinu ni nini?

Chanzo kinaonyesha mafanikio yanayotarajiwa ya mbinu fulani katika regime fulani kwa:

\[ A(r,m)\in[0,1] \]

.

Hapa \(r\) inawakilisha regime ya mazingira na \(m\) inawakilisha mbinu ya utabiri. Utendaji hupimwa kwa kiwango ambacho thamani ya mbinu bora katika kila regime ni 1:

\[ \max_m A(r,m)=1 \]

Wazo kuu ni kwamba mbinu moja isiwe bora katika regime zote. Kama mbinu moja ingekuwa bora kabisa katika hali zote, kusingekuwa na sababu ya kiutendaji kwa wanaojifunza kubobea katika mbinu tofauti.

Mifano ya ukaribu wa mbinu katika sarafu za kripto

Katika mfano huu, Momentum-Long ni yenye nguvu katika regime za kupanda na kushuka, huku Mean-Revert ikiwa na faida zaidi katika regime za pembeni na za volatiliti. Kwa hiyo, utofauti wa msingi unaowezesha wanaojifunza kubobea katika mbinu tofauti tayari upo mapema.

Fahirisi ya Ubobezi (SI) Inahesabiwaje?

Kipimo kikuu cha utafiti ni fahirisi ya ubobezi iliyorekebishwa inayoitwa Specialization Index (SI), inayotegemea entropia ya Shannon.

Kila anayejifunza huhifadhi mgawanyo wa uwezekano juu ya regime za mazingira:

\[ \alpha=(\alpha_1,\alpha_2,\ldots,\alpha_R) \]

Hapa thamani zote ni sifuri au chanya na jumla yake ni 1:

\[ \sum_{r=1}^{R}\alpha_r=1 \]

Vekta hii inawakilisha kiwango ambacho anayejifunza anaelekea katika regime mbalimbali.

Entropia ya Shannon

Ili kupima jinsi mgawanyo wa ukaribu wa regime ulivyotawanyika:

\[ H(\alpha)=-\sum_r\alpha_r\log\alpha_r \]

hutumika.

Ikiwa regime zote zina uzito sawa, entropia ya mgawanyo huwa juu. Kadiri anayejifunza anavyokusanya uwezekano wote katika regime moja, entropia hushuka.

Fahirisi ya ubobezi imefafanuliwa kama:

\[ SI(\alpha)=1-\frac{H(\alpha)}{\log R} \]

.

• SI = 0: Anayejifunza ameelekea kwa usawa katika regime zote; hali kamili ya jumla.
• SI = 1: Ukaribu wote umejikusanya katika regime moja; mtaalamu kamili kwa maana ya kihisabati.
• 0 < SI < 1: Ubobezi wa sehemu.

Mfano: α = (0,82; 0,06; 0,06; 0,06)

Katika Kiambatisho B, chanzo kinatoa mfano wa anayejifunza mwenye regime nne:

\[ \alpha=(0.82,0.06,0.06,0.06) \]

.

Entropia:

\[ H(\alpha)= -0.82\log(0.82) -3(0.06\log(0.06)) \]

inahesabiwa, na chanzo hutoa takribani:

\[ H(\alpha)=0.668 \]

.

Kwa regime nne, entropia ya juu zaidi ni:

\[ \log 4=1.386 \]

kwa hiyo:

\[ SI=1-\frac{0.668}{1.386} \]

\[ SI\approx0.518 \]

hupatikana.

Kauli ya %51,8 hapa si usahihi wa utabiri. Ni kipimo tu cha ubobezi kilichorekebishwa kinachoonyesha ni kwa kiasi gani mgawanyo wa ukaribu wa regime wa anayejifunza umeondoka kwenye mgawanyo uniform.

Algoriti ya NichePopulation Inafanyaje Kazi?

NichePopulation huunganisha kuhifadhi kwa kila anayejifunza imani kuhusu mbinu ipi inafanikiwa katika regime ipi, kuchagua mbinu kwa Thompson Sampling, na kusasisha katika kila raundi yule anayejifunza tu anayepata tuzo ya juu zaidi iliyorekebishwa.

1. Imani za mbinu: migawanyo ya Beta

Kila anayejifunza huhifadhi vigezo vya mgawanyo wa Beta kwa kila jozi ya regime–mbinu:

\[ \beta^{+}_{i,r,m},\quad \beta^{-}_{i,r,m} \]

Mwanzoni jozi zote huanzishwa kama:

\[ Beta(1,1) \]

.

Beta(1,1) ni mgawanyo uniform kati ya 0 na 1. Unawakilisha kwamba mwanzoni anayejifunza hana upendeleo kuhusu mbinu ipi ni bora.

2. Kuchagua mbinu kwa Thompson Sampling

Regime \(r_t\) inapojitokeza, kwa kila mbinu huchukuliwa sampuli ya nasibu ya mafanikio kutoka mgawanyo wa Beta:

\[ \tilde{\theta}_m \sim Beta( \beta^{+}_{i,r_t,m}, \beta^{-}_{i,r_t,m} ) \]

Anayejifunza huchagua mbinu yenye thamani kubwa zaidi kati ya zilizochukuliwa sampuli:

\[ m_i= \operatorname*{argmax}_{m\in M} \tilde{\theta}_m \]

Thompson Sampling ni mbinu ya uchaguzi wa uwezekano inayosawazisha ugunduzi na matumizi ya maarifa yaliyopo. Kwa kuwa mbinu ambazo hazijajaribiwa vya kutosha zina kutokuwa na uhakika mkubwa, mara kwa mara huwa na nafasi ya kuchaguliwa; mbinu ambazo zimejulikana kufanya vizuri huchaguliwa mara nyingi zaidi.

3. Bonasi ya niche katika algoriti kuu

Algorithm 1 katika sehemu kuu ya mbinu inafafanua tuzo iliyorekebishwa kama:

\[ \tilde{R}_i = R_i \left( 1+ \lambda \mathbf{1}[r_i^{*}=r_t] \alpha_{i,r_t} \right) \]

.

Hapa:

• \(R_i\): ni tuzo ghafi ya anayejifunza.
• \(\lambda\): ni mgawo wa bonasi ya niche.
• \(r_i^{*}\): ni regime kuu ambayo anayejifunza ana ukaribu wa juu zaidi nayo.
• \(\mathbf{1}[r_i^{*}=r_t]\): ni 1 ikiwa regime ya sasa ndiyo niche kuu ya anayejifunza, na 0 ikiwa sivyo.
• \(\alpha_{i,r_t}\): ni ukaribu wa niche wa anayejifunza na regime ya sasa.

Wakati \(\lambda=0\):

\[ \tilde{R}_i=R_i \]

hupatikana. Yaani bonasi maalumu ya niche huondolewa kabisa; hata hivyo, wanaojifunza bado hushindania nafasi yenye ukomo ya mshindi katika duru hiyo hiyo.

Dokezo la mbinu ndani ya chanzo: Maelezo ya kufundishia katika Kiambatisho B yanaonyesha bonasi badala yake kama:

\[ B_i=\lambda(\alpha_{i,r_t}-1/R) \]

na:

\[ S_i=R_i+B_i \]

kwa namna ya kujumlisha. Fomula hii si sawa na fomula ya kuzidisha katika Algorithm 1 kuu. Kwa hiyo, katika maelezo ya Verianla, fomula ya mbinu kuu ndiyo inayochukuliwa kama msingi.

4. Ushindani wa winner-take-all

Mshindi:

\[ i^{*}= \operatorname*{argmax}_{i} \tilde{R}_i \]

huchaguliwa kwa njia hii.

Katika duru hiyo hiyo, wanaojifunza wengine pia wanaweza kuwa wametoa matokeo mazuri; lakini ni anayejifunza aliyepata tuzo iliyorekebishwa ya juu zaidi pekee anayepokea sasisho chanya la kujifunza.

Utaratibu huu ni kitovu cha utafiti. Ikiwa wanaojifunza wawili wanaelekea kwenye mbinu zilezile katika regime ileile, wanashindana moja kwa moja. Kwa kuwa ni mmoja tu anayeweza kusasishwa, tofauti ndogo za mafanikio zinazotokea mapema zinaweza kuongezeka kadiri muda unavyopita.

5. Imani ya mbinu ya mshindi inasasishwaje?

Katika Algorithm 1 kuu, parameta chanya ya Beta ya mshindi:

\[ \beta^{+}_{i^{*},r_t,m_{i^{*}}} \leftarrow \beta^{+}_{i^{*},r_t,m_{i^{*}}} + \tilde{R}_{i^{*}} \]

inasasishwa kwa namna hii.

Katika uwasilishaji wa algoriti katika makala, hakuna hatua tofauti inayolingana ya sasisho hasi iliyotolewa kwa parameta \(\beta^{-}\). Kwa hiyo, hakuna kanuni ya sasisho ambayo haipo katika chanzo iliyoongezwa.

6. Ukaribu wa niche unabadilikaje?

Ukaribu wa anayejifunza aliyeshinda na regime ya sasa:

\[ \alpha_{i^{*},r_t} \leftarrow \alpha_{i^{*},r_t} + \eta(1-\alpha_{i^{*},r_t}) \]

huongezwa kwa njia hii.

\(\eta\) ni kiwango cha kujifunza. Thamani chaguo-msingi ya utafiti imetolewa kama:

\[ \eta=0.1 \]

.

Baadaye, vekta ya ukaribu hunormalishwa tena ili jumla yake iwe 1.

Dokezo la mbinu ndani ya chanzo: Katika mfano wa iteresheni moja katika Kiambatisho B, ukaribu wa regime nyingine hupunguzwa pia na matokeo ya \((0.333,0.222,0.222,0.222)\) hupatikana. Hatua hii si sawa kabisa na kanuni ya kuongeza + kunormalisha pekee iliyoelezwa wazi katika Algorithm 1 kuu. Kwa hiyo, mfuatano wa nambari katika Kiambatisho B haupaswi kutumiwa kama hesabu upya ya kihisabati ya algoriti kuu.

Ubobezi wa Mbinu Unapimwaje?

Utafiti hauangalii tu ni regime ipi inayopendelewa, bali pia ni mbinu zipi za utabiri anazotumia anayejifunza.

Usambazaji wa matumizi ya mbinu wa anayejifunza uwe:

\[ \pi_i\in\Delta^M \]

. Fahirisi ya Ubobezi wa Mbinu:

\[ MSI(\pi_i) = 1- \frac{H(\pi_i)}{\log M} \]

inafafanuliwa kwa namna hii.

MSI ya juu inaonyesha kuwa anayejifunza amejikita katika idadi ndogo ya mbinu; MSI ya chini inaonyesha kuwa anatumia mbinu kwa usawa zaidi.

Ufunikaji wa mbinu

Kiasi cha repertoire ya mbinu iliyopo ambacho idadi ya wanaojifunza inatumia kwa kweli huhesabiwa kwa:

\[ Coverage= \frac{ |\{m:\exists i,\pi_{i,m}>\tau\}| }{M} \]

.

Katika utafiti:

\[ \tau=0.3 \]

imetumika.

Kwa mfano, ikiwa mbinu zote tano kati ya tano zinatumiwa kwa kiwango cha kutosha na angalau mtaalamu mmoja, coverage huwa %100.

Mapendekezo Matatu ya Kinadharia Yanasema Nini?

Pendekezo 1: Kuondolewa kwa ushindani

Chanzo kinadai kuwa katika muundo wa winner-take-all, wakati \(N>R\), mkakati wenye usawa unaoundwa na wanaojifunza wenye ukaribu sawa wa niche si usawa wa Nash.

Ikiwa kuna wanaojifunza \(k_r\) katika regime ileile, chanzo kinaeleza malipo yanayotarajiwa kwa kiwango cha juu kama:

\[ E[\text{Payoff}_i|r] = \frac{V_r}{k_r}-c \]

.

Kwa anayejifunza anayehama kwenda regime \(r'\) yenye msongamano mdogo:

\[ E[\text{Payoff}'_i|r'] = \frac{V_{r'}}{k_{r'}-1}-c' \]

huandikwa.

Hoja kuu ni kwamba, wakati thamani za regime zinaweza kulinganishwa, kuelekea niche yenye msongamano mdogo kunaweza kuongeza malipo yanayotarajiwa.

Matokeo haya hayapaswi kufasiriwa kama teorema ya ulimwengu wote kwa mifumo yote inayowezekana ya ushindani. Chanzo kinajenga uthibitisho chini ya mienendo ya winner-take-all, thamani zinazofanana za regime na dhana zake za modeli.

Usawa wa Nash ni nini?

Usawa wa Nash ni wasifu wa mikakati ambapo, mikakati ya washiriki wengine ikiwa imewekwa, hakuna mshiriki anayeweza kupata matokeo bora zaidi kwa kubadilisha mkakati wake pekee.

Dai la chanzo katika Pendekezo 1 ni kwamba ikiwa mmoja wa wanaojifunza waliokusanyika kikamilifu katika niche ileile anaweza kupata matokeo bora yanayotarajiwa kwa kuelekea eneo lenye msongamano mdogo, hali yenye usawa haiwezi kuwa usawa wa Nash ulio thabiti.

Pendekezo 2: Kikomo cha chini cha SI inayotarajiwa

Chanzo kinatoa kikomo cha chini kifuatacho kwa ubobezi unaotarajiwa kwa regime \(R\) zenye uwezekano sawa na \(\lambda>0\):

\[ E[SI] \geq \frac{\lambda}{1+\lambda} \left(1-\frac{1}{R}\right) \left(1-e^{-\eta T/R}\right) \]

Hapa:

• \(\lambda\): ni mgawo wa bonasi ya niche,
• \(R\): ni idadi ya regime,
• \(\eta\): ni kiwango cha kujifunza,
• \(T\): ni idadi ya iteresheni.

Katika jaribio chaguo-msingi:

\[ \lambda=0.3,\quad R=4,\quad \eta=0.1,\quad T=500 \]

chanzo kinaeleza kuwa kikomo cha chini ni takribani:

\[ SI\geq0.17 \]

. Kwa kuwa wastani wa majaribio ni takribani 0,75, thamani iliyoonekana iko juu ya kikomo hiki cha chini.

Wakati maandishi makuu yanatumia kwa takribani niche kuu:

\[ \alpha_{r^{*}}^{*}\approx\frac{\lambda}{1+\lambda} \]

, utoaji mpana katika Kiambatisho A una:

\[ \alpha_{r^{*}}^{**} = \frac{\lambda}{1+\lambda} + \frac{1}{R(1+\lambda)} \]

na unajumuisha neno la ziada la msingi ulio sare. Kauli hizi mbili si sawa kabisa; ya pili ndiyo muundo wa kina zaidi uliotolewa katika kiambatisho.

Pendekezo 3: Kwa nini utofauti huporomoka katika regime moja?

Chanzo kinafafanua idadi faafu ya regime za mazingira kwa:

\[ k_{\text{eff}} = \exp(H(\pi_r)) \]

.

Mazingira yanapoporomoka kuelekea regime moja:

\[ k_{\text{eff}}\rightarrow1 \]

hupatikana.

Chanzo kinadai kwamba katika hali hii utofautishaji wenye maana katika kiwango cha idadi ya wanaojifunza hauwezekani na “ubobezi faafu” huelekea sifuri.

Hapa kuna tofauti muhimu ya kipimo. Ikiwa wanaojifunza wote wanajikita kikamilifu katika regime ileile, thamani ghafi ya SI ya kila anayejifunza inaweza kuwa juu kihisabati. Chanzo pia kinakubali hili na kufafanua SI katika hali hii kama “degenerated”. Katika Pendekezo 3, kile kinachosemwa kuelekea sifuri ni tafsiri ya utofauti faafu katika kiwango cha idadi ya wanaojifunza ambapo wanaojifunza hugawanyika katika regime tofauti.

Mbinu na Matokeo ya Utafiti

Maeneo sita ya data halisi

Jumla ya kihesabu ya mistari hii ni rekodi 146.094. Hata hivyo, sehemu ya matokeo ya chanzo inataja jumla ya rekodi 145.294. Tofauti ya rekodi 800 kati ya hizo haijaelezwa katika PDF. Kwa hiyo, thamani za Jedwali 1 kwa kila eneo zimehifadhiwa bila kubadilishwa.

Mbinu tano zinazotumiwa katika kila eneo

Repertoire hizi za mbinu hazikugunduliwa kiotomatiki. Ziliandaliwa mapema na mtafiti kwa kila eneo. Kwa hiyo, mgawanyo wa kazi ulioonekana si ugunduzi wa moja kwa moja wa nafasi ya modeli iliyo huru kabisa, bali ni ubobezi ndani ya repertoire ya mbinu iliyofafanuliwa.

Hiperparameta za pamoja

Matokeo ya ubobezi kati ya maeneo

Kauli ya chanzo katika muhtasari na hitimisho kwamba “Cohen's d > 20 katika maeneo yote” hailingani kabisa na jedwali hili. Kwa Commodities imetolewa 19,89 na kwa Traffic 15,86. Kwa hiyo, safu sahihi imewasilishwa kama 15,86–32,06, na wastani kama 22,84.

Cohen's d inamaanisha nini?

Cohen's d ni ukubwa wa athari uliosanifishwa unaoeleza tofauti kati ya wastani wa makundi mawili katika vitengo vya mkengeuko sanifu.

Katika chanzo:

\[ d= \frac{\mu_1-\mu_2}{\sigma_{\text{pooled}}} \]

hutumika.

Hapa \(\mu_1\) na \(\mu_2\) ni wastani wa makundi, na \(\sigma_{\text{pooled}}\) ni mkengeuko sanifu uliounganishwa.

Kwa mfano, thamani d = 20 haimaanishi “mbinu ni bora kwa %2000”. Inaonyesha kwamba wastani umetengana kwa kiwango kikubwa sana kulingana na mkengeuko sanifu uliounganishwa. Sababu mojawapo ya thamani kubwa sana za d katika utafiti huu ni kwamba matokeo yanaonyesha variansi ndogo sana katika marudio 30.

Umuhimu wa kitakwimu ulikaguliwaje?

Utafiti ulitumia t-tests za sampuli moja na mbili. Kwa sababu kulikuwa na ulinganisho mwingi kati ya maeneo sita, marekebisho ya Bonferroni yalitumika:

\[ \alpha= \frac{0.05}{6} \approx0.0083 \]

Kwa hiyo, kizingiti cha umuhimu wa kitakwimu kilichukuliwa kuwa:

\[ p<0.0083 \]

.

Imeelezwa kuwa bootstrap yenye usampulishaji upya 1.000 ilitumika kwa vipindi vya kujiamini.

λ ablation: Ushindani ulifanya nini bila bonasi?

Katika hali ya \(\lambda=0\), SI ilibaki juu ya msingi husika wa nasibu katika maeneo yote. Hata hivyo, sentensi katika muhtasari wa chanzo kwamba “SI > 0,30 katika maeneo yote” hailingani kikamilifu na jedwali: Solar ni 0,256 na Traffic ni 0,294.

Kauli ya tahadhari zaidi inayoungwa mkono kisayansi na jedwali ni hii: katika hali ya λ=0, wastani wa SI ni 0,329 na ubobezi katika maeneo yote umebaki juu ya ulinganisho wa nasibu.

Nini hutokea λ inapoongezeka?

Wastani wa SI umeongezeka kutoka 0,329 hadi 0,834 kadiri λ ilivyoongezeka. Mwandishi anatafsiri matokeo haya kuwa ushindani huanzisha ubobezi, huku bonasi ya niche ikiimarisha mchakato huo.

Hata hivyo, λ ya juu si bora katika kila hali. Katika eneo la ubora wa hewa, SI ilishuka kutoka:

\[ 0.826\quad(\lambda=0.3) \]

hadi:

\[ 0.800\quad(\lambda=0.5) \]

.

Chanzo kinahusisha hali hii na uwezekano wa ubobezi kupita kiasi kupunguza tabia ya ugunduzi.

Mgawanyo wa kazi katika kiwango cha mbinu

Thamani za utendaji hapa si thamani ghafi za RMSE, uwiano wa Sharpe au MAPE za maeneo. Chanzo kinaeleza kuwa mafanikio ya utabiri ya kila eneo yamenormalishwa kulingana na msingi wa nasibu na kubadilishwa hadi katika safu ya 0–1.

Kwa hiyo, “utendaji wa +%26,5” haumaanishi kupungua moja kwa moja kwa %26,5 katika thamani za hitilafu za kimwili za maeneo yote. Ni uboreshaji wa wastani wa uwiano unaopatikana kwa kulinganisha utendaji uliosanifishwa ndani ya maeneo.

Msingi wenye usawa ni nini?

Katika ulinganisho wenye usawa, wanaojifunza wote hutumia mbinu moja ileile. Chanzo huchagua mbinu hii kama “single best-performing method (oracle selection)”.

Hii si oracle inayojua mbinu kamilifu tofauti katika kila regime. Mbinu moja huchaguliwa kwa eneo zima na wanaojifunza wote hutumia mbinu hiyo hiyo.

Ulinganisho wa MARL

Ulinganisho huu ulifanywa katika maeneo manne, si katika maeneo yote sita.

Maandishi ya chanzo yanaripoti wastani wa NichePopulation kuwa 0,756 na wastani wa MARL yenye nguvu zaidi kuwa 0,167, na kuyafupisha kama tofauti ya 4,3×.

Ikihesabiwa moja kwa moja kutoka thamani zilizozungushwa katika jedwali:

\[ \frac{0.756}{0.167}\approx4.53 \]

hupatikana. Kwa hiyo, 4,3× imehifadhiwa kama thamani iliyoripotiwa na mwandishi katika maandishi; haijawasilishwa kama uwiano kamili uliohesabiwa upya kutoka jedwali.

Kikomo cha ulinganisho wa MARL

Kwa QMIX, MAPPO na IQL, wanaojifunza wanane wale wale, iteresheni 500 za mafunzo na bajeti za mbegu za nasibu zilitumika. Hata hivyo, chanzo kinaeleza wazi kuwa hakuna uboreshaji wa ziada wa hiperparameta uliofanywa kwa mbinu hizi.

Kwa hiyo, matokeo yanaonyesha kuwa NichePopulation ilitoa SI ya juu zaidi katika usanidi huu wa jaribio. Si ushahidi wa ubora wa ulimwengu wote dhidi ya usanidi wote unaowezekana wa QMIX, MAPPO au IQL.

Gharama ya ukokotoaji

Katika chanzo, kwa iteresheni 500, NichePopulation imeripotiwa kwa takribani:

sekunde 0,9

za muda wa mafunzo, huku mbinu za MARL zikiripotiwa katika kiwango cha takribani:

sekunde 3,7

.

Matumizi ya kumbukumbu yametolewa kama takribani 1 MB dhidi ya 384–512 MB.

Vipimo hivi vilichukuliwa kwenye mashine moja katika mazingira ya:

• Apple M1 Pro, 10 cores
• 16 GB RAM
• macOS 14.3
• Python 3.10
• NumPy, SciPy na Matplotlib

. Chanzo kinaripoti muda wa jumla wa utekelezaji wa hali zote za majaribio kuwa takribani saa nne.

Kwa Nini Ubobezi Uko Chini Zaidi Katika Eneo la Trafiki?

Eneo la trafiki lilitoa matokeo ya chini zaidi kati ya maeneo sita kwa SI ya 0,573. Badala ya kuficha hili kama kushindwa, chanzo kinatumia hali hiyo kujadili masharti ya mipaka ya mbinu.

Kuna maelezo matatu yaliyopendekezwa:

• Katika trafiki kuna regime sita badala ya regime nne katika maeneo mengine. Kugawanyika kwa wanaojifunza wanane katika regime sita kunaweza kupunguza wastani wa ushindani wa moja kwa moja kwa kila regime.
• Regime za trafiki si huru. Msongamano wa asubuhi hufuatiwa na mchana, kisha msongamano wa jioni. Korelasheni hii ya muda haiendani na dhana ya regime huru inayotumiwa katika nadharia.
• Kwa kuwa regime ya “mpito” inaingiliana kwa sehemu na regime nyingine, mipaka ya niche huwa isiyo wazi zaidi.

Hata hivyo, katika eneo la trafiki ufunikaji wa mbinu ni %100 na ongezeko la utendaji uliosanifishwa dhidi ya msingi wenye usawa ni %23,8.

Dokezo la uthabiti wa kihisabati: Katika sehemu hiyo hiyo, chanzo kinasema kuwa usemi \(1-1/R\) hupunguza kikomo cha juu cha kinadharia kwa R=6. Hata hivyo:

\[ 1-\frac{1}{6}=\frac{5}{6}\approx0.833 \]

na:

\[ 1-\frac{1}{4}=\frac{3}{4}=0.75 \]

kwa hiyo thamani ya kwanza huenda juu zaidi, si chini zaidi. Zaidi ya hayo, kikomo cha juu cha kihisabati cha ufafanuzi wa SI ni 1. Kwa hiyo, maelezo haya maalumu ya “kikomo cha juu kilicho chini zaidi” kwa SI ya chini ya Traffic hayajawasilishwa kama matokeo ya kihisabati yaliyothibitishwa.

Je, Ushindani Pekee Kweli Unatosha?

Katika mfumo wa majaribio wa utafiti huu, ingawa hali ya λ = 0 huondoa bonasi ya niche, bado huhifadhi ushindani wa winner-take-all, regime tofauti zilizofafanuliwa mapema, repertoire ya mbinu zinazofanya vizuri kwa viwango tofauti katika regime tofauti, na sasisho teule la mshindi.

Kwa hiyo, maana kamili ya hitimisho kwamba “ushindani pekee unatosha” ni hii:

Katika modeli hii, ubobezi juu ya msingi wa nasibu ulitokea wakati kulikuwa na ushindani wa winner-take-all na mienendo ya kujifunza pekee bila bonasi maalumu ya niche.

Kauli hii haionyeshi kwamba kuweka modeli zozote mbili za akili bandia katika ushindani kutazalisha kiotomatiki ubobezi wenye manufaa katika kila mazingira.

Masharti matatu ya ubobezi yaliyobainishwa na chanzo

1. Utofauti wa regime: Lazima kuwe na hali nyingi zinazotofautiana kikweli katika mazingira.
2. Utofautishaji wa mikakati: Mbinu tofauti lazima ziwe na faida katika regime tofauti.
3. Rasilimali yenye ukomo / ushindani halisi: Lazima kuwe na shinikizo la ushindani ambapo wanaojifunza wote hawapewi tuzo sawa kwa wakati mmoja.

Masharti haya yanapoondolewa, utaratibu wa kinadharia wa utafiti pia hudhoofika.

Matokeo Yanayoungwa Mkono na Utafiti

• Chini ya ushindani wa winner-take-all, wanaojifunza waliweza kuendeleza ukaribu wa niche kuelekea regime tofauti.
• Katika hali chaguo-msingi ya λ=0,3, wastani wa SI katika maeneo sita ni 0,747.
• Katika hali ya λ=0, wastani wa SI ni 0,329 na uko juu ya wastani wa msingi wa nasibu wa 0,127.
• Bonasi ya niche imeongeza ukubwa wa ubobezi; katika λ=0,3, wastani wa SI umeongezeka hadi 0,747.
• Idadi za wanaojifunza zilitumia kwa wastani %87 ya mbinu zilizopo.
• Ongezeko la wastani la +%26,5 limeripotiwa katika utendaji wa utabiri uliosanifishwa dhidi ya msingi wenye usawa.
• Katika ulinganisho wa MARL katika maeneo manne, NichePopulation ilitoa SI ya juu zaidi.
• Mfumo wa winner-take-all ulionyesha gharama ndogo ya ukokotoaji na kumbukumbu.
• Licha ya ubobezi wa chini wa regime, eneo la trafiki lilionyesha ufunikaji wa mbinu wa %100 na ongezeko la utendaji uliosanifishwa la +%23,8.

Ujumlishaji Ambao Utafiti Hauungi Mkono

• Haijathibitishwa kwamba ushindani lazima uzalishe utofauti wenye manufaa katika mifumo yote ya kujifunza kwa mashine.
• Regime hazigunduliwi moja kwa moja na algoriti; zimefafanuliwa mapema kwa maarifa ya eneo.
• Mbinu za utabiri hazikugunduliwa au kuzalishwa kiotomatiki; mbinu tano kwa kila eneo zilibainishwa kwa mikono.
• Kauli “Cohen's d > 20 katika maeneo yote” hailingani na jedwali kuu la matokeo.
• Kauli “SI > 0,30 katika maeneo yote wakati λ=0” hailingani na jedwali kuu la ablation.
• Ulinganisho wa MARL haukufanywa katika maeneo yote sita; Jedwali 5 lina maeneo manne tu.
• Kwa kuwa uboreshaji mpana wa hiperparameta haukufanywa kwa mbinu za MARL, ubora wa mwisho dhidi ya usanidi wote unaowezekana haujaonyeshwa.
• Haijaonyeshwa kimajaribio kwamba utaratibu wa winner-take-all lazima uwe bora kuliko aina zote laini zaidi za ushindani; mifumo ya top-k au tuzo sawia imeachwa kwa kazi za baadaye.
• Utafiti si mfumo wa biashara ya kifedha wa muda halisi au mkakati wa uwekezaji.
• Ongezeko kubwa la utendaji katika eneo la sarafu za kripto halimaanishi faida ya %41,6 katika mapato halisi ya jalada.
• Haijaonyeshwa kwamba katika mifumo halisi ya uzalishaji uratibu bila mawasiliano unaweza kutatuliwa kila wakati kwa ushindani.

Vizuizi vikuu

Ufafanuzi wa regime: Utafiti unatumia viainishaji rahisi vya regime vilivyoundwa kwa mikato ya wastani unaosonga, vizingiti vya volatiliti na maarifa ya eneo. Mbinu kama Hidden Markov Model au change-point detection hazikujaribiwa.

Dhana ya uthabiti: Uchanganuzi wa kinadharia hudhani kuwa usambazaji wa regime ni thabiti. Katika ulimwengu halisi, marudio ya regime yanaweza kubadilika kadiri muda unavyopita.

Uchaguzi wa winner-take-all: Kusasisha anayejifunza mmoja tu ni uamuzi wa makusudi wa usanifu. Matokeo ya mifumo ya top-k au tuzo sawia hayajachunguzwa.

Mbinu zilizofafanuliwa kwa mikono: Repertoire ya mbinu kwa kila eneo iliandaliwa na mtafiti. Hakuna ugunduzi wa mbinu kiotomatiki kwa meta-learning au program synthesis uliofanywa.

Regime zilizofafanuliwa kwa mikono: Mfumo haugundui regime kutoka mwanzo katika maeneo mapya.

Ulinganisho wa oracle unaokosekana: Hakuna msingi wa oracle unaochagua kikamilifu mbinu bora katika kila regime. Pia hakuna ulinganisho tofauti wa ensemble unaotumia repertoire ileile ya wanaojifunza wengi bila competitive exclusion.

Muhtasari wa kutokulingana muhimu ndani ya chanzo

Hitimisho la jumla la utafiti

Utafiti unaonyesha kuwa, wakati kuna regime tofauti za mazingira zilizofafanuliwa mapema na mbinu zinazofanya kwa viwango tofauti katika regime tofauti, ushindani wa winner-take-all unaweza kuelekeza wanaojifunza ambao mwanzoni ni sawa kwenda katika maeneo tofauti ya ubobezi kadiri muda unavyopita.

Ugunduzi wenye nguvu zaidi wa majaribio ni kwamba ubobezi juu ya msingi wa nasibu uliendelea hata wakati bonasi maalumu ya niche ilizimwa. Hili linaunga mkono kwamba ubobezi si matokeo ya tuzo ya moja kwa moja ya utofauti pekee.

Hata hivyo, tofauti kubwa ya SI kati ya λ=0 na λ=0,3 pia inaonyesha kuwa bonasi ya niche ina jukumu muhimu katika kiwango cha kiasi cha ubobezi. Kwa hiyo, ugunduzi wa utafiti unaelezwa kwa usahihi zaidi si kama “bonasi si lazima”, bali kama “ushindani unaweza kuanzisha ubobezi; bonasi inaweza kuuimarisha kwa kiasi kikubwa”.

Gharama ndogo ya ukokotoaji ya NichePopulation na usambazaji wake wazi wa ukaribu wa niche ni ya kuvutia kwa idadi za wanaojifunza zinazoweza kufasiriwa. Hata hivyo, kutokana na kuandaliwa kwa mikono kwa regime na repertoire za mbinu, dhana ya mazingira thabiti, kupimwa kwa sasisho la winner-take-all kama aina pekee ya ushindani, na baadhi ya kutokulingana za kihisabati/nambari ndani ya chanzo, uhamishaji wa matokeo kwa mifumo mipana zaidi unahitaji uthibitishaji wa ziada.

Maelezo ya Chanzo na Mbinu

Utafiti asilia: Emergent Specialization in Learner Populations: Competition as the Source of Diversity.

Mwandishi: Yuhao Li.

Taasisi: University of Pennsylvania.

Mchango sawa: Hautumiki; utafiti una mwandishi mmoja.

Mwandishi wa mawasiliano: Hakuna tamko tofauti la corresponding-author; anwani ya mawasiliano ya mwandishi pekee imetolewa katika PDF.

Kitambulisho cha ArXiv: arXiv:2601.19943.

Toleo lililochunguzwa: arXiv:2601.19943v1.

Tarehe ya kuwasilisha: 16 Januari 2026.

ArXiv DOI: 10.48550/arXiv.2601.19943.

Chanzo rasmi: https://arxiv.org/abs/2601.19943

Aina ya chanzo: Preprint inayojumuisha uundaji wa mbinu katika kujifunza kwa mashine, uchanganuzi wa kinadharia na tathmini ya kimajaribio kwenye data halisi.

Hali ya mapitio ya wenzao: Katika ukaguzi wa bibliografia wa Novemba 2026, hakuna toleo tofauti la jarida au mkutano lililopitiwa na wenzao lililothibitishwa. Rekodi ya ArXiv yenyewe si kiashiria cha mapitio ya wenzao.

Eneo la kisayansi: Machine Learning (cs.LG); utafiti pia unahusiana na mifumo yenye wanaojifunza wengi, kujifunza kwa kuimarisha kwa mawakala wengi, nadharia ya niche ya kiikolojia na nadharia ya taarifa.

Mbinu kuu: NichePopulation; winner-take-all competitive exclusion, Thompson Sampling, imani za mbinu na ufuatiliaji wa ukaribu wa niche.

Usanidi mkuu wa majaribio: Wanaojifunza wanane, mbinu tano kwa kila eneo, iteresheni 500 kwa kila jaribio, marudio huru 30 kwa kila hali, λ=0,3 chaguo-msingi, kiwango cha kujifunza η=0,1.

Maeneo ya data halisi: Data za sarafu za kripto za Bybit, bei za bidhaa za FRED, data za hali ya hewa na mionzi ya jua/ubora wa hewa za Open-Meteo, data za trafiki za NYC TLC.

Rekodi za Jedwali 1: 8.766 + 5.630 + 9.105 + 116.834 + 2.879 + 2.880 = 146.094. Kuna tofauti isiyoelezwa ya rekodi 800 dhidi ya kauli ya jumla ya rekodi 145.294 katika sehemu ya matokeo ya chanzo.

Matokeo makuu ya SI: Katika Jedwali 2 kuu, wastani wa maeneo sita ni 0,747; muhtasari huwasilisha kwa kuzungusha kuwa takribani 0,75.

Matokeo ya λ=0: Wastani wa SI ni 0,329. Kwa kuwa katika Jedwali 3 Solar ni 0,256 na Traffic ni 0,294, kauli ya muhtasari kwamba “SI > 0,30 katika maeneo yote” si sahihi kabisa.

Ukubwa wa athari: Katika Jedwali 2, Cohen's d iko katika safu ya 15,86–32,06; wastani ni 22,84. Kauli ya chanzo kwamba “d > 20 katika maeneo yote” hailingani na mistari ya Commodities na Traffic.

Utofauti wa mbinu: Wastani wa Method Specialization Index ni 0,364; ufunikaji wa mbinu ni %87; tofauti ya wastani ya utendaji dhidi ya msingi wenye usawa uliosanifishwa ni +%26,5.

Ulinganisho wa MARL: QMIX, MAPPO na IQL zililinganishwa tu katika maeneo ya Crypto, Commodities, Weather na Solar. Chanzo kinaripoti ubora wa SI wa 4,3×. Uwiano wa moja kwa moja kutoka wastani wa jedwali ni takribani 4,52–4,53×.

Kikomo cha urekebishaji wa MARL: Chanzo kinaeleza wazi kuwa hiperparameta zilizochapishwa zilitumiwa kwa mbinu za ulinganisho, lakini hakuna uboreshaji wa ziada wa hiperparameta uliofanywa.

Mazingira ya ukokotoaji: Apple M1 Pro (10 cores), 16 GB RAM, macOS 14.3, Python 3.10; NumPy, SciPy na Matplotlib.

Mbinu ya kitakwimu: t-tests za sampuli moja na mbili, marekebisho ya Bonferroni kwa maeneo sita (α=0,0083), Cohen's d na vipindi vya kujiamini vya bootstrap vya sampuli 1.000.

Muundo wa kinadharia: Mapendekezo matatu yanawasilishwa kuhusu competitive exclusion, kikomo cha chini cha SI na kuporomoka kwa utofauti faafu wa idadi ya wanaojifunza katika hali ya mono-regime.

Tofauti ya mbinu kuu–Kiambatisho B: Katika Algorithm 1, tuzo iliyorekebishwa inafafanuliwa kwa namna ya kuzidisha, huku maelezo ya kufundishia katika Kiambatisho B yakitumia bonasi ya kujumlisha. Mfano wa sasisho la ukaribu katika Kiambatisho B pia una hatua za ziada ikilinganishwa na kanuni ya kuongeza + kunormalisha katika algoriti kuu. Tofauti hizi hazijaunganishwa kana kwamba ni mlinganyo mmoja.

Maelezo ya Traffic: Sentensi ya chanzo kwamba neno \(1-1/R\) kwa R=6 huunda kikomo cha chini zaidi cha kinadharia hailingani kihisabati na thamani zake yenyewe. Matokeo ya kimajaribio ya Traffic ya SI=0,573 yamehifadhiwa, na tafsiri hiyo potofu ya kikomo haijajumlishwa.

Hali ya regime: Regime hazijagunduliwa na algoriti yenyewe; zimefafanuliwa mapema kwa maarifa ya eneo.

Hesabu ya mbinu: Mbinu tano za utabiri zilibuniwa kwa mikono kwa kila eneo. Ugunduzi au uzalishaji wa mbinu kiotomatiki haukufanywa katika utafiti huu.

Kikomo cha oracle: Hakuna msingi kamili wa oracle unaobadilisha mbinu kikamilifu katika kila regime. Pia hakuna ulinganisho safi wa ensemble unaotumia repertoire ileile ya mbinu nyingi bila ushindani.

Kodi na data: Chanzo kinaeleza kuwa kodi, data na usanidi wa majaribio vinapatikana katika https://github.com/HowardLiYH/NichePopulation anwani hiyo. Kwa kuwa hazina inaweza kuendelezwa katika tarehe za baadaye, maandishi haya ya Verianla yanategemea tu matokeo ya arXiv v1 yaliyochunguzwa.

Ufadhili: Hakuna tamko tofauti la ufadhili lililotambuliwa katika PDF.

Mgongano wa maslahi: Hakuna tamko tofauti la mgongano wa maslahi lililotambuliwa katika PDF.

CRediT/mchango wa mwandishi: Hakuna tamko tofauti la mchango wa CRediT; utafiti una mwandishi mmoja.

Kikomo cha tafsiri ya kisayansi: Utafiti unaonyesha kuwa katika mfumo wa majaribio wa winner-take-all uliofafanuliwa, ushindani unaweza kuzalisha ubobezi juu ya msingi wa nasibu bila tuzo maalumu ya utofauti. Matokeo hayathibitishi kwamba ushindani ndiyo chanzo pekee au cha lazima cha ubobezi kwa ulimwengu wote katika mifumo yote ya akili bandia au ya mawakala wengi.