Бир нече үйрөнүүчү модель бир эле чөйрөдө иштегенде, алардын баары бир эле чечүү ыкмасына багытталбастан, ар башка шарттарда адистеше алабы? Андан да маанилүүсү, бул эмгек бөлүштүрүү үйрөнүүчүлөр бири-бири менен байланышпастан жана системага атайын “ар түрдүүлүк сыйлыгы” кошулбастан өзүнөн-өзү пайда боло алабы? NichePopulation деп аталган ыкма бул суроону экологиялык ниша теориясындагы атаандаштык аркылуу сүрүп чыгаруу идеясын машиналык үйрөнүүгө ылайыкташтырып изилдейт.

Изилдөөнүн негизги ыкмасында сегиз үйрөнүүчүдөн турган популяция ар башка чөйрөлүк режимдерге туш болот. Ар бир үйрөнүүчү беш болжолдоо ыкмасынын бирин тандайт. Бир эле раундда бардык үйрөнүүчүлөр натыйжа көрсөткөнү менен, эң жогорку жөнгө салынган сыйлыкты алган үйрөнүүчү гана жаңыртылат. Бул winner-take-all, башкача айтканда “жеңүүчү баарын алат” түзүмү бирдей жүрүм-турумду уланткан үйрөнүүчүлөрдү түз атаандаштыкка киргизет. Автордун гипотезасы боюнча, бул атаандаштык азыраак топтолгон жүрүм-турум нишаларына багыт алууну пайдалуураак кылып, убакыт өтүшү менен адистешүүгө алып келет.

Ыкма криптовалюта, товар баалары, аба ырайын болжолдоо, күн нурлануусу, шаардык транспорт жана абанын сапаты болгон алты реалдуу маалымат тармагында бааланган. Негизги 2-таблицага ылайык NichePopulation’дын орточо Адистешүү Индекси (Specialization Index, SI) 0,747. Тармактар боюнча SI маанилери 0,573төн 0,826га чейин өзгөргөн. Бир тектүү салыштыруу тобундагы SI болжол менен 0,002, кокустук салыштыруудагы орточо SI болсо 0,127.

Изилдөөнүн эң маанилүү ablation экспериментинде адистешүүнү түздөн-түз стимулдаган ыктыярдуу ниша бонусу толугу менен өчүрүлгөн: λ = 0. Бул учурда орточо SI 0,329 деп табылган. Бул маани кокустук базанын 0,127 маанисинен ачык жогору. Демек, эксперименттер каралган winner-take-all тартибинде атаандаштык өзү эле өлчөнө турган адистешүүнү жарата аларын колдойт. Ошол эле учурда λ = 0,3 колдонулганда орточо SI 0,747ге көтөрүлгөн; башкача айтканда, бонус адистешүүнүн көлөмүн олуттуу арттырган.

Үйрөнүүчүлөр чөйрөлүк режимдерде гана эмес, колдонгон болжолдоо ыкмаларында да айырмаланганы билдирилген. Популяциялар орточо эсеп менен жеткиликтүү ыкмалардын %87син колдонгон жана бир тектүү бир-ыкмалык базага салыштырмалуу нормалдаштырылган натыйжалуулукта орточо %26,5 өсүш көрсөткөн. Криптовалюта тармагында билдирилген өсүш %41,6, товарларда %37,2, аба ырайын болжолдоодо %28,6, транспортто %23,8, күн нурлануусунда %17,6 жана абанын сапатында %9,9.

QMIX, MAPPO жана IQL менен жүргүзүлгөн MARL салыштыруусу болгону төрт тармакты —криптовалюта, товарлар, аба ырайы жана күн нурлануусун— камтыйт. Автор NichePopulation бул салыштырууда болжол менен 4,3 эсе жогору SI бергенин, 500 итерациялык окутууда болжол менен 0,9 секундга каршы 3,7 секунд менен дээрлик төрт эсе тез болгонун жана болжол менен 1 MBга каршы 384–512 MB эстутум колдонгонун билдирет. MARL ыкмалары үчүн кошумча гиперпараметр оптималдаштыруу жүргүзүлбөгөндүктөн, бул натыйжа ыкмалардын бардык мүмкүн болгон конфигурацияларына карата так артыкчылык катары бааланбашы керек.

Изилдөө атаандаштык ар бир чөйрөдө автоматтык түрдө ар түрдүүлүк жаратарын көрсөтпөйт. Ыкманын иштеши үчүн чөйрөдө бир нече маанилүү режим болушу, ар башка ыкмалар ар башка режимдерде артыкчылыктуу болушу жана үйрөнүүчүлөр чындап эле чектелген сыйлык үчүн атаандашуусу керек. Режимдер жана ар бир тармактагы болжолдоо ыкмалары изилдөөчү тарабынан алдын ала аныкталган; алгоритм бул режимдерди өзү ачпайт.

Түркия көз карашынан алганда бул ыкма ар башка рынок шарттарына ылайыкташкан модель топтору, өндүрүш ишканаларындагы ар башка иш режимдерине адистешкен болжолдоочу техникалык тейлөө моделдери, энергияга суроо-талап же күн энергиясын өндүрүүнү болжолдоо системалары жана экологиялык сенсор тармактары сыяктуу багыттарда изилдениши мүмкүн. Бирок изилдөөнүн жыйынтыктары Түркиянын маалыматтарында текшерилген эмес жана реалдуу операциялык системаларга багытталган талаа эксперименти өткөрүлгөн эмес. Ошондуктан жергиликтүү колдонуу үчүн режимди аныктоо, ыкмалардын тизмеси, сыйлык түзүмү жана атаандаштык механизми өзүнчө текшерилиши керек.

Үйрөнүүчү Популяцияларда Адистешүү Эмнени Билдирет?

Бул изилдөөдө үйрөнүүчү (learner) — белгилүү бир чөйрөлүк абалда болжолдоо ыкмасын тандаган, жыйынтыгына жараша сыйлык алган жана мурунку тажрыйбасынан кайсы ыкма кайсы шартта натыйжалуураак экенин үйрөнүүгө аракет кылган эсептөө бирдиги. Популяция болсо жалпы жөндөмдөрү бирдей болгон бир нече үйрөнүүчүнүн бир чөйрөдө иштөөсү.

Адистешүү — үйрөнүүчүнүн бардык чөйрөлүк шарттарга бирдей багытталбастан, белгилүү режимдерде жогорураак артыкчылык же компетенттүүлүк өнүктүрүшү. Мисалы, финансылык чөйрөдө бир үйрөнүүчү өсүү рыногунда, экинчиси түшүү рыногунда, үчүнчүсү каптал рынокто ийгиликтүү болгон ыкмаларга багыттала башташы мүмкүн.

Изилдөөнүн экологиялык окшоштуруусу ниша (niche) түшүнүгүнө негизделет. Экологияда бир эле чектелген ресурсту бирдей колдонгон организмдер түз атаандаштыкка кирет. Башка ресурстарга же шарттарга багыт алуу бул атаандаштыкты азайтышы мүмкүн. NichePopulation ушуга окшош механизм жасалма үйрөнүүчү популяцияларда пайда болобу же жокпу, ошону изилдейт.

Режим деген эмне?

Режим (regime) — маалымат же чөйрө сапаттык жактан башкача жүрүм-турум көрсөткөн абалдар классы. Режим түшүнүгү тармакка жараша өзгөрөт.

• Криптовалюта тармагында: өсүү, түшүү, каптал жана волатилдүү мезгилдер.
• Товарлар тармагында: өсүп жаткан, төмөндөп жаткан, туруктуу жана волатилдүү мезгилдер.
• Аба ырайын болжолдоодо: ачык, булуттуу, жаанчыл жана экстремалдуу аба ырайы шарттары.
• Күн нурлануусунда: жогорку, орточо, төмөн жана түн.
• Транспортто: эртең мененки тыгын, кечки тыгын, түш, түн, дем алыш жана өтүү.
• Абанын сапатында: жакшы, орточо, сезимтал топтор үчүн зыяндуу жана зыяндуу.

Бул жерде маанилүү методологиялык чек бар: бул режимдер алгоритм тарабынан көзөмөлсүз түрдө ачылган эмес. Изилдөөдө тармактык билимге таянып алдын ала аныкталган. Автор да муну чектөөлөрдүн арасында ачык белгилейт.

Режим–ыкма жакындыгы деген эмне?

Булак белгилүү ыкманын белгилүү режимдеги күтүлгөн ийгилигин:

\[ A(r,m)\in[0,1] \]

менен көрсөтөт.

Бул жерде \(r\) чөйрөлүк режимди, \(m\) болжолдоо ыкмасын билдирет. Ар бир режимде эң жакшы ыкманын мааниси 1 болчудай кылып натыйжалуулук масштабдалат:

\[ \max_m A(r,m)=1 \]

Негизги идея — бир эле ыкма бардык режимдерде эң жакшы болбошу керек. Эгер бир ыкма бардык шарттарда сөзсүз үстөм болсо, үйрөнүүчүлөрдүн ар башка ыкмаларга адистешүүсү үчүн натыйжалуулук жагынан себеп калмак эмес.

Криптовалюта тармагындагы үлгүлүү ыкма жакындыктары

Бул мисалда Momentum-Long өсүү жана түшүү режимдеринде күчтүү болсо, Mean-Revert каптал жана волатилдүү режимдерде көбүрөөк артыкчылыкка ээ. Демек, үйрөнүүчүлөрдүн ар башка ыкмаларга адистешүүсүнө мүмкүндүк берген негизги гетерогендүүлүк алдын ала эле бар.

Адистешүү Индекси (SI) Кантип Эсептелет?

Изилдөөнүн негизги өлчөмү — Shannon энтропиясына негизделген нормалдаштырылган Specialization Index (SI) адистешүү индекси.

Ар бир үйрөнүүчү чөйрөлүк режимдер боюнча ыктымалдык бөлүштүрүүнү сактайт:

\[ \alpha=(\alpha_1,\alpha_2,\ldots,\alpha_R) \]

Бул жерде бардык маанилер нөл же оң жана алардын суммасы 1:

\[ \sum_{r=1}^{R}\alpha_r=1 \]

Бул вектор үйрөнүүчү кайсы режимдерге канчалык деңгээлде багытталганын билдирет.

Shannon энтропиясы

Режим жакындыгынын бөлүштүрүлүшү канчалык чачыранды экенин өлчөө үчүн:

\[ H(\alpha)=-\sum_r\alpha_r\log\alpha_r \]

колдонулат.

Эгер бардык режимдер бирдей салмакка ээ болсо, бөлүштүрүүнүн энтропиясы жогору болот. Үйрөнүүчү бардык ыктымалдыкты бир режимге топтогон сайын энтропия төмөндөйт.

Адистешүү индекси:

\[ SI(\alpha)=1-\frac{H(\alpha)}{\log R} \]

деп аныкталат.

• SI = 0: Үйрөнүүчү бардык режимдерге бирдей багытталган; толук универсалдуу абал.
• SI = 1: Бардык жакындык бир режимге топтолгон; математикалык мааниде толук адис.
• 0 < SI < 1: Жарым-жартылай адистешүү.

Мисал: α = (0,82; 0,06; 0,06; 0,06)

Булактын B тиркемесинде төрт режимдүү үйрөнүүчү үчүн:

\[ \alpha=(0.82,0.06,0.06,0.06) \]

мисалы берилет.

Энтропия:

\[ H(\alpha)= -0.82\log(0.82) -3(0.06\log(0.06)) \]

түрүндө эсептелет жана булак болжол менен:

\[ H(\alpha)=0.668 \]

натыйжасын берет.

Төрт режим үчүн максималдуу энтропия:

\[ \log 4=1.386 \]

болгондуктан:

\[ SI=1-\frac{0.668}{1.386} \]

\[ SI\approx0.518 \]

алынат.

Бул жердеги %51,8 деген көрсөткүч болжолдоо тактыгы эмес. Ал үйрөнүүчүнүн режим жакындыгынын бөлүштүрүлүшү uniform бөлүштүрүүдөн канчалык алыстаганын көрсөтүүчү нормалдаштырылган адистешүү өлчөмү гана.

NichePopulation Алгоритми Кантип Иштейт?

NichePopulation ар бир үйрөнүүчү кайсы ыкма кайсы режимде ийгиликтүү экени тууралуу ишенимдерди сактоосун, Thompson Sampling аркылуу ыкма тандоосун жана ар бир раундда эң жогорку жөнгө салынган сыйлыкты алган үйрөнүүчү гана жаңыртылышын бириктирет.

1. Ыкмага болгон ишенимдер: Beta бөлүштүрүүлөрү

Ар бир үйрөнүүчү ар бир режим–ыкма жуп үчүн Beta бөлүштүрүүнүн параметрлерин сактайт:

\[ \beta^{+}_{i,r,m},\quad \beta^{-}_{i,r,m} \]

Башында бардык жуптар:

\[ Beta(1,1) \]

түрүндө башталат.

Beta(1,1) — 0 менен 1дин ортосундагы uniform бөлүштүрүү. Бул үйрөнүүчүнүн башында кайсы ыкма жакшыраак экенине карата артыкчылыгы жок экенин билдирет.

2. Thompson Sampling менен ыкма тандоо

Бир режим \(r_t\) пайда болгондо, ар бир ыкма үчүн Beta бөлүштүрүүдөн кокус ийгилик үлгүсү алынат:

\[ \tilde{\theta}_m \sim Beta( \beta^{+}_{i,r_t,m}, \beta^{-}_{i,r_t,m} ) \]

Үйрөнүүчү үлгүлөнгөн маанилердин эң чоңуна ээ ыкманы тандайт:

\[ m_i= \operatorname*{argmax}_{m\in M} \tilde{\theta}_m \]

Thompson Sampling — изилдөө менен колдонуу ортосундагы тең салмакты камсыз кылган ыктымалдык тандоо ыкмасы. Жетиштүү сыналбаган ыкмалардын белгисиздиги жогору болгондуктан, алар кээде тандалуу мүмкүнчүлүгүнө ээ; жакшы иштегени үйрөнүлгөн ыкмалар болсо көбүрөөк тандалат.

3. Негизги алгоритмдеги ниша бонусу

Негизги ыкма бөлүмүндөгү Algorithm 1 жөнгө салынган сыйлыкты:

\[ \tilde{R}_i = R_i \left( 1+ \lambda \mathbf{1}[r_i^{*}=r_t] \alpha_{i,r_t} \right) \]

деп аныктайт.

Бул жерде:

• \(R_i\): Үйрөнүүчүнүн чийки сыйлыгы.
• \(\lambda\): Ниша бонусунун коэффициенти.
• \(r_i^{*}\): Үйрөнүүчүнүн эң жогорку жакындыгы бар негизги режими.
• \(\mathbf{1}[r_i^{*}=r_t]\): Учурдагы режим үйрөнүүчүнүн негизги нишасы болсо 1, болбосо 0.
• \(\alpha_{i,r_t}\): Үйрөнүүчүнүн учурдагы режимге болгон ниша жакындыгы.

\(\lambda=0\) болгондо:

\[ \tilde{R}_i=R_i \]

болот. Башкача айтканда, атайын ниша бонусу толугу менен жоголот; бирок үйрөнүүчүлөр ошол эле раунддагы чектелген жеңүүчү позициясы үчүн дагы деле атаандашат.

Булак ичиндеги ыкма боюнча эскертүү: B тиркемесиндеги түшүндүрмө баяндама бонусун мунун ордуна:

\[ B_i=\lambda(\alpha_{i,r_t}-1/R) \]

жана:

\[ S_i=R_i+B_i \]

түрүндө кошумча катары көрсөтөт. Бул формула негизги Algorithm 1деги көбөйтмөлүү формула менен бирдей эмес. Ошондуктан Verianla баянында негизги ыкма формуласы негиз катары алынат.

4. Winner-take-all атаандаштыгы

Жеңүүчү:

\[ i^{*}= \operatorname*{argmax}_{i} \tilde{R}_i \]

аркылуу тандалат.

Ошол эле раундда башка үйрөнүүчүлөр да жакшы натыйжа берген болушу мүмкүн; бирок эң жогорку жөнгө салынган сыйлыкты алган үйрөнүүчү гана оң үйрөнүү жаңыртуусун алат.

Бул механизм изилдөөнүн өзөгүндө турат. Эки үйрөнүүчү бир режимде бирдей ыкмаларга багытталса, алар түздөн-түз атаандашат. Бирөө гана жаңыртылгандыктан, баштапкы мезгилдеги чакан ийгилик айырмачылыктары убакыт өткөн сайын чоңоюшу мүмкүн.

5. Жеңүүчүнүн ыкмага болгон ишеними кантип жаңыртылат?

Негизги Algorithm 1де жеңүүчүнүн оң Beta параметри:

\[ \beta^{+}_{i^{*},r_t,m_{i^{*}}} \leftarrow \beta^{+}_{i^{*},r_t,m_{i^{*}}} + \tilde{R}_{i^{*}} \]

түрүндө жаңыртылат.

Макаладагы алгоритм көрсөтмөсүндө \(\beta^{-}\) параметри үчүн ага туура келген өзүнчө терс жаңыртуу кадамы берилген эмес. Ошондуктан булакта жок жаңыртуу эрежеси кошулган эмес.

6. Ниша жакындыгы кантип өзгөрөт?

Жеңүүчү үйрөнүүчүнүн учурдагы режимге болгон жакындыгы:

\[ \alpha_{i^{*},r_t} \leftarrow \alpha_{i^{*},r_t} + \eta(1-\alpha_{i^{*},r_t}) \]

аркылуу көбөйтүлөт.

\(\eta\) — үйрөнүү ылдамдыгы. Изилдөөнүн демейки мааниси:

\[ \eta=0.1 \]

деп берилген.

Андан кийин жакындык векторунун суммасы кайра 1 болчудай нормалдаштырылат.

Булак ичиндеги ыкма боюнча эскертүү: B тиркемесиндеги бир итерациялык мисалда башка режимдердин жакындыктары да өзүнчө азайтылып, \((0.333,0.222,0.222,0.222)\) натыйжасына жетет. Бул операция негизги Algorithm 1де ачык аныкталган гана көбөйтүү + нормалдаштыруу эрежеси менен так бирдей эмес. Ошондуктан B тиркемесиндеги сандык из негизги алгоритмдин так математикалык кайра эсептөөсү катары колдонулбашы керек.

Ыкма Адистешүүсү Кантип Өлчөнөт?

Изилдөө кайсы режим тандаларына гана эмес, үйрөнүүчү кайсы болжолдоо ыкмаларын колдоноруна да карайт.

Үйрөнүүчүнүн ыкма колдонуу бөлүштүрүлүшү:

\[ \pi_i\in\Delta^M \]

болсун. Ыкма Адистешүү Индекси:

\[ MSI(\pi_i) = 1- \frac{H(\pi_i)}{\log M} \]

деп аныкталат.

Жогорку MSI үйрөнүүчү аз сандагы ыкмага топтолгонун; төмөн MSI болсо ыкмаларды тең салмактуураак колдонорун көрсөтөт.

Ыкма камтуусу

Популяция жеткиликтүү ыкмалар репертуарынын канчасын чындап колдонору:

\[ Coverage= \frac{ |\{m:\exists i,\pi_{i,m}>\tau\}| }{M} \]

менен эсептелген.

Изилдөөдө:

\[ \tau=0.3 \]

колдонулат.

Мисалы, беш ыкманын бешөөнү тең жок дегенде бир адис жетиштүү күчтүү колдонсо, coverage %100 болот.

Үч Теориялык Сунуш Эмнени Айтат?

Сунуш 1: Атаандаштык аркылуу сүрүп чыгаруу

Булак winner-take-all түзүмүндө \(N>R\) болгондо бирдей ниша жакындыгына ээ үйрөнүүчүлөр түзгөн бир тектүү стратегия Nash тең салмактуулугу эмес деп ырастайт.

Бир эле режимде \(k_r\) үйрөнүүчү болсо, булак күтүлгөн кайтарымды жогорку деңгээлде:

\[ E[\text{Payoff}_i|r] = \frac{V_r}{k_r}-c \]

түрүндө көрсөтөт.

Азыраак топтолгон \(r'\) режимине өткөн үйрөнүүчү үчүн:

\[ E[\text{Payoff}'_i|r'] = \frac{V_{r'}}{k_{r'}-1}-c' \]

деп жазылат.

Негизги аргумент — режимдердин баалуулуктары салыштырмалуу болгондо, азыраак топтолгон нишага багыт алуу күтүлгөн кайтарымды көбөйтө алат.

Бул натыйжа бардык мүмкүн болгон атаандаштык системаларынын универсалдуу теоремасы катары чечмеленбеши керек. Булак далилди winner-take-all динамикасы, окшош режим баалуулуктары жана өзүнүн модель божомолдору алкагында түзөт.

Nash тең салмактуулугу деген эмне?

Nash тең салмактуулугу — башка катышуучулардын стратегиялары өзгөрбөй турганда, эч бир катышуучу өзүнүн стратегиясын гана өзгөртүү аркылуу жакшыраак натыйжа ала албаган стратегиялар профили.

Булактын 1-сунуштагы дооматы — толугу менен бир нишага топтолгон үйрөнүүчүлөрдүн бири азыраак топтолгон аймакка багыт алып, жакшыраак күтүлгөн натыйжа ала алса, бир тектүү абал туруктуу Nash тең салмактуулугу боло албайт.

Сунуш 2: Күтүлгөн SIнин төмөнкү чеги

Булак бирдей ыктымалдуу \(R\) режим жана \(\lambda>0\) үчүн күтүлгөн адистешүүгө байланыштуу төмөнкү төмөнкү чекти берет:

\[ E[SI] \geq \frac{\lambda}{1+\lambda} \left(1-\frac{1}{R}\right) \left(1-e^{-\eta T/R}\right) \]

Бул жерде:

• \(\lambda\): ниша бонусунун коэффициенти,
• \(R\): режимдердин саны,
• \(\eta\): үйрөнүү ылдамдыгы,
• \(T\): итерациялардын саны.

Демейки экспериментте:

\[ \lambda=0.3,\quad R=4,\quad \eta=0.1,\quad T=500 \]

болгондо булак төмөнкү чектин болжол менен:

\[ SI\geq0.17 \]

экенин билдирет. Эксперименттик орточо болжол менен 0,75 болгондуктан, байкалган маани бул төмөнкү чектен жогору.

Негизги текст негизги ниша үчүн болжол менен:

\[ \alpha_{r^{*}}^{*}\approx\frac{\lambda}{1+\lambda} \]

туюнтмасын колдонсо, A тиркемесиндеги кеңейтилген чыгарылыш:

\[ \alpha_{r^{*}}^{**} = \frac{\lambda}{1+\lambda} + \frac{1}{R(1+\lambda)} \]

түрүндө кошумча uniform базалык мүчөнү камтыйт. Эки туюнтма так бирдей эмес; экинчиси тиркемеде берилген толугураак форма.

Сунуш 3: Бир режимде ар түрдүүлүк эмне үчүн кулайт?

Булак чөйрөнүн натыйжалуу режимдеринин санын:

\[ k_{\text{eff}} = \exp(H(\pi_r)) \]

менен аныктайт.

Чөйрө бир режимге карай кулаганда:

\[ k_{\text{eff}}\rightarrow1 \]

болот.

Булак мындай учурда популяция деңгээлинде маанилүү айырмалануу мүмкүн эмес экенин жана “натыйжалуу адистешүү” нөлгө барарын ырастайт.

Бул жерде маанилүү өлчөө айырмасы бар. Эгер бардык үйрөнүүчүлөр бир эле режимге толук топтолсо, ар бир үйрөнүүчүнүн чийки SI мааниси математикалык жактан жогору болушу мүмкүн. Булак муну да кабыл алат жана мындай абалдагы SIни “дегенеративдүү” деп аныктайт. 3-сунушта нөлгө барары айтылган нерсе — үйрөнүүчүлөр ар башка режимдерге бөлүнгөн популяция деңгээлиндеги натыйжалуу ар түрдүүлүк түшүндүрмөсү.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Алты реалдуу маалымат тармагы

Бул саптардын арифметикалык суммасы 146.094 жазуу. Булактын жыйынтык бөлүмүндө болсо жалпы 145.294 жазуу деген көрсөткүч бар. Арадагы 800 жазуулук айырма PDFде түшүндүрүлгөн эмес. Ошондуктан тармак боюнча 1-таблицадагы маанилер өзгөртүлбөй сакталган.

Ар бир тармакта колдонулган беш ыкма

Бул ыкмалар репертуары автоматтык түрдө ачылган эмес. Ар бир тармак үчүн изилдөөчү алдын ала даярдаган. Демек, байкалган эмгек бөлүштүрүү толугу менен эркин модель мейкиндигинин өзүнөн-өзү ачылышы эмес, аныкталган ыкмалар репертуарынын ичиндеги адистешүү.

Жалпы гиперпараметрлер

Адистешүүнүн тармактар аралык жыйынтыктары

Булактын кыскача мазмун жана жыйынтык бөлүгүндөгү “Cohen's d > 20 бардык тармактарда” деген сөз бул таблицага так дал келбейт. Commodities үчүн 19,89, Traffic үчүн 15,86 берилген. Ошондуктан туура аралык 15,86–32,06, орточо болсо 22,84 деп берилген.

Cohen's d эмнени билдирет?

Cohen's d — эки топтун орточо маанилеринин айырмасын стандарттык четтөө бирдиги менен көрсөткөн стандартташтырылган таасир чоңдугу.

Булакта:

\[ d= \frac{\mu_1-\mu_2}{\sigma_{\text{pooled}}} \]

колдонулат.

Бул жерде \(\mu_1\) жана \(\mu_2\) топ орточолору, \(\sigma_{\text{pooled}}\) болсо бириктирилген стандарттык четтөө.

Мисалы, d = 20 мааниси “ыкма %2000 жакшыраак” дегенди билдирбейт. Ал орточолор бириктирилген стандарттык четтөөгө карата өзгөчө даражада бөлүнгөнүн билдирет. Бул изилдөөдөгү өтө жогорку d маанилеринин себептеринин бири — 30 кайталоодо жыйынтыктар абдан төмөн вариация көрсөткөнү.

Статистикалык маанилүүлүк кантип текшерилди?

Изилдөө бир жана эки үлгүлүү t-тесттерди колдонгон. Алты тармак арасында көп жолу салыштыруу жүргүзүлгөндүктөн Bonferroni түзөтүүсү колдонулган:

\[ \alpha= \frac{0.05}{6} \approx0.0083 \]

Демек, статистикалык маанилүүлүк чеги:

\[ p<0.0083 \]

деп алынган.

Ишеним аралыктары үчүн 1.000 кайра үлгүлүү bootstrap колдонулганы айтылат.

λ ablation: Атаандаштык бонуссуз эмне кылды?

\(\lambda=0\) шартында бардык тармактарда SI тиешелүү кокустук базадан жогору калган. Бирок булактын кыскача мазмунундагы “бардык тармактарда SI > 0,30” деген сүйлөм таблицага толук дал келбейт: Solar 0,256 жана Traffic 0,294.

Илимий жактан таблица колдогон этият формулировка мындай: λ=0 шартында орточо SI 0,329 жана бардык тармактарда адистешүү кокустук салыштыруудан жогору калган.

λ өскөн сайын эмне болот?

Орточо SI λ өскөн сайын 0,329дан 0,834кө чейин жогорулаган. Автор бул натыйжаны атаандаштык адистешүүнү баштайт, ал эми ниша бонусу процессти күчөтөт деп чечмелейт.

Бирок λнын жогору болушу ар дайым жакшы эмес. Абанын сапаты тармагында SI:

\[ 0.826\quad(\lambda=0.3) \]

маанисинен:

\[ 0.800\quad(\lambda=0.5) \]

маанисине түшкөн.

Булак муну ашыкча адистешүү изилдөө жүрүм-турумун азайтышы мүмкүн экендиги менен байланыштырат.

Ыкма деңгээлиндеги эмгек бөлүштүрүү

Бул жердеги натыйжалуулук маанилери тармактардын чийки RMSE, Sharpe катышы же MAPE маанилери эмес. Булак ар бир тармактын болжолдоо ийгилигин кокустук базага салыштырмалуу нормалдаштырып, 0–1 аралыгына которгонун түшүндүрөт.

Ошондуктан “+%26,5 натыйжалуулук” бардык тармактардагы физикалык ката маанилеринин түздөн-түз %26,5ке азайышын билдирбейт. Бул нормалдаштырылган тармак ичиндеги натыйжалуулуктарды салыштыруудан алынган орточо салыштырма жакшыртуу.

Бир тектүү база деген эмне?

Бир тектүү салыштырууда бардык үйрөнүүчүлөр бир эле ыкманы колдонушат. Булак бул ыкманы “single best-performing method (oracle selection)” түрүндө тандайт.

Бул ар бир режимде өзүнчө идеалдуу ыкманы билген oracle эмес. Тармак үчүн бир ыкма тандалат жана бардык үйрөнүүчүлөр ошол эле ыкманы колдонушат.

MARL салыштыруусу

Бул салыштыруу алты тармактын баарында эмес, төрт тармакта жүргүзүлгөн.

Булак тексти NichePopulation орточосун 0,756 жана эң күчтүү MARL орточосун 0,167 деп билдирип, муну 4,3× айырма деп жыйынтыктайт.

Таблицадагы тегеректелген маанилерден түз эсептегенде:

\[ \frac{0.756}{0.167}\approx4.53 \]

чыгат. Ошондуктан 4,3× автор текстте билдирген маани катары сакталган; таблицадан кайра эсептелген так катыш сыяктуу берилген эмес.

MARL салыштыруусунун чеги

QMIX, MAPPO жана IQL үчүн бирдей сегиз үйрөнүүчү, 500 окутуу итерациясы жана кокустук урук бюджеттери колдонулган. Бирок булак бул ыкмалар үчүн кошумча гиперпараметр оптималдаштыруу жүргүзүлбөгөнүн ачык белгилейт.

Ошондуктан натыйжа NichePopulation ушул эксперименттик конфигурацияда жогорураак SI өндүргөнүн көрсөтөт. Бул бардык мүмкүн болгон QMIX, MAPPO же IQL конфигурацияларына карата универсалдуу артыкчылыктын далили эмес.

Эсептөө чыгымы

Булакта 500 итерация үчүн NichePopulation болжол менен:

0,9 секунд

окутуу убактысы менен, MARL ыкмалары болсо болжол менен:

3,7 секунд

деңгээлинде билдирилген.

Эстутум керектөөсү болжол менен 1 MBга каршы 384–512 MB деп берилген.

Бул өлчөөлөр бир машинада:

• Apple M1 Pro, 10 өзөк
• 16 GB RAM
• macOS 14.3
• Python 3.10
• NumPy, SciPy жана Matplotlib

чөйрөсүндө алынган. Булак бардык эксперимент шарттарынын жалпы иштөө убактысын болжол менен төрт саат деп билдирет.

Транспорт Тармагында Адистешүү Эмне Үчүн Төмөн?

Транспорт тармагы 0,573 SI менен алты тармактын ичиндеги эң төмөн натыйжаны берген. Булак муну ийгиликсиздик катары жашыруунун ордуна ыкманын чектик шарттарын талкуулоо үчүн колдонот.

Үч түшүндүрмө сунушталат:

• Транспортто башка тармактардагы төрт режимдин ордуна алты режим бар. Сегиз үйрөнүүчүнүн алты режимге бөлүнүшү ар бир режимге туура келген орточо түз атаандаштыкты азайтышы мүмкүн.
• Транспорт режимдери көз карандысыз эмес. Эртең мененки тыгындан кийин түш, андан кийин кечки тыгын келет. Бул убакыттык корреляция теорияда колдонулган көз карандысыз режим божомолуна туура келбейт.
• “Өтүү” режими башка режимдер менен жарым-жартылай дал келгендиктен, ниша чек аралары бүдөмүгүрөөк.

Ошого карабастан транспорт тармагында ыкма камтуусу %100 жана бир тектүү базага салыштырмалуу нормалдаштырылган натыйжалуулук өсүшү %23,8.

Математикалык ырааттуулук эскертүүсү: Булак ошол эле бөлүмдө \(1-1/R\) туюнтмасы R=6 үчүн теориялык жогорку чекти төмөндөтөрүн айтат. Бирок:

\[ 1-\frac{1}{6}=\frac{5}{6}\approx0.833 \]

жана:

\[ 1-\frac{1}{4}=\frac{3}{4}=0.75 \]

болгондуктан биринчи маани кичирейбестен чоңоёт. Мындан тышкары, SI аныктамасынын математикалык жогорку чеги 1. Ошондуктан төмөн Traffic SI үчүн бул өзгөчө “төмөнүрөөк жогорку чек” түшүндүрмөсү тастыкталган математикалык жыйынтык катары берилген эмес.

Атаандаштык Чындап Эле Өзү Жетиштүүбү?

Бул изилдөөнүн эксперименттик алкагында λ = 0 шарты ниша бонусун алып салганы менен winner-take-all атаандаштыгын, алдын ала аныкталган гетерогендүү режимдерди, ар башка режимдерде ар кандай ийгилик көрсөткөн ыкмалар репертуарын жана жеңүүчүнүн тандалма жаңыртылышын сактайт.

Демек, “атаандаштык өзү жетиштүү” деген жыйынтыктын толук мааниси төмөнкүдөй:

Бул модельде атайын ниша бонусусуз, winner-take-all атаандаштыгы жана үйрөнүү динамикасы гана бар учурда кокустук базадан жогору адистешүү пайда болгон.

Бул сүйлөм кандай гана эки жасалма интеллект моделин атаандаштыкка салуу ар бир чөйрөдө автоматтык жана пайдалуу адистешүүнү жаратарын көрсөтпөйт.

Адистешүү үчүн булак белгилеген үч шарт

1. Режим гетерогендүүлүгү: Чөйрөдө чындап эле бири-биринен айырмаланган бир нече шарт болушу керек.
2. Стратегия айырмаланышы: Ар башка ыкмалар ар башка режимдерде артыкчылыктуу болушу керек.
3. Чектелген ресурс / чыныгы атаандаштык: Бардык үйрөнүүчүлөр бир убакта тең сыйланбаган атаандаштык басымы болушу керек.

Бул шарттар жоголгондо изилдөөнүн теориялык механизми да алсырайт.

Изилдөө Колдогон Жыйынтыктар

• Winner-take-all атаандаштыгынын шартында үйрөнүүчүлөр ар башка режимдерге карата ниша жакындыктарын өнүктүрө алышкан.
• Демейки λ=0,3 шартында алты тармактагы орточо SI 0,747.
• λ=0 шартында орточо SI 0,329 жана кокустук базанын 0,127 орточосунан жогору.
• Ниша бонусу адистешүүнүн көлөмүн арттырган; λ=0,3тө орточо SI 0,747ге чыккан.
• Популяциялар жеткиликтүү ыкмалардын орточо %87син колдонгон.
• Нормалдаштырылган болжолдоо натыйжалуулугунда бир тектүү базага салыштырмалуу орточо +%26,5 өсүш билдирилген.
• Төрт тармактагы MARL салыштыруусунда NichePopulation жогорураак SI өндүргөн.
• Winner-take-all системасы төмөн эсептөө жана эстутум чыгымын көрсөткөн.
• Транспорт тармагы төмөнүрөөк режим адистешүүсүнө карабастан %100 ыкма камтуусун жана +%23,8 нормалдаштырылган натыйжалуулук өсүшүн көрсөткөн.

Изилдөө Колдобогон Жалпылоолор

• Атаандаштык бардык машиналык үйрөнүү системаларында сөзсүз пайдалуу ар түрдүүлүк жаратары далилденген эмес.
• Режимдер алгоритм тарабынан өзүнөн-өзү ачылбайт; тармактык билим менен алдын ала аныкталган.
• Болжолдоо ыкмалары автоматтык түрдө ачылган же өндүрүлгөн эмес; ар тармак үчүн беш ыкма кол менен аныкталган.
• “Бардык тармактарда Cohen's d > 20” деген сөз негизги жыйынтык таблицасына дал келбейт.
• “λ=0 болгондо бардык тармактарда SI > 0,30” деген сөз негизги ablation таблицасына дал келбейт.
• MARL салыштыруусу алты тармактын баарында жүргүзүлгөн эмес; 5-таблица төрт тармакты гана камтыйт.
• MARL ыкмалары үчүн кеңири гиперпараметр оптималдаштыруу жүргүзүлбөгөндүктөн, бардык мүмкүн болгон конфигурацияларга карата так артыкчылык көрсөтүлгөн эмес.
• Winner-take-all механизми бардык жумшагыраак атаандаштык формаларынан сөзсүз үстөм экени эксперименттик түрдө көрсөтүлгөн эмес; top-k же пропорционалдуу сыйлык механизмдери келечектеги изилдөөлөргө калтырылган.
• Изилдөө реалдуу убакыттагы финансылык соода системасы же инвестициялык стратегия эмес.
• Криптовалюта тармагындагы жогорку натыйжалуулук өсүшү реалдуу портфелдик кирешеде %41,6 пайда дегенди билдирбейт.
• Реалдуу өндүрүш системаларында байланышсыз координацияны ар дайым атаандаштык менен чечүүгө болору көрсөтүлгөн эмес.

Негизги чектөөлөр

Режимди аныктоо: Изилдөө кыймылдуу орточо кесилиштерин, волатилдүүлүк чектерин жана тармактык билим менен түзүлгөн жөнөкөй режим классификаторлорун колдонот. Hidden Markov Model же change-point detection сыяктуу ыкмалар сыналган эмес.

Стационардуулук божомолу: Теориялык талдоо режим бөлүштүрүлүшү стационардуу деп эсептейт. Реалдуу дүйнөдө режим жыштыктары убакыт менен өзгөрүшү мүмкүн.

Winner-take-all тандоосу: Бир гана үйрөнүүчүнүн жаңыртылышы атайын кабыл алынган дизайн чечими. Top-k же пропорционалдуу сыйлык механизмдеринин жыйынтыгы изилденген эмес.

Кол менен аныкталган ыкмалар: Ар бир тармак үчүн ыкмалар репертуарын изилдөөчү даярдаган. Meta-learning же program synthesis аркылуу автоматтык ыкма ачылышы жүргүзүлгөн эмес.

Кол менен аныкталган режимдер: Система жаңы тармактарда режимдерди нөлдөн баштап ачпайт.

Жетишпеген oracle салыштыруусу: Ар бир режимде кемчиликсиз түрдө эң жакшы ыкманы тандаган oracle базасы жок. Ошондой эле атаандаштык аркылуу сүрүп чыгаруусуз ошол эле көп-үйрөнүүчүлүү репертуарды колдонгон өзүнчө ensemble салыштыруусу жүргүзүлгөн эмес.

Булак ичиндеги маанилүү дал келбестиктердин жыйынтыгы

Изилдөөнүн жалпы жыйынтыгы

Изилдөө алдын ала аныкталган гетерогендүү чөйрөлүк режимдер жана ар башка режимдерде ар кандай натыйжа көрсөткөн ыкмалар бар болгондо winner-take-all атаандаштыгы башында бирдей болгон үйрөнүүчүлөрдү убакыт өтүшү менен ар башка адистешүү аймактарына багыттай аларын көрсөтөт.

Эксперименттердин эң күчтүү табылгасы — атайын ниша бонусу өчүрүлгөндө да кокустук базадан жогору адистешүү сакталып калышы. Бул адистешүү түздөн-түз ар түрдүүлүк сыйлыгынын гана натыйжасы эмес экенин колдойт.

Ошол эле учурда λ=0 менен λ=0,3 ортосундагы чоң SI айырмасы ниша бонусу сандык адистешүү деңгээлинде да маанилүү роль ойноорун көрсөтөт. Демек, изилдөөнүн табылгасын “бонус керексиз” деп эмес, “атаандаштык адистешүүнү башташы мүмкүн; бонус аны ачык түрдө күчөтүшү мүмкүн” деп айтуу туурараак.

NichePopulation’дын төмөн эсептөө чыгымы жана ачык ниша жакындыгынын бөлүштүрүлүшү түшүндүрүүгө боло турган үйрөнүүчү популяциялар үчүн көңүл бурууга арзыйт. Бирок режимдер менен ыкмалар репертуарынын кол менен даярдалышы, стационардуу чөйрө божомолу, winner-take-all жаңыртуусунун жалгыз атаандаштык формасы катары сыналышы жана айрым булак ичиндеги математикалык/сандык дал келбестиктер себептүү жыйынтыктарды кеңири системаларга өткөрүү кошумча текшерүүнү талап кылат.

Булак жана Ыкма Жөнүндө Эскертүү

Түпнуска изилдөө: Emergent Specialization in Learner Populations: Competition as the Source of Diversity.

Автор: Yuhao Li.

Мекеме: University of Pennsylvania.

Тең салым: Колдонулбайт; изилдөө бир авторлуу.

Жооптуу автор: Өзүнчө corresponding-author билдирүүсү жок; PDFде жалгыз автордун байланыш дареги берилген.

ArXiv идентификатору: arXiv:2601.19943.

Каралган версия: arXiv:2601.19943v1.

Жөнөтүлгөн дата: 16 Январь 2026.

ArXiv DOI: 10.48550/arXiv.2601.19943.

Расмий булак: https://arxiv.org/abs/2601.19943

Булактын түрү: Машиналык үйрөнүү тармагында ыкма иштеп чыгуу, теориялык талдоо жана реалдуу маалыматта эксперименттик баалоону камтыган препринт.

Рецензия абалы: Ноябрь 2026 библиографиялык текшерүүдө өзүнчө тастыкталган рецензияланган журнал же конференция версиясы табылган эмес. ArXiv жазуусу өзүнөн-өзү рецензия көрсөткүчү эмес.

Илимий тармак: Machine Learning (cs.LG); изилдөө ошондой эле көп үйрөнүүчү системалар, көп-агенттүү күчөтмөлүү үйрөнүү, экологиялык ниша теориясы жана маалымат теориясы менен байланыштуу.

Негизги ыкма: NichePopulation; winner-take-all competitive exclusion, Thompson Sampling, ыкма ишенимдери жана ниша жакындыгын көзөмөлдөө.

Негизги эксперименттик конфигурация: Сегиз үйрөнүүчү, ар тармакка беш ыкма, ар экспериментке 500 итерация, ар шартка 30 көз карандысыз кайталоо, демейки λ=0,3, үйрөнүү ылдамдыгы η=0,1.

Реалдуу маалымат тармактары: Bybit криптовалюта маалыматтары, FRED товар баалары, Open-Meteo аба ырайы жана күн нурлануусу/абанын сапаты маалыматтары, NYC TLC транспорт маалыматтары.

1-таблица жазуулары: 8.766 + 5.630 + 9.105 + 116.834 + 2.879 + 2.880 = 146.094. Булактын жыйынтык бөлүмүндөгү 145.294 жалпы жазуу сөзү менен 800 жазуулук түшүндүрүлбөгөн айырма бар.

Негизги SI жыйынтыгы: Негизги 2-таблицада алты тармактын орточосу 0,747; кыскача мазмун муну тегеректеп болжол менен 0,75 деп берет.

λ=0 жыйынтыгы: Орточо SI 0,329. 3-таблицада Solar 0,256 жана Traffic 0,294 болгондуктан, кыскача мазмундагы “бардык тармактарда SI > 0,30” деген сөз так туура эмес.

Таасир чоңдугу: 2-таблицада Cohen's d 15,86–32,06 аралыгында; орточо 22,84. Булактын “бардык тармактарда d > 20” деген сөзү Commodities жана Traffic саптарына дал келбейт.

Ыкма ар түрдүүлүгү: Орточо Method Specialization Index 0,364; ыкма камтуусу %87; нормалдаштырылган бир тектүү базага салыштырмалуу орточо натыйжалуулук айырмасы +%26,5.

MARL салыштыруусу: QMIX, MAPPO жана IQL болгону Crypto, Commodities, Weather жана Solar тармактарында салыштырылган. Булак 4,3× SI артыкчылыгын билдирет. Таблица орточолорунан түз катыш болжол менен 4,52–4,53× чыгат.

MARL жөндөө чеги: Булак салыштыруу ыкмалары үчүн жарыяланган гиперпараметрлер колдонулганын, бирок кошумча гиперпараметр оптималдаштыруу жүргүзүлбөгөнүн ачык белгилейт.

Эсептөө чөйрөсү: Apple M1 Pro (10 өзөк), 16 GB RAM, macOS 14.3, Python 3.10; NumPy, SciPy жана Matplotlib.

Статистикалык ыкма: Бир жана эки үлгүлүү t-тесттер, алты тармак үчүн Bonferroni түзөтүүсү (α=0,0083), Cohen's d жана 1.000 үлгүлүү bootstrap ишеним аралыктары.

Теориялык түзүм: Атаандаштык аркылуу сүрүп чыгаруу, SI төмөнкү чеги жана моно-режим абалында натыйжалуу популяция ар түрдүүлүгүнүн кулашы боюнча үч сунуш берилет.

Негизги ыкма–B тиркемеси айырмасы: Algorithm 1де жөнгө салынган сыйлык көбөйтмөлүү түрдө аныкталса, B тиркемесиндеги түшүндүрмө кошумча бонус колдонот. B тиркемесинин жакындыкты жаңыртуу мисалы да негизги алгоритмдеги көбөйтүү + нормалдаштыруу эрежесинен тышкары кадамдарды камтыйт. Бул айырмалар бир теңдеме сыяктуу бириктирилген эмес.

Traffic түшүндүрмөсү: Булактын R=6 үчүн \(1-1/R\) мүчөсү төмөнүрөөк теориялык чек түзөт деген сүйлөмү математикалык жактан өзүнүн берилген маанилерине туура келбейт. Trafficтин эксперименттик SI=0,573 жыйынтыгы сакталган, тиешелүү ката чек түшүндүрмөсү жалпыланган эмес.

Режимдердин абалы: Режимдер алгоритмдин өзү тарабынан ачылган эмес; тармактык билим менен алдын ала аныкталган.

Ыкмалар инвентары: Беш болжолдоо ыкмасы ар бир тармак үчүн кол менен иштелип чыккан. Автоматтык ыкма ачылышы же өндүрүлүшү бул изилдөөдө аткарылган эмес.

Oracle чеги: Ар бир режимде кемчиликсиз түрдө ыкма алмаштырган толук oracle базасы жок. Атаандаштыксыз ошол эле көп ыкмалуу репертуарды колдонгон таза ensemble салыштыруусу да жүргүзүлгөн эмес.

Код жана маалымат: Булак код, маалымат жана эксперимент конфигурациялары https://github.com/HowardLiYH/NichePopulation дарегинде экенин билдирет. Репозиторий кийинки убакта өнүктүрүлүшү мүмкүн болгондуктан, бул Verianla тексти каралган arXiv v1 жыйынтыктарын гана негиз кылат.

Каржылоо: PDFде өзүнчө каржылоо билдирүүсү табылган эмес.

Кызыкчылыктардын кагылышы: PDFде өзүнчө кызыкчылыктардын кагылышы билдирүүсү табылган эмес.

CRediT/автордук салым: Өзүнчө CRediT салым билдирүүсү жок; изилдөө бир авторлуу.

Илимий чечмелөө чеги: Изилдөө аныкталган winner-take-all эксперименттик системасында атаандаштык атайын ар түрдүүлүк сыйлыгы болбосо да кокустук базадан жогору адистешүү жарата аларын көрсөтөт. Натыйжа атаандаштык бардык жасалма интеллект же көп-агенттүү системаларда универсалдуу түрдө адистешүүнүн жалгыз же сөзсүз булагы экенин далилдебейт.