Изилдөөнүн негизги көйгөйү — илимде көптөн бери өз-өзүнчө талкууланып келген айрым жакындашуу кубулуштары жалпы математикалык түшүндүрмөгө ээ болушу мүмкүнбү деген суроо. Жасалма интеллектте ар башка архитектуралар же ар башка баштапкы шарттар менен үйрөтүлгөн моделдердин окшош өкүлчүлүктөрдү иштеп чыгышы жөн гана практикалык инженердик байкоо эмес. Эгер чындап эле ар башка моделдер бирдей түрдөгү ички түзүмдөргө жакындаса, анда “үйрөнүлгөн өкүлчүлүк” кокустук окутуу процессинин гана натыйжасы эмес, системанын чектөөлөрү багыттаган тереңирээк түзүм болушу мүмкүн деген ой жаралат.

Экинчи көйгөй — grokking жүрүм-туруму. Grokking — модель адегенде окутуу маалыматтарын жаттап алып, узак убакыт бою тесттик маалыматтарда ийгиликке жетпей, андан кийин капысынан жалпылай баштаган кубулуш. Күнүмдүк салыштырма менен айтканда, бул окуучу адегенде бардык мисалдарды жаттап алып, маселенин өзүн чындап түшүнбөй жүрүп, узак күтүү мезгилинен кийин бир маалда “эрежени түшүнүп калгандай” көрүнүш. Жасалма интеллект контекстинде бул процесс техникалык мааниге ээ: модель жаттоо схемасынан жалпылоо схемасына өтөт деп эсептелет.

Үчүнчү көйгөй биологиядан келип чыгат. Ар башка эволюциялык линиялар узак жана өз алдынча эволюциялык тарыхтарына карабастан окшош метаболизмдик чечимдерге жетиши классикалык мааниде “жалпы тандалуу басымы” менен түшүндүрүлүшү мүмкүн; бирок изилдөө мунун сандык жана түзүмдүк жактан эмне үчүн ушунчалык көп жана белгилүү формаларда кайталанарын кеңири алкакта кароого болорун сунуштайт.

Изилдөөнүн негизги сунушу бул үч байкоону бир принципке бириктирет: системаларда атаандаш механизмдер бар; бул механизмдер энергия, энтропия, маалымат жана физикалык шайкештик сыяктуу чектөөлөрдүн астында атаандашат; энергия бюджети критикалык босого болгон E_c айланасында өзгөргөндө система көп мүмкүнчүлүктүү мейкиндиктен тар жана туруктуу чечимге өтөт.

Бул идеяны түшүнүү үчүн фазалык өтүү түшүнүгү маанилүү. Физикада суунун музга айланышы же магниттелүүдө тартиптин пайда болушу сыяктуу кубулуштарда система акырын өзгөрүп жаткандай көрүнгөнү менен, белгилүү бир босогодо сапаттык өзгөрүү болот. Изилдөө grokking сыяктуу жасалма интеллект кубулуштарын да ушундай өтүүгө салыштырат: модель бир убакыт жаттоо менен жалпылоо механизмдеринин ортосунда атаандашат, андан кийин белгилүү чекитте жалпылоо механизми үстөмдүк кыла баштайт.

HEFтин математикалык өзөгү төмөнкү tuple менен берилет:

\[ H = (R^{(1)}, L, A_0, G, mode, E) \]

Бул туюнтмадагы өзгөрмөлөр төмөнкүдөй түшүндүрүлөт:

• R⁽¹⁾: Системанын баштапкы деңгээлиндеги примитивдүү элементтерин билдирет. Машиналык үйрөнүүдө булар token embeddingдер болушу мүмкүн; биологияда пребиотикалык молекулалар; физикада талаанын Fourier моддору болушу мүмкүн.
• L: Ушул примитивдүү элементтерден логикалык туюнтмаларды курууга мүмкүндүк берген тил. Изилдөөдө атомдук туюнтмалар, физикалык инкар, ылайыктуу бирикмелер, ажыратуулар, тыянактар жана себептик иреттүүлүктөр ушул тилдин бөлүктөрү.
• A₀: Башында колдонууга боло турган механизмдер топтому.
• G: Жаңы механизм индекстерин жарата алган генерация эрежеси.
• mode: Системанын көзөмөлдөнгөн режимде иштейби же өз алдынча жаңы механизмдерди жарата алабы — ошону көрсөтөт.
• E: Энергия бюджети. Изилдөөдө пайда болуу жана жакындашуу жүрүм-турумунун борборунда ушул чоңдук турат.

HEF ушул алты элементтүү түзүм менен гана чектелбейт. Изилдөөдө физикалык чектөөлөрдүн топтому да төмөнкүдөй аныкталат:

\[ P = (P_{\mathrm{thermo}}, P_{\mathrm{info}}, \Phi) \]

Бул жерде P_thermo термодинамикалык чектөөлөрдү, P_info маалымат теориялык чектөөлөрдү, ал эми Φ ушул эки чектөө мейкиндигинин ортосунда түзүлгөн котормо картасын билдирет. Изилдөөнүн ырастоосуна ылайык, термодинамикалык чектөөлөр менен маалымат теориялык чектөөлөр бири-биринен бөлүнүп калган эмес; алар Landauer Принциби жана Jarzynski Теңдиги сыяктуу физикалык принциптер аркылуу байланыштырылышы мүмкүн.

Термодинамика тарабында үч негизги чектөө берилет:

• P1: Энергиянын сакталуусу. Жалпы энергия өзгөрүүсү нөл болушу керек.
• P2: Экинчи мыйзам. Жалпы энтропия азайбашы керек.
• P3: Оң температура. Система T > 0 шарты астында каралат.

Маалымат теориясы тарабында болсо үч тиешелүү чектөө бар:

• P4: Өз ара маалыматтын чеги. Эки өзгөрмөнүн ортосундагы өз ара маалымат бул өзгөрмөлөрдүн өзүнчө энтропияларынан чоң боло албайт.
• P5: Шарттуу энтропиянын терс болбошу. Бир өзгөрмө экинчи өзгөрмө белгилүү болгондо калган белгисиздик терс боло албайт.
• P6: Маалыматты Иштетүү Теңсиздиги же Data Processing Inequality. Маалымат агымынын чынжырында иштетилген өкүлчүлүк баштапкы булактан көбүрөөк маалымат жарата албайт.

Изилдөөдө колдонулган маанилүү негизги байланыштардын бири Landauer Принциби менен байланыштуу. Изилдөөнүн логикасын түшүндүрүү үчүн төмөнкү байланыш белгиленет:

\[ W \geq k_B T \ln 2 \cdot \Delta H \]

Бул жерде W маалыматты өчүрүү же маалымат иштетүү процесси үчүн зарыл болгон минималдуу ишти; k_B Boltzmann туруктуусун; T температураны; ΔH өчүрүлгөн же өзгөртүлгөн маалыматтын көлөмүн билдирет. Бул байланыш маалыматтын физикалык баасы бар экенин көрсөтөт. Күнүмдүк тил менен айтканда, компьютерде маалыматты иштетүү “бекер” эмес; физикалык дүйнөдө анын энергия жана энтропиялык баасы бар.

Изилдөөдө механизмдин наркы төмөнкүдөй аныкталат:

\[ cost(\alpha) = E_{\mu}\left[\Delta E_{\alpha}(\phi) + k_B T \Delta H_{\alpha}(\phi)\right] \]

Бул формулада α механизмдин индекси. φ логикалык тилде курулган формула. ΔE_α(φ) механизм колдонулган формуладагы энергия өзгөрүүсүн; ΔH_α(φ) маалымат мазмунунун өзгөрүүсүн; E_μ канондук физикалык өлчөм астындагы күтүлгөн маанини билдирет. Бул формула механизм “эмне чыгарарын” гана эмес, аны кандай физикалык-маалыматтык нарк менен жасарын да өлчөөгө аракет кылат.

Энергия бюджетине жараша уруксат берилген механизмдер мындай жазылат:

\[ A^*(E) = \{\alpha \in A^* \mid cost(\alpha) \leq E\} \]

Бул жерде A^* физикалык жактан кабыл алынуучу механизмдердин топтому. A^*(E) болсо E энергия бюджетинин ичинде чындап колдонууга боло турган подмножество. Бул туюнтма HEFтин негизги интуициясын ачык көрсөтөт: механизм теориялык жактан мүмкүн болсо да, энергия бюджети анын наркын көтөрө албаса, ал системанын реалдуу жүрүм-турумуна катыша албайт.

Изилдөөдөгү критикалык босого E_c ушул жерде мааниге ээ болот. E_c механизмдердин ар түрдүүлүгү менен жакындашуунун ортосундагы бурулуш чекити катары берилет. E жогору болгондо бир нече механизм атаандаша алат. Бул изилдөө режимине окшош: система көп мүмкүн болгон жолдорду сынайт, өкүлчүлүк түзүмдөрү аралаш жана ызы-чуу болушу мүмкүн. E, E_c босогосунан төмөн түшкөндө болсо эң аз нарктуу механизм гана үстөмдүк кылып, система жалгыз туруктуу чекитке жакындайт.

Бул көрүнүш изилдөөдө Energy-Diversity Trade-off, башкача айтканда энергия-ар түрдүүлүк тең салмактуулугу катары каралат. Энергия көбөйгөн сайын көбүрөөк механизм жеткиликтүү болот; бирок айрым шарттарда төмөн энергия режими системаны күчтүүрөөк жакындашууга түртөт. Бул ой алгач карама-каршы сезилиши мүмкүн. Күнүмдүк турмушта көбүрөөк энергия көбүрөөк мүмкүнчүлүк сыяктуу кабыл алынат. Бирок бул жерде маселе система кайсы механизмдердин наркын “көтөрө алары” жана бул механизмдер кандай атаандашары жөнүндө. Айрым учурларда көп механизм — көбүрөөк ар түрдүүлүк, бирок азыраак туруктуулук дегенди билдириши мүмкүн; төмөн энергия болсо варианттарды азайтып, системаны жалгыз туруктуу чечимге багыттайт.

Изилдөөдө туруктуу чекитке жакындашуу Banach Туруктуу Чекит Теоремасы менен байланыштырылат. Жөнөкөйлөтүп айтканда, эгер бир трансформация ар бир колдонулганда чекиттерди бири-бирине көбүрөөк жакындатса, система акыры жалгыз туруктуу чекитке жакындайт. Изилдөөдөгү метрикалык кысылуу идеясы мындай байланыш менен берилет:

\[ d_H(T_k(R_1), T_k(R_2)) \leq c_{\alpha^*} \cdot d_H(R_1, R_2), \quad 0 < c_{\alpha^*} < 1 \]

Бул жерде d_H Hausdorff метрикасы; ал эки топтомдун бири-биринен канчалык алыстыгын өлчөйт. T_k k деңгээлиндеги генеративдик карта. R₁ жана R₂ эки башка баштапкы же өкүлчүлүк топтому болушу мүмкүн. c_α* болсо 1ден кичине кысылуу коэффициенти. Коэффициент 1ден кичине болгондо ар бир итерация эки түзүмдү бири-бирине жакындатат. Изилдөөнүн Universal Feature Convergence ырастоосу ушул логикага таянат.

Изилдөөдө берилген маанилүү натыйжалардын бири мындай: эки HEF мисалы бирдей физикалык чектөөлөр топтомун P бөлүшүп, E < E_c режиминде иштесе, баштапкы шарттары, архитектурасы же окутуу маалыматы ар башка болсо да бир эле туруктуу чекит өкүлчүлүгүнө жакындашы мүмкүн. Бул жасалма интеллекттеги “эмне үчүн ар башка моделдер окшош өзгөчөлүктөрдү үйрөнөт?” деген суроого мүмкүн болгон түшүндүрмө берет.

Машиналык үйрөнүүдө HEF өзгөчө модулдук арифметика grokking эксперименттери менен текшерилет. Бул жерде модель, мисалы [ (a+b) \mod p ] түрүндөгү тапшырмаларда адегенде окутуу мисалдарын жаттап алып, андан кийин кечигип жалпылай баштайт. Изилдөө бул процессти үч фазалуу баяндама менен түшүндүрөт:

1. Изилдөө режими: E > E_c. Жаттоо механизми менен жалпылоо механизми бир убакта атаандашат. Окутуу тактыгы тез өсүшү мүмкүн, бирок тест тактыгы төмөн бойдон калышы мүмкүн.
2. Grok боштугу: Модель окутуу маалыматтарын жаттап алган, бирок жалпылоо схемасы азырынча үстөм эмес. Салмак нормасы E_c өтүшүнүн эмпирикалык изи катары чокусуна жакындайт.
3. Жакындашуу режими: E < E_c. Жалпылоо механизми үстөм болот. Тест тактыгы кескин жогорулап, туруктуу платого жакындайт.

Изилдөөдө grokking кечигүүсү үчүн кайра каралган масштабдоо байланышы төмөнкүдөй берилет:

\[ \Delta t \propto \frac{1}{frac \cdot p \cdot \lambda} \]

Бул жерде Δt grokking кечигүүсүн; frac окутуу фракциясын; p модулдук арифметикада колдонулган жөнөкөй санды; λ weight decay, башкача айтканда салмакты азайтуу коэффициентин билдирет. Формуланын мааниси: p, окутуунун камтылышы же салмакты азайтуу көбөйгөн сайын айрым режимдерде grokking кечигүүсү кыскарышы мүмкүн. Бирок изилдөө бул байланыш чексиз жарактуу эмес экенин да баса белгилейт. Өзгөчө өтө чоң λ маанилеринде жалпылоо схемасы түзүлө электе салмак сигналы ашыкча басылып калышы мүмкүн; бул көрүнүш mechanism starvation, башкача айтканда механизм ачарчылыгы деп аталат.

Изилдөөдө критикалык weight decay босогосу үчүн төмөнкү аралык берилет:

\[ \lambda_c(p=97) \in (2, 4) \]

Бул p = 97 үчүн λ мааниси 2 менен 4 аралыгында критикалык аймакка ээ экенин көрсөтөт. Тексттеги эксперименттерде λ = 1 жана λ = 2 шарттарында grokking ишенимдүү байкалса, λ = 4 шартында айрым seedдерде ийгиликсиздик жана осцилляция көрүлгөн. Бул жыйынтык HEF “weight decay канчалык чоң болсо grokking ошончолук тез болот” деген жөнөкөй ырастоону айтпасын көрсөтөт. Салмакты азайтуу жалпылоо багытында басым жаратышы мүмкүн, бирок ашыкча болгондо керектүү механизмдин калыптанышына да тоскоол болушу мүмкүн.

Изилдөөдөгү эксперименттик натыйжаларды кылдат ажыратуу керек. Кыскача бөлүмдө HEF 111 grokking эксперименти менен текшерилгени айтылат. Толугураак эксперимент бөлүмүндө болсо 90 негизги эксперимент жана 21 текшерүү эксперименти баяндалат. Негизги эксперименттерде p ∈ {23, 31, 41}, окутуу фракциясы frac ∈ {0.40, 0.50, 0.60}, weight decay λ ∈ {1.0, 2.0} жана беш башка seed колдонулат. Текшерүү эксперименттеринде p ∈ {53, 67, 83, 97} жана кошумча λ сыноолору камтылат.

Эң маанилүү эксперименттик табылгалардын бири — негизги эксперименттерде 90 чуркоонун 89унда grokking байкалганы. Бул 89 grokked моделдин акыркы тест тактыгы:

\[ 0.9745 \pm 0.014 \]

деп берилет. Вариация коэффициенти болжол менен %1.47. ANOVA натыйжаларында p, λ, frac жана seed сыяктуу факторлор акыркы тактыкка олуттуу аныктоочу таасир бербегени айтылат. Изилдөө муну бирдей физикалык чектөөлөрдү бөлүшкөн системалар бир эле туруктуу чекитке жакындайт деген ырастоо менен байланыштырат.

Дагы бир маанилүү табылга — салмак нормасынын изи. Изилдөөдө чуркоолордун %92.1инде салмак нормасы grokking окуясынан мурда чокусуна жеткени жана медианалык алдын ала убакыт болжол менен 1.050 кадам болгону айтылат. Бул E_c өтүшүнүн өлчөнө турган эмпирикалык манжа изи катары чечмеленет. Күнүмдүк салыштырма менен айтканда, система жалпылоо жүрүм-турумуна өтөр алдында ички чыңалуусун эң жогорку деңгээлге чыгарып, андан кийин тартиптүү жана туруктуу түзүмгө жайгашат.

1-сүрөт ушул үч фазалуу баяндоонун визуалдык негизин берет. Сол график нормалдаштырылган салмак нормасы окутуу кадамдары боюнча адегенде жогорулап, андан кийин чокусуна чыгып, кийин төмөндөөрүн көрсөтөт. Графикте бул процесс “Exploration”, “Grok gap” жана “Convergence” фазалары менен байланыштырылат. Оң график болсо тест тактыгынын ийри сызыктары нормалдаштырылган убакыт огунда tanh сымал бурулушка жыйыларын көрсөтөт. Бул визуалдык баяндоо изилдөөнүн grokkingди Landau-Ginzburg тибиндеги фазалык өтүү катары түшүндүрүүсүнүн негизги таянычтарынын бири.

Изилдөөдө tanh жыйрылышы төмөнкү функция менен берилет:

\[ \sigma(t) = \frac{1}{2}\left(1 + \tanh\left(\frac{t-\Delta t}{\tau}\right)\right) \]

Бул формулада σ(t) нормалдаштырылган тест тактыгына окшош өтүү ийри сызыгын; t окутуу убактысын; Δt grokking өтүү убактысын; τ өтүүнүн кескиндигин аныктаган убакыт масштабын билдирет. Tanh функциясы төмөн мааниден жогорку мааниге жумшак, бирок ачык өтүү түзөт. Ошондуктан ал фазалык өтүүлөр жана талаа теориясы контекстинде көп колдонулган форма. Изилдөө grokking тактык ийри сызыктарынын ушул түзүмгө туура келишин “mean-field / Landau-Ginzburg universality class” чечмелөөсү үчүн колдонот.

2-сүрөт Universal Feature Convergence ырастоосун эксперименттик жактан колдоо үчүн акыркы тест тактыгынын бөлүштүрүлүшүн көрсөтөт. Гистограммада жана p менен λ топтоолорунда моделдер болжол менен бир эле акыркы тактык аймагына келгенин көрүүгө болот. Изилдөөнүн чечмелөөсү — ар башка гиперпараметр жөндөөлөрүнө жана баштапкы шарттарга карабастан системалар бир эле туруктуу чекит өкүлчүлүк классына жакындашат. Бирок бул натыйжалар белгилүү модулдук арифметика эксперименттеринде жана колдонулган чакан transformer архитектурасында алынганын унутпоо керек.

3-сүрөт болсо G2 масштабдоосу жана λ_c өтүүсүнө тиешелүү. Сол график grokking кечигүүсүнүн pге жараша log-log масштабда өзгөрүүсүн көрсөтүп, байкалган ылдыйлоонун β = -1.39 ± 0.20 экенин билдирет. Бул кайра каралган [ \Delta t \propto 1/(frac \cdot p \cdot \lambda) ] байланышы менен жарым-жартылай шайкеш деп саналат. Ортоңку график p = 97 үчүн λ = 4 болгондо айрым чуркоолор ийгиликсиз болуп, λ_c босогосу (2, 4) аралыгында экенин көрсөтөт. Оң график болсо p чоңойгон сайын классикалык эки фазалуу grokking жүрүм-туруму синхрондуу үйрөнүүгө жакындай аларын баяндатат.

Изилдөө HEFти машиналык үйрөнүүгө гана колдонбойт. EOM бөлүмүндө пребиотикалык химия жана эволюциялык биологияга, IFF бөлүмүндө маалымат талаасы теориясы жана renormalization group агымдарына, RSID бөлүмүндө нанобөлүкчө сигналын аныктоого мисалдар берилет. Бул тармактардагы колдонмолор HEF ар башка домендерде бир эле түзүмдүк суроону бере аларын көрсөтүү үчүн колдонулат: системанын примитивдүү элементтери кайсылар, кайсы механизмдер иштейт, энергия бюджети кандай, кайсы физикалык жана маалыматтык чектөөлөр күчүндө жана критикалык босогодо кандай жакындашуу түрү жаралат?

Изилдөөнүн биологияга байланыштуу эң көңүл бурарлык божомолу — анаэробдук ачыткы линиялары бирдей филогенетикалык аралыктагы аэробдук линияларга караганда жогору геномдук жакындашууну көрсөтүшү керек. Бул HEFтин энергия чектөөлөрү менен метаболизмдик жакындашуунун ортосунда байланыш түзүү аракетинин бир бөлүгү. Жасалма интеллекттеги дагы бир божомол — жогорку weight decay менен үйрөтүлгөн чоң тил моделдери жогорку себептик таасирге ээ өкүлчүлүктөрдү чыгарышы мүмкүн. Үчүнчү божомол — grokking белгилүү λ_c(p) босогосунан кийин механизм ачарчылыгынан улам ишке ашпай калышы керек.

Бул жерде маанилүүсү — бул божомолдор изилдөөнүн өз сөзү менен айтканда фальсификациялануучу. Башкача айтканда, HEF өткөн байкоолорду түшүндүргөн ийкемдүү окуя катары гана калбастан, жаңы эксперименттер менен колдоого алынууга, оңдолууга же четке кагылууга тийиш. Изилдөөнүн аягында ачык эксперименттик протоколдордун берилиши ушул жагынан маанилүү.

Күнүмдүк жашоого тийгизе турган таасири жагынан бул изилдөө түздөн-түз продукт же колдонмо иштеп чыгуу макаласы эмес. Бирок ал ийгиликтүү болсо, жасалма интеллект моделдери качан жаттоодон жалпылоого өтөрүн түшүнүүдө, окутуу процессиндеги критикалык босоголорду аныктоодо, weight decay сыяктуу гиперпараметрлерди туура эмес колдонгондон чыккан ийгиликсиздиктерди алдын ала айтууда жана ар башка тармактардагы татаал жакындашуу кубулуштарын салыштырууда маанилүү концептуалдык курал бере алат. Кеңири караганда, ал “эмне үчүн татаал системалар кээде бир эле чечимге келет?” деген суроого математикалык тил берүүгө аракет кылат.

Изилдөөнүн күчтүү жактарына ачык математикалык алкак түзүшү, физикалык жана маалымат теориялык чектөөлөрдү бир түзүмдө бириктирүүгө аракет кылышы, grokking эксперименттери менен эмпирикалык колдоо бериши, визуалдык жактан түшүнүктүү E_c манжа изин сунушташы жана фальсификациялануучу тармак аралык божомолдорду жаратышы кирет.

Чектөөлөрдү да кылдат белгилөө керек. Биринчиден, HEF өтө кең тармактарга колдонулууга аракет кылгандыктан, айрым байланыштар азырынча талапкер алкак деңгээлинде. Экинчиден, A6 метрикалык кысылуу шарты изилдөөдө маанилүү техникалык шарт; айрым учурларда теориялык жактан негизделгени менен, жалпы учурда автоматтык түрдө келип чыкпай турганы жана кошумча түзүм талап кылары изилдөөнүн өзүндө талкууланат. Үчүнчүдөн, grokking эксперименттери белгилүү тапшырмалар, белгилүү чакан transformer түзүлүштөрү жана белгилүү гиперпараметр аралыктары менен чектелген. Төртүнчүдөн, биология, чоң тил модели жана нанобөлүкчө божомолдору бул текстте аяктаган көз карандысыз текшерүү катары берилбейт; алар ачык эксперименттик божомолдор.

Изилдөө эмнени айтат жана эмнени айтпайт — так ажыратуу керек. Изилдөө бардык emergence кубулуштары HEF менен түшүндүрүлөт деп айтпайт. Эволюциядагы бардык жакындашууларды, бардык нейрон тармактарындагы өкүлчүлүк окшоштуктарын же бардык физикалык фазалык өтүүлөрдү бир модель менен толук чечтим деп ырастабайт. Анын чектелүүрөөк жана илимий жактан маанилүүрөөк ырастоосу — айрым жакындашуу кубулуштарында энергия босогосу, механизм атаандаштыгы жана физикалык-маалыматтык чектөөлөр аркылуу жалпы фазалык өтүү мотиви болушу мүмкүн.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Изилдөөнүн ыкмасын беш негизги катмарда жыйынтыктоого болот: теориялык HEF аныктамасы, физикалык негиз, жакындашуу теоремалары, механизмдер ландшафтын классификациялоо жана grokking эксперименттери.

1. HEFтин негизги түзүмү

Изилдөөдө HEF төмөнкү түзүм менен аныкталат:

\[ H = (R^{(1)}, L, A_0, G, mode, E) \]

Бул түзүм физикалык чектөөлөр топтому менен толукталат:

\[ P = (P_{\mathrm{thermo}}, P_{\mathrm{info}}, \Phi) \]

Изилдөөдө Φ картасы термодинамикалык жана маалымат теориялык чектөөлөрдүн ортосунда тартипти сактаган чагылдыруу катары курулат. Бул чагылдыруу Landauer Принциби, Jarzynski Теңдиги, Gibbs энтропиясы жана Маалыматты Иштетүү Теңсиздиги сыяктуу негиздерге таянат.

2. Канондук физикалык өлчөм жана механизмдин наркы

Изилдөөдө ар бир примитивдүү элементке Gibbs салмагы берилет:

\[ p_i = \frac{e^{-E_i/k_B T}}{Z^{(k)}} \]

\[ Z^{(k)} = \sum_{j=1}^{N_k} e^{-E_j/k_B T} \]

Бул жерде p_i i-элементтин ыктымалдык салмагы. E_i энергия; k_B Boltzmann туруктуусу; T температура; Z^(k) бөлүштүрүү функциясы; N_k k-деңгээлдеги элементтердин саны. Бул түзүм төмөн энергиялуу абалдарга жогорку салмак берген канондук физикалык өлчөмдү түзөт.

Механизмдин наркы төмөнкүдөй берилет:

\[ cost(\alpha) = E_{\mu}\left[\Delta E_{\alpha}(\phi) + k_B T \Delta H_{\alpha}(\phi)\right] \]

Бул формула механизмдин энергия жана маалымат өзгөрүүсү боюнча күтүлгөн наркын эсептейт. Ошентип HEFте механизм тандоо абстракттуу логикалык ылайыктуулукка гана эмес, физикалык-маалыматтык наркка да байланышат.

3. Критикалык энергия босогосу жана жакындашуу

Энергия бюджетине жараша механизмдер топтому:

\[ A^*(E) = \{\alpha \in A^* \mid cost(\alpha) \leq E\} \]

түрүндө аныкталат. Изилдөөгө ылайык, E өзгөргөн сайын бул топтомдун өлчөмү жана ар түрдүүлүгү да өзгөрөт. E_c жаңы механизмдердин бюджетке кошулуу ылдамдыгы эң жогору болгон критикалык деңгээл катары аныкталат. Чектүү механизм нарктары үчүн бул интуиция төмөнкү дискреттүү туюнтма менен көрсөтүлөт:

\[ E_c = c_{j^*}, \quad j^* = \arg\max_j \frac{\Delta_j}{c_j - c_{j-1}} \]

Бул жерде c_j иреттелген нарк маанилерин; Δ_j ошол нарк деңгээлинде жаңы кошулган механизмдердин санын көрсөтөт. Бул формула E_c маанисин механизмдердин ар түрдүүлүгү эң тез өзгөргөн чекит катары аныктайт.

4. Негизги теоремалар

5. Causal Emergence жана Effective Information

Изилдөөдө себептик пайда болуу төмөнкү Effective Information аныктамасы аркылуу каралат:

\[ EI_k = H_{\mu}(T_k(R^{(k)})) - H_{\mu}(T_k(R^{(k)}) \mid R^{(k)}) \]

Бул жерде EI_k k деңгээлиндеги эффективдүү маалыматты; H_μ канондук өлчөм астындагы энтропияны; T_k генеративдик картаны; R^(k) k деңгээлиндеги өкүлчүлүк же объекттер топтомун билдирет. Биринчи мүчө чыгыштагы ар түрдүүлүктү, экинчи мүчө болсо кириш белгилүү болгонуна карабастан калган себептик ызы-чууну билдирет. Изилдөөнүн ырастоосуна ылайык, E < E_c режиминде механизм тандоо детерминисттик болуп калганда себептик ызы-чуу азаят.

6. Машиналык үйрөнүү эксперименттери

7. Эксперименттик табылгалар

8. Сүрөттөрдүн көрсөткөн илимий мазмуну

1-сүрөт HEFтин үч фазалуу энергия баянын көрсөтөт. Сол панелде салмак нормасы адегенде өсүп, андан кийин E_c айланасында чокусуна чыгып, соңунда төмөндөшү изилдөө режиминен жакындашуу режимине өтүүнүн көрсөткүчү катары чечмеленет. Оң панелде нормалдаштырылган тест тактыгынын ийри сызыктары tanh формасындагы бурулушка жыйрылып, grokkingди Landau-Ginzburg сымал фазалык өтүү катары кароого негиз берет.

2-сүрөт акыркы тест тактыктары p жана λ топтору боюнча олуттуу айырмаланбаганын көрсөтөт. Бул Universal Feature Convergence ырастоосунун эксперименттик колдоолорунун бири катары берилет. Бирок бул натыйжа тиешелүү эксперименттик дизайндагы grokked моделдерге гана тиешелүү; бардык модель масштабдарына жалпыланган акыркы жыйынтык эмес.

3-сүрөт grokking кечигүүсүнүн pге жараша масштабдалышын, λ = 4 айланасындагы ийгиликсиздик режимин жана p чоңойгон сайын жаттоо менен жалпылоонун ортосундагы айырма өзгөрөрүн көрсөтөт. Бул сүрөт HEF өтүүнү түшүндүрүүгө гана эмес, өтүү кандай гиперпараметр шарттарында ишке ашпай калышы мүмкүн экенин алдын ала айтууга аракет кыларын көрсөтөт.

9. Тармактар аралык божомолдор

• P1: Анаэробдук ачыткы линиялары бирдей филогенетикалык аралыктагы аэробдук линияларга караганда жогору геномдук жакындашууну көрсөтөт деп күтүлөт.
• P2: Жогорку weight decay менен үйрөтүлгөн чоң тил моделдери жогорку себептик таасирге ээ өкүлчүлүктөрдү чыгарат деп күтүлөт.
• P3: Белгилүү критикалык λ_c(p) босогосунан кийин grokking механизм ачарчылыгынан улам ишке ашпай калышы керек.

10. Чектөөлөр жана ачык көйгөйлөр

• HEF бардык emergence кубулуштарын түшүндүргөн аяктаган теория катары берилбейт; айрым жакындашуу мотивдери үчүн талапкер алкак.
• A6 метрикалык кысылуу шарты жалпысынан A1–A5тен автоматтык түрдө чыкпайт; изилдөө бул үчүн кошумча түзүмдөр же эмпирикалык текшерүү керек экенин моюнга алат.
• Grokking эксперименттери белгилүү чакан transformer жана модулдук арифметика контекстине негизделет.
• G2 формуласынын мурунку варианты текстте кайра каралган; жаңы формула үчүн чоңураак жана айырмалоочу эксперименттер ачык протокол катары калтырылган.
• LLM, эволюциялык биология жана нанобөлүкчө божомолдору бул изилдөөдө аяктаган көз карандысыз текшерүү эмес, текшериле турган келечектеги божомолдор катары берилет.
• Reproducibility бөлүмүндө Zenodo DOI талаасы “to be deposited” абалында көрүнөт; демек маалымат архивинин акыркы DOI маалыматы текст боюнча бүтө элек.

Булак жана Ыкма Жөнүндө Эскертүү

Бул макала Truong Xuan Khanh даярдаган “Emergence via Phase Transitions: Mechanism Landscapes and Universal Convergence Across Complex Systems” аттуу изилдөөгө негизделип даярдалган. Изилдөөдө автордун H&K Research Studio, Clevix LLC, Hanoi, Vietnam менен байланышы жана 2026-жылдын май айы датасы берилет. Тексттин биринчи бетинде arXiv submit маалыматы болгондуктан, изилдөө текстке таянып arXiv жөнөтүүсү / preprint мүнөзүндөгү теориялык-эмпирикалык изилдөө иши катары бааланган.

Текстте рецензияланган журналга кабыл алуу, DOI менен жарыяланган акыркы версия же ачык рецензиялоо жөнүндө маалымат жок болгондуктан, бул иш үчүн рецензиядан өтүшү текст боюнча ырасталбаган изилдөө деген этият аныктама колдонулушу керек. Ошондуктан жыйынтыктар, айрыкча HEFтин кеңири тармактарга колдонулушу жана биология/LLM/nanomedicine божомолдору боюнча этият окулушу керек.

Бул мазмун даярдалганда изилдөөдө берилген HEF аныктамасы, физикалык чектөөлөр топтому, термодинамика-маалымат теориясы шайкештиктери, негизги теоремалар, grokking эксперименттери, сүрөттөр, сандык натыйжалар, ачык протоколдор жана чектөөлөр негиз катары алынган. PDFде жок болгон так колдонмо ийгилиги, рецензияланган жарыяга кабыл алуу, клиникалык же коммерциялык таасир, бардык жасалма интеллект моделдерине жалпылоо же бардык эволюциялык процесстерди түшүндүрүү сыяктуу ырастоолор кошулган эмес.

Изилдөөнүн эксперименттик бөлүгү өзгөчө модулдук арифметика grokking тапшырмалары менен чектелет. HEFтин эволюциялык биология, чоң тил моделдери жана нанобөлүкчө сигналын аныктоо үчүн берген натыйжалары бул текстте көбүнчө тармактар аралык божомол жана теориялык колдонмо катары орун алат. Бул божомолдордун илимий баалуулугу алардын көз карандысыз эксперименттер менен колдоого алынышына, оңдолушуна же четке кагылышына жараша болот.