Илимде “пайда болуу”, англисче айтканда emergence, жөнөкөй бөлүктөр биригип, ошол бөлүктөрдүн ар биринде өзүнчө болбогон жаңы тартип, жүрүм-турум же функция жаралышын билдирет. Нейрон тармагы жөн гана сандык салмактардан турса да, сүрөттөрдөн кырларды, ийри сызыктарды же абстракттуу өзгөчөлүктөрдү ажырата башташы буга мисал. Ошондой эле жөнөкөй молекулалардан метаболизмдик тармактардын калыптанышы же физикалык талааларда тартиптүү фазалардын пайда болушу emergence талкууларынын өзөгүндө турат.

Бирок бул изилдөө “татаал системаларда жаңы өзгөчөлүктөр пайда болот” деген жалпы билдирүү менен чектелбейт. Ал конкреттүүрөөк суроого көңүл бурат: Эмне үчүн ар башка системалар кээде бир эле жыйынтыкка жакындашат? Эгер эки нейрон тармагы ар башка баштапкы салмактар менен үйрөтүлүп, бирок окшош ички өкүлчүлүктөрдү түзсө, бул жөн гана кокустукпу? Эгер ар башка эволюциялык линиялар бирдей метаболизмдик чечим класстарына кайра-кайра жетсе, бул айлана-чөйрөлүк басымдын гана одоно натыйжасыбы? Эгер grokking ар кандай тапшырмаларда капыстан жалпылоо катары көрүнсө, бул капыстан өтүүнүн убактысы жана формасы кайсы түзүмдүк себептерден көз каранды?

Автордун жообу — бул кубулуштардын артында жалпы механизм атаандаштыгы түзүмү болушу мүмкүн. Системада бир нече мүмкүн болгон механизм бар. Айрымдары тез, бирок үстүртөн чечим берет; башкалары жайыраак, бирок жалпы жана туруктуу чечим түзөт. Жасалма интеллекттеги grokking мисалында муну жаттоо механизми менен жалпылоо механизминин атаандаштыгы катары кароого болот. Модель адегенде окутуу маалыматтарын жаттап алышы мүмкүн; бирок weight decay сыяктуу процесстер убакыт өтүшү менен жаттоо чечимин кымбаттатып, жалпылоо схемасынын үстөм болушуна шарт түзүшү мүмкүн.

Изилдөөнүн негизги түшүнүктөрүнүн бири — критикалык энергия босогосу:

\[ E_c \]

Бул жерде E_c системанын жүрүм-турум режимин өзгөрткөн критикалык энергия бюджети. E жогору болгондо система бир нече механизмдин наркын бир эле учурда “көтөрө” алат; бул изилдөө жана атаандаштык режими. E критикалык босогого жакындаганда механизмдердин ортосундагы тандоо курчуп кетет. E < E_c болгондо эң аз нарктуу же физикалык чектөөлөр боюнча эң туруктуу механизм үстөмдүк кылып, система туруктуу чекитке жакындайт.

Бул логика физикалык фазалык өтүүлөргө окшош. Суунун температурасы төмөндөп жатканда молекулалар капысынан “муз болууну тандабайт”; бирок белгилүү босогодо системанын тартиби сапаттык жактан өзгөрөт. HEFтин grokking түшүндүрмөсүндө да моделдин тест тактыгы узак убакыт төмөн бойдон калышы мүмкүн; андан кийин система белгилүү ички босогодон өткөндө жалпылоо жүрүм-туруму тез пайда болот.

HEF алкагы төмөнкү алты элементтүү түзүм менен аныкталат:

\[ H = (R^{(1)}, L, A_0, G, mode, E) \]

Бул формулада H Hierarchical Emergence Framework мисалын билдирет. R⁽¹⁾ системанын баштапкы примитивдүү элементтер топтому. Машиналык үйрөнүүдө бул token embeddingдер сыяктуу төмөн деңгээлдеги өкүлчүлүк элементтери болушу мүмкүн. Биологияда пребиотикалык молекулалар; физикада Fourier моддору мисал катары берилет. L ушул элементтерден логикалык туюнтмаларды курууга колдонулган тил. A₀ баштапкы механизмдер топтому. G жаңы механизмдерди жарата алган эреже. mode системанын көзөмөлдөнгөнбү же өз алдынча жаңы механизмдерди жараткан режимдеби иштээрин көрсөтөт. E болсо энергия бюджети.

Бул түзүм изилдөөдө физикалык чектөөлөр топтому менен бирге каралат:

\[ P = (P_{\mathrm{thermo}}, P_{\mathrm{info}}, \Phi) \]

Бул жерде P_thermo термодинамикалык чектөөлөрдү, P_info маалымат теориялык чектөөлөрдү, ал эми Φ ушул эки тармактын ортосундагы котормо картасын билдирет. Изилдөөнүн маанилүү жактарынын бири — термодинамикалык мыйзамдар менен маалымат теориясынын принциптерин бир emergence алкагында бириктирүүгө аракет кылышы.

Термодинамика тарабында үч чектөө берилет:

• P1: Энергиянын сакталуусу. Жалпы энергия өзгөрүүсү нөл болушу керек.
• P2: Экинчи мыйзам. Жалпы энтропия азайбашы керек.
• P3: Оң температура. Система T > 0 шарты астында каралат.

Маалымат теориясы тарабында буларга туура келген үч чектөө аныкталат:

• P4: Өз ара маалыматтын чеги. Эки өзгөрмөнүн ортосундагы маалымат өзгөрмөлөрдүн өз маалымат мазмунунан ашпайт.
• P5: Шарттуу энтропиянын терс болбошу. Бир нерсе белгилүү болгондо калган белгисиздик азайышы мүмкүн, бирок терс белгисиздик жаралбайт.
• P6: Маалыматты Иштетүү Теңсиздиги. Маалымат иштетүү чынжырында кийинки өкүлчүлүк мурунку булактан өзүнөн-өзү көбүрөөк маалымат жарата албайт.

Бул мамилени түшүнүү үчүн изилдөө таянган негизги физикалык идеялардын бири Landauer Принциби менен түшүндүрүлөт:

\[ W \geq k_B T \ln 2 \cdot \Delta H \]

Бул формула маалымат иштетүүнүн физикалык наркы бар экенин айтат. W талап кылынган иш же энергия чыгымы. k_B Boltzmann туруктуусу. T температура. ΔH иштетилген же өчүрүлгөн маалымат көлөмү. Бул байланыш “маалымат абстракттуу көрүнсө да, физикалык дүйнөдө акысыз эмес” деген ойду билдирет. Изилдөө механизм тандоону да ушундай энергия-маалымат чыгымдары менен байланыштырат.

Механизмдин наркы мындай жазылат:

\[ cost(\alpha) = E_{\mu}\left[\Delta E_{\alpha}(\phi) + k_B T \Delta H_{\alpha}(\phi)\right] \]

Бул жерде α механизмди; φ логикалык тилде түзүлгөн туюнтманы; ΔE_α(φ) механизмдин энергия өзгөрүүсүн; ΔH_α(φ) маалымат мазмунунун өзгөрүүсүн; E_μ канондук физикалык өлчөм алдындагы күтүлгөн маанини билдирет. Бул формула механизм жөн гана иштейби-жокпу деген суроону эмес, физикалык жана маалыматтык жактан анын наркы канча экенин да өлчөөгө аракет кылат.

Энергия бюджети астында кабыл алынган механизмдер төмөнкүдөй аныкталат:

\[ A^*(E) = \{\alpha \in A^* \mid cost(\alpha) \leq E\} \]

A^* физикалык жактан кабыл алынуучу бардык механизмдер. A^*(E) болсо E энергия бюджети ичинде иштей ала турган механизмдердин подмножествосу. Бул аныктама HEFтин эң негизги идеясын камтыйт: механизм логикалык жактан мүмкүн болушу мүмкүн; бирок энергия бюджети анын чыгымын көтөрө албаса, ал системанын реалдуу жүрүм-турумунда роль ойной албайт.

Изилдөөдө E_c механизмдердин ар түрдүүлүгүнүн критикалык өзгөрүү чекити катары аныкталат. Чектүү механизм нарктары үчүн берилген дискреттүү мүнөздөмө мындай:

\[ E_c = c_{j^*}, \quad j^* = \arg\max_j \frac{\Delta_j}{c_j - c_{j-1}} \]

Бул формулада c_j иреттелген механизм нарктарын; Δ_j ошол нарк деңгээлинде бюджетке жаңы кошулган механизмдердин санын көрсөтөт. Демек E_c системага жаңы механизмдер эң тез кошулган критикалык нарк деңгээли катары тандалат. Үзгүлтүксүз системаларда бул фазалык өтүүлөрдө байкалган сезгичтиктин өсүшүнө салыштырылат.

HEFтин жакындашуу ырастоосу метрикалык кысылуу идеясына негизделет. Изилдөөдө бул логика Hausdorff метрикасы жана Banach Туруктуу Чекит Теоремасы менен курулат:

\[ d_H(T_k(R_1), T_k(R_2)) \leq c_{\alpha^*} \cdot d_H(R_1, R_2), \quad 0 < c_{\alpha^*} < 1 \]

Бул формулада d_H эки топтомдун Hausdorff аралыктыгын; T_k k деңгээлиндеги генеративдик картаны; R₁ жана R₂ эки өкүлчүлүк же объект топтомун; c_α* кысылуу коэффициентин билдирет. Коэффициент 1ден кичине болсо, система ар бир кадамда ар башка баштапкы түзүмдөрдү бири-бирине жакындатат. Ошондуктан белгилүү шарттарда эки өзүнчө система бир туруктуу чекитке жакындай алат.

Изилдөөнүн Universal Feature Convergence натыйжасы ушул жерден чыгат. Эгер эки HEF мисалы бирдей P физикалык чектөөлөр топтомун бөлүшүп, E < E_c режиминде иштесе, баштапкы элементтери, архитектуралык деталдары же генерация жолдору ар башка болсо да бир эле туруктуу чекит өкүлчүлүк классына жакындай алат. Жасалма интеллект үчүн бул ар башка моделдер эмне үчүн окшош ички өкүлчүлүктөрдү өнүктүрөрүн түшүндүрө турган мүмкүн болгон механизм.

Изилдөө жакындашуу өзү эле “себептик пайда болуу” дегенди билдирбей турганын да белгилейт. Анткени бардык нерсени бир туруктуу чыгышка кысуучу маанисиз механизм да жакындашы мүмкүн; бирок бул маанилүү себептик күч жаратпайт. Ошондуктан изилдөө Effective Information түшүнүгүн колдонот:

\[ EI_k = H_{\mu}(T_k(R^{(k)})) - H_{\mu}(T_k(R^{(k)}) \mid R^{(k)}) \]

Бул жерде EI_k k деңгээлиндеги эффективдүү маалыматты көрсөтөт. Биринчи мүчө чыгыштын ар түрдүүлүгүн, экинчи мүчө болсо кириш белгилүү болгонуна карабастан калган себептик ызы-чууну билдирет. Эгер E < E_c режиминде механизм тандоо көбүрөөк детерминисттик болуп калса, себептик ызы-чуу азаят. Изилдөөнүн Causal Emergence Theorem натыйжасы белгилүү кошумча божомолдор астында туруктуу чекит деңгээли микро деңгээлге караганда жогорку эффективдүү маалымат алып жүрүшү мүмкүн деп ырастайт.

Машиналык үйрөнүү мисалында HEF өзгөчө grokking процессине колдонулат. Grokking — модель окутуу маалыматтарын жаттап алгандан бир топ кийин тесттик маалыматтарда жалпылай баштаган кубулуш. Бул изилдөөдө grokking үч фазалуу HEF траекториясы катары түшүндүрүлөт:

1. Изилдөө режими: E > E_c. Жаттоо жана жалпылоо механизмдери бирге бар. Окутуу тактыгы жогоруласа да тест тактыгы төмөн бойдон калышы мүмкүн.
2. Grok боштугу: Модель окутуу маалыматтарын жаттап алган, бирок жалпылоо схемасы азырынча үстөм эмес. Салмак нормасы фазалык чекке жакындаганда чокусуна чыгат.
3. Жакындашуу режими: E < E_c. Жалпылоо механизми үстөм болуп, тест тактыгы тез өсөт жана туруктуу платого жакындайт.

Изилдөөдө grokking кечигүүсү үчүн кайра каралган масштабдоо байланышы төмөнкүдөй:

\[ \Delta t \propto \frac{1}{frac \cdot p \cdot \lambda} \]

Бул жерде Δt grokking кечигүүсүн; frac окутуу маалыматтарынын фракциясын; p модулдук арифметика тапшырмасындагы жөнөкөй санды; λ weight decay, башкача айтканда салмакты азайтуу коэффициентин билдирет. Бул байланыш белгилүү орточо λ режимдеринде көбүрөөк окутуу сигналы жана ылайыктуу weight decay басымы жалпылоо схемасынын эртерээк түзүлүшүнө жардам бериши мүмкүн экенин айтат.

Бирок изилдөө бул жерде маанилүү чектөө коёт. λ өтө чоң болгондо система жалпылоо механизмин түзө турган сигналды да жоготушу мүмкүн. Бул көрүнүш mechanism starvation, башкача айтканда механизм ачарчылыгы деп аталат. p = 97 үчүн критикалык аралык төмөнкүдөй берилет:

\[ \lambda_c(p=97) \in (2, 4) \]

Бул λ = 1 жана λ = 2 маанилеринде grokking ишенимдүү көрүнүп, λ = 4 деңгээлинде айрым чуркоолор ийгиликсиз болгону менен байланыштуу. Демек изилдөө weight decay дайыма көбөйтүлүшү керек болгон жөнөкөй параметр деп айтпайт; белгилүү босогодон кийин ал механизмдин калыптанышын бузушу мүмкүн деп ырастайт.

Изилдөөнүн эксперименттик бөлүмүндө колдонулган негизги тапшырма — модулдук кошуу:

\[ (a+b) \mod p \]

Бул тапшырмада модель мисалдарды жөн гана жаттап алганы жетишсиз; чындап жалпылай алышы үчүн модулдук түзүмдү үйрөнүшү керек. Ошондуктан бул grokking изилдөөлөрүндө көп колдонулган сыноо чөйрөсү.

Эксперименттерде 2 катмарлуу transformer, 128 өлчөмдүү өкүлчүлүк, 4 attention head, full-batch AdamW жана туруктуу 10^-3 үйрөнүү ылдамдыгы колдонулат. Негизги эксперименттик топтомдо p ∈ {23, 31, 41}, окутуу фракциясы frac ∈ {0.40, 0.50, 0.60}, weight decay λ ∈ {1.0, 2.0} жана беш башка seed бар. Текшерүү топтомунда p ∈ {53, 67, 83, 97} жана p = 97 үчүн кошумча λ эксперименттери жүргүзүлөт.

Изилдөөнүн күчтүү эмпирикалык пункттарынын бири — grokked моделдердин акыркы тест тактыктары тар аралыкта топтолгону:

\[ 0.9745 \pm 0.014 \]

Бул натыйжа вариация коэффициенти болжол менен %1.47 болгону менен бирге, ар башка гиперпараметр шарттарына карабастан бирдей туруктуу чекит өкүлчүлүк жүрүм-турумуна жакындашуу ырастоосун колдоо үчүн колдонулат. Бирок бул жыйынтык конкреттүү чакан transformer жана модулдук арифметика эксперименттеринин контекстинде алынган; бардык жасалма интеллект системаларына түздөн-түз жалпыланган акыркы жыйынтык эмес.

Изилдөөдөгү сүрөттөр теориялык ырастоонун визуалдык өзөгүн түзөт. 1-сүрөттүн сол панелинде салмак нормасы окутуу учурунда адегенде өсүп, андан кийин E_c айланасында чокусуна чыгып, кийин төмөндөөрү көрсөтүлөт. Бул чоку grokking окуясынан медиана боюнча болжол менен 1.050 кадам мурда келет деп айтылат. Бул изилдөөдө E_c өтүшүнүн эмпирикалык манжа изи катары чечмеленет.

1-сүрөттүн оң панелинде нормалдаштырылган тест тактыгынын ийри сызыктары tanh формасындагы өтүү ийри сызыгына жыйрылат. Бул ийри төмөнкүдөй жазылат:

\[ \sigma(t) = \frac{1}{2}\left(1 + \tanh\left(\frac{t-\Delta t}{\tau}\right)\right) \]

Бул жерде σ(t) нормалдаштырылган тест тактыгына окшош өтүү функциясы. t окутуу убактысын; Δt grokking өтүү убактысын; τ өтүүнүн туурасын же кескиндигин аныктаган убакыт масштабын билдирет. Tanh функциясы төмөн абалдан жогорку абалга жумшак, бирок ачык өтүү берет. Ошондуктан изилдөө grokking жүрүм-турумун Landau-Ginzburg mean-field универсалдуулук классы менен байланыштырат.

2-сүрөт акыркы тест тактыктарынын бөлүштүрүлүшүн жана p менен λ топторуна жараша айырмаланар-ажырабасын көрсөтөт. Графикте моделдер болжол менен бир акыркы тактык тилкесине топтолуп, p жана λ таасири маанилүү эмес деп айтылат. Бул Universal Feature Convergence ырастоосунун эксперименттик колдоосу катары чечмеленет.

3-сүрөт grokking кечигүүсүнүн pге жараша масштабдалышын жана λ_c өтүшүн көрсөтөт. Сол жактагы log-log графикте байкалган жантайыш:

\[ \beta = -1.39 \pm 0.20 \]

деп берилет жана R² = 0.91 деп отчет кылынат. Бул натыйжа кайра каралган [ \Delta t \propto 1/(frac \cdot p \cdot \lambda) ] байланышы менен жарым-жартылай шайкеш деп саналат. Ортоңку панелде λ = 4 шартында айрым seedдер ийгиликсиз болгону көрсөтүлүп, механизм ачарчылыгы классы колдоого алынат. Оң панель p чоңойгон сайын классикалык эки баскычтуу grokking жүрүм-туруму синхрондуу үйрөнүүгө жакындай аларын көрсөтөт.

HEFтин кызыктуу жагы — изилдөө аны машиналык үйрөнүүгө гана колдонбойт. Биологияда пребиотикалык молекулалардан автокаталитикалык тармактарга жана метаболизмдик жакындашууга, физикада Fourier моддору менен renormalization group агымдарына, нанобөлүкчө сигналын аныктоодо байланышуу конфигурацияларына чейин ар кандай мисалдар берилет. Бул мисалдардын баарында бир эле суроо коюлат: примитивдүү элементтер кайсылар, кайсы механизмдер мүмкүн, кайсы физикалык-маалыматтык чектөөлөр күчүндө жана критикалык энергия босогосу кандай жакындашууну жаратат?

Изилдөөнүн үч фальсификациялануучу божомолу бар. Биринчиси — анаэробдук ачыткы линиялары бирдей филогенетикалык аралыктагы аэробдук линияларга караганда жогору геномдук жакындашууну көрсөтүшү керек. Экинчиси — жогорку weight decay менен үйрөтүлгөн чоң тил моделдери жогорку себептик таасирге ээ өкүлчүлүктөрдү чыгарышы керек. Үчүнчүсү — критикалык λ_c(p) босогосунан кийин grokking механизм ачарчылыгынан улам ишке ашпай калышы керек.

Бул божомолдор маанилүү, анткени теория өткөн байкоолорду айтып берген ийкемдүү түшүндүрмө бойдон калгысы келбейт. Ал өзүнүн кандайча четке кагылышы мүмкүн экенин да көрсөтөт. Эгер анаэробдук линиялар күтүлгөн жакындашууну көрсөтпөсө, LLM өкүлчүлүктөрүндө weight decay менен себептик таасирдин ортосунда күтүлгөн байланыш табылбаса же λ_c босогосу эксперименттик жактан колдоого алынбаса, HEFтин камтуу аймагы тарылтылышы же модель кайра каралышы керек.

Изилдөөнүн күнүмдүк жашоого түз таасири жаңы аппарат, дары же программалык продукт чыгаруу эмес. Бирок ал жасалма интеллект системаларынын окутуу жүрүм-турумун түшүнүүдө, жаттоо менен жалпылоонун ортосундагы өтүүлөрдү өлчөөдө, гиперпараметр жөндөөлөрүндөгү критикалык босоголорду байкоодо жана татаал системаларда эмнеге окшош чечимдер кайра-кайра пайда болорун түшүндүрүүдө концептуалдык салым берет. Эгер HEF кеңири эксперименттер менен колдоого алынса, жасалма интеллектти окутуу процессинде “модель качан чындап үйрөнө баштайт?” деген суроого өлчөнө турган жоопторду берүү мүмкүн болушу мүмкүн.

Изилдөөнүн күчтүү жактары — ачык математикалык түзүм түзүшү, физикалык жана маалымат теориялык чектөөлөрдү чогуу карашы, grokking эксперименттеринен сандык колдоо бериши, сүрөттөр аркылуу өлчөнө турган E_c манжа изин сунушташы жана тармактар аралык фальсификациялануучу божомолдорду жаратышы.

Чектөөлөрү да күчтүү жактарынан кем эмес маанилүү. HEF бардык emergence кубулуштарын түшүндүргөн аяктаган теория эмес. A6 метрикалык кысылуу шарты жалпы учурда автоматтык түрдө келип чыкпайт; изилдөө бул үчүн кошумча түзүмдүк шарттар же эмпирикалык текшерүү керек экенин моюнга алат. Grokking эксперименттери чакан transformer жана модулдук арифметика тапшырмалары менен чектелген. Биология, чоң тил модели жана нанобөлүкчө божомолдору бул текстте аяктаган көз карандысыз текшерүүлөр эмес, келечекте текшерилчү божомолдор. Reproducibility бөлүмүндө Zenodo DOI талаасы “to be deposited” деп көрсөтүлүшү да маалымат архиви тууралуу маалымат текст боюнча толук эмес экенин көрсөтөт.

Ошондуктан изилдөө аяктаган жалпы emergence мыйзамы катары эмес, татаал системалардагы жакындашуу кубулуштарын фазалык өтүүлөр жана механизмдер ландшафты аркылуу түшүндүрүүгө аракет кылган амбициялуу, математикалык жана текшериле турган алкак катары окулушу керек.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Изилдөөнүн ыкмасы төрт негизги багытта курулган: HEFтин математикалык аныктамасы, физикалык-маалымат теориялык негиз, туруктуу чекит жана себептик пайда болуу теоремалары, grokking эксперименттери аркылуу эмпирикалык сыноо.

1. HEF tuple түзүмү

2. Физикалык жана маалымат теориялык чектөөлөр

3. Канондук физикалык өлчөм

Изилдөөдө ар бир примитивдүү элемент үчүн Gibbs салмагы колдонулат:

\[ p_i = \frac{e^{-E_i/k_B T}}{Z^{(k)}} \]

\[ Z^{(k)} = \sum_{j=1}^{N_k} e^{-E_j/k_B T} \]

Бул жерде p_i i-элементтин салмагы. E_i энергия; k_B Boltzmann туруктуусу; T температура; Z^(k) бөлүштүрүү функциясы; N_k k-деңгээлдеги элементтердин саны. Бул түзүм төмөн энергиялуу абалдар жогорку ыктымалдык салмагына ээ болгон физикалык өлчөмдү түзөт.

4. Механизмдин наркы жана E_c

Механизмдин наркы:

\[ cost(\alpha) = E_{\mu}\left[\Delta E_{\alpha}(\phi) + k_B T \Delta H_{\alpha}(\phi)\right] \]

Энергия бюджетине жараша кабыл алынган механизмдер:

\[ A^*(E) = \{\alpha \in A^* \mid cost(\alpha) \leq E\} \]

Критикалык энергия босогосу:

\[ E_c = c_{j^*}, \quad j^* = \arg\max_j \frac{\Delta_j}{c_j - c_{j-1}} \]

Бул үч формула чогуу изилдөөнүн энергия-ар түрдүүлүк тең салмактуулугун түзөт. Механизмдердин наркы бар; энергия бюджети кайсы механизмдер иштей аларын аныктайт; E_c болсо механизмдердин ар түрдүүлүгү режим алмаштырган критикалык босого.

5. Негизги теориялык натыйжалар

6. Grokking эксперименттик түзүлүшү

7. Эмпирикалык табылгалар

8. Сүрөттөрдүн техникалык мааниси

• 1-сүрөт: Салмак нормасы адегенде өсүп, E_c айланасында чокусуна чыгып, андан кийин төмөндөйт. Ошол эле сүрөттүн оң панелинде тест тактыгы tanh сымал өтүүгө жыйрылат. Бул HEFтин үч фазалуу grokking баянынын негизги визуалдык далили.
• 2-сүрөт: Акыркы тест тактыктары p жана λ топтору боюнча олуттуу айырмаланбайт. Бул Universal Feature Convergence чечмелөөсүн колдоо үчүн колдонулат.
• 3-сүрөт: Grokking кечигүүсүнүн pге жараша масштабдалышы, λ = 4 айланасындагы ийгиликсиздик режими жана p чоңойгон сайын эки фазалуу grokking синхрондуу үйрөнүүгө жакындай турганы көрсөтүлөт.

9. Фальсификациялануучу божомолдор

10. Күчтүү жактар жана чектөөлөр

Булак жана Ыкма Жөнүндө Эскертүү

Бул макала Truong Xuan Khanh даярдаган “Emergence via Phase Transitions: Mechanism Landscapes and Universal Convergence Across Complex Systems” аттуу изилдөөгө негизделип даярдалган. Изилдөөдө автордун H&K Research Studio, Clevix LLC, Hanoi, Vietnam менен байланышы жана 2026-жылдын май айы датасы берилген. Тексттин биринчи бетинде arXiv жөнөтүү маалыматы болгондуктан, изилдөө arXiv жөнөтүүсү / preprint мүнөзүндөгү теориялык-эмпирикалык изилдөө иши катары каралган.

Текстте анын рецензияланган журналда жарыяланганын, DOI менен акыркы басылмага айланганын же рецензиялоодон өткөнүн көрсөтө турган ачык маалымат ырасталган эмес. Ошондуктан бул иш үчүн рецензиядан өтүшү текст боюнча ырасталбаган изилдөө деген этият аныктама колдонулушу керек. HEFтин кеңири масштабдагы ырастоолору, өзгөчө биология, чоң тил моделдери жана нанобөлүкчө колдонмолору боюнча кылдат бааланууга тийиш.

Бул мазмунда изилдөөдө берилген теориялык аныктамалар, формулалар, эксперименттик шарттар, визуалдык табылгалар, сандык натыйжалар, чектөөлөр жана ачык божомолдор гана колдонулган. PDFде жок болгон так рецензияланган жарыяга кабыл алуу, бардык жасалма интеллект системаларында текшерилген жалпылоо, биологиялык божомолдордун аяктаган эксперименттик далили, клиникалык таасир, коммерциялык ийгилик же коопсуздук кепилдиги сыяктуу ырастоолор кошулган эмес.

Изилдөөнүн grokking табылгалары модулдук арифметика тапшырмаларында чакан transformer эксперименттери менен колдоого алынган. HEFтин башка тармактарга колдонулушу болсо текстте көбүнчө теориялык дал келтирүү жана текшериле турган божомол деңгээлинде берилет. Ошондуктан изилдөө күчтүү математикалык сунуш жана баштапкы эксперименттик далилдерди камтыса да, анын акыркы баалуулугу көз карандысыз кайталоолор жана жаңы тармактардагы текшерүү/фальсификация изилдөөлөрү менен аныкталат.