Katika sayansi, “kujitokeza” au kwa Kiingereza emergence, humaanisha kuzaliwa kwa mpangilio, tabia au kazi mpya ambayo sehemu rahisi hazikuwa nayo moja moja, pale sehemu hizo zinapokuja pamoja. Mfano ni pale mtandao wa neva, licha ya kuwa umeundwa tu na uzito wa nambari, unapoanza kutofautisha kingo, mikunjo au sifa dhahania katika picha. Vivyo hivyo, kuundwa kwa mitandao ya kimetaboliki kutoka molekuli rahisi, au kutokea kwa awamu zenye mpangilio katika nyanja za fizikia, ni mambo yaliyo katikati ya mjadala wa emergence.

Hata hivyo, kazi hii haitosheki na kusema tu kwamba “sifa mpya huibuka katika mifumo changamano”. Inalenga swali maalumu zaidi: Kwa nini mifumo tofauti wakati mwingine hukaribiana kwenye matokeo yale yale? Ikiwa mitandao miwili ya neva inafunzwa kwa uzito wa awali tofauti lakini inakuza uwakilishi wa ndani unaofanana, je, hilo ni bahati tu? Ikiwa nasaba tofauti za mageuzi hufikia tena na tena madarasa yale yale ya suluhisho za kimetaboliki, je, hilo ni matokeo ya jumla tu ya shinikizo la mazingira? Ikiwa grokking huonekana katika kazi tofauti kama ujanibishaji wa ghafla, muda na umbo la mpito huo wa ghafla hutegemea sababu zipi za kimuundo?

Jibu la mwandishi ni kwamba nyuma ya matukio haya kunaweza kuwa na muundo wa pamoja wa ushindani wa taratibu. Katika mfumo mmoja kuna taratibu kadhaa zinazowezekana. Baadhi huzalisha suluhisho za haraka lakini za juu juu; nyingine ni za polepole zaidi lakini huunda suluhisho za jumla zaidi na thabiti zaidi. Katika mfano wa grokking kwenye akili bandia, hili linaweza kufikiriwa kama ushindani kati ya utaratibu wa kukariri na utaratibu wa kujumlisha. Modeli inaweza kwanza kukariri data ya mafunzo; lakini michakato kama weight decay inaweza kufanya suluhisho la kukariri liwe ghali zaidi kadiri muda unavyopita na hivyo kuruhusu mzunguko wa ujanibishaji kuwa mkuu.

Dhana moja ya msingi ya kazi ni kizingiti muhimu cha nishati:

\[ E_c \]

Hapa E_c ni bajeti muhimu ya nishati inayobadilisha rejimu ya tabia ya mfumo. E ikiwa juu, mfumo unaweza “kumudu” taratibu kadhaa kwa wakati mmoja; hii ni rejimu ya uchunguzi na ushindani. E inapofika karibu na kizingiti muhimu, uteuzi kati ya taratibu huwa mkali. E < E_c ikiwa, utaratibu wenye gharama ya chini zaidi au ulio thabiti zaidi kwa vikwazo vya kifizikia huwa mkuu na mfumo hukaribia nukta thabiti.

Mantiki hii inafanana na mipito ya awamu katika fizikia. Joto la maji linaposhuka, molekuli “haziamui” ghafla kuwa barafu; lakini katika kizingiti fulani mpangilio wa mfumo hubadilika kimaubora. Katika tafsiri ya HEF kuhusu grokking pia, usahihi wa modeli kwenye data ya majaribio unaweza kubaki chini kwa muda mrefu; kisha mfumo unapovuka kizingiti fulani cha ndani, tabia ya ujanibishaji hujitokeza kwa kasi.

Muundo wa HEF hufafanuliwa kwa sehemu sita zifuatazo:

\[ H = (R^{(1)}, L, A_0, G, mode, E) \]

Katika fomula hii H huwakilisha mfano wa Hierarchical Emergence Framework. R⁽¹⁾ ni seti ya vipengele vya msingi vya mfumo katika mwanzo. Katika ujifunzaji wa mashine, hivi vinaweza kuwa vipengele vya uwakilishi wa kiwango cha chini kama token embeddings. Katika biolojia ni molekuli za prebiotiki; katika fizikia ni Fourier modes. L huonyesha lugha inayowezesha kujenga tamko za kimantiki kutoka vipengele hivi. A₀ ni seti ya taratibu za awali. G ni kanuni inayoweza kuzalisha taratibu mpya. mode huonyesha ikiwa mfumo unafanya kazi kwa udhibiti au katika hali inayozalisha taratibu mpya yenyewe. E ni bajeti ya nishati.

Muundo huu hushughulikiwa pamoja na seti ya vikwazo vya kifizikia katika kazi:

\[ P = (P_{\mathrm{thermo}}, P_{\mathrm{info}}, \Phi) \]

Hapa P_thermo huonyesha vikwazo vya thermodynamics, P_info vikwazo vya nadharia ya habari, na Φ ramani ya kutafsiri kati ya nyanja hizi mbili. Moja ya vipengele muhimu vya kazi ni jaribio la kuunganisha sheria za thermodynamics na kanuni za nadharia ya habari ndani ya mfumo mmoja wa emergence.

Upande wa thermodynamics unatolewa vikwazo vitatu:

• P1: Uhifadhi wa nishati. Mabadiliko ya jumla ya nishati lazima yawe sifuri.
• P2: Sheria ya pili. Entropia ya jumla haipaswi kupungua.
• P3: Joto chanya. Mfumo hutathminiwa chini ya sharti T > 0.

Upande wa nadharia ya habari hufafanuliwa vikwazo vitatu vinavyolingana navyo:

• P4: Kikomo cha taarifa ya pamoja. Taarifa kati ya vigezo viwili haiwezi kuzidi maudhui ya habari ya kila kigezo chenyewe.
• P5: Entropia ya masharti kutokuwa hasi. Kitu kinapojulikana, kutokuwa na uhakika kulikobaki kunaweza kupungua, lakini hakutokei kutokuwa na uhakika hasi.
• P6: Data Processing Inequality. Katika mnyororo wa usindikaji wa habari, uwakilishi wa baadaye hauwezi kuunda wenyewe taarifa zaidi kuliko chanzo cha awali.

Mojawapo ya mawazo ya msingi ya kifizikia ambayo kazi inategemea ili kuelewa uhusiano huu yanaweza kuelezwa kwa Kanuni ya Landauer:

\[ W \geq k_B T \ln 2 \cdot \Delta H \]

Fomula hii husema kwamba usindikaji wa habari una gharama ya kifizikia. W ni kazi au gharama ya nishati inayohitajika. k_B ni thabiti ya Boltzmann. T ni joto. ΔH ni kiasi cha habari kinachochakatwa au kufutwa. Uhusiano huu hubeba wazo kwamba “ingawa habari inaweza kuonekana dhahania, katika ulimwengu wa kifizikia si bure”. Kazi pia inahusisha uteuzi wa taratibu na gharama za aina hii za nishati-habari.

Gharama ya utaratibu huandikwa hivi:

\[ cost(\alpha) = E_{\mu}\left[\Delta E_{\alpha}(\phi) + k_B T \Delta H_{\alpha}(\phi)\right] \]

Hapa α ni utaratibu; φ ni tamko lililoundwa ndani ya lugha ya kimantiki; ΔE_α(φ) ni mabadiliko ya nishati ya utaratibu; ΔH_α(φ) ni mabadiliko ya maudhui ya habari; E_μ huonyesha thamani tarajiwa chini ya kipimo kanoniki cha kifizikia. Fomula hii hujaribu kupima si tu kama utaratibu unafanya kazi au la, bali pia una gharama gani kwa upande wa fizikia na habari.

Taratibu zinazokubalika chini ya bajeti ya nishati hufafanuliwa hivi:

\[ A^*(E) = \{\alpha \in A^* \mid cost(\alpha) \leq E\} \]

A^* ni taratibu zote zinazokubalika kifizikia. A^*(E) ni sehemu ndogo ya taratibu zinazoweza kufanya kazi ndani ya bajeti ya nishati E. Ufafanuzi huu hubeba wazo muhimu zaidi la HEF: utaratibu unaweza kuwa unawezekana kimantiki; lakini ikiwa bajeti ya nishati haiwezi kuumudu, hauwezi kuwa na nafasi katika tabia halisi ya mfumo.

Katika kazi, E_c hufafanuliwa kama nukta muhimu ya mabadiliko ya utofauti wa taratibu. Kwa gharama za taratibu zilizo na ukomo, sifa ya kimaandishi iliyotolewa ni hii:

\[ E_c = c_{j^*}, \quad j^* = \arg\max_j \frac{\Delta_j}{c_j - c_{j-1}} \]

Katika fomula hii c_j huonyesha gharama za taratibu zilizopangwa, na Δ_j idadi ya taratibu mpya zinazoingia kwenye bajeti katika kiwango husika cha gharama. Kwa maneno mengine, E_c huchaguliwa kama kiwango muhimu cha gharama ambacho taratibu mpya huingia kwenye mfumo kwa kasi zaidi. Katika mifumo endelevu, hili hufananishwa na kuongezeka kwa usikivu kunakoonekana katika mipito ya awamu.

Dai la ukaribianaji la HEF linategemea wazo la contraction ya kimetriki. Katika kazi, mantiki hii hujengwa kwa metri ya Hausdorff na Banach Fixed Point Theorem:

\[ d_H(T_k(R_1), T_k(R_2)) \leq c_{\alpha^*} \cdot d_H(R_1, R_2), \quad 0 < c_{\alpha^*} < 1 \]

Katika fomula hii d_H huwakilisha umbali wa Hausdorff kati ya seti mbili; T_k ramani zalishi katika ngazi ya k; R₁ na R₂ seti mbili za uwakilishi au viumbe; c_α* mgawo wa contraction. Ikiwa mgawo ni mdogo kuliko 1, mfumo husogeza miundo inayotoka katika mianzo tofauti karibu zaidi katika kila hatua. Kwa hiyo, chini ya masharti fulani, mifumo miwili tofauti inaweza kukaribia nukta thabiti ile ile.

Matokeo ya Universal Feature Convergence katika kazi yanatokana na nukta hii. Ikiwa mifano miwili ya HEF inashiriki seti ile ile ya vikwazo vya kifizikia P na inafanya kazi katika rejimu E < E_c, inaweza kukaribia darasa lile lile la uwakilishi wa nukta thabiti hata kama vipengele vya awali, maelezo ya usanifu au njia za uzalishaji ni tofauti. Kwa upande wa akili bandia, hili hutoa utaratibu mgombea wa kueleza kwa nini modeli tofauti huendeleza uwakilishi wa ndani unaofanana.

Kazi pia inasisitiza kwamba ukaribianaji peke yake haumaanishi “kujitokeza kwa kisababishi”. Kwa sababu utaratibu usio na maana unaobana kila kitu kwenye tokeo moja thabiti pia unaweza kukaribia; lakini hilo halizalishi nguvu ya kisababishi yenye maana. Kwa hiyo kazi hutumia dhana ya Effective Information:

\[ EI_k = H_{\mu}(T_k(R^{(k)})) - H_{\mu}(T_k(R^{(k)}) \mid R^{(k)}) \]

Hapa EI_k huonyesha taarifa tendaji katika ngazi ya k. Termu ya kwanza ni utofauti wa matokeo, na termu ya pili ni kelele ya kisababishi inayobaki licha ya kujua ingizo. Ikiwa uteuzi wa taratibu unakuwa wa kimaamuzi zaidi katika rejimu E < E_c, kelele ya kisababishi hupungua. Matokeo ya Causal Emergence Theorem katika kazi yanadai, chini ya dhana za ziada fulani, kwamba ngazi ya nukta thabiti inaweza kubeba Effective Information kubwa zaidi kuliko ngazi ndogo.

Katika mfano wa ujifunzaji wa mashine, HEF hutumika hasa kwenye mchakato wa grokking. Grokking ni pale modeli inapoanza kujumlisha kwenye data ya majaribio muda mrefu baada ya kukariri data ya mafunzo. Katika kazi hii, grokking huelezwa kama mkondo wa HEF wenye awamu tatu:

1. Rejimu ya uchunguzi: E > E_c. Taratibu za kukariri na kujumlisha zipo pamoja. Usahihi wa mafunzo unaweza kuongezeka wakati usahihi wa majaribio unabaki chini.
2. Pengo la grok: Modeli imekariri data ya mafunzo, lakini mzunguko wa ujanibishaji bado haujawa mkuu. Norm ya uzito hufikia kilele inapokaribia mpaka wa awamu.
3. Rejimu ya ukaribianaji: E < E_c. Utaratibu wa ujanibishaji huwa mkuu; usahihi wa majaribio huongezeka kwa kasi na hukaribia tambarare thabiti.

Uhusiano uliorekebishwa wa scale kwa ucheleweshaji wa grokking katika kazi ni huu:

\[ \Delta t \propto \frac{1}{frac \cdot p \cdot \lambda} \]

Hapa Δt huonyesha ucheleweshaji wa grokking; frac fraksioni ya data ya mafunzo; p nambari prime katika kazi ya arithmetiki ya moduli; na λ mgawo wa weight decay. Uhusiano huu unasema kuwa katika rejimu fulani za kati za λ, ishara nyingi zaidi za mafunzo na shinikizo linalofaa la weight decay vinaweza kusaidia mzunguko wa ujanibishaji kujengwa mapema.

Hata hivyo, kazi huweka pia kikomo muhimu hapa. λ ikiongezeka kupita kiasi, mfumo unaweza kupoteza pia ishara inayohitajika kujenga utaratibu wa ujanibishaji. Hali hii huitwa mechanism starvation, yaani njaa ya utaratibu. Kwa p = 97, safu muhimu hutolewa hivi:

\[ \lambda_c(p=97) \in (2, 4) \]

Hii inahusishwa na grokking kuonekana kwa kutegemeka katika λ = 1 na λ = 2, lakini baadhi ya runs kushindwa katika λ = 4. Kwa hiyo kazi haisemi kwamba weight decay ni mpangilio rahisi unaopaswa kuongezwa kila mara; inadai kwamba ikizidi kizingiti fulani inaweza kuvuruga uundaji wa utaratibu.

Kazi kuu iliyotumiwa katika sehemu ya majaribio ni tatizo la modular addition:

\[ (a+b) \mod p \]

Katika kazi hii, haitoshi kwa modeli kukariri mifano tu; ili iweze kujumlisha kweli, lazima ijifunze muundo wa moduli. Kwa hiyo ni eneo la majaribio linalotumiwa mara nyingi katika tafiti za grokking.

Katika majaribio, transformer ya tabaka 2, uwakilishi wa vipimo 128, attention head 4, full-batch AdamW na kiwango thabiti cha kujifunza 10^-3 hutumiwa. Katika seti kuu ya majaribio kuna p ∈ {23, 31, 41}, fraksioni ya mafunzo frac ∈ {0.40, 0.50, 0.60}, weight decay λ ∈ {1.0, 2.0} na seed tano tofauti. Katika seti ya uthibitishaji kuna p ∈ {53, 67, 83, 97} na majaribio ya ziada ya λ kwa p = 97.

Mojawapo ya nukta imara zaidi za kithibitisho za kazi ni kwamba usahihi wa mwisho wa test wa modeli zilizogrokked hukusanyika katika safu nyembamba:

\[ 0.9745 \pm 0.014 \]

Pamoja na mgawo wa utofauti wa takribani %1.47, matokeo haya hutumiwa kuunga mkono dai la kukaribia tabia ile ile ya uwakilishi wa nukta thabiti licha ya masharti tofauti ya hyperparameter. Hata hivyo, matokeo haya yako katika muktadha wa majaribio maalumu ya transformer ndogo na modular arithmetic; si hitimisho la uhakika linalopanuliwa moja kwa moja kwa mifumo yote ya akili bandia.

Michoro katika kazi huunda uti wa mgongo wa kuona wa dai la kinadharia. Katika paneli ya kushoto ya Şekil 1, norm ya uzito huonyeshwa kwamba kwanza huongezeka wakati wa mafunzo, kisha hufikia kilele karibu na E_c na baada ya hapo hushuka. Kilele hiki kinatajwa kuwa hutokea kwa mediana takribani hatua 1.050 kabla ya tukio la grokking. Hili hutafsiriwa katika kazi kama alama ya kielelezo ya mpito wa E_c.

Katika paneli ya kulia ya Şekil 1, mikunjo ya usahihi wa majaribio iliyosanifiwa huangukia kwenye mkunjo wa mpito wa umbo la tanh. Mkunjo huu huandikwa hivi:

\[ \sigma(t) = \frac{1}{2}\left(1 + \tanh\left(\frac{t-\Delta t}{\tau}\right)\right) \]

Hapa σ(t) ni kazi ya mpito inayofanana na usahihi wa test uliosanifiwa. t ni muda wa mafunzo; Δt ni muda wa mpito wa grokking; τ huonyesha kipimo cha muda kinachoamua upana au ukali wa mpito. Kazi ya tanh huzalisha mpito laini lakini ulio wazi kutoka hali ya chini kwenda hali ya juu. Kwa hiyo kazi inahusisha tabia ya grokking na darasa la universality la Landau-Ginzburg mean-field.

Şekil 2 huonyesha usambazaji wa usahihi wa mwisho wa test na kama hutofautiana kulingana na makundi ya p na λ. Katika grafu, inaelezwa kwamba modeli hukusanyika takribani katika bendi ile ile ya usahihi wa mwisho na kwamba athari ya p na λ haikupatikana kuwa yenye maana. Hili hutafsiriwa kama msaada wa majaribio kwa dai la Universal Feature Convergence.

Şekil 3 inahusu scale ya ucheleweshaji wa grokking kulingana na p na mpito wa λ_c. Katika grafu ya log-log upande wa kushoto, mteremko uliotazamwa unatolewa kama:

\[ \beta = -1.39 \pm 0.20 \]

na R² = 0.91 inaripotiwa. Matokeo haya yanaonekana kuendana kwa sehemu na uhusiano uliorekebishwa [ \Delta t \propto 1/(frac \cdot p \cdot \lambda) ]. Paneli ya katikati inaonyesha kwamba katika sharti λ = 4 baadhi ya seed hushindwa, na hivyo kuunga mkono darasa la mechanism starvation. Paneli ya kulia inaeleza kwamba p inapokua, tabia ya kawaida ya grokking ya hatua mbili inaweza kukaribia mwonekano wa kujifunza kwa wakati mmoja zaidi.

Upande unaovutia wa HEF ni kwamba kazi haitumii mfumo huu kwa ujifunzaji wa mashine pekee. Katika biolojia, hutolewa mifano kutoka molekuli za prebiotiki kwenda mitandao ya autocatalytic na ukaribianaji wa kimetaboliki; katika fizikia, Fourier modes na renormalization group flows; na katika utambuzi wa signal za nanoparticle, usanidi wa binding. Katika mifano hii yote swali lile lile huulizwa: Vipengele vya msingi ni nini, ni taratibu zipi zinawezekana, ni vikwazo vipi vya kifizikia na habari vinatumika, na kizingiti muhimu cha nishati huzalisha ukaribianaji gani?

Kazi ina utabiri tatu unaoweza kukanushwa. Wa kwanza ni kwamba nasaba za yeast za anaerobic zinapaswa kuonyesha ukaribianaji wa kijeni wa juu zaidi kuliko nasaba za aerobic zilizo katika umbali ule ule wa filogenetiki. Wa pili ni kwamba modeli kubwa za lugha zinazofunzwa kwa weight decay kubwa zaidi zitazalisha uwakilishi wenye athari kubwa zaidi ya kisababishi. Wa tatu ni kwamba zaidi ya kizingiti muhimu cha λ_c(p), grokking inapaswa kushindwa kwa sababu ya mechanism starvation.

Utabiri huu ni muhimu kwa sababu nadharia haitaki kubaki kuwa maelezo mepesi yanayoeleza tu uchunguzi wa zamani. Inatoa pia njia zake za kukanushwa. Ikiwa nasaba za anaerobic hazitaonyesha ukaribianaji unaotarajiwa, ikiwa katika uwakilishi wa LLM haitapatikana uhusiano unaotarajiwa kati ya weight decay na causal effect, au ikiwa kizingiti cha λ_c hakitaungwa mkono kwa majaribio, wigo wa HEF unapaswa kupunguzwa au modeli kurekebishwa.

Athari ya kazi hii katika maisha ya kila siku si kutoa moja kwa moja kifaa, dawa au bidhaa ya programu. Lakini hutoa mchango wa kidhana katika kuelewa tabia ya mafunzo ya mifumo ya akili bandia, kupima mipito kati ya kukariri na kujumlisha, kutambua vizingiti muhimu katika mpangilio wa hyperparameter, na kueleza kwa nini suluhisho zinazofanana hutokea mara kwa mara katika mifumo changamano. Ikiwa HEF itaungwa mkono na majaribio mapana zaidi, inaweza kutoa majibu yanayopimika zaidi kwa swali “modeli huanza lini kweli kujifunza?” katika michakato ya mafunzo ya akili bandia.

Nguvu za kazi ni kujenga muundo wazi wa kihisabati, kushughulikia pamoja vikwazo vya kifizikia na vya nadharia ya habari, kutoa msaada wa nambari kutoka majaribio ya grokking, kupendekeza alama inayopimika ya E_c kupitia michoro, na kutoa utabiri unaoweza kukanushwa kati ya nyanja tofauti.

Mipaka yake ni muhimu angalau kama nguvu zake. HEF si nadharia iliyokamilika inayofafanua matukio yote ya emergence. Sharti la A6 la contraction ya kimetriki halitokani kiotomatiki katika hali ya jumla; kazi inakubali kwamba masharti ya ziada ya kimuundo au uthibitishaji wa majaribio vinahitajika. Majaribio ya grokking yamefungwa kwenye transformer ndogo na kazi za modular arithmetic. Utabiri wa biolojia, modeli kubwa za lugha na nanoparticle katika maandishi haya si uthibitisho huru uliokamilika, bali ni makadirio yanayopaswa kujaribiwa baadaye. Katika sehemu ya Reproducibility, sehemu ya Zenodo DOI kuonekana kama “to be deposited” pia inaonyesha kwamba taarifa ya hifadhi ya data haijakamilika kutoka kwenye maandishi.

Kwa hiyo kazi inapaswa kusomwa si kama sheria ya jumla ya emergence iliyothibitishwa kikamilifu, bali kama mfumo wenye madai makubwa, wa kihisabati na unaoweza kujaribiwa, unaojaribu kueleza matukio ya ukaribianaji katika mifumo changamano kupitia mipito ya awamu na mandhari za taratibu.

Mbinu na Matokeo ya Utafiti

Mbinu ya kazi imejengwa juu ya mihimili minne kuu: ufafanuzi wa kihisabati wa HEF, msingi wa kifizikia-kihabari, teoremu za nukta thabiti na causal emergence, na jaribio la kimajaribio kwa majaribio ya grokking.

1. Muundo wa tuple wa HEF

2. Vikwazo vya kifizikia na nadharia ya habari

3. Kipimo kanoniki cha kifizikia

Katika kazi, Gibbs weight hutumiwa kwa kila kipengele cha msingi:

\[ p_i = \frac{e^{-E_i/k_B T}}{Z^{(k)}} \]

\[ Z^{(k)} = \sum_{j=1}^{N_k} e^{-E_j/k_B T} \]

Hapa p_i ni uzito wa kipengele cha i. E_i ni nishati; k_B thabiti ya Boltzmann; T joto; Z^(k) partition function; N_k idadi ya vipengele katika ngazi ya k. Muundo huu huunda kipimo cha kifizikia ambacho hali za nishati ya chini zina uzito mkubwa zaidi wa uwezekano.

4. Gharama ya utaratibu na E_c

Gharama ya utaratibu:

\[ cost(\alpha) = E_{\mu}\left[\Delta E_{\alpha}(\phi) + k_B T \Delta H_{\alpha}(\phi)\right] \]

Taratibu zinazokubalika kulingana na bajeti ya nishati:

\[ A^*(E) = \{\alpha \in A^* \mid cost(\alpha) \leq E\} \]

Kizingiti muhimu cha nishati:

\[ E_c = c_{j^*}, \quad j^* = \arg\max_j \frac{\Delta_j}{c_j - c_{j-1}} \]

Fomula hizi tatu kwa pamoja huunda uwiano wa nishati na utofauti katika kazi. Taratibu zina gharama; bajeti ya nishati huamua ni taratibu zipi zinaweza kufanya kazi; E_c ni kizingiti muhimu ambacho utofauti wa taratibu hubadilisha rejimu.

5. Matokeo makuu ya kinadharia

6. Mpangilio wa majaribio ya grokking

7. Matokeo ya kimajaribio

8. Maana ya kiufundi ya michoro

• Şekil 1: Norm ya uzito kwanza huongezeka, hufikia kilele karibu na E_c, kisha hushuka. Katika paneli ya kulia ya mchoro huo huo, usahihi wa test huangukia mpito unaofanana na tanh. Huu ndio ushahidi mkuu wa kuona wa maelezo ya awamu tatu ya grokking katika HEF.
• Şekil 2: Usahihi wa mwisho wa test hautengani kwa maana kubwa kulingana na makundi ya p na λ. Hii hutumiwa kuunga mkono tafsiri ya Universal Feature Convergence.
• Şekil 3: Huonyesha scaling ya ucheleweshaji wa grokking kulingana na p, rejimu ya kushindwa karibu na λ = 4, na jinsi tofauti kati ya kukariri na kujumlisha hubadilika p inapokua.

9. Utabiri unaoweza kukanushwa

10. Nguvu na mipaka

Maelezo ya Chanzo na Mbinu

Makala hii imeandaliwa kwa kutegemea kazi yenye kichwa “Emergence via Phase Transitions: Mechanism Landscapes and Universal Convergence Across Complex Systems” iliyoandikwa na Truong Xuan Khanh. Katika kazi, uhusiano wa mwandishi umetolewa kama H&K Research Studio, Clevix LLC, Hanoi, Vietnam, na tarehe ya Mei 2026 imeonyeshwa. Kwa kuwa taarifa ya uwasilishaji wa arXiv ipo katika ukurasa wa kwanza wa maandishi, kazi imechukuliwa kama uwasilishaji wa arXiv / kazi ya kinadharia-kimajaribio yenye sifa ya preprint.

Kwa kuwa katika maandishi hakuna taarifa wazi inayoonyesha kwamba kazi imechapishwa katika jarida lililopitiwa na wahakiki, imegeuzwa kuwa chapisho la mwisho lenye DOI, au imepitia tathmini ya wazi ya wahakiki, inapaswa kutumiwa kauli kazi ambayo uhakiki wake hauwezi kuthibitishwa kutoka kwenye maandishi. Kwa hiyo madai mapana ya HEF, hasa kwa biolojia, modeli kubwa za lugha na matumizi ya nanoparticle, yanapaswa kutathminiwa kwa tahadhari.

Katika maudhui haya, yametumiwa tu ufafanuzi wa kinadharia, fomula, masharti ya majaribio, matokeo ya kuona, matokeo ya nambari, mipaka na utabiri wazi uliotolewa katika kazi. Hakijaongezwa madai ambayo hayapo katika PDF kama kukubalika kwa uhakika katika uchapishaji uliopitiwa na wahakiki, ujanibishaji uliothibitishwa katika mifumo yote ya akili bandia, ushahidi uliokamilika wa majaribio ya utabiri wa kibaolojia, athari ya kitabibu, mafanikio ya kibiashara au dhamana ya usalama.

Matokeo ya grokking katika kazi yameungwa mkono na majaribio ya transformer ndogo katika kazi za modular arithmetic. Utekelezaji wa HEF katika nyanja nyingine unaonekana zaidi katika maandishi kama ulinganishaji wa kinadharia na utabiri unaoweza kujaribiwa. Kwa hiyo, ingawa kazi ina pendekezo imara la kihisabati na ushahidi wa awali wa majaribio, thamani yake ya mwisho itaamuliwa na urudiaji huru na tafiti za uthibitishaji/ukanushaji zitakazofanywa katika nyanja mpya.