Tatizo la msingi la kazi ni kama baadhi ya matukio ya ukaribianaji ambayo yamejadiliwa kwa muda mrefu kila moja peke yake katika sayansi yanaweza kuwa na maelezo ya pamoja ya kihisabati. Katika akili bandia, modeli zinazofunzwa kwa usanifu tofauti au kwa masharti tofauti ya mwanzo kukuza uwakilishi unaofanana si uchunguzi wa kihandisi wa vitendo pekee. Ikiwa kweli modeli tofauti zinakaribia miundo ile ile ya ndani, hili hudokeza kwamba “uwakilishi unaojifunzwa” si tu zao la nasibu la mchakato wa mafunzo, bali unaweza kuwa muundo wa kina zaidi unaoongozwa na vikwazo vya mfumo.

Tatizo la pili ni tabia ya grokking. Grokking ni pale modeli inapokariri kwanza data ya mafunzo, kubaki ikishindwa kwenye data ya test kwa muda mrefu, kisha ghafla kuanza kujumlisha. Kwa mfano wa kila siku, ni kama mwanafunzi anayekariri kwanza mifano yote bila kuelewa kweli tatizo, lakini baada ya kipindi kirefu cha kusubiri ghafla “anashika kanuni”. Katika muktadha wa akili bandia, mchakato huu una maana ya kiufundi zaidi: hufikiriwa kwamba modeli huhama kutoka mzunguko wa kukariri kwenda mzunguko wa ujanibishaji.

Tatizo la tatu linatoka katika biolojia. Nasaba tofauti za mageuzi kufikia suluhisho za kimetaboliki zinazofanana licha ya historia ndefu huru za mageuzi kunaweza kuelezwa kwa maana ya kawaida kama “shinikizo la uteuzi wa pamoja”; lakini kazi inadai kwamba kwa nini jambo hili hutokea mara nyingi kiasi hicho na kwa maumbo fulani maalumu linaweza kushughulikiwa kwa mfumo wa jumla zaidi wa kimaumbo na wa kiasi.

Pendekezo kuu la kazi ni kuunganisha uchunguzi huu mitatu katika kanuni moja: katika mifumo kuna taratibu zinazoshindana; taratibu hizi hushindana chini ya vikwazo kama nishati, entropia, habari na kufaa kifizikia; bajeti ya nishati inapobadilika karibu na kizingiti muhimu E_c, mfumo huhama kutoka uwanja mpana wa uwezekano kwenda kwenye suluhisho nyembamba na thabiti zaidi.

Ili kuelewa wazo hili, dhana ya mpito wa awamu ni muhimu. Katika fizikia, wakati matukio kama maji kuwa barafu au mpangilio kutokea katika magnetization yanaonekana kubadilika taratibu, katika kizingiti fulani hutokea mabadiliko ya kimaubora. Kazi inafananisha pia matukio ya akili bandia kama grokking na mpito wa aina hii: modeli hushindana kwa muda kati ya taratibu za kukariri na kujumlisha, kisha katika nukta fulani utaratibu wa ujanibishaji huwa mkuu.

Kiini cha kihisabati cha HEF hutolewa kwa tuple ifuatayo:

\[ H = (R^{(1)}, L, A_0, G, mode, E) \]

Vigezo katika usemi huu vinaweza kuelezwa hivi:

• R⁽¹⁾: Huonyesha vipengele vya msingi vya mfumo katika ngazi ya mwanzo. Katika ujifunzaji wa mashine hivi vinaweza kuwa token embeddings; katika biolojia molekuli za prebiotiki; katika fizikia Fourier modes za uwanja.
• L: Ni lugha inayowezesha kuunda tamko za kimantiki kutoka vipengele hivi vya msingi. Katika kazi, tamko za atomiki, negation ya kifizikia, muunganiko unaofaa, utenganisho, inferensi na mpangilio wa kisababishi ni sehemu za lugha hii.
• A₀: Ni seti ya taratibu zinazopatikana mwanzoni.
• G: Ni kanuni ya uzalishaji inayoweza kuzalisha fahirisi za taratibu mpya.
• mode: Huonyesha ikiwa mfumo unafanya kazi kwa udhibiti au katika modi inayoweza kuzalisha taratibu mpya yenyewe.
• E: Ni bajeti ya nishati. Katika kazi, kiasi hiki kipo katikati ya tabia ya emergence na ukaribianaji.

HEF haiundwi tu na muundo huu wa sehemu sita. Katika kazi, seti ya vikwazo vya kifizikia pia hufafanuliwa hivi:

\[ P = (P_{\mathrm{thermo}}, P_{\mathrm{info}}, \Phi) \]

Hapa P_thermo huwakilisha vikwazo vya thermodynamics, P_info vikwazo vya nadharia ya habari, na Φ ramani ya tafsiri inayojengwa kati ya nyanja hizi mbili za vikwazo. Kulingana na madai ya kazi, vikwazo vya thermodynamics na vikwazo vya nadharia ya habari havijatenganishwa; vinaweza kuhusishwa kupitia kanuni za kifizikia kama Kanuni ya Landauer na Jarzynski Equality.

Upande wa thermodynamics unatolewa vikwazo vitatu vya msingi:

• P1: Uhifadhi wa nishati. Mabadiliko ya jumla ya nishati lazima yawe sifuri.
• P2: Sheria ya pili. Entropia ya jumla haipaswi kupungua.
• P3: Joto chanya. Mfumo hutathminiwa chini ya sharti T > 0.

Upande wa nadharia ya habari kuna vilinganishi vitatu:

• P4: Kikomo cha taarifa ya pamoja. Taarifa ya pamoja kati ya vigezo viwili haiwezi kuwa kubwa kuliko entropia binafsi za vigezo hivi.
• P5: Kutokuwa hasi kwa entropia ya masharti. Kutokuwa na uhakika kunakobaki kwa kigezo kimoja wakati kigezo kingine kinajulikana hakuwezi kuwa hasi.
• P6: Data Processing Inequality yaani Data Processing Inequality. Katika mnyororo wa mtiririko wa habari, uwakilishi uliosindikwa hauwezi kuunda taarifa zaidi kuliko chanzo cha kwanza.

Mojawapo ya mahusiano muhimu ya msingi katika kazi yanahusishwa na Kanuni ya Landauer. Ili kueleza mantiki ya kazi, uhusiano ufuatao hujitokeza:

\[ W \geq k_B T \ln 2 \cdot \Delta H \]

Hapa W huonyesha kazi ya chini zaidi inayohitajika kwa kufuta au kuchakata habari; k_B thabiti ya Boltzmann; T joto; ΔH kiasi cha habari inayofutwa au kubadilishwa. Uhusiano huu unaeleza kwamba habari ina gharama ya kifizikia. Kwa lugha ya kila siku, kuchakata habari kwenye kompyuta “si bure”; katika ulimwengu wa kifizikia kuna gharama ya nishati na entropia.

Katika kazi, gharama ya utaratibu hufafanuliwa hivi:

\[ cost(\alpha) = E_{\mu}\left[\Delta E_{\alpha}(\phi) + k_B T \Delta H_{\alpha}(\phi)\right] \]

Katika fomula hii α ni fahirisi ya utaratibu. φ ni fomula inayoundwa katika lugha ya kimantiki. ΔE_α(φ) huonyesha mabadiliko ya nishati katika fomula ambayo utaratibu umetumika; ΔH_α(φ) mabadiliko ya maudhui ya habari; na E_μ thamani tarajiwa chini ya kipimo kanoniki cha kifizikia. Fomula hii hujaribu kupima si tu “utaratibu huzalisha nini”, bali huzalisha hicho kwa gharama gani ya kifizikia-kihabari.

Taratibu zinazoruhusiwa kulingana na bajeti ya nishati huandikwa hivi:

\[ A^*(E) = \{\alpha \in A^* \mid cost(\alpha) \leq E\} \]

Hapa A^* ni seti ya taratibu zinazokubalika kifizikia. A^*(E) ni sehemu ndogo inayoweza kutumika kweli chini ya bajeti ya nishati E. Usemi huu huonyesha wazi sezio kuu la HEF: hata kama kila utaratibu unawezekana kinadharia, ikiwa bajeti ya nishati haiwezi kuumudu, hauwezi kushiriki katika tabia halisi ya mfumo.

Kizingiti muhimu E_c katika kazi huingia hapa. E_c huwasilishwa kama nukta ya kuvunjika kati ya utofauti wa taratibu na ukaribianaji. E ikiwa juu, taratibu kadhaa zinaweza kushindana. Hii hufanana na rejimu ya uchunguzi: mfumo hujaribu njia nyingi zinazowezekana, na miundo ya uwakilishi inaweza kuwa mchanganyiko na yenye kelele. E inaposhuka chini ya kizingiti cha E_c, ni utaratibu wenye gharama ya chini zaidi pekee huwa mkuu; mfumo hukaribia nukta moja thabiti.

Hali hii hushughulikiwa katika kazi kama Energy-Diversity Trade-off, yaani uwiano wa nishati na utofauti. Nishati inapoongezeka, taratibu zaidi huwa zinapatikana; lakini chini ya masharti fulani, rejimu ya nishati ya chini huisukuma mfumo kwenye ukaribianaji wenye nguvu zaidi. Wazo hili linaweza kuonekana kinyume mwanzoni. Kwa kuwa katika maisha ya kila siku nishati zaidi hufikiriwa kama fursa zaidi. Lakini hapa suala ni ni taratibu zipi mfumo “unaweza kumudu” na jinsi taratibu hizi zinavyoshindana. Katika hali fulani, taratibu nyingi zinaweza kumaanisha utofauti zaidi lakini uthabiti mdogo; nishati ndogo inaweza kupunguza chaguo na kuelekeza kwenye suluhisho moja thabiti.

Katika kazi, ukaribianaji wa nukta thabiti huhusishwa na Banach Fixed Point Theorem. Kwa namna iliyorahisishwa, ikiwa mgeuzo hufanya nukta ziwe karibu zaidi kila unapotekelezwa, mfumo hatimaye hukaribia nukta moja thabiti. Wazo la contraction ya kimetriki katika kazi linaweza kuonyeshwa kwa uhusiano wa aina hii:

\[ d_H(T_k(R_1), T_k(R_2)) \leq c_{\alpha^*} \cdot d_H(R_1, R_2), \quad 0 < c_{\alpha^*} < 1 \]

Hapa d_H ni metri ya Hausdorff; hupima umbali kati ya seti mbili. T_k ni ramani zalishi katika ngazi ya k. R₁ na R₂ zinaweza kuwa seti mbili tofauti za mwanzo au uwakilishi. c_α* ni mgawo wa contraction ulio mdogo kuliko 1. Mgawo huu ukiwa mdogo kuliko 1, kila iteresheni husogeza miundo miwili karibu zaidi. Dai la Universal Feature Convergence katika kazi linategemea mantiki hii.

Moja ya matokeo muhimu yaliyotolewa katika kazi ni hili: Ikiwa mifano miwili ya HEF inashiriki seti ile ile ya vikwazo vya kifizikia P na inafanya kazi katika rejimu E < E_c, inaweza kukaribia uwakilishi ule ule wa nukta thabiti hata kama masharti ya mwanzo, usanifu au data ya mafunzo ni tofauti. Hili hutoa maelezo mgombea kwa swali la akili bandia: “kwa nini modeli tofauti hujifunza sifa zinazofanana?”

Katika matumizi ya ujifunzaji wa mashine, HEF hujaribiwa hasa kwa majaribio ya modular arithmetic grokking. Hapa modeli, kwa mfano katika kazi za umbo [ (a+b) \mod p ], hukariri kwanza mifano ya mafunzo, kisha hujumlisha kwa kuchelewa. Kazi inaeleza mchakato huu kwa maelezo ya awamu tatu:

1. Rejimu ya uchunguzi: E > E_c. Utaratibu wa kukariri na utaratibu wa kujumlisha hushindana pamoja. Usahihi wa mafunzo unaweza kuongezeka haraka, lakini usahihi wa test hubaki chini.
2. Pengo la grok: Modeli imekariri data ya mafunzo, lakini mzunguko wa ujanibishaji bado haujawa mkuu. Norm ya uzito hukaribia kilele kama alama ya kimajaribio ya mpito wa E_c.
3. Rejimu ya ukaribianaji: E < E_c. Utaratibu wa ujanibishaji huwa mkuu. Usahihi wa test huongezeka ghafla na hukaribia tambarare thabiti.

Katika kazi, uhusiano wa scale uliorekebishwa kwa ucheleweshaji wa grokking hutolewa hivi:

\[ \Delta t \propto \frac{1}{frac \cdot p \cdot \lambda} \]

Hapa Δt ni ucheleweshaji wa grokking; frac fraksioni ya mafunzo; p nambari prime inayotumiwa katika modular arithmetic; λ weight decay yaani mgawo wa kuoza kwa uzito. Maana ya fomula hii ni kwamba p, wigo wa mafunzo au weight decay vinapoongezeka, katika rejimu fulani kuchelewa kwa grokking kunaweza kupungua. Lakini kazi inasisitiza pia kwamba uhusiano huu hauhalali bila kikomo. Hasa katika thamani kubwa sana za λ, ishara ya uzito inaweza kubanwa kupita kiasi kabla mzunguko wa ujanibishaji haujaundwa; hali hii huitwa mechanism starvation, yaani njaa ya utaratibu.

Katika kazi, safu ifuatayo inaripotiwa kwa kizingiti muhimu cha weight decay:

\[ \lambda_c(p=97) \in (2, 4) \]

Hii inaonyesha kwamba kwa p = 97, thamani ya λ ina eneo muhimu kati ya 2 na 4. Katika majaribio ya maandishi, grokking huonekana kwa kutegemeka katika masharti λ = 1 na λ = 2, ilhali katika sharti λ = 4 kushindwa na oscillation huonekana katika baadhi ya seeds. Matokeo haya yanaonyesha kwamba HEF haitoi dai rahisi la “weight decay zaidi kila mara hutoa grokking haraka zaidi”. Weight decay inaweza kutoa shinikizo kuelekea ujanibishaji; lakini ikizidi inaweza kuzuia pia utaratibu unaohitajika kujengwa.

Matokeo ya kimajaribio katika kazi yanapaswa kutenganishwa kwa makini. Muhtasari unasema kwamba HEF imethibitishwa kwa majaribio 111 ya grokking. Katika sehemu ya majaribio yenye maelezo zaidi, majaribio 90 makuu na majaribio 21 ya uthibitishaji yanaelezwa. Katika majaribio makuu p ∈ {23, 31, 41}, fraksioni ya mafunzo frac ∈ {0.40, 0.50, 0.60}, weight decay λ ∈ {1.0, 2.0} na seeds tano tofauti hutumiwa. Katika majaribio ya uthibitishaji, p ∈ {53, 67, 83, 97} na majaribio ya ziada ya λ yanajumuishwa.

Mojawapo ya matokeo muhimu zaidi ya kimajaribio ni kwamba katika majaribio makuu, runs 89 kati ya 90 huonyesha grokking. Usahihi wa mwisho wa test wa modeli hizi 89 zilizogrokked unaripotiwa kuwa:

\[ 0.9745 \pm 0.014 \]

Mgawo wa utofauti ni takribani %1.47. Katika matokeo ya ANOVA, inaelezwa kwamba vipengele kama p, λ, frac na seed havikuwa vigezo vya maana katika usahihi wa mwisho. Kazi huunganisha hili na dai kwamba mifumo inayoshiriki vikwazo vile vile vya kifizikia hukaribia nukta thabiti ile ile.

Matokeo mengine muhimu ni alama ya norm ya uzito. Katika kazi, inasemwa kwamba katika %92.1 ya runs norm ya uzito hufikia kilele kabla ya tukio la grokking na kwamba muda tangulizi wa mediana ni takribani hatua 1.050. Hili hutafsiriwa kama alama ya kimaabara inayopimika ya mpito wa E_c. Kwa mfano wa kila siku, mfumo hupeleka mvutano wake wa ndani kwenye kiwango cha juu kabla ya kuingia kwenye tabia ya ujanibishaji; kisha hukaa kwenye muundo uliopangwa na thabiti zaidi.

Şekil 1 hutoa msingi wa kuona wa maelezo haya ya awamu tatu. Grafu ya kushoto inaonyesha kwamba norm ya uzito iliyosanifiwa kwanza huongezeka katika hatua za mafunzo, kisha hufikia kilele na baada ya hapo hushuka. Katika grafu, mchakato huu unahusishwa na awamu za “Exploration”, “Grok gap” na “Convergence”. Grafu ya kulia inaonyesha kwamba mikunjo ya usahihi wa test huangukia kwenye uvunjiko unaofanana na tanh kwenye mhimili wa muda uliosanifiwa. Uwasilishaji huu wa kuona ni mojawapo ya misingi kuu ya tafsiri ya kazi kwamba grokking ni mpito wa awamu wa aina ya Landau-Ginzburg.

Katika kazi, tanh collapse huonyeshwa kwa kazi ifuatayo:

\[ \sigma(t) = \frac{1}{2}\left(1 + \tanh\left(\frac{t-\Delta t}{\tau}\right)\right) \]

Katika fomula hii σ(t) huonyesha mkunjo wa mpito unaofanana na usahihi wa test uliosanifiwa; t muda wa mafunzo; Δt wakati wa mpito wa grokking; τ kipimo cha muda kinachoamua ukali wa mpito. Kazi ya tanh huzalisha mpito laini lakini dhahiri kutoka thamani ya chini kwenda thamani ya juu. Kwa sababu hii ni umbo linalotumika mara nyingi katika muktadha wa mipito ya awamu na field theory. Kazi hutumia kufaa kwa mikunjo ya usahihi wa grokking kwenye muundo huu kwa tafsiri ya “mean-field / Landau-Ginzburg universality class”.

Şekil 2 huonyesha usambazaji wa usahihi wa mwisho wa test ili kuunga mkono dai la Universal Feature Convergence kwa majaribio. Katika histogram na katika makundi ya p na λ, inaonekana kwamba modeli zinafika takribani eneo lile lile la usahihi wa mwisho. Tafsiri ya kazi ni kwamba licha ya mipangilio tofauti ya hyperparameter na masharti ya mwanzo, mifumo hukaribia darasa lile lile la uwakilishi wa nukta thabiti. Hata hivyo, haipaswi kusahaulika kwamba matokeo haya yamepatikana katika muktadha wa majaribio maalumu ya modular arithmetic na usanifu mdogo wa transformer uliotumiwa.

Şekil 3 inahusu G2 scaling na mpito wa λ_c. Grafu ya kushoto huonyesha mabadiliko ya ucheleweshaji wa grokking kulingana na p kwenye kipimo cha log-log na inaripoti mteremko uliotazamwa kuwa β = -1.39 ± 0.20. Hili huonekana kuendana kwa sehemu na uhusiano uliorekebishwa [ \Delta t \propto 1/(frac \cdot p \cdot \lambda) ]. Grafu ya katikati inaonyesha kwamba kwa p = 97 katika λ = 4 baadhi ya runs hushindwa na kwamba kizingiti cha λ_c kiko katika safu (2, 4). Grafu ya kulia inaeleza kwamba p inapokua, tabia ya kawaida ya grokking ya awamu mbili inaweza kuelekea kujifunza kwa wakati mmoja zaidi.

Kazi haitumii HEF kwa ujifunzaji wa mashine pekee. Chini ya kichwa cha EOM inatoa mifano ya kemia ya prebiotiki na biolojia ya mageuzi; chini ya IFF inagusa information field theory na renormalization group flows; na chini ya RSID inatoa mfano wa utambuzi wa signal za nanoparticle. Matumizi katika nyanja hizi yanaonyesha kwamba HEF inaweza kuuliza swali lile lile la kimuundo katika domain tofauti: vipengele vya msingi vya mfumo ni nini, ni taratibu zipi zinazofanya kazi, bajeti ya nishati ni nini, ni vikwazo vipi vya kifizikia na vya habari vinatumika, na ni aina gani ya ukaribianaji hutokea katika kizingiti muhimu?

Utabiri unaovutia zaidi wa kazi unaohusu biolojia ni kwamba nasaba za yeast za anaerobic zinapaswa kuonyesha ukaribianaji wa kijeni wa juu kuliko nasaba za aerobic katika umbali ule ule wa filogenetiki. Hili ni jaribio la HEF kuunganisha vikwazo vya nishati na ukaribianaji wa kimetaboliki. Utabiri mwingine katika akili bandia ni kwamba modeli kubwa za lugha zilizofunzwa kwa weight decay kubwa zaidi zinaweza kutoa uwakilishi wenye athari kubwa zaidi ya kisababishi. Utabiri wa tatu ni kwamba grokking itashindwa zaidi ya kizingiti fulani cha λ_c(p) kwa sababu ya mechanism starvation.

Jambo muhimu hapa ni kwamba, kwa maneno ya kazi yenyewe, utabiri huu unaweza kukanushwa. Yaani HEF haipaswi kubaki tu hadithi nyumbufu inayojaribu kueleza uchunguzi wa zamani; inapaswa kuungwa mkono, kurekebishwa au kukataliwa kwa majaribio mapya. Kutolewa kwa protokoli wazi za majaribio mwishoni mwa kazi ni muhimu kwa mtazamo huu.

Kwa upande wa athari katika maisha ya kila siku, kazi hii si makala inayotengeneza bidhaa au matumizi moja kwa moja. Lakini ikiwa itafanikiwa, inaweza kutoa chombo muhimu cha kidhana kwa kuelewa ni lini modeli za akili bandia huhama kutoka kukariri kwenda kujumlisha, kugundua vizingiti muhimu katika mchakato wa mafunzo, kutabiri kushindwa kunakotokana na matumizi mabaya ya hyperparameter kama weight decay, na kulinganisha matukio changamano ya ukaribianaji katika nyanja tofauti. Kwa mtazamo mpana zaidi, inajaribu kutoa lugha ya kihisabati kwa swali “kwa nini mifumo changamano wakati mwingine hufika kwenye suluhisho lile lile?”

Nguvu za kazi ni pamoja na kujenga mfumo wazi wa kihisabati, kujaribu kuunganisha vikwazo vya kifizikia na vya nadharia ya habari katika muundo mmoja, kutoa msaada wa kimajaribio kupitia majaribio ya grokking, kupendekeza alama ya E_c inayoweza kueleweka kwa kuona, na kutoa utabiri unaoweza kukanushwa katika nyanja mbalimbali.

Mipaka yake pia inapaswa kusemwa kwa makini. Kwanza, kwa kuwa HEF inalenga kutumika katika nyanja nyingi sana, baadhi ya viunganishi bado viko katika kiwango cha mfumo mgombea. Pili, sharti la contraction ya kimetriki A6 ni sharti muhimu la kiufundi katika kazi; ingawa katika baadhi ya hali lina msingi wa kinadharia, kazi yenyewe inajadili kwamba haliwezi kutoka lenyewe katika hali ya jumla na linahitaji muundo wa ziada. Tatu, majaribio ya grokking yamewekewa mipaka na kazi fulani, mipangilio fulani ya transformer ndogo na safu fulani za hyperparameter. Nne, utabiri wa biolojia, modeli kubwa za lugha na nanoparticle hauwasilishwi katika maandishi haya kama uthibitishaji huru uliokamilika; ni utabiri wazi wa kimajaribio.

Kile ambacho kazi inasema na isichosema vinapaswa kutenganishwa wazi. Kazi haisemi kwamba matukio yote ya emergence yamefafanuliwa na HEF. Haidai kwamba imeyatatua kwa uhakika ukaribianaji wote wa mageuzi, ufanano wote wa uwakilishi wa mitandao ya neva au mipito yote ya awamu ya kifizikia kwa modeli moja. Dai lake lenye mipaka zaidi na lenye maana zaidi kisayansi ni kwamba katika baadhi ya matukio ya ukaribianaji kunaweza kuwepo motif ya pamoja ya mpito wa awamu kupitia kizingiti cha nishati, ushindani wa taratibu na vikwazo vya kifizikia-kihabari.

Mbinu na Matokeo ya Utafiti

Mbinu ya kazi inaweza kufupishwa katika tabaka tano kuu: ufafanuzi wa kinadharia wa HEF, msingi wa kifizikia, teoremu za ukaribianaji, uainishaji wa mandhari ya taratibu na majaribio ya grokking.

1. Muundo wa msingi wa HEF

Katika kazi HEF hufafanuliwa kwa muundo ufuatao:

\[ H = (R^{(1)}, L, A_0, G, mode, E) \]

Muundo huu hukamilishwa na seti ya vikwazo vya kifizikia:

\[ P = (P_{\mathrm{thermo}}, P_{\mathrm{info}}, \Phi) \]

Katika kazi, ramani Φ hujengwa kama ulinganishaji unaohifadhi mpangilio kati ya vikwazo vya thermodynamics na vikwazo vya nadharia ya habari. Ulinganishaji huu hutegemezwa kwenye misingi kama Kanuni ya Landauer, Jarzynski Equality, Gibbs entropy na Data Processing Inequality.

2. Kipimo kanoniki cha kifizikia na gharama ya utaratibu

Katika kazi, kila kipengele cha msingi hupewa Gibbs weight:

\[ p_i = \frac{e^{-E_i/k_B T}}{Z^{(k)}} \]

\[ Z^{(k)} = \sum_{j=1}^{N_k} e^{-E_j/k_B T} \]

Hapa p_i ni uzito wa uwezekano wa kipengele cha i. E_i ni nishati; k_B thabiti ya Boltzmann; T joto; Z^(k) partition function; N_k idadi ya vipengele katika ngazi ya k. Muundo huu huanzisha kipimo kanoniki cha kifizikia ambacho hali za nishati ya chini hubeba uzito mkubwa zaidi.

Gharama ya utaratibu hutolewa hivi:

\[ cost(\alpha) = E_{\mu}\left[\Delta E_{\alpha}(\phi) + k_B T \Delta H_{\alpha}(\phi)\right] \]

Fomula hii huhesabu gharama tarajiwa ya utaratibu kwa upande wa mabadiliko ya nishati na habari. Hivyo katika HEF uteuzi wa taratibu hauhusishwi tu na kufaa kwa mantiki dhahania, bali pia na gharama ya kifizikia-kihabari.

3. Kizingiti muhimu cha nishati na ukaribianaji

Seti ya taratibu inayotegemea bajeti ya nishati hufafanuliwa kama:

\[ A^*(E) = \{\alpha \in A^* \mid cost(\alpha) \leq E\} \]

Kulingana na kazi, E inapobadilika ukubwa na utofauti wa seti hii hubadilika. E_c hufafanuliwa kama kiwango muhimu ambacho kasi ya kuingia kwa taratibu mpya kwenye bajeti ni kubwa zaidi. Kwa gharama za taratibu zilizo na ukomo, sezio hili linawakilishwa na usemi ufuatao:

\[ E_c = c_{j^*}, \quad j^* = \arg\max_j \frac{\Delta_j}{c_j - c_{j-1}} \]

Hapa c_j huonyesha thamani za gharama zilizopangwa, na Δ_j idadi ya taratibu mpya zinazoongezwa katika kiwango husika cha gharama. Fomula hii hufafanua E_c kama nukta ambayo utofauti wa taratibu hubadilika kwa kasi zaidi.

4. Teoremu kuu

5. Causal Emergence na Effective Information

Katika kazi, causal emergence hushughulikiwa kwa ufafanuzi ufuatao wa Effective Information:

\[ EI_k = H_{\mu}(T_k(R^{(k)})) - H_{\mu}(T_k(R^{(k)}) \mid R^{(k)}) \]

Hapa EI_k ni taarifa tendaji katika ngazi ya k; H_μ entropia chini ya kipimo kanoniki; T_k ramani zalishi; R^(k) seti ya uwakilishi au viumbe katika ngazi ya k. Termu ya kwanza huwakilisha utofauti wa matokeo, na termu ya pili kelele ya kisababishi inayobaki licha ya kujua ingizo. Dai la kazi ni kwamba katika rejimu E < E_c, uteuzi wa taratibu huwa wa kimaamuzi zaidi, kwa hiyo kelele ya kisababishi hupungua.

6. Majaribio ya ujifunzaji wa mashine

7. Matokeo ya majaribio

8. Maudhui ya kisayansi yanayoelezwa na michoro

Şekil 1 huonyesha maelezo ya nishati ya awamu tatu ya HEF. Katika paneli ya kushoto, kuongezeka kwanza kwa norm ya uzito, kufikia kilele karibu na E_c, na kisha kushuka, hutafsiriwa kama kiashiria cha mpito kutoka rejimu ya uchunguzi kwenda rejimu ya ukaribianaji. Katika paneli ya kulia, kuanguka kwa mikunjo ya usahihi wa test iliyosanifiwa kwenye uvunjiko wa umbo la tanh huunda msingi wa kuchukulia grokking kama mpito wa awamu unaofanana na Landau-Ginzburg.

Şekil 2 huonyesha kwamba usahihi wa mwisho wa test hautengani kwa maana kulingana na makundi ya p na λ. Hili hutolewa kama mojawapo ya msaada wa kimajaribio wa dai la Universal Feature Convergence. Hata hivyo, matokeo haya yanatumika tu kwa modeli zilizogrokked katika usanifu husika wa jaribio; si hitimisho la uhakika lililopanuliwa kwa skeli zote za modeli.

Şekil 3 huonyesha scaling ya ucheleweshaji wa grokking kulingana na p, rejimu ya kushindwa karibu na λ = 4, na mabadiliko ya tofauti kati ya kukariri na kujumlisha p inapoongezeka. Mchoro huu unaonyesha kwamba HEF haijaribu tu kueleza mpito, bali pia kutabiri ni chini ya masharti gani ya hyperparameter mpito unaweza kushindwa.

9. Utabiri kati ya nyanja

• P1: Nasaba za yeast za anaerobic zinatarajiwa kuonyesha ukaribianaji wa kijeni wa juu kuliko nasaba za aerobic katika umbali ule ule wa filogenetiki.
• P2: Modeli kubwa za lugha zinazofunzwa kwa weight decay kubwa zaidi zinatarajiwa kuzalisha uwakilishi wenye athari kubwa zaidi ya kisababishi.
• P3: Zaidi ya kizingiti fulani muhimu cha λ_c(p), grokking inapaswa kushindwa kwa sababu ya mechanism starvation.

10. Mipaka na matatizo yaliyo wazi

• HEF haitolewi kama nadharia iliyokamilika inayofafanua matukio yote ya emergence; ni mfumo mgombea kwa baadhi ya motifs za ukaribianaji.
• Sharti la contraction ya kimetriki A6 halitokani moja kwa moja na A1–A5 kwa ujumla; kazi inakubali kwamba miundo ya ziada au uthibitishaji wa kimajaribio vinahitajika.
• Majaribio ya grokking yanategemea muktadha maalumu wa transformer ndogo na modular arithmetic.
• Toleo la awali la fomula ya G2 limerekebishwa katika maandishi; kwa fomula mpya, majaribio makubwa na yanayotenganisha zaidi yanaachwa kama protokoli wazi.
• Utabiri wa LLM, biolojia ya mageuzi na nanoparticle si uthibitishaji huru uliokamilika katika kazi hii, bali ni utabiri wa baadaye unaoweza kujaribiwa.
• Katika sehemu ya Reproducibility, eneo la Zenodo DOI linaonekana katika hali ya “to be deposited”; kwa hiyo taarifa ya mwisho ya DOI ya hifadhi ya data haionekani kukamilika kutoka maandishi.

Maelezo ya Chanzo na Mbinu

Makala hii imeandaliwa kwa kutegemea kazi yenye kichwa “Emergence via Phase Transitions: Mechanism Landscapes and Universal Convergence Across Complex Systems” iliyoandikwa na Truong Xuan Khanh. Katika kazi, uhusiano wa mwandishi umetolewa kama H&K Research Studio, Clevix LLC, Hanoi, Vietnam, na tarehe ya Mei 2026 imeonyeshwa. Kwa kuwa taarifa ya arXiv submit ipo kwenye ukurasa wa kwanza wa maandishi, kazi imetathminiwa kutoka maandishi kama uwasilishaji wa arXiv / kazi ya kinadharia-kimajaribio yenye sifa ya preprint.

Kwa kuwa katika maandishi hakuna taarifa ya kukubalika katika jarida lililopitiwa na wahakiki, toleo la mwisho lililochapishwa kwa DOI, au tathmini ya wazi ya wahakiki, inapaswa kutumiwa kauli kazi ambayo uhakiki wake hauwezi kuthibitishwa kutoka kwenye maandishi. Kwa hiyo matokeo yanapaswa kusomwa kwa tahadhari, hasa kuhusu uwezekano mpana wa HEF kutumika na utabiri wa biolojia/LLM/nanomedicine.

Katika maudhui haya yametumiwa ufafanuzi wa HEF, seti ya vikwazo vya kifizikia, ulinganishaji wa thermodynamics na nadharia ya habari, teoremu kuu, majaribio ya grokking, michoro, matokeo ya nambari, protokoli wazi na mipaka iliyotolewa katika kazi. Hakijaongezwa madai ambayo hayapo katika PDF kama mafanikio ya matumizi ya uhakika, kukubalika katika uchapishaji uliopitiwa na wahakiki, athari ya kitabibu au kibiashara, ujanibishaji kwa modeli zote za akili bandia au kufafanua michakato yote ya mageuzi.

Sehemu ya kimajaribio ya kazi imefungwa hasa kwenye kazi za grokking za modular arithmetic. Matokeo ambayo HEF hutoa kwa biolojia ya mageuzi, modeli kubwa za lugha na utambuzi wa signal za nanoparticle yanaonekana katika maandishi zaidi kama utabiri kati ya nyanja na matumizi ya kinadharia. Thamani ya kisayansi ya utabiri huu itategemea kuungwa mkono, kurekebishwa au kukanushwa na majaribio huru.