Дар илм “падидоӣ” ё бо истилоҳи англисӣ emergence маънои онро дорад, ки аз якҷо шудани ҷузъҳои сода тартиб, рафтор ё вазифаи наве ба вуҷуд меояд, ки худи ҷузъҳо дар алоҳидагӣ онро надоранд. Масалан, шабакаи нейронӣ, ки танҳо аз вазнҳои ададӣ иборат аст, метавонад дар тасвирҳо канорҳо, каҷҳо ё хусусиятҳои абстрактиро фарқ кардан омӯзад. Ба ҳамин монанд, пайдо шудани шабакаҳои метаболикӣ аз молекулаҳои сода ё ба вуҷуд омадани фазаҳои муназзам дар майдонҳои физикӣ низ дар маркази баҳсҳои emergence қарор доранд.
Аммо ин таҳқиқот танҳо бо гуфтани он ки “дар системаҳои мураккаб хусусиятҳои нав пайдо мешаванд” қонеъ намешавад. Он ба саволи мушаххастар тамаркуз мекунад: Чаро системаҳои гуногун баъзан ба як натиҷа наздик мешаванд? Агар ду шабакаи нейронӣ бо вазнҳои ибтидоии гуногун омӯзонида шаванд, вале намояндагиҳои дохилии монанд инкишоф диҳанд, оё ин танҳо тасодуф аст? Агар шохаҳои эволютсионии гуногун борҳо ба синфҳои монанди ҳалли метаболикӣ бирасанд, оё ин танҳо натиҷаи умумии фишори муҳит аст? Агар grokking дар вазифаҳои гуногун ҳамчун генеризатсияи ногаҳонӣ пайдо шавад, вақти ин гузариши ногаҳонӣ ва шакли он аз кадом сабабҳои сохторӣ вобаста аст?
Ҷавоби муаллиф ин аст, ки пушти ин ҳодисаҳо метавонад сохтори умумии рақобати механизмҳо мавҷуд бошад. Дар як система якчанд механизми эҳтимолӣ ҳаст. Баъзеҳо ҳалли зуд, вале сатҳӣ медиҳанд; баъзе дигар сусттар, аммо умумитар ва устувортар мебошанд. Дар мисоли grokking-и зеҳни сунъӣ инро метавон ҳамчун рақобати механизми азёдкунӣ ва механизми умумисозӣ тасаввур кард. Модел аввал метавонад маълумоти омӯзиширо азёд кунад; аммо равандҳое чун weight decay метавонанд бо гузашти вақт ҳалли азёдкуниро гаронтар кунанд ва ба механизми умумисозӣ иҷозат диҳанд, ки ҳукмрон шавад.
Яке аз мафҳумҳои асосии таҳқиқот ҳадди критикии энергия аст:
\[ E_c \]
Дар ин ҷо Ec буҷети критикии энергияест, ки режими рафтори системаро тағйир медиҳад. Вақте E баланд аст, система метавонад якчанд механизмро ҳамзамон “таъмин” кунад; ин режими кашф ва рақобат аст. Вақте E ба атрофи ҳадди критикӣ мерасад, интихоб байни механизмҳо шадидтар мешавад. Вақте E < Ec аст, механизми камхарҷтарин ё аз ҷиҳати маҳдудиятҳои физикӣ устувортар ҳукмрон шуда, система ба нуқтаи собит наздик мешавад.
Ин мантиқ ба гузаришҳои фазавии физикӣ монанд аст. Ҳангоми паст шудани ҳарорати об, молекулаҳо ногаҳон “ях шуданро интихоб” намекунанд; аммо дар ҳадди муайян тартиби система сифатан дигар мешавад. Дар тафсири HEF оид ба grokking низ дақиқии тест метавонад муддати дароз паст бимонад; сипас вақте система аз ҳадди дохилии муайян мегузарад, рафтори умумисозӣ босуръат пайдо мешавад.
Чаҳорчӯбаи HEF бо сохтори шашгонаи зерин таъриф мешавад:
\[ H = (R^{(1)}, L, A_0, G, mode, E) \]
Дар ин формула H намунаи Hierarchical Emergence Framework-ро ифода мекунад. R(1) маҷмӯи унсурҳои ибтидоии система мебошад. Дар омӯзиши мошинӣ инҳо метавонанд унсурҳои намояндагии сатҳи паст, мисли token embeddingҳо бошанд. Дар биология молекулаҳои prebiotic; дар физика Fourier modeҳо мисол оварда мешаванд. L забонест, ки аз ин унсурҳо ифодаҳои мантиқӣ месозад. A0 маҷмӯи механизмҳои ибтидоӣ мебошад. G қоидаест, ки метавонад механизмҳои нав тавлид кунад. mode нишон медиҳад, ки система дар режими назоратшаванда кор мекунад ё худ механизмҳои нав месозад. E бошад буҷети энергия аст.
Ин сохтор дар таҳқиқот якҷо бо маҷмӯи маҳдудиятҳои физикӣ баррасӣ мешавад:
\[ P = (P_{\mathrm{thermo}}, P_{\mathrm{info}}, \Phi) \]
Дар ин ҷо Pthermo маҳдудиятҳои термодинамикӣ, Pinfo маҳдудиятҳои назарияи иттилоот ва Φ харитаи тарҷума байни ин ду соҳа мебошад. Яке аз ҷиҳатҳои муҳим он аст, ки таҳқиқот кӯшиш мекунад қонунҳои термодинамика ва принсипҳои назарияи иттилоотро дар як чаҳорчӯбаи умумии emergence муттаҳид кунад.
Дар тарафи термодинамикӣ се маҳдудият дода мешавад:
- P1: Нигоҳдории энергия. Тағйири умумии энергия бояд сифр бошад.
- P2: Қонуни дуюм. Энтропияи умумӣ набояд кам шавад.
- P3: Ҳарорати мусбат. Система дар шарти T > 0 баҳогузорӣ мешавад.
Дар тарафи назарияи иттилоот се маҳдудияти мувофиқ таъриф мешавад:
- P4: Ҳадди иттилооти мутақобила. Иттилоот байни ду тағйирёбанда наметавонад аз мундариҷаи иттилоотии худи тағйирёбандаҳо бештар бошад.
- P5: Манфӣ набудани энтропияи шартӣ. Бо донистани чизе номуайянӣ метавонад кам шавад, аммо номуайянии манфӣ пайдо намешавад.
- P6: Нобаробарии Коркарди Маълумот. Дар занҷири коркарди иттилоот намояндагии баъдӣ худ аз худ аз манбаи пешина иттилооти бештар эҷод карда наметавонад.
Барои фаҳмидани ин муносибат яке аз ғояҳои асосии физикие, ки таҳқиқот ба он такя мекунад, бо Принсипи Landauer шарҳ дода мешавад:
\[ W \geq k_B T \ln 2 \cdot \Delta H \]
Ин формула мегӯяд, ки коркарди иттилоот арзиши физикӣ дорад. W кор ё хароҷоти зарурии энергия аст. kB собити Boltzmann мебошад. T ҳарорат аст. ΔH миқдори иттилооти коркардшуда ё ҳазфшударо ифода мекунад. Ин муносибат ғояи “ҳатто агар иттилоот абстрактӣ намояд, дар ҷаҳони физикӣ ройгон нест”-ро ифода мекунад. Таҳқиқот интихоби механизмҳоро низ бо чунин хароҷоти энергия–иттилоот мепайвандад.
Арзиши механизм чунин навишта мешавад:
\[ cost(\alpha) = E_{\mu}\left[\Delta E_{\alpha}(\phi) + k_B T \Delta H_{\alpha}(\phi)\right] \]
Дар ин ҷо α як механизмро; φ ифодаеро, ки дар забони мантиқӣ сохта шудааст; ΔEα(φ) тағйири энергияи механизм; ΔHα(φ) тағйири мундариҷаи иттилоот; ва Eμ қимати интизориро таҳти ченаки физикии канонӣ ифода мекунад. Ин формула мекӯшад на танҳо муайян кунад, ки механизм кор мекунад ё не, балки онро аз ҷиҳати физикӣ ва иттилоотӣ то чӣ андоза гарон аст низ чен кунад.
Механизмҳое, ки дар буҷети энергия қабул мешаванд, чунин таъриф мешаванд:
\[ A^*(E) = \{\alpha \in A^* \mid cost(\alpha) \leq E\} \]
A* ҳамаи механизмҳои аз ҷиҳати физикӣ қобили қабул аст. A*(E) бошад зермаҷмӯи механизмҳое мебошад, ки дар буҷети E кор карда метавонанд. Ин таъриф ғояи асосии HEF-ро дар бар мегирад: механизм метавонад аз ҷиҳати мантиқӣ имконпазир бошад; аммо агар буҷети энергия онро таъмин карда натавонад, дар рафтори воқеии система нақш бозида наметавонад.
Дар таҳқиқот Ec ҳамчун нуқтаи критикии тағйири гуногунии механизмҳо муайян мешавад. Барои хароҷоти ниҳоии механизмҳо тавсифи дискретии зерин дода мешавад:
\[ E_c = c_{j^*}, \quad j^* = \arg\max_j \frac{\Delta_j}{c_j - c_{j-1}} \]
Дар ин формула cj хароҷоти ба тартиб гузошташудаи механизмҳо ва Δj шумораи механизмҳои навро, ки дар он сатҳи хароҷот ба буҷет дохил мешаванд, нишон медиҳад. Яъне Ec ҳамчун сатҳи критикии хароҷот интихоб мешавад, ки дар он механизмҳои нав бо суръати бештар ба система ворид мешаванд. Дар системаҳои пайваста ин ба афзоиши ҳассосият дар гузаришҳои фазавӣ монанд карда мешавад.
Иддаои наздикшавии HEF ба ғояи contraction дар метрикӣ такя мекунад. Дар таҳқиқот ин мантиқ бо метрики Hausdorff ва Теоремаи Нуқтаи Собити Banach сохта мешавад:
\[ d_H(T_k(R_1), T_k(R_2)) \leq c_{\alpha^*} \cdot d_H(R_1, R_2), \quad 0 < c_{\alpha^*} < 1 \]
Дар ин формула dH масофаи Hausdorff байни ду маҷмӯъ; Tk харитаи тавлидкунанда дар сатҳи k; R1 ва R2 ду маҷмӯи намояндагӣ ё мавҷудот; cα* коэффициенти contraction-ро ифода мекунад. Агар коэффициент аз 1 хурд бошад, система дар ҳар қадам сохторҳои аз нуқтаҳои ибтидоии гуногун омадаро ба ҳам наздик мекунад. Аз ин рӯ, дар шароити муайян ду системаи алоҳида метавонанд ба як нуқтаи собит наздик шаванд.
Натиҷаи Universal Feature Convergence-и таҳқиқот аз ҳамин ҷо бармеояд. Агар ду намунаи HEF як маҷмӯи маҳдудиятҳои физикии P-ро муштарак дошта бошанд ва дар режими E < Ec кор кунанд, ҳатто агар унсурҳои ибтидоӣ, ҷузъиёти меъморӣ ё роҳҳои тавлид фарқ кунанд, метавонанд ба як синфи намояндагии нуқтаи собит наздик шаванд. Аз нигоҳи AI, ин механизми номзад барои шарҳи он аст, ки чаро моделҳои гуногун намояндагиҳои дохилии монанд инкишоф медиҳанд.
Таҳқиқот инчунин таъкид мекунад, ки худи наздикшавӣ маънои “emergence-и сабабӣ”-ро надорад. Зеро механизми ночизе, ки ҳама чизро ба як баромади собит фишурда мекунад, низ метавонад наздик шавад; аммо ин қудрати маънодори сабабӣ намеофарад. Аз ҳамин сабаб таҳқиқот мафҳуми Effective Information-ро истифода мекунад:
\[ EI_k = H_{\mu}(T_k(R^{(k)})) - H_{\mu}(T_k(R^{(k)}) \mid R^{(k)}) \]
Дар ин ҷо EIk иттилооти самаранок дар сатҳи k-ро нишон медиҳад. Терми аввал гуногунии баромад ва терми дуюм садои сабабии боқимондаро ҳатто ҳангоми донистани вуруд ифода мекунад. Агар интихоби механизм дар режими E < Ec бештар deterministic шавад, садои сабабӣ кам мешавад. Натиҷаи Causal Emergence Theorem-и таҳқиқот мегӯяд, ки дар зери баъзе фарзияҳои иловагӣ сатҳи нуқтаи собит метавонад нисбат ба сатҳи микро Effective Information-и бештар дошта бошад.
Дар мисоли омӯзиши мошинӣ HEF махсусан ба раванди grokking татбиқ мешавад. Grokking ҳолатест, ки модел пас аз муддати зиёдтар аз азёд кардани маълумоти омӯзишӣ ба умумисозӣ дар маълумоти тестӣ оғоз мекунад. Дар ин таҳқиқот grokking ҳамчун траекторияи сефазаи HEF тавсиф мешавад:
- Режими кашф: E > Ec. Механизмҳои азёдкунӣ ва умумисозӣ ҳамзамон мавҷуданд. Дақиқии омӯзиш метавонад боло равад, дар ҳоле ки дақиқии тест паст мемонад.
- Фосилаи grok: Модел маълумоти омӯзиширо азёд кардааст, аммо занҷири умумисозӣ ҳанӯз ҳукмрон нест. Нормаи вазнҳо ҳангоми наздик шудан ба сарҳади фаза ба қулла мерасад.
- Режими наздикшавӣ: E < Ec. Механизми умумисозӣ ҳукмрон мешавад; дақиқии тест босуръат боло рафта, ба plateau-и собит наздик мешавад.
Дар таҳқиқот барои таъхири grokking муносибати миқёсбандии аз нав баррасишудаи зерин дода мешавад:
\[ \Delta t \propto \frac{1}{frac \cdot p \cdot \lambda} \]
Дар ин ҷо Δt таъхири grokking; frac фраксияи маълумоти омӯзишӣ; p адади аввал дар вазифаи арифметикаи модулӣ; ва λ коэффициенти weight decay-ро ифода мекунад. Ин муносибат мегӯяд, ки дар режимҳои миёнаи муайяни λ, сигнали бештари омӯзишӣ ва фишори мувофиқи weight decay метавонанд ба зудтар ташаккул ёфтани занҷири умумисозӣ ёрӣ расонанд.
Аммо таҳқиқот дар ин ҷо маҳдудияти муҳим мегузорад. Агар λ аз ҳад зиёд шавад, система метавонад ҳатто сигнали лозим барои сохтани механизми умумисозиро аз даст диҳад. Ин ҳолат mechanism starvation, яъне гуруснагии механизм номида мешавад. Барои p = 97 диапазони критикӣ чунин дода мешавад:
\[ \lambda_c(p=97) \in (2, 4) \]
Ин бо он алоқаманд аст, ки дар λ = 1 ва λ = 2 grokking боэътимод дида мешавад, аммо дар λ = 4 баъзе run-ҳо ноком мешаванд. Ҳамин тавр, таҳқиқот намегӯяд, ки weight decay танзимест, ки бояд ҳамеша зиёд карда шавад; баръакс, мегӯяд, ки аз ҳадди муайян зиёд шудан метавонад ташаккули механизмро вайрон кунад.
Дар қисми таҷрибавӣ вазифаи асосии истифодашуда масъалаи ҷамъкунии модулӣ мебошад:
\[ (a+b) \mod p \]
Дар ин вазифа танҳо азёд кардани мисолҳо барои модел кофӣ нест; барои воқеан умумисозӣ кардан бояд сохтори модулӣ омӯхта шавад. Аз ҳамин сабаб ин вазифа дар таҳқиқоти grokking ҳамчун майдони озмоишӣ зиёд истифода мешавад.
Дар озмоишҳо transformer-и 2-қабата, намояндагии 128-андоза, 4 attention head, full-batch AdamW ва learning rate-и собити 10-3 истифода мешавад. Дар маҷмӯи асосии таҷрибаҳо p ∈ {23, 31, 41}, фраксияи омӯзиш frac ∈ {0.40, 0.50, 0.60}, weight decay λ ∈ {1.0, 2.0} ва панҷ seed-и гуногун мавҷуданд. Дар маҷмӯи тасдиқ p ∈ {53, 67, 83, 97} ва барои p = 97 озмоишҳои иловагии λ ҷой доранд.
Яке аз нуқтаҳои қавии таҷрибавии таҳқиқот ин аст, ки дақиқии ниҳоии тестии моделҳои grokked дар фосилаи танг ҷамъ мешаванд:
\[ 0.9745 \pm 0.014 \]
Ин натиҷа, якҷо бо coefficient of variation-и тақрибан %1.47, барои дастгирии иддао истифода мешавад, ки сарфи назар аз шароити гуногуни hyperparameter, системаҳо ба рафтори намояндагии нуқтаи собити монанд наздик мешаванд. Аммо ин натиҷа танҳо дар контексти transformer-и хурд ва таҷрибаҳои арифметикаи модулӣ ба даст омадааст; он натиҷаи қатъии умумисозишуда барои ҳамаи системаҳои AI нест.
Шаклҳои таҳқиқот сутуни визуалии иддаои назариявиро ташкил медиҳанд. Дар панели чапи Шакли 1 нишон дода мешавад, ки нормаи вазнҳо дар тӯли омӯзиш аввал боло меравад, сипас дар атрофи Ec ба қулла мерасад ва баъдан паст мешавад. Гуфта мешавад, ки ин қулла ба ҳисоби median тақрибан 1.050 қадам пеш аз ҳодисаи grokking меояд. Ин дар таҳқиқот ҳамчун fingerprint-и таҷрибавии гузариши Ec шарҳ дода мешавад.
Дар панели рости Шакли 1, каҷҳои normalize-шудаи дақиқии тест ба каҷи гузариши tanh-шакл фурӯ меоянд. Ин каҷ чунин навишта мешавад:
\[ \sigma(t) = \frac{1}{2}\left(1 + \tanh\left(\frac{t-\Delta t}{\tau}\right)\right) \]
Дар ин ҷо σ(t) функсияи гузаришест, ки ба дақиқии normalize-шудаи тест монанд аст. t вақти омӯзиш; Δt вақти гузариши grokking; τ миқёси вақтро, ки паҳноӣ ё тезии гузаришро муайян мекунад, нишон медиҳад. Функсияи tanh гузариши мулоим, вале равшанро аз ҳолати паст ба ҳолати баланд медиҳад. Аз ҳамин сабаб таҳқиқот рафтори grokking-ро ба universality class-и Landau-Ginzburg mean-field мепайвандад.
Шакли 2 тақсимоти дақиқии ниҳоии тест ва ҷудошавӣ ё нашудани он аз рӯи гурӯҳҳои p ва λ-ро нишон медиҳад. Дар график гуфта мешавад, ки моделҳо дар як банди тақрибан якхелаи дақиқии ниҳоӣ ҷамъ шудаанд ва таъсири p ва λ аҳамиятнок нест. Ин ҳамчун дастгирии таҷрибавии иддаои Universal Feature Convergence шарҳ дода мешавад.
Шакли 3 миқёсбандии таъхири grokking бо p ва гузариши λc-ро нишон медиҳад. Дар графики log-log-и чап нишебии мушоҳидашуда чунин дода мешавад:
\[ \beta = -1.39 \pm 0.20 \]
ва R2 = 0.91 гузориш мешавад. Ин натиҷа бо муносибати аз нав баррасишудаи [ \Delta t \propto 1/(frac \cdot p \cdot \lambda) ] қисман мувофиқ дониста мешавад. Дар панели миёна ноком шудани баъзе seed-ҳо дар λ = 4 нишон дода шуда, синфи mechanism starvation дастгирӣ мешавад. Панели рост бошад нишон медиҳад, ки бо калон шудани p рафтори классикии дуфазаи grokking метавонад ба намуди омӯзиши ҳамзамон наздик шавад.
Ҷиҳати ҷолиби HEF ин аст, ки таҳқиқот онро танҳо ба омӯзиши мошинӣ маҳдуд намекунад. Дар биология мисолҳо аз молекулаҳои prebiotic то шабакаҳои autocatalytic ва наздикшавии метаболикӣ; дар физика Fourier modeҳо ва renormalization-group flowҳо; дар ошкорсозии сигнали nanoparticle бошад конфигуратсияҳои binding оварда мешаванд. Дар ҳамаи ин мисолҳо як савол дода мешавад: Унсурҳои ибтидоӣ кадомҳоянд, кадом механизмҳо имконпазиранд, кадом маҳдудиятҳои физикӣ-иттилоотӣ амал мекунанд ва ҳадди критикии энергия кадом навъи наздикшавиро ба вуҷуд меорад?
Таҳқиқот се пешгӯии falsifiable пешниҳод мекунад. Якум ин аст, ки шохаҳои anaerobic yeast нисбат ба шохаҳои aerobic бо масофаи филогенетикии якхела бояд genomic convergence-и бештар нишон диҳанд. Дуюм ин аст, ки large language model-ҳое, ки бо weight decay-и баландтар омӯзонида шудаанд, бояд намояндагиҳои дорои causal effectiveness-и бештар тавлид кунанд. Сеюм ин аст, ки болотар аз ҳадди критикии λc(p), grokking бояд аз сабаби mechanism starvation ноком шавад.
Ин пешгӯиҳо муҳиманд, зеро назария намехоҳад танҳо ҳамчун шарҳи чандири мушоҳидаҳои гузашта боқӣ монад. Он роҳҳои falsification-и худро ҳам пешниҳод мекунад. Агар шохаҳои anaerobic наздикшавии пешбинишударо нишон надиҳанд, агар дар намояндагиҳои LLM робитаи пешбинишуда байни weight decay ва causal effectiveness ёфт нашавад, ё агар ҳадди λc таҷрибавӣ дастгирӣ наёбад, доираи HEF бояд маҳдуд ё модел бозбинӣ шавад.
Таъсири ин кор ба зиндагии рӯзмарра мустақиман тавлиди дастгоҳ, дору ё маҳсулоти нармафзорӣ нест. Аммо аз ҷиҳати фаҳмидани рафтори омӯзиши системаҳои AI, чен кардани гузариш байни азёдкунӣ ва умумисозӣ, пай бурдан ба ҳаддҳои критикӣ дар танзими hyperparameter ва шарҳ додани он ки чаро ҳалли монанд дар системаҳои мураккаб такрор мешавад, саҳми консептуалӣ пешниҳод мекунад. Агар HEF бо озмоишҳои васеътар дастгирӣ шавад, метавонад ба саволи “модел кай воқеан омӯзишро оғоз мекунад?” ҷавобҳои ченшавандаро наздиктар кунад.
Ҷиҳатҳои қавии таҳқиқот инҳоянд: сохтори равшани математикӣ месозад, маҳдудиятҳои физикӣ ва назарияи иттилоотро якҷо мебинад, аз таҷрибаҳои grokking дастгирии ададӣ пешниҳод мекунад, fingerprint-и ченшавандаи Ec-ро тавассути шаклҳо пешниҳод мекунад ва пешгӯиҳои falsifiable байни соҳаҳо месозад.
Маҳдудиятҳо низ ба ҳамон андоза муҳиманд. HEF назарияи анҷомёфтае нест, ки ҳамаи ҳодисаҳои emergence-ро шарҳ диҳад. Шарти A6 metric contraction дар ҳолати умумӣ худ аз худ ба вуҷуд намеояд; таҳқиқот қабул мекунад, ки барои он шартҳои сохтории иловагӣ ё тасдиқи таҷрибавӣ лозим аст. Таҷрибаҳои grokking бо transformer-и хурд ва вазифаҳои арифметикаи модулӣ маҳдуданд. Пешгӯиҳои биология, large language model ва nanoparticle дар ин матн тасдиқи мустақили анҷомёфта нестанд, балки пешгӯиҳое мебошанд, ки бояд дар оянда санҷида шаванд. Он ки дар бахши Reproducibility майдони Zenodo DOI ҳамчун “to be deposited” нишон дода шудааст, ҳамчунин нишон медиҳад, ки иттилооти бойгонии додаҳо дар матн ҳанӯз пурра нест.
Аз ин рӯ, ин таҳқиқот бояд на ҳамчун қонуни умумии ниҳоии emergence, балки ҳамчун чаҳорчӯбаи ҷасурона, математикӣ ва санҷишпазире хонда шавад, ки ҳодисаҳои наздикшавиро дар системаҳои мураккаб тавассути гузаришҳои фазавӣ ва landscape-и механизмҳо шарҳ додан мехоҳад.
Усул ва Натиҷаҳои Таҳқиқот
Усули таҳқиқот бар чор меҳвари асосӣ сохта шудааст: таърифи математикии HEF, асоси физикӣ–иттилоотӣ, теоремаҳои нуқтаи собит ва emergence-и сабабӣ, ва санҷиши таҷрибавӣ бо grokking.
1. Сохтори tuple-и HEF
| Ҷузъ | Таъриф | Мисоли омӯзиши мошинӣ |
|---|---|---|
| R(1) | Маҷмӯи унсурҳои ибтидоӣ | Token embeddingҳо |
| L | Забони мантиқӣ, ки аз унсурҳои ибтидоӣ ифода месозад | Attention patternҳо ва сохторҳои circuit |
| A0 | Маҷмӯи механизмҳои ибтидоӣ | Ибтидогузории вазнҳо ва ҷузъҳои модел |
| G | Қоидае, ки индексҳои нави механизм тавлид мекунад | Gradient descent / раванди optimization |
| mode | Режими назоратшаванда ё худтавлидкунанда | Раванди омӯзиши назоратшаванда |
| E | Буҷети энергия | Вакилҳои энергияи омӯзишӣ мисли η∥∇L∥2 |
2. Маҳдудиятҳои физикӣ ва назарияи иттилоот
| Маҳдудияти термодинамикӣ | Мувофиқи назарияи иттилоот | Маъно |
|---|---|---|
| P1: Нигоҳдории энергия | P4: Ҳадди иттилооти мутақобила | Тавлиди иттилоотро аз хароҷоти физикӣ ҷудо тасаввур кардан мумкин нест. |
| P2: Қонуни дуюм | P5: Энтропияи шартӣ ≥ 0 | Номуайянӣ ва энтропия дар равандҳои физикӣ манфӣ намешаванд. |
| P3: Ҳарорати мусбат | P6: Нобаробарии Коркарди Маълумот | Занҷири коркард худ аз худ иттилооти изофӣ эҷод карда наметавонад. |
3. Ченаки физикии канонӣ
Дар таҳқиқот барои ҳар унсури ибтидоӣ вазни Gibbs истифода мешавад:
\[ p_i = \frac{e^{-E_i/k_B T}}{Z^{(k)}} \]
\[ Z^{(k)} = \sum_{j=1}^{N_k} e^{-E_j/k_B T} \]
Дар ин ҷо pi вазни унсури i-ум аст. Ei энергия; kB собити Boltzmann; T ҳарорат; Z(k) partition function; ва Nk шумораи унсурҳо дар сатҳи k мебошанд. Ин сохтор ченаки физикиеро месозад, ки дар он ҳолатҳои камэнергия вазни эҳтимолии бештар доранд.
4. Арзиши механизм ва Ec
Арзиши механизм:
\[ cost(\alpha) = E_{\mu}\left[\Delta E_{\alpha}(\phi) + k_B T \Delta H_{\alpha}(\phi)\right] \]
Механизмҳои қабулшаванда аз рӯи буҷети энергия:
\[ A^*(E) = \{\alpha \in A^* \mid cost(\alpha) \leq E\} \]
Ҳадди критикии энергия:
\[ E_c = c_{j^*}, \quad j^* = \arg\max_j \frac{\Delta_j}{c_j - c_{j-1}} \]
Ин се формула якҷо тавозуни energy-diversity-и таҳқиқотро месозанд. Механизмҳо хароҷот доранд; буҷети энергия муайян мекунад, ки кадом механизмҳо фаъол мешаванд; Ec бошад ҳадди критикиест, ки дар он гуногунии механизмҳо режими худро иваз мекунад.
5. Натиҷаҳои асосии назариявӣ
| Натиҷа | Нақши он дар таҳқиқот | Шарт / ёддошти эҳтиётӣ |
|---|---|---|
| Physical Feasibility Theorem | Мегӯяд, ки мавҷудоти тавлидшуда маҳдудиятҳои термодинамикӣ ва иттилоотиро якҷо қонеъ мекунанд. | Ба фарзияҳои A1–A4 такя мекунад. |
| Energy-Diversity Theorem | Муносибати энергия ва гуногунии механизмҳо ва ҳадди Ec-ро месозад. | Дар зери A1–A6 натиҷаи наздикшавӣ медиҳад. |
| Universal Feature Convergence | Мегӯяд, ки системаҳои дорои P-и муштарак метавонанд ба як нуқтаи собит наздик шаванд. | A5 ва A6 нақши критикӣ доранд. |
| Causal Emergence Theorem | Мегӯяд, ки нуқтаи собит метавонад нисбат ба сатҳи микро Effective Information-и бештар дошта бошад. | Фарзияи NDA лозим аст. |
6. Тарҳи таҷрибаҳои grokking
| Унсури таҷриба | Маълумоти додашуда дар таҳқиқот |
|---|---|
| Вазифа | Ҷамъкунии модулӣ: (a+b) mod p |
| Модел | Transformer-и 2-қабата, андоза 128, 4 head |
| Optimization | Full-batch AdamW, learning rate-и собити 10-3 |
| Таҷрибаҳои асосӣ | 90 run: p ∈ {23, 31, 41}, frac ∈ {0.40, 0.50, 0.60}, λ ∈ {1.0, 2.0}, 5 seed |
| Таҷрибаҳои тасдиқ | 21 run: p ∈ {53, 67, 83, 97} ва барои p = 97, λ ∈ {1.0, 2.0, 4.0} |
| Меъёри grokking | Дақиқии тест дар ду арзёбии пайдарпай аз %95 боло равад |
| Тағйирёбандаҳои сабтшуда | Gradient energy, нормаи вазнҳо, дақиқии омӯзиш/тест |
7. Натиҷаҳои таҷрибавӣ
| Натиҷа | Арзиши гузоришшуда | Тафсир |
|---|---|---|
| Run-ҳои grokked | 89/90 run-и асосӣ | Аксарияти зиёди моделҳо рафтори grokking нишон доданд. |
| Дақиқии ниҳоии тест | 0.9745 ± 0.014 | Сарфи назар аз p, frac, λ ва seed-и гуногун наздикшавӣ дар фосилаи танг. |
| Коэффициенти вариатсия | Тақрибан %1.47 | Гуфта мешавад, ки дақиқии ниҳоӣ тағйирёбии нисбии паст дорад. |
| Нишонаи Ec аз нормаи вазн | Дар %92.1 run қулла пеш аз grokking; median lead ≈ 1.050 қадам | Ҳамчун fingerprint-и таҷрибавии гузариши Ec шарҳ дода мешавад. |
| Tanh collapse | Per-run R2 = 0.93; mean collapse R2 = 0.79 | Grokking ба синфи гузариши фазаи монанд ба Landau-Ginzburg ҷойгир карда мешавад. |
| Миқёсбандии G2 | β = -1.39 ± 0.20, R2 = 0.91 | Бо формулаи аз нав баррасишудаи таъхир қисман мувофиқ дониста мешавад. |
| Гузариши λc | λc(p=97) ∈ (2, 4) | Weight decay-и аз ҳад зиёд метавонад mechanism starvation эҷод кунад. |
8. Маънои техникии шаклҳо
- Шакли 1: Нормаи вазн аввал боло меравад, дар атрофи Ec ба қулла мерасад ва баъд паст мешавад. Дар панели рост дақиқии тест ба гузариши tanh-монанд collapse мекунад. Ин далели визуалии асосии тавсифи сефазаи grokking дар HEF мебошад.
- Шакли 2: Дақиқии ниҳоии тест аз рӯи гурӯҳҳои p ва λ ба таври аҳамиятнок ҷудо намешавад. Ин барои дастгирии тафсири Universal Feature Convergence истифода мешавад.
- Шакли 3: Миқёсбандии таъхири grokking бо p, режими нокомӣ дар атрофи λ = 4 ва наздик шудани grokking-и дуфаза ба омӯзиши ҳамзамон бо калон шудани p нишон дода мешавад.
9. Пешгӯиҳои falsifiable
| Пешгӯӣ | Соҳа | Иддао |
|---|---|---|
| P1 | Биологияи эволютсионӣ | Шохаҳои anaerobic yeast бояд дар масофаи якхелаи филогенетикӣ нисбат ба шохаҳои aerobic genomic convergence-и бештар нишон диҳанд. |
| P2 | Large language models | LLM-ҳое, ки бо weight decay-и баландтар омӯзонида мешаванд, метавонанд намояндагиҳои дорои causal effectiveness-и бештар тавлид кунанд. |
| P3 | Grokking | Болотар аз ҳадди λc(p), grokking бояд аз сабаби mechanism starvation ноком шавад. |
10. Ҷиҳатҳои қавӣ ва маҳдудиятҳо
| Ҷиҳатҳои қавӣ | Маҳдудиятҳо |
|---|---|
| Маҳдудиятҳои физикӣ ва назарияи иттилоотро дар як чаҳорчӯба муттаҳид мекунад. | HEF ҳамчун назарияи анҷомёфтаи ҳамаи emergence пешниҳод намешавад. |
| Барои grokking fingerprint-и ченшавандаи Ec пешниҳод мекунад. | Таҷрибаҳо бо transformer-и хурд ва вазифаҳои арифметикаи модулӣ маҳдуданд. |
| Пешгӯиҳои falsifiable байни соҳаҳо пешниҳод мекунад. | Пешгӯиҳои биология, LLM ва nanoparticle дар ин матн натиҷаҳои мустақилан тасдиқшуда нестанд. |
| Бо теоремаҳои математикӣ сохтори равшан месозад. | Шарти A6 metric contraction дар ҳолати умумӣ сохтори иловагӣ ё тасдиқи таҷрибавӣ талаб мекунад. |
Ёддошт оид ба Манбаъ ва Усул
Ин мақола дар асоси таҳқиқоти Truong Xuan Khanh бо унвони “Emergence via Phase Transitions: Mechanism Landscapes and Universal Convergence Across Complex Systems” таҳия шудааст. Дар таҳқиқот пайвастагии муаллиф ба H&K Research Studio, Clevix LLC, Hanoi, Vietnam ва санаи May 2026 дода шудааст. Азбаски дар саҳифаи аввал маълумоти arXiv submission мавҷуд аст, таҳқиқот ҳамчун arXiv submission / preprint-и таҳқиқоти назариявӣ-эмпирикӣ баррасӣ шудааст.
Азбаски дар матн маълумоти равшан дар бораи нашр дар маҷаллаи peer-reviewed, табдил ёфтан ба нашри ниҳоии дорои DOI ё гузаштан аз peer review тасдиқ намешавад, барои ин таҳқиқот бояд ибораи коре, ки peer review-и он аз рӯи матн тасдиқ намешавад истифода шавад. Аз ин рӯ, иддаоҳои васеи HEF, махсусан дар робита ба биология, large language models ва nanoparticle applications бояд бо эҳтиёт баҳогузорӣ шаванд.
Дар ин мундариҷа танҳо таърифҳои назариявӣ, формулаҳо, шароити таҷриба, натиҷаҳои визуалӣ, арзишҳои ададӣ, маҳдудиятҳо ва пешгӯиҳои кушодаи худи таҳқиқот истифода шудаанд. Иддаоҳои дар PDF набуда, мисли қабули қатъии нашри peer-reviewed, умумисозии тасдиқшуда ба ҳамаи системаҳои AI, далели анҷомёфтаи таҷрибавии пешгӯиҳои биологӣ, таъсири клиникӣ, муваффақияти тиҷоратӣ ё кафолати бехатарӣ илова нашудаанд.
Натиҷаҳои grokking-и таҳқиқот бо таҷрибаҳои transformer-и хурд дар вазифаҳои арифметикаи модулӣ дастгирӣ шудаанд. Татбиқи HEF ба соҳаҳои дигар бошад дар матн бештар ҳамчун mapping-и назариявӣ ва пешгӯии санҷишпазир пешниҳод мешавад. Аз ин рӯ, гарчанде таҳқиқот пешниҳоди қавии математикӣ ва далели ибтидоии таҷрибавӣ дорад, арзиши ниҳоии он аз такрорҳои мустақил ва санҷишҳои тасдиқ/рад дар соҳаҳои нав вобаста хоҳад буд.
Шарҳ гузоред
Нишонии почтаи электронии шумо нашр намешавад. Майдонҳои ҳатмӣ бо * нишон дода шудаанд