Диффузиялык модель (diffusion model), максаттуу маалыматтар бөлүштүрүлүшүнөн алынган үлгүлөрдү адегенде башкарылуучу түрдө ызы-чууга айлантып, андан кийин үйрөнүлгөн score функциясынын жардамы менен ушул ызы-чуулуу бөлүштүрүлүштөн артка карай жүрүп жаңы үлгүлөрдү жаратуучу генеративдик моделдердин классы. Бул изилдөө диффузиялык моделдер физикалык система критикалык чекитке жакындаганда кездешкен критикалык жайлоону чындап жеңе алабы же жокпу деген суроону аналитикалык жактан көзөмөлдөнүүчү Gaussian \(O(n\rightarrow\infty)\) статистикалык талаа теориясынын моделинде изилдейт. Изилдөөчүлөр бул системада так score функциясын аналитикалык түрдө билишкендиктен, тармак архитектурасынын үйрөнүү динамикасына таасирин максаттуу функциянын белгисиздигисиз түздөн-түз чече алышат.

Изилдөөнүн биринчи негизги жыйынтыгы таң калыштуу: так score-ду функционалдык жактан толук чагылдыра алган бир гана сызыктуу конволюция катмарлуу тармакты колдонуу критикалык жайлоону жойбойт. Градиенттик түшүү менен окутууда критикалык чекиттеги мүнөздүү окутуу убактысы системанын сызыктуу өлчөмү \(L\) менен болжол менен \(L^2\) сыяктуу масштабдалат. Бул ошол эле Gaussian моделинин стандарттуу жергиликтүү Langevin динамикасындагы \(z=2\) критикалык жайлоосу менен бирдей система-өлчөм масштабдалышы. Окутуудагы ката кийин denoising/generation баскычына өтүп, түзүлгөн талаалардын ковариациясын туура калыбына келтирүүнү да ошол эле мүнөздүү масштабдалыш менен кыйындатат.

Экинчи негизги жыйынтык — болгону бир кошумча сызыктуу катмар динамиканы сапаттык жактан өзгөртө ала тургандыгы. Эки катмар тең активдештирүү функциясы жок сызыктуу жана бир катмарлуу тармактан күчтүүрөөк функциялар классын милдеттүү түрдө чагылдырбайт; ошого карабастан, ылайыктуу баштапкы шарттарда ашыкча параметрлештирүү градиенттик-түшүү аркылуу окутуу убактысынын система өлчөмү менен \(L^2\) ордуна болжол менен \(\log L\) сыяктуу масштабдалышын камсыздайт. Изилдөөнүн көзөмөлдөнгөн моделинде эки катмарлуу түзүлүш ушундайча критикалык окутуу жайлоосун жоёт.

Бирок окутуу убактысынын жакшырышы гана жетиштүү эмес. Бүт системаны камтыган конволюция ядросун реалдуу мейкиндикте жөнөкөй түз колдонуу бир алдыга өтүү үчүн \(O(N^2)\) операцияны талап кылат. Изилдөөчүлөр конволюциянын Фурье мейкиндигинде көбөйтүүгө айлануу касиетин колдонуп, score эсептөөсүн FFT → Фурье-мейкиндигиндеги көбөйтүү → тескери FFT түрүндө ишке ашырышат. Натыйжада жалпы алдыга-өтүү татаалдыгы \(O(N\log N)\) деңгээлине түшөт. Бул жерде \(N=(L/a)^d\), \(d\) мейкиндик өлчөмү, \(a\) болсо тор аралыгы.

Бул жыйынтыктарды чечмелөөнүн чеги маанилүү. Изилдөө чыныгы сүрөт, видео же жалпы максаттагы чоң диффузиялык тармакты окутпайт. Каралып жаткан система Gaussian \(O(n\rightarrow\infty)\) модели; score сызыктуу, архитектуралар сызыктуу конволюция катмарларынан турат жана аналитикалык чечим белгилүү. Ошондуктан \(L^2\rightarrow\log L\) жыйынтыгын бардык заманбап диффузиялык моделдер үчүн универсалдуу окутуу мыйзамы катары чечмелөөгө болбойт. Изилдөөнүн мааниси критикалык жайлоо менен тармак параметрлештирүүсүнүн байланышын толук көзөмөлдөнүүчү физикалык модельдө аналитикалык түрдө көрсөтө алганында.

Критикалык Жайлоо Деген Эмне жана Бул Изилдөөдө Эмне Үчүн Маанилүү?

Критикалык жайлоо — физикалык система фазалык өтүүнүн критикалык чекитине жакындаганда узак аралыктагы корреляциялар пайда болгондуктан жергиликтүү үлгүлөө динамикасынын барган сайын жайыраак декорреляция көрсөтүшү. Каралган \(O(n\rightarrow\infty)\) моделинде стандарттуу жергиликтүү Langevin динамикасынын мүнөздүү релаксация убактысы критикалык чекитте \(\tau\sim L^2\) сыяктуу масштабдалат; изилдөөнүн негизги суроосу — үйрөнүлгөн диффузиялык үлгүлөгүч ошол эле тар жерди мурастайбы же жокпу.

Физикалык баштапкы модель: \(O(n)\) талаа теориясы

Изилдөөнүн негизги физикалык системасы \(n\) компоненттүү \(\vec{\phi}(\vec{x})\) талаасы үчүн аныкталган \(O(n)\) модели. Булак Теңдеме (1) де берген action:

\[ S(\vec{\phi}) = \frac{1}{2} \int_V d^d\vec{x} \left[ \sum_{\nu=1}^{d}\sum_{a=1}^{n} (\partial_\nu\phi_a)^2 + m^2\sum_{a=1}^{n}\phi_a^2 + \frac{g}{2n} \left( \sum_{a=1}^{n}\phi_a^2 \right)^2 \right]. \tag{1} \]

Бул жерде \(\vec{x}\) \(d\)-өлчөмдүү мейкиндиктеги ордун; \(a\), \(n\) талаа компоненттеринин кайсынысы каралып жатканын; \(\partial_\nu\phi_a\), талаанын мейкиндик боюнча өзгөрүшүн; \(m^2\), моделдин жүрүм-турумун көзөмөлдөгөн масса параметрин; \(g>0\) болсо төрттүк өз ара аракеттин күчүн билдирет. Изилдөөнүн контекстинде \(m\) температурага окшош башкаруу параметринин ролун аткарат.

Чоң-\(n\) чегинде маселе эмне үчүн жеңилдейт?

\(n\rightarrow\infty\) чегинде модель эффективдүү түрдө Gaussian абалына өтөт:

\[ S_\Lambda(\vec{\phi}) = \frac{1}{2} \int_V d^d\vec{x} \left[ \sum_{\nu=1}^{d}\sum_{a=1}^{n} (\partial_\nu\phi_a)^2 + (m^2+\Lambda g) \sum_{a=1}^{n}\phi_a^2 \right]. \tag{2} \]

\(\Lambda\) өзүнө-өзү шайкеш түрдө:

\[ \Lambda = \frac{1}{(2\pi)^d} \int d^d\vec{k}\, \frac{1}{ \vec{k}\cdot\vec{k}+m^2+\Lambda g }. \tag{3} \]

теңдемеси менен аныкталат.

Ошентип:

\[ m_{\rm eff}^2=m^2+\Lambda g \]

эффективдүү масса моделдин жүрүм-турумун көзөмөлдөгөн негизги параметрге айланат. Критикалык чекит:

\[ m_{\rm eff}=0 \]

деп аныкталат.

Бул жөнөкөйлөштүрүү изилдөөнүн негизги артыкчылыгы. Gaussian бөлүштүрүлүштөр үчүн корреляциялар, score жана диффузия динамикасы аналитикалык эсептелгендиктен, изилдөөчүлөр “тармак бута кылган чыныгы score эмне?” деген суроонун жообун так билишет. Ошентип окутууда байкалган жайлоо белгисиз максаттуу функциянын татаалдыгынан эмес, түздөн-түз оптималдаштыруу жана корреляция түзүлүшү аркылуу изилденет.

Максаттуу Boltzmann–Gibbs бөлүштүрүлүшү

Максат — төмөнкү бөлүштүрүлүштөн талаа конфигурацияларын түзүү:

\[ P(\vec{\phi}) = \frac{1}{Z} e^{-S_\Lambda(\vec{\phi})}, \tag{4} \]

бул жерде:

\[ Z = \int D\vec{\phi}\, e^{-S_\Lambda(\vec{\phi})} \]

бөлүштүрүү функциясы.

Физикалык критикалык жайлоонун өлчөмү

Жергиликтүү үлгүлөгүч канчалык тез декорреляция кыларын көрүү үчүн изилдөө автокорреляция функциясын колдонот:

\[ C(\vec{x},\vec{x};T) = \frac{1}{V} \int_V d^d x\, \left\langle \phi(\vec{x},T)\phi(\vec{x},0) \right\rangle . \tag{5} \]

\(T\) физикалык үлгүлөө/симуляция убактысы. Критикалык чекитке жакындаганда корреляциянын өчүшү жайлайт. Сызыктуу өлчөмү \(L\) болгон гиперкубдук системада стандарттуу жергиликтүү динамика үчүн:

\[ \tau\sim L^z, \qquad z=2. \]

Демек:

\[ \tau\sim L^2. \]

Бул \(L^2\) жүрүм-турум кийин бир катмарлуу score окутуусунун масштабдалышы менен түз салыштырылат.

Төмөн өлчөмдөрдө критикалык чекит тууралуу маанилүү чектөө

Булак \(d\leq2\) үчүн чектүү \(m^2\) маанисинде классикалык мааниде чектүү-температура фазалык өтүү жок экенин белгилейт. Мисалы, \(d=1\) үчүн:

\[ m_{\rm eff}^2 = m^2 + \frac{g}{2} \frac{1}{\sqrt{m_{\rm eff}^2}}. \tag{6} \]

\(m_{\rm eff}\rightarrow0\) болгондо \(m^2\) терс багытта дивергенцияга кетиши керек. \(d=2\) да UV кесүүдөн кийин логарифмдик жүрүм-турум пайда болот. Ошондуктан изилдөө кийинки анализдерде түздөн-түз Gaussian теориясын жана \(m_{\rm eff}\)-ти башкаруу параметри катары колдонуп, критикалуулукту \(m_{\rm eff}\rightarrow0\) түрүндө изилдейт.

Диффузиялык Моделдеги Score Функциясы Деген Эмне?

Score функциясы — белгилүү diffusion-time \(t\) учурдагы ыктымалдык бөлүштүрүлүшүнүн талаа өзгөрмөлөрүнө карата логарифмдик туундусу; башкача айтканда, моделдин учурдагы ызы-чуулуу конфигурацияны ыктымалдыгы жогору багыттарга кандай оңдошу керектигин аныктаган вектордук талаа. Бул изилдөөнүн Gaussian системасында score сызыктуу жана так эсептелгендиктен, үйрөнүлгөн тармакты түздөн-түз чыныгы score менен салыштырууга болот.

Forward diffusion: маалыматты ызы-чууга айландыруу

Максаттуу бөлүштүрүлүштөн баштапкы конфигурация алынат:

\[ \vec{\phi}(\vec{x},0) \sim P^\ast(\vec{\phi}). \tag{7} \]

Андан кийин Ornstein–Uhlenbeck процесси менен ызы-чууланат:

\[ \frac{\partial\vec{\phi}(\vec{x},t)}{\partial t} = -\vec{\phi}(\vec{x},t) + \vec{\zeta}(\vec{x},t). \tag{8} \]

\(\vec{\zeta}\) — ак Gaussian ызы-чуусу, анын ковариациясы:

\[ \left\langle \zeta(\vec{x},t) \zeta(\vec{x}',t') \right\rangle = 2\, \delta^{(d)}(\vec{x}-\vec{x}') \delta(t-t') \]

түрүндө.

Reverse diffusion: ызы-чуудан максаттуу бөлүштүрүлүшкө кайтуу

Булак негизги анализде deterministic probability-flow ODE колдонот:

\[ -\partial_t\vec{\phi}(\vec{x},t) = \vec{\phi}(\vec{x},t) + \vec{\mathcal F}_t(\vec{\phi}(\vec{x},t)). \tag{10} \]

Score:

\[ \vec{\mathcal F}_t(\vec{\phi}) = \frac{ \delta\log P_t(\vec{\phi}) }{ \delta\vec{\phi}(\vec{x}) }. \tag{11} \]

Бул жерде \(P_t\) — forward diffusion учурунда \(t\) учурда пайда болгон бөлүштүрүлүш. Score так болсо, reverse ODE идеалдуу учурда ызы-чуулуу бөлүштүрүлүштү максаттуу бөлүштүрүлүшкө кайра жеткирет.

Score matching жоготуусу

Эгер так score белгилүү болгондо, окутуу жоготуусу:

\[ \mathcal L_t(\vec{F}_t) = \frac{1}{2} \int D\vec{\phi}\, P_t(\vec{\phi}) \left\| \vec{F}_t(\vec{\phi}) - \vec{\mathcal F}_t(\vec{\phi}) \right\|^2. \tag{12} \]

түрүндө жазылышы мүмкүн. Бул жерде \(\vec{F}_t\) — үйрөнүлгөн score, \(\vec{\mathcal F}_t\) — так score.

Практикада так score көп маселеде белгисиз болгондуктан, булак denoising score-matching менен эквиваленттүү форманы да берет:

\[ \widehat{\mathcal L}_t(\vec F_t) = \frac{1}{2} \mathbb E_{\vec\phi_0\sim P_0} \int D\vec\phi\, P_t(\vec\phi|\vec\phi_0) \left\| \vec F_t(\vec\phi) + \frac{ \vec\phi-e^{-t}\vec\phi_0 }{ \Delta_t } \right\|^2, \tag{13} \]

бул жерде:

\[ \Delta_t=1-e^{-2t}. \]

Бул изилдөөдө так score аналитикалык белгилүү болгондуктан, окутуу динамикасынын теориялык чечиминде Теңдеме (12) колдонулат.

Forward diffusion-дан кийинки бөлүштүрүлүш

Бир талаа компоненти үчүн Фурье мейкиндигиндеги бөлүштүрүлүш:

\[ P_t(\widetilde\phi) \propto \exp \left\{ -\frac{(2\pi)^d}{2} \int d^d\vec{k}\, \left[ \frac{ k^2+m_{\rm eff}^2 }{ \Delta_t(k^2+m_{\rm eff}^2)+e^{-2t} } \right] \widetilde\phi(\vec{k}) \widetilde\phi(-\vec{k}) \right\}. \tag{14} \]

Бул туюнтма Gaussian түзүлүшү diffusion убактысы бою сакталарын көрсөтөт.

Так score эмне үчүн сызыктуу конволюция?

Так score:

\[ \mathcal F_t(\phi) = -\int d^d\vec y\, \mathcal S_t(\vec x,\vec y)\phi(\vec y). \tag{15} \]

түрүндө. Башкача айтканда, талаанын өзүнө сызыктуу оператор колдонулат.

Score ядросу:

\[ \begin{aligned} \mathcal S_t(\vec x,\vec y) =& \int\frac{d^d\vec k}{(2\pi)^d} \frac{ k^2+m_{\rm eff}^2 }{ \Delta_t(k^2+m_{\rm eff}^2)+e^{-2t} } e^{i\vec k\cdot(\vec y-\vec x)} \\ =& \frac{1}{\Delta_t} \delta^{(d)}(\vec y-\vec x) - \frac{e^{-2t}}{(2\pi)^{d/2}\Delta_t^2} \left( \frac{M_t}{|\vec y-\vec x|} \right)^{d/2-1} K_{d/2-1} \left( M_t|\vec y-\vec x| \right), \end{aligned} \tag{16} \]

бул жерде:

\[ M_t^2 = m_{\rm eff}^2 + \frac{e^{-2t}}{\Delta_t} \]

жана \(K_\nu\) — экинчи түрдөгү модификацияланган Bessel функциясы.

Score ядросу эки бөлүктөн турат: delta функциясынан келген так жергиликтүү бөлүк жана мейкиндикке тараган куйрук. Кыска аралыкта бул куйрук Yukawa-сыяктуу даража мыйзамынын жүрүм-турумун көрсөтүп, узак аралыкта экспоненциалдуу басаңдайт. Критикалуулукка карай \(m_{\rm eff}\rightarrow0\) болгондо узак аралыктагы түзүлүш маанилүү болот.

Фурье мейкиндигинде трансляциялык инварианттуулуктун аркасында ядро диагоналдык болуп калат:

\[ \widetilde{\mathcal S}_t(\vec k) = \frac{ k^2+m_{\rm eff}^2 }{ \Delta_t(k^2+m_{\rm eff}^2)+e^{-2t} }. \tag{17} \]

Бир катмар так score-ду чагылдыра алат; анда эмнеге дагы деле маселе бар?

Бир катмарлуу болжолдуу score ушул эле түрдө жазылат:

\[ F_t(\phi) = -\int d^d\vec y\, S_t(\vec x,\vec y) \phi(\vec y). \tag{18} \]

Бул жерде моделдин сыйымдуулугу негизги маселе эмес: \(S_t\) ылайыктуу мааниге жеткенде тармак так \(\mathcal S_t\)-ти чагылдыра алат. Изилдөө тапкан критикалык тар жер чагылдыруу мүмкүнчүлүгүнөн көрө параметрлердин ар башка Фурье моддорунда канчалык тез үйрөнүлүшү.

Gradient-flow теңдемеси

Ядро үчүн population loss:

\[ \mathcal L_t = \frac{1}{2} \int D\phi\,P_t(\phi) \left\| \int d^d\vec y\, [S_t(\vec x,\vec y)-\mathcal S_t(\vec x,\vec y)] \phi(\vec y) \right\|^2. \tag{19} \]

Gradient flow:

\[ \frac{ dS_t(\vec x',\vec y') }{ d\bar t } = -\eta \frac{ \delta\mathcal L_t }{ \delta S_t(\vec x',\vec y') }, \tag{20} \]

бул жерде \(\bar t\) — окутуу убактысы, \(t\) болсо diffusion/noising убактысы. Эки убакыт өзгөрмөсү бири-биринен айырмаланат.

Оператор түрү:

\[ \frac{dS_t}{d\bar t} = -\eta (S_t-\mathcal S_t)C_t, \tag{21} \]

жана ковариация:

\[ C_t(\vec x,\vec y) = \langle \phi(\vec x)\phi(\vec y) \rangle_t. \tag{22} \]

Башында окутулбаган \(S_t(0)=0\) үчүн чечим:

\[ S_t(\bar t) = \mathcal S_t \left( 1-e^{-\eta C_t\bar t} \right). \tag{23} \]

Бул теңдеме критикалык жыйынтыктын математикалык булагы: ар башка ковариациянын өздүк маанилери ар башка ылдамдыкта үйрөнүлөт.

Бир Катмарлуу Тармакта Окутуу Убактысы Эмне Үчүн \(L^2\) Сыяктуу Масштабдалат?

Бир катмарлуу тармакта ар бир Фурье модунун үйрөнүү убактысы ошол моддун ковариациясынын өздүк маанисине байланыштуу; критикалык чекитте эң кичине нөл эмес импульс \(k_{\min}=2\pi/L\) болгондуктан туруктуу градиенттик-түшүү үйрөнүү ылдамдыгы болжол менен \(k_{\min}^2\propto L^{-2}\) масштабына кысылып, \(k=O(1)\) моддорун үйрөнүү үчүн керек болгон эффективдүү окутуу убактысы \(L^2\) менен өсөт.

Фурье-модунун ковариациясы

Булак:

\[ \langle \widetilde\phi(\vec k) \widetilde\phi(\vec q) \rangle_t = \frac{ \delta^{(d)}(\vec k+\vec q) }{ (2\pi)^d } \widetilde C_t(\vec k), \tag{24} \]

жана:

\[ \widetilde C_t(\vec k) = \frac{ \Delta_t(k^2+m_{\rm eff}^2)+e^{-2t} }{ k^2+m_{\rm eff}^2 }. \tag{25} \]

алат.

Тиешелүү убакыт масштабы:

\[ \tau_t(\vec k) = \frac{ k^2+m_{\rm eff}^2 }{ \Delta_t(k^2+m_{\rm eff}^2)+e^{-2t} }. \tag{26} \]

Узак noising-time чегинде:

\[ \lim_{t\rightarrow\infty} \tau_t(\vec k) = 1. \tag{27} \]

Башкача айтканда, бардык моддордун окутуу убакыттары бири-бирине жакындайт.

Кыска-noising-time чегинде болсо:

\[ \lim_{t\rightarrow0} \tau_t(\vec k) = k^2+m_{\rm eff}^2. \tag{28} \]

Бул туюнтма Langevin динамикасынын ар бир модго туура келген убакыт масштабы менен бирдей түзүлүштө.

Эң кичине убакыт масштабы:

\[ \tau_{\min} = k_{\min}^2+m_{\rm eff}^2. \tag{29} \]

Градиенттик түшүү туруктуу болушу үчүн үйрөнүү ылдамдыгы эң тез модго жараша чектелет. Булак minimax-optimal үйрөнүү ылдамдыгын:

\[ \eta_{\rm opt} = \frac{ 2 }{ \tau_{\min}^{-1} + \tau_{\max}^{-1} } \tag{30} \]

түрүндө берип, максималдуу туруктуу үйрөнүү ылдамдыгы да ошол эле масштабдалышка ээ экенин түшүндүрөт.

Score-ядро ката метрикасы

\[ \varepsilon_S = \frac{ \sum_{x,y} |S(x,y)-\mathcal S(x,y)| }{ \sum_{x,y} |\mathcal S(x,y)| }. \tag{31} \]

Бул үйрөнүлгөн ядро менен так ядронун ортосундагы нормалдаштырылган абсолюттук ката.

Эффективдүү окутуу убактысы

Кичине noising time үчүн жана максималдуу үйрөнүү ылдамдыгы масштабында:

\[ \tau^{\rm eff}(\vec k) = \frac{ \tau(\vec k) }{ 2\tau_{\min} } = \frac{ m_{\rm eff}^2+k^2 }{ 2(m_{\rm eff}^2+k_{\min}^2) }. \tag{32} \]

Чектүү системада нөл мод өзүнчө үйрөнүлө алгандыктан, эң кичине нөл эмес импульс:

\[ k_{\min} = \frac{2\pi}{L} \]

жана:

\[ \tau_{\min} = \left( \frac{2\pi}{L} \right)^2 + m_{\rm eff}^2. \tag{33} \]

Критикалуулукта \(m_{\rm eff}=0\) болгондо \(k=O(1)\) үчүн:

\[ \tau^{\rm eff} \sim L^2. \]

Жыйынтык: так score-ду чагылдыра алган бир катмарлуу тармак да критикалык чекитте стандарттуу жергиликтүү үлгүлөөнүн \(L^2\) масштабдалышын мурастайт.

Башка optimizer-лер маселени чечеби?

Булак optimally tuned momentum ыкмасы критикалык масштабдалышты \(L^2\)-ден болжол менен \(L\)-ге жакшырта аларын, бирок дивергенттүү система-өлчөм көз карандылыгын толук жойбой турганын билдирет. Реалдуу-мейкиндик оптималдаштыруусунда Adagrad жана Adam болсо бул жөнөкөй convex маселеде так score ядросуна жакындаган эмес. Демек, градиенттик түшүүгө тиешелүү коэффициенттер өзгөрүшү мүмкүн болсо да, критикалык окутуу жайлоосу optimizer-ди гана алмаштыруу менен автоматтык жоголбойт.

Окутуу катасы генерацияга кантип өтөт?

Так score үчүн Фурье модунун reverse-diffusion теңдемеси:

\[ \partial_t \widetilde\phi^\ast(\vec k,t) = - \widetilde\phi^\ast(\vec k,t) \left[ 1- \frac{ k^2+m_{\rm eff}^2 }{ \Delta_t(k^2+m_{\rm eff}^2)+e^{-2t} } \right]. \tag{34} \]

Мунун так чечими:

\[ \widetilde\phi^\ast(\vec k,t;t_{\max}) = \frac{ \sqrt{ e^{-2t}+ \Delta_t(k^2+m_{\rm eff}^2) } }{ \sqrt{ e^{-2t_{\max}}+ \Delta_{t_{\max}} (k^2+m_{\rm eff}^2) } } \, \widetilde\phi^\ast(\vec k,t_{\max}). \tag{35} \]

\(t_{\max}\rightarrow\infty\) чегинде:

\[ \widetilde\phi^\ast(\vec k,t;\infty) = \frac{ \sqrt{ e^{-2t}+ \Delta_t(k^2+m_{\rm eff}^2) } }{ \sqrt{k^2+m_{\rm eff}^2} } \, \widetilde\phi^\ast(\vec k,\infty). \tag{36} \]

Бул чечим так \(P_t\) бөлүштүрүлүшүн кайра түзөт.

Чектүү окутуу убактысында болжолдуу score колдонулганда Теңдеме (37) score-дун үйрөнүлбөгөн бөлүгүн:

\[ 1- \exp \left[ -\frac{\eta\bar t}{\tau_t(\vec k)} \right] \]

фактору аркылуу reverse динамикага киргизет. Булак Теңдеме (38) де бул теңдеменин экспоненциалдык интеграл \(\operatorname{Ei}\) камтыган так жабык чечимин чыгарат. Экспоненциалдык интеграл:

\[ \operatorname{Ei}(x) = - \int_{-x}^{\infty} \frac{e^{-u}}{u}\,du. \tag{39} \]

деп аныкталат. Бул узун жабык чечимдин физикалык мааниси — score-дун айрым моддордо жетишсиз үйрөтүлүшү reverse diffusion учурунда ошол моддордун дисперсиясын системалуу өзгөртөт.

Generation катасы кантип өлчөнөт?

Gaussian моделинде бөлүштүрүлүштүн орточо мааниси нөл болгондуктан, түзүлгөн бөлүштүрүлүш толугу менен ковариация матрицасы аркылуу мүнөздөлөт. Булак нормалдаштырылган Frobenius катасын колдонот:

\[ \varepsilon_C(\bar t,L) = \frac{ \left\| C_{\rm gen}(\bar t,L) - C^\ast(L) \right\|_F }{ \left\| C^\ast(L) \right\|_F }. \tag{42} \]

\(C^\ast\) — максаттуу ковариация, \(C_{\rm gen}\) — түзүлгөн талаалардын ковариациясы, \(\|\cdot\|_F\) болсо Frobenius нормасы.

Критикалуулуктагы негизги салыштырмалуу ката жүрүм-туруму:

\[ \sim \exp \left( -\frac{ \bar t\,t_{\max} }{ L^2 } \right) \]

түрүндө. Демек окутуудагы \(L^2\) критикалык жайлоо туура ковариацияга ээ үлгүлөрдү түзүүнү да түздөн-түз жайлатат.

Экинчи Сызыктуу Катмар Критикалык Жайлоону Кантип Азайтат?

Экинчи сызыктуу катмар жаңы сызыктуу эмес функциялар классын кошкондон көрө score ядросунун факторлоштурулган, ашыкча параметрленген чагылдырылышын түзөт; бул параметрлештирүү градиенттик-түшүү багыттарын натыйжалуу кайра шарттандырып, Фурье моддорунун ортосундагы үйрөнүү-убакыт айырмасын бир катмарлуу учурдагы сызыктуу ковариация көз карандылыгынан логарифмдик көз карандылыкка өзгөртөт.

Эки катмарлуу score модели

Эки трансляциялык-инварианттуу ядро колдонулат:

\[ F_t^{\rm ov}(\phi) = - \int d^d\vec z\,d^d\vec y\, S_t^{(2)}(\vec x,\vec z) S_t^{(1)}(\vec z,\vec y) \phi(\vec y). \tag{46} \]

Gradient-flow теңдемелери:

\[ \frac{dS_t^{(1)}}{d\bar t} = -\eta \left(S_t^{(2)}\right)^\dagger \left( S_t^{(2)}S_t^{(1)}C_t-I \right), \tag{47} \]

\[ \frac{dS_t^{(2)}}{d\bar t} = -\eta \left( S_t^{(2)}S_t^{(1)}C_t-I \right) \left(S_t^{(1)}\right)^\dagger. \tag{48} \]

Фурье мейкиндигинде ар бир мод көз карандысыз болот:

\[ \frac{ d\widetilde S_t^{(1)}(\vec k) }{ d\bar t } = -\eta \widetilde S_t^{(2)}(\vec k) \left[ \widetilde S_t^{(2)}(\vec k) \widetilde S_t^{(1)}(\vec k) \widetilde C_t(\vec k) -1 \right], \tag{49} \]

\[ \frac{ d\widetilde S_t^{(2)}(\vec k) }{ d\bar t } = -\eta \left[ \widetilde S_t^{(2)}(\vec k) \widetilde S_t^{(1)}(\vec k) \widetilde C_t(\vec k) -1 \right] \widetilde S_t^{(1)}(\vec k). \tag{50} \]

Fixed point:

\[ \widetilde S_t^{(2)}(\vec k) \widetilde S_t^{(1)}(\vec k) \widetilde C_t(\vec k) = 1. \]

Башкача айтканда, эки катмардын өз-өзүнчө жалгыз милдеттүү оптимуму жок; маанилүүсү — алардын көбөйтүндүсү так score-ду бериши. Ашыкча параметрлештирүү бул жерде дал ушул факторлоштуруу эркиндиги.

Тең салмакталган эки катмарлуу учурда logistic теңдеме

Эки катмар башында тең болсо:

\[ s= \widetilde S_t^{(1)}(\vec k) = \widetilde S_t^{(2)}(\vec k), \qquad c= \widetilde C_t(\vec k)>0 \]

жана:

\[ \dot{s} = \eta s(1-cs^2). \tag{51} \]

\[ u=s^2 \]

аныктамасы менен:

\[ \dot{u} = 2\eta u(1-cu). \tag{52} \]

Бул стандарттуу logistic теңдеме жана анын чечими:

\[ u(\bar t) = \frac{ u_0 e^{2\eta\bar t} }{ 1-cu_0+cu_0e^{2\eta\bar t} }. \tag{53} \]

Демек:

\[ s(\bar t) = \operatorname{sgn}[s(0)] \sqrt{ \frac{ u_0 e^{2\eta\bar t} }{ 1-cu_0+cu_0e^{2\eta\bar t} } }. \tag{54} \]

Критикалык айырма: бир катмарлуу Теңдеме (23) те \(c\) экспоненциалдык жакындашуу ылдамдыгынын түз ичинде турганда, эки катмарлуу Теңдеме (53) те \(e^{2\eta\bar t}\) бөлүгү \(c\)-ден көз каранды эмес. Максаттуу тактыкка жетүү убактысы ушинтип \(c\)-ге сызыктуу эмес, логарифмдик көз карандылык көрсөтөт.

Баштапкы салмактар эмне үчүн маанилүү?

Булак бардык моддордо \(\eta=O(1)\) деңгээлинде туруктуу жакындашуу үчүн баштапкы катмар салмактарын болжол менен:

\[ s(0)=O(1/L) \]

масштабында тандоону талап кылат. Стандарттуу Kaiming сыяктуу \(O(1)\) чоңдуктагы баштапкы маанилер система өлчөмү өскөн сайын бул теориялык маселе үчүн барган сайын көйгөйлүүрөөк болушу мүмкүн экенин белгилейт.

Катмарлар башында тең эмес болсо

Жалпы учурда:

\[ u(\bar t) = s_1(\bar t)s_2(\bar t), \tag{55} \]

жана катмарлардын дал келбестиги:

\[ d_0=s_1^2(0)-s_2^2(0), \qquad \delta=|d_0|, \qquad \alpha=\frac{\delta}{2}. \]

Булак ошондой эле:

\[ \kappa = c\alpha = \frac{c\delta}{2}, \qquad A = \sqrt{ 1+\kappa^2 } = \sqrt{ 1+\frac{c^2d_0^2}{4} }. \tag{56} \]

аныктайт. Жабык чечим Теңдеме (57) де \(q_0\), \(R_0\), \(R(\bar t)\), \(q(\bar t)\) жана \(u(\bar t)\) чынжыры менен берилет. Жакындашуунун экспоненциалдык бөлүгү \(A\eta\) тарабынан башкарылат. Система өлчөмү менен полиномдук начарлоону болтурбоо үчүн:

\[ d_0 \lesssim \frac{1}{L^2} \]

шарты керек. \(s_1,s_2=O(1/L)\) тандоосу бул үчүн жетиштүү шарт.

Сандык ырастоо

Эки архитектуранын мод-негизиндеги score катасы:

\[ \varepsilon_{F_e}(\vec k) = \left[ \frac{ \overline{ \left| F_t^{\rm ov}[\phi_t(\vec k)] - \mathcal F_t[\phi_t(\vec k)] \right|^2 } }{ \overline{ \left| \mathcal F_t[\phi_t(\vec k)] \right|^2 } } \right]^{1/2}. \tag{58} \]

Так Фурье score:

\[ \mathcal F_t[\phi(\vec k)] = - \widetilde{\mathcal S}_t(\vec k) \widetilde\phi(\vec k). \tag{59} \]

Булактын 5-сүрөтүндөгү ырастоодо \(d=2\), \(m_{\rm eff}=0\), \(a=1\), \(t=0.01\), \(L=16\) шарттары колдонулат. Бир катмарлуу учурда мүнөздүү ката өчүү убактысы \(1/\widetilde C(\vec k)\) менен, эки катмарлуу учурда болсо болжол менен \(-\log\widetilde C(\vec k)\) менен өзгөрөт. Сандык эксперименттер 1024 окутуу конфигурациясын жана 500 көз карандысыз симуляциянын орточосун колдонот.

Көбүрөөк катмар дагы жакшыбы?

Булак бул суроону \(N_\ell\) бирдей катмарлуу жөнөкөйлөштүрүлгөн модель менен талдайт. \(u=s^{N_\ell}\) үчүн:

\[ \dot u = \eta N_\ell u^{\,2-2/N_\ell} (1-cu). \tag{60} \]

Керектүү баштапкы масштаб:

\[ s_0 \sim L^{-2/N_\ell}. \tag{61} \]

Мүнөздүү окутуу убактысы:

\[ \tau_{\rm eff} \sim L^{\,2-4/N_\ell}. \tag{62} \]

\(N_\ell=2\) өзгөчө учурда даража-мыйзам көрсөткүчү нөлгө түшөт жана кененирээк анализ \(\log L\) масштабдалышын берет. Бирок \(N_\ell\geq3\) үчүн кайра оң \(L\) даражасы пайда болот. \(N_\ell\rightarrow\infty\) чегинде көрсөткүч 2 ге жакындайт. Ошондуктан изилдөөнүн жөнөкөйлөштүрүлгөн тең салмактуу моделинде “тереңдик көбөйгөн сайын дайыма тезирээк” деген жыйынтык чыкпайт; эки катмар теориялык жактан өзгөчө жана эң пайдалуу учур.

Фурье Мейкиндигинде Колдонуу Эсептөө Чыгымын Кантип Өзгөртөт?

Реалдуу мейкиндикте бүт системаны камтыган конволюциянын алдыга өтүүсү \(O(N^2)\) операция талап кылганда, ошол эле трансляциялык-инварианттуу конволюция Фурье мейкиндигинде чекиттик көбөйтүүгө айланат; FFT жана тескери FFTнин \(O(N\log N)\) чыгымы үстөмдүк кылгандыктан, изилдөө эки катмарлуу score тармагынын жалпы алдыга-өтүү татаалдыгын \(O(N\log N)\) деңгээлине түшүрөт.

Реалдуу-мейкиндик конволюциясы эмне үчүн кымбат?

Критикалык чекитте корреляция узундугу дивергенцияга кеткендиктен так score ядросу бүт система өлчөмүнө таралышы мүмкүн. Ядрону система өлчөмүн камтый тургандай реалдуу мейкиндикте түз колдонуу:

\[ O(N^2) \]

операция талап кылат.

Бул жерде:

\[ N= \left( \frac{L}{a} \right)^d. \]

\(L\) — сызыктуу система өлчөмү, \(a\) — тор аралыгы, \(d\) — мейкиндик өлчөмү.

FFT негизиндеги эсептөө агымы

1. Реалдуу-мейкиндик конфигурациясы FFT аркылуу Фурье мейкиндигине өткөрүлөт.
2. Конволюция ядросу Фурье мейкиндигинде ар бир модго чекиттик көбөйтүү катары колдонулат.
3. Жыйынтык тескери FFT аркылуу реалдуу мейкиндикке кайтарылат.

Фурье мейкиндигиндеги ядро көбөйтүүнүн чыгымы \(O(N)\), ал эми FFT чыгымы:

\[ O(N\log N) = O\left( dL^d\log L \right) \]

болгондуктан, жалпы score-call чыгымын FFT аныктайт.

Аппараттык ырастоо

Булак 6-сүрөттө PyTorch реалдуу-мейкиндик эки катмарлуу convolutional network менен Фурье ишке ашыруусунун алдыга-өтүү wall time көрсөткүчтөрүн салыштырат. Эксперименттер 1024 үлгүлүү batch-терде, \(d=1,2,3\) өлчөмдөрү үчүн жана NVIDIA Tesla V100-SXM2-32GB GPU колдонулуп жүргүзүлгөн. Фурье ишке ашыруусу өлчөнгөн аралыкта реалдуу-мейкиндик convolution-дан ылдамыраак жана ыңгайлуураак система-өлчөм масштабдалышын көрсөтөт. Булак мындан тышкары бул эксперименттик аралыкта теориялык \(\log L\) оңдоосу ачык ажыратылбаганын белгилейт.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Акыркы ырастоо экспериментинин түзүлүшү

Фурье негизиндеги эки катмарлуу архитектура теориялык окутуу убактысын гана эмес, чындап түзүлгөн конфигурациялардын физикалык касиеттерин туура кайра жарата алабы же жокпу текшерүү үчүн изилдөө өзүнчө генерация эксперименти жүргүзөт.

Күч спектри

Биринчи физикалык observable:

\[ P(k) = \left\langle |\widetilde\phi(k)|^2 \right\rangle . \tag{63} \]

Бул чоңдук ар башка толкун сандарындагы талаа флуктуацияларынын орточо күчүн өлчөйт. Критикалык системада айрыкча төмөн \(k\) моддору узак аралыктагы корреляцияларды билдиргендиктен маанилүү.

Булак төмөн-\(k\) бөлүгүн:

\[ \frac{1}{P(k)} \simeq ak^2+b \tag{64} \]

түрүнө fit кылат.

Мындан fitted effective mass:

\[ m_{\rm fit} = \sqrt{\frac{b}{a}} \]

түрүндө алынат.

Ар бир ийри сызык 20.000 конфигурация колдонулуп түзүлгөн. Бул тест айрыкча критикалуулукка жакындаганда төмөн-\(k\) спектри туура түзүлүп жатканын текшерет.

Толук критикалык чекиттеги генерация тести

Булак 8-сүрөттө \(m_{\rm eff}=0\) жана \(L=16,32,64,128\) үчүн максаттуу \(O(n)\) конфигурацияларын диффузиялык модель түзгөн конфигурациялар менен салыштырат. Ар бир система өлчөмүндө 20.000 конфигурация боюнча:

• бир талаа компонентинин бөлүштүрүлүшү \(P(\phi)\),
• action бөлүштүрүлүшү,
• күч спектри \(P(k)\),
• ковариация матрицасы

текшерилет. Булак бул байкалуучу чоңдуктарда түзүлгөн бөлүштүрүлүштөр теориялык максаттардан сандык жактан айырмаланбай турганын белгилейт.

Чектүү окутуу маалымат топтомунун таасири

В тиркемесинде окутуу үлгүлөрүнүн саны \(M\) өзүнчө каралат. Дискреттештирилген система \(N\) өзгөрмө менен берилгенде empirical covariance \(\widehat C_0\) аркылуу идеалдуу чексиз-окутуу-score баасы:

\[ S_t = \left[ (1-e^{-2t})I + e^{-2t}\widehat C_0 \right]^{-1}. \tag{B1} \]

Реалдуу-мейкиндик \(N\times N\) ядросунун ар бир элементинин чектүү үлгү катасы \(M\) өскөн сайын азаят. Булактын анализи Frobenius жана \(L_{1,1}\) нормаларындагы жалпы ката масштабдалышын изилдейт.

Трансляциялык инварианттуулук Фурье мейкиндигинде ядрону диагоналдык кылгандыктан, түздөн-түз импульс мейкиндигинде болгону \(O(N)\) параметрди үйрөнүүгө болот. Бул учурда булак:

\[ E_{1,1} \sim \frac{N}{\sqrt M}, \tag{B6} \]

жана:

\[ E_F \sim \sqrt{ \frac{N}{M} }. \tag{B7} \]

масштабдалыштарын берет. Нормалдаштырылган салыштырмалуу ката үчүн маанилүү жыйынтык — туруктуу тактыкты камсыз кылуу үчүн \(M\) система өлчөмү менен милдеттүү түрдө өсүшү керек эмес. Ошондуктан чектүү үлгү катасы бир катмарлуу критикалык жайлоонун үстөм \(L^2\) жыйынтыгын өзгөртпөйт.

Reverse ODE дискреттештирүү катасы

Жөнөкөй Euler дискреттештирүүсү:

\[ \frac{ \widetilde\phi(\vec k,t-\delta t) - \widetilde\phi(\vec k,t) }{ \delta t } = \widetilde\phi(\vec k,t) + (2\pi)^d \widetilde\phi(\vec k,t) \widetilde S_t(\vec k). \tag{B8} \]

жана эквиваленттүү жаңыртуу:

\[ \widetilde\phi(\vec k,t-\delta t) = \widetilde\phi(\vec k,t) \left[ 1+ \delta t \left( 1-(2\pi)^d\widetilde S_t(\vec k) \right) \right]. \tag{B9} \]

Euler ыкмасында акыркы ката \(O(\delta t)\). Критикалык төмөн-импульс модунда жана туруктуу \(\delta t\) шартында абсолюттук ката чоң \(L\) үчүн болжол менен сызыктуу өсүшү мүмкүн. Булак муну жогорку тартиптеги интеграторлор менен кыйла азайтууга болорун көрсөтөт.

8-сүрөттө колдонулган төртүнчү тартиптеги Runge–Kutta ыкмасы үчүн керектүү дискреттештирүү кадамы болжол менен:

\[ L^{1/4} \]

масштабында өсүшү жетиштүү экени айтылат. Бул бир катмардагы \(L^2\) training тар жерине караганда кыйла алсыз система-өлчөм көз карандылыгы.

Критикалык Чекитте Жергиликтүү Score Ядросу Жетиштүүбү?

Жок. C тиркемесинин негизги жыйынтыгы: чектелген диапазондогу score ядросу жалпы score катасын айрым шарттарда кичине кармай алса да, критикалык \(m_{\rm eff}\rightarrow0\) системасынын төмөн-импульс түзүлүшүн туура калыбына келтире албай калышы мүмкүн; демек, жалпы score катасынын кичине болушу физикалык критикалык жүрүм-турум туура түзүлгөнүнө кепилдик бербейт.

Жергиликтүү ядрону кесүү

Так score ядросу:

\[ |\vec x-\vec y|>\frac{K}{2} \]

аймагында нөлгө коюлуп, жасалма түрдө локалдаштырылат. Бир чекиттеги score катасы:

\[ \delta F_t^{(R)} = - \int_{|\vec y|>R} d^d\vec y\, \mathcal S_t(0,\vec y) \phi_t(\vec y), \tag{C1} \]

бул жерде \(R=K/2\).

Булактын масштабдык анализи жалпы жергиликтүү ката дисперсиясы үчүн:

\[ {\rm Var}[\delta F_t^{(R)}] \sim R^{-d}, \qquad d\geq3, \tag{C5} \]

\[ {\rm Var}[\delta F_t^{(R)}] \sim \frac{\log L}{R^2}, \qquad d=2, \tag{C6} \]

\[ {\rm Var}[\delta F_t^{(R)}] \sim \frac{L}{R^2}, \qquad d=1. \tag{C7} \]

жыйынтыктарын берет.

Ошого ылайык жалпы score катасын көзөмөлдөө үчүн болжол менен:

• \(d=1\): \(R\sim\sqrt L\),
• \(d=2\): \(R\) логарифмдик өсүшү,
• \(d\geq3\): sabit \(R\)

жетиштүү болушу мүмкүн.

Бирок бул “критикалык физика туура түзүлдү” дегенди билдирбейт. C тиркемесинин power-spectrum тести \(m_{\rm eff}\) азайган сайын жергиликтүү/cropped score төмөн-\(k\) спектрин туура эмес калыбына келтирерин көрсөтөт. Ядрону кесүү физикалык жактан чектүү корреляция узундугу бардай жүрөт. Критикалык чекитте чыныгы корреляция узундугу дивергенцияга кеткендиктен, жергиликтүү ядро критикалык жүрүм-турумду жоготот.

Бул жыйынтык эмне үчүн маанилүү?

Машиналык үйрөнүү моделинин жалпы орточо катасы кичине болушу физикалык жактан маанилүү бардык моддор туура дегенди билдирбейт. Критикалык системаларда төмөн-\(k\) моддору жалпы нормада кичине салмакка ээ болсо да, узак аралыктагы корреляцияларды аныктайт. Ошондуктан изилдөө физикалык байкалуучу чоңдуктар менен текшерүү глобалдык score метрикасына гана таянгандан ишенимдүүрөөк экенин көрсөтөт.

Изилдөөнүн негизги жыйынтыктары

Изилдөө колдогон жыйынтыктар

• Gaussian \(O(n\rightarrow\infty)\) моделинин так diffusion score-у сызыктуу жана бүт-системалык сызыктуу конволюция ядросу менен көрсөтүлө алат.
• Так score-ду чагылдыра алган бир катмарлуу сызыктуу тармактын градиенттик-түшүү менен окутулушу критикалык чекитте \(L^2\) масштабдуу критикалык жайлоону көрсөтөт.
• Score окутуусундагы жайлоо generation катасына өтөт жана туура ковариацияны түзүүнү ошол эле система-өлчөм масштабдалышы менен кыйындатат.
• Экинчи сызыктуу катмарды кошуу ылайыктуу \(1/L\)-масштабдуу initialization шартында окутуу убактысын \(L^2\)-ден \(\log L\)-ге түшүрөт.
• Көбүрөөк сызыктуу катмар бул жөнөкөйлөштүрүлгөн модельдө автоматтык түрдө жакшы эмес; \(N_\ell>2\) үчүн даража-мыйзам система-өлчөм көз карандылыгы кайра пайда болот.
• Фурье колдонмосу толук-диапазондуу score эсептөөнүн алдыга-өтүү чыгымын \(O(N^2)\)-ден \(O(N\log N)\)-ге түшүрөт.
• Фурье негизиндеги эки катмарлуу тармак түзгөн критикалык Gaussian талаалар power spectrum, action, бир-талаа бөлүштүрүлүшү жана covariance өлчөөлөрүндө теориялык максаттар менен абдан жакшы шайкеш келет.
• Чектүү маалымат топтому жана reverse-ODE дискреттештирүү каталары изилденип, бир катмарлуу \(L^2\) training тар жеринин үстөм масштабдалышын өзгөртпөгөнү көрсөтүлгөн.
• Глобалдык score катасынын гана кичине болушу критикалык физикалык корреляциялар туура түзүлгөнүнө кепилдик бербейт; төмөн-\(k\) жүрүм-турумун өзүнчө текшерүү керек.

Изилдөө колдобогон жыйынтыктар

• \(L^2\rightarrow\log L\) жакшыруусу бардык заманбап сүрөт/видео диффузиялык моделдер үчүн универсалдуу мыйзам эмес.
• Изилдөө Transformer, U-Net же чоң сызыктуу эмес генеративдик моделдерде ошол эле масштабдалышты түз көрсөтпөйт.
• Жыйынтыктар чектүү-\(n\) \(O(n)\) моделдеринде аналитикалык түрдө ырасталган эмес.
• Gaussian моделинде жеткиликсиз \(m_{\rm eff}<0\) ферромагниттик фаза түздөн-түз изилденбейт.
• Эмне үчүн эки катмар бул маселеде өзгөчө оптималдуу экендиги тууралуу жалпы физикалык интуиция толук бүттү деп айтылбайт; авторлор муну келечектеги изилдөө темасы катары калтырышат.
• Жергиликтүү ядронун жалпы score катасын көзөмөлдөшү критикалык физикалык байкалуучу чоңдуктар туура түзүлөт деген кепилдик эмес.
• Фурье архитектурасы бардык көп-масштабдуу чыныгы маалымат топтомдорунда ошол эле өндүрүмдүүлүк артыкчылыгын көрсөтөрү текшерилген эмес.
• Изилдөө окутуу маалымат топтому кантип алынат деген маселени чечпейт; авторлор маалымат топтомун берилген деп кабыл алышат.

Негизги чектөөлөр жана келечектеги изилдөө багыттары

1. Gaussian чоң-\(n\) чеги: Аналитикалык көзөмөлдүн негизги себеби ошол эле учурда негизги чектөө. \(n\rightarrow\infty\) чеги моделди Gaussian кылат; чектүү-\(n\) өз ара аракеттер жана чыныгы сызыктуу эмес score түзүлүштөрү негизги анализде жок.

2. Жогорку-температура/критикалык тарап: Изилдөө \(m_{\rm eff}\geq0\) аймагына көңүл бурат. Gaussian чегинде \(m_{\rm eff}<0\) модель жакшы аныкталбагандыктан, ферромагниттик бузулган-симметрия фазасы изилденбейт.

3. Сызыктуу архитектуралар: Бир жана эки катмарлуу тармактар активдештирүүсүз сызыктуу конволюциялардан турат. Бул архитектуралык параметрлештирүүнүн таасирин таза бөлүп көрсөтөт, бирок заманбап терең сызыктуу эмес diffusion архитектураларын чагылдырбайт.

4. Ар бир diffusion-time үчүн өзүнчө тармак: Акыркы Фурье ырастоосунда бир time-embedded тармактын ордуна ар бир туруктуу \(t\) үчүн көз карандысыз тармак окутулат. Бул тандоо теорияны түз колдонуу үчүн жасалган жана стандарттуу практикалык diffusion архитектураларынан айырмаланат.

5. Маалымат топтому берилген деп кабыл алынат: Физикалык үлгүлөө маселелеринде көп учурда максаттын өзү максаттуу бөлүштүрүлүштөн окутуу маалыматтарын түзүү болуп саналат. Макала окутуу үлгүлөрүнүн чыгымын негизги маселеден тышкары калтырат.

6. Жергиликтүүлүк маселеси: Критикалык системада корреляция узундугу дивергенцияга кеткендиктен, толугу менен жергиликтүү score моделдөө физикалык төмөн-\(k\) жүрүм-турумун жоготушу мүмкүн.

7. Маалымат репозиторийинин DOI-си: Жүктөлгөн v3 PDF маалымат жеткиликтүүлүгү билдирүүсүндө Duke Digital Repository-ге шилтеме берет, бирок [96] шилтемеде DOI дагы эле “10.7924/XXXXXXX” placeholder түрүндө. Verianla бул кемчиликти толуктабайт.

Булак жана Ыкма Жөнүндө Эскертүү

Түпнуска аталышы: The critical slowing down in training diffusion models

Авторлор: Luca Maria Del Bono, Giulio Biroli, Patrick Charbonneau, Marylou Gabrié.

Авторлордун тартиби: Булак PDF-деги тартип ошол бойдон сакталган.

Жооптуу автор: Luca Maria Del Bono. Булак PDF-де жылдызча белгиси менен ачык “Corresponding author” деп көрсөтүлгөн.

Тең салым: Жүктөлгөн булакта тең салым/тең биринчи авторлук билдирүүсү аныкталган эмес.

Аффилиациялар: Dipartimento di Fisica, Sapienza Università di Roma; CNR-Nanotec Rome unit; Laboratoire de Physique Statistique, École normale supérieure / PSL Research University; Department of Physics, Duke University; Department of Chemistry, Duke University.

Жүктөлгөн булак версиясы: arXiv:2605.12597v3 [cond-mat.dis-nn], 18 Сентябрь 2026.

arXiv DOI: 10.48550/arXiv.2605.12597. Бул DOI arXiv жазуусунун туруктуу идентификатору жана журнал DOI-си эмес.

Учурдагы жарыялоо абалы: Изилдөө 28 Октябрь 2026 күнү PRX Intelligence тарабынан кабыл алынган. APSтин “Accepted Paper” жазуусундагы DOI 10.1103/yskc-plm7. Бул Verianla текстинин илимий мазмуну жүктөлгөн arXiv v3 PDF-ге негизделет; учурдагы кабыл алуу абалы библиографиялык текшерүү максатында гана кошулган.

Журнал: PRX Intelligence — кабыл алынган изилдөө.

Басмакана: American Physical Society (APS).

Булак түрү: Теориялык, аналитикалык жана сандык статистикалык физика / машиналык үйрөнүү изилдөөсү.

Негизги тармактар: Disordered Systems and Neural Networks, Statistical Mechanics, Artificial Intelligence, Machine Learning жана Computational Physics.

Негизги физикалык модель: Gaussian \(O(n\rightarrow\infty)\) статистикалык талаа теориясы.

Негизги машиналык үйрөнүү ыкмасы: Score-based diffusion модели; бир жана эки сызыктуу конволюция катмарынын градиенттик-түшүү окутуу динамикасы.

Негизги эсептөө ыкмасы: Фурье-мейкиндик анализи, так Gaussian score, gradient-flow чечими, reverse diffusion ODE, FFT негизиндеги score колдонмосу жана сандык конфигурация генерациясы.

Сандык программалык камсыздоо: Булак PyTorch конволюциялары колдонулганын жана diffusion-model интеграциясынын үстүңкү түзүлүшүнүн бир бөлүгү Шилтеме [87]-ден ылайыкташтырылганын белгилейт.

Сандык аппараттык камсыздоо: Фурье жана реалдуу-мейкиндик алдыга-өтүү убакыттарын салыштырууда NVIDIA Tesla V100-SXM2-32GB GPU колдонулган.

Маалымат жеткиликтүүлүгү: Жүктөлгөн v3 PDF “The data that support the findings of this article are openly available [96]” деген сөздү камтыйт; бирок ошол PDF-деги Шилтеме [96] “Duke Digital Repository https://doi.org/10.7924/XXXXXXX” түрүндө бүтпөгөн DOI камтыйт. Ошондуктан так маалымат репозиторийинин DOI-си бул булак версиясынан ырасталбайт.

Каржылоо / эсептөө инфраструктурасы: Изилдөөдө DARIAH HPC-AI cluster at CNR-NANOTEC, Lecce колдонулган. Булак бул инфраструктура “MUR PON Ricerca e Innovazione 2014–2020” PIR01_00022 долбоору жана European Union – NextGenerationEU – NRRP M4C2 алкагындагы H2IOSC Project IR0000029 тарабынан каржыланганын белгилейт.

Ыраазычылык: Авторлор Davide Carbone, Sebastian Goldt, Misaki Ozawa жана Gilles Tarjusка пайдалуу талкуулар үчүн ыраазычылык билдиришет. Luca Maria Del Bono ошондой эле École normale supérieure мекемесинин меймандостугун белгилейт.

Кызыкчылыктардын кагылышы: Жүктөлгөн v3 PDF-де өзүнчө кызыкчылыктардын кагылышы/competing interests билдирүүсү аныкталган эмес; Verianla булакта жок билдирүүнү түзгөн эмес.

Авторлордун салымы / CRediT: Жүктөлгөн v3 PDF-де өзүнчө CRediT салым таблицасы аныкталган эмес.

Лицензия: arXiv жазуусу non-exclusive distribution license көрсөтөт. Бул булак фигураларын Creative Commons алкагында эркин кайра колдонууга болот деген мааниге айландырылган эмес; Verianla булак фигураларын түз көчүргөн эмес, илимий байланыштардын негизинде көз карандысыз SVG жана HTML таблицаларын түзгөн.

Негизги чечмелөө чеги: Изилдөө көзөмөлдөнгөн Gaussian \(O(n\rightarrow\infty)\) моделинде сызыктуу score архитектураларын изилдейт. Натыйжаларды жалпы максаттагы чоң сызыктуу эмес diffusion моделдерине сандык түрдө түз өткөрүү булак тарабынан далилденген эмес.