Байес статистикасында максат — байкалган маалыматтардын негизинде белгисиз параметрлер жөнүндө posterior бөлүштүрүүнү алуу. Бул posterior бөлүштүрүү көбүнчө жөнөкөй коңгуроо сымал ийри сызык сыяктуу бир борборлуу болбойт. Айрыкча реалдуу колдонмолордо бөлүштүрүүнүн бир нече чокуга ээ болушу кеңири кездешет. Мындай бөлүштүрүүлөр көп модалуу posterior деп аталат.

Көп модалуулук жөн гана техникалык майда-чүйдө эмес; ал чыгарымдын ишенимдүүлүгүнө түздөн-түз таасир этет. Эгер MCMC чынжыры posterior'дун бир гана модунда калып, башка моддорго такыр барбаса, изилдөөчү бөлүштүрүүнүн баарын көргөндөй кабыл алышы мүмкүн, бирок чындыгында ал жергиликтүү бир гана аймактан үлгү алган болот. Мындай учурда белгисиздик толук эмес көрсөтүлөт, моделдин альтернативалары көз жаздымда калат жана posterior жыйынтыктары жаңылыштыкка алып келиши мүмкүн.

Изилдөөнүн кириш бөлүгүндө көп модалуу posterior'лорго алып келүүчү бир нече маанилүү мисал берилет. Аралашма моделдеринде label switching, башкача айтканда энбелгилердин алмашуусу, бир эле статистикалык түшүндүрмөнүн ар башка параметр энбелгилери менен кайра пайда болушуна алып келиши мүмкүн. Сейрек регрессияда кайсы өзгөрмөлөр моделге кириши керектиги белгисиз; түшүндүрүү күчү окшош болгон ар башка өзгөрмө комбинациялары өзүнчө posterior моддорун түзүшү мүмкүн. Байес нейрондук тармактарында салмак симметриялары бир эле функцияны көрсөткөн ар башка салмак конфигурацияларын жаратат. Иерархиялык моделдерде начар идентификациялануучулук да posterior'дун бир нече аймакта топтолушуна алып келиши мүмкүн.

Классикалык MCMC иш агымдарында көп колдонулган ыкмалардын бири Langevin динамикасына негизделген үлгүлөө болуп саналат. Стандарттык overdamped Langevin диффузиясы төмөнкүдөй жазылат:

\[ d\theta_t = -\nabla U(\theta_t)dt + \sqrt{2}dW_t \]

Бул жерде θ_t — чынжырдын t убакыттагы орду. U(θ) — максаттуу бөлүштүрүүнүн терс лог-тыгыздыгы сыяктуу иштеген потенциал функциясы. Максаттуу бөлүштүрүү:

\[ \pi(\theta) \propto \exp(-U(\theta)) \]

түрүндө берилет. ∇U(θ) чынжырды ыктымалдыгы жогору аймактарга багыттаган градиенттик маалымат. W_t — Броун кыймылы, ал эми √2dW_t Гаусстук кокустукту билдирет.

Бул түзүлүш бир модалуу же жакшы байланышкан бөлүштүрүүлөрдө натыйжалуу болушу мүмкүн. Бирок ыктымалдыгы жогору эки моддун ортосунда ыктымалдыгы төмөн энергиялык тосмо болсо, көйгөй жаралат. Чынжыр бир моддон экинчи модго өтүшү үчүн тыгыздыгы төмөн аймак аркылуу өтүшү керек. Гаусстук кадамдар көбүнчө кичине жана орточо өлчөмдө болот; өтө чоң кадамдардын ыктымалдыгы абдан тез, башкача айтканда экспоненциалдуу азаят. Ошондуктан чынжыр учурдагы моддун айланасында узак убакыт жүрүшү мүмкүн, бирок башка модго өтө албай калышы ыктымал.

Изилдөөдө бул маселе Eyring–Kramers мыйзамы менен байланыштырылат. Brownian-driven Langevin динамикасында тосмону ашып өтүү убактысы тосмонун бийиктиги ΔU жана кадам өлчөмү h менен болжол менен төмөнкү экспоненциалдуу жүрүм-турумду көрсөтөт:

\[ E[T_{cross}] \asymp \exp(\Delta U/h) \]

Бул формуланын практикалык мааниси өтө катуу. Тосмонун бийиктиги бир аз өскөндө өтүү убактысы жөн гана эки эсе көбөйбөйт; ал экспоненциалдуу өсүшү мүмкүн. Ошондуктан классикалык Langevin тибиндеги үлгүлөгүчтөр чындап бөлүнгөн моддору бар posterior'лордо ишенимсиз болуп калышы мүмкүн. Чынжыр бир моддун ичинде жакшы айланып жүргөнү үчүн аны жакшы аралашты деп эсептөө жаңылыш болушу мүмкүн.

Бул изилдөө сунуштаган негизги чечим — чынжырдын ызы-чуу түзүлүшүн өзгөртүү. Brownian/Гаусстук ызы-чуунун ордуна horseshoe бөлүштүрүүсү бар стохастикалык волатилдүүлүк колдонулат. Horseshoe бөлүштүрүүсү Байес статистикасында өзгөчө сейрек сигнал жана өзгөрмө тандоо маселелеринде белгилүү. Анын эң маанилүү өзгөчөлүгү эки чектеги жүрүм-турумду бир учурда камтышы: нөлдүн айланасында күчтүү топтолуу жана оор куйрук.

Бул эки касиет үлгүлөө жагынан мындайча түшүндүрүлөт. Нөлдүн айланасындагы топтолуу чынжырга көп учурда кичине жана жергиликтүү кадамдарды жасоого мүмкүндүк берет. Оор куйрук болсо сейрек учурда өтө чоң кадамдарды жаратат. Көп модалуу posterior'лордо дал ушундай нерсе керек: чынжыр бир моддун ичинде так үлгүлөшү керек, ошол эле учурда башка моддорго секирип өтүү ыктымалдыгын да сакташы зарыл.

Изилдөө сунуштаган үзгүлтүксүз убакыттагы процесс horseshoe-Langevin диффузиясы деп аныкталат:

\[ d\theta_t = -S_t \nabla U(\theta_t)dt + \sqrt{2S_t}dW_t \]

Бул формулада S_t — учурдагы масштаб же волатилдүүлүк процесси. Изилдөөдө:

\[ S_t = \tau^2 \lambda_t^2 \]

деп аныкталат. Бул жерде τ — глобалдык масштаб параметри. λ_t — оң, cadlag, башкача айтканда оң жактан үзгүлтүксүз жана сол жактан чеги бар процесс; анын маргиналдык бөлүштүрүүсү жарым-Коши C⁺(0,1) катары алынат. S_t чоңойгондо дрейф да, кокустук кадамдын өлчөмү да чоңоёт; кичирейгенде чынжыр көбүрөөк жергиликтүү кыймылдайт.

Бул жерде өтө маанилүү тең салмак бар. Эгер чоң секириктерди гана жасаган үлгүлөгүч түзүлсө, ал моддордун ортосунда өтө алмак, бирок моддордун ичиндеги майда posterior түзүлүшүн начар үлгүлөмөк. Эгер кичине кадамдарды гана жасаган үлгүлөгүч колдонулса, жергиликтүү түзүлүш жакшы үлгүлөнмөк, бирок моддор аралык өтүү болбой калмак. Horseshoe масштаб аралашмасы ушул эки жүрүм-турумду бир механизмде бириктирүүгө аракет кылат.

Изилдөөнүн биринчи теориялык жыйынтыгы максаттуу бөлүштүрүүнүн сакталышына байланыштуу. Theorem 2 боюнча, эгер S_t дээрлик дайыма оң, Броун кыймылынан көз карандысыз жана төмөнкү шартты аткарган процесс болсо:

\[ \int_0^\infty S_s ds = \infty \quad \text{a.s.} \]

анда максаттуу бөлүштүрүү π horseshoe-Langevin процесси үчүн жалгыз стационардык бөлүштүрүү болуп саналат. Бул жыйынтык маанилүү, анткени ызы-чуу масштабын кокустук жана оор куйруктуу кылуу максаттуу бөлүштүрүүнү сөзсүз бузбайт. Процессти убакытты кокус тездетип жана жайлаткан убакыт өзгөрүүсү катары чечмелөөгө болот; ылайыктуу шарттарда ал стандарттык Langevin процессинин стационардык бөлүштүрүүсүн сактайт.

Theorem 2нин интуитивдүү түшүндүрмөсү мындай. Стандарттык Langevin процесси туура максаттуу бөлүштүрүүгө жакындайт. Horseshoe-Langevin процесси ошол эле динамиканы кокус тездетилип жана жайлатылып турган саат менен иштетет. Эгер бул саат чексиз алдыга жыла берсе, башкача айтканда топтолгон жалпы масштаб чексиз болсо, процесс кайра эле ошол максаттуу бөлүштүрүүгө жетет. Бул оор куйруктуу кадам масштабы максаттуу бөлүштүрүүнү бузбай турганын көрсөткөн негизги кепилдик.

Изилдөөдө жарым-Коши масштабын практикалык түрдө түзүү үчүн Makalic-Schmidt augmentациясы колдонулат:

\[ \lambda^2|\nu \sim IG\left(\frac{1}{2},\nu^{-1}\right),\quad \nu \sim IG\left(\frac{1}{2},1\right) \]

Бул жерде IG inverse-gamma бөлүштүрүүсүн билдирет. Бул көрсөтмө жарым-Коши масштабын эки inverse-gamma үлгүсү менен түзүүгө мүмкүндүк берет. Колдонмо бөлүмүндө берилген код үзүндүсү да ар бир итерацияда бул масштаб кандай алынарын көрсөтөт.

Изилдөө үч дискреттик убакыттагы үлгүлөгүчтү аныктайт. Биринчиси HS-RWM, башкача айтканда horseshoe-scaled random-walk Metropolis ыкмасы. Сунуш төмөнкүдөй түзүлөт:

\[ \theta' = \theta + \tau \lambda \xi,\quad \xi \sim N(0,I_p),\quad \lambda \sim C^+(0,1) \]

Бул формулада ξ — p өлчөмдүү стандарттык Гаусс вектору. λ — жарым-Коши масштаб өзгөрмөсү. Сунуш бөлүштүрүүсү симметриялуу болгондуктан стандарттык Metropolis кабыл алуу ыктымалдыгы колдонулат:

\[ \alpha(\theta,\theta') = \min\left\{1,\frac{\pi(\theta')}{\pi(\theta)}\right\} \]

Бул ыкма π боюнча кайтарымдуу бойдон калат. Башкача айтканда, чынжыр узак мөөнөттө максаттуу бөлүштүрүүнү сактайт. HS-RWM теориялык талдоодо колдонулган негизги ыкма болуп саналат; өзгөчө моддор аралык биринчи өтүү убактысы үчүн полиномдук жогорку чек дал ушул ыкма үчүн далилденет.

Экинчи ыкма HS-jump+MALA. Бул аралаш ядро. Белгилүү бир ыктымалдык менен horseshoe масштабы бар чоң секирик жасалат; калган ыктымалдыкта стандарттык MALA кадамы колдонулат. Бул түзүлүштүн логикасы түшүнүктүү: horseshoe секириктери моддор аралык өтүүгө жардам берет, ал эми MALA кадамдары моддун ичинде градиенттик маалымат аркылуу натыйжалуу жергиликтүү үлгүлөөнү камсыз кылат.

Үчүнчү ыкма HS-axis+MALA. Бул ыкма жогорку өлчөмдөр үчүн иштелип чыккан. Изотроптук чоң секирик p өлчөмдүн баарына бирдей тараганда, жогорку өлчөмдө туура модго тийүү ыктымалдыгы азайышы мүмкүн. Ок боюнча багытталган ыкмада адегенде кокус координата тандалат, андан кийин horseshoe масштабындагы секирик ошол координатада гана жасалат:

\[ \theta'_j = \theta_j + \tau\lambda z,\quad z\sim N(0,1) \]

Башка координаталар өзгөртүлбөйт. Андан кийин стандарттык Metropolis кабыл алуусу колдонулат. Бул ядро MALA менен аралаштырылганда да π-кайтарымдуу бойдон калат. Изилдөөнүн жогорку өлчөмдүү эксперименттеринде HS-axis+MALA изотроптук HS-RWMге караганда туруктуураак көрүнүшүнүн негизги себеби ушул.

Изилдөөнүн теориялык өзөгүндө horseshoe масштабындагы өсүүлөрдүн тосмодон өтүү ыктымалдыгы турат. Lemma 8 төмөнкү жыйынтыкты берет:

\[ P(\langle \tau\lambda\xi,u\rangle > R) \geq \frac{1}{4\pi}\arctan\left(\frac{\tau}{R}\right) \]

R чоң болгондо бул туюнтма:

\[ \frac{\tau}{4\pi R} + O(R^{-3}) \]

түрүндөгү жүрүм-турумду көрсөтөт. Бул жерде u — каалаган бирдик вектор. R — ашып өтүлүшү керек болгон аралык же моддордун ажырымы. Бул жыйынтык horseshoe масштабындагы кадамдын белгилүү бир багытта чоң аралыкты өтүү ыктымалдыгы 1/R тартибинде полиномдук азаярын көрсөтөт.

Бул Гаусстук сунуштар менен кескин карама-каршылык түзөт. Гаусстук өсүүлөрдө ушул сыяктуу чоң четтөөнүн ыктымалдыгы болжол менен:

\[ \exp\left(-\frac{R^2}{2\tau^2}\right) \]

сыяктуу экспоненциалдуу кичирейет. Изилдөөнүн бүт механизми ушул айырмадан келип чыгат. Гаусстук ызы-чууда алыскы модго бир кадамда секирүү мүмкүнчүлүгү дээрлик жоголсо, horseshoe'дун оор куйругу бул мүмкүнчүлүктү полиномдук деңгээлде сактап калат.

Theorem 11 идеалдаштырылган эки-basin максаттуу бөлүштүрүү божомолунда HS-RWM үчүн биринчи өтүү убактысына полиномдук жогорку чек берет:

\[ E[T_{B_2}] \leq \frac{C R^{p+1}}{r^p \tau \rho} \]

Бул формулада T_B2 — чынжырдын экинчи basin'ге биринчи кирүү убактысы. R — эки моддун ортосундагы аралык. p — өлчөм. r — максаттуу моддун айланасындагы кабыл алынуучу кичине аймактын радиусу. τ — horseshoe сунуш масштабы. ρ — экинчи моддун айланасындагы тыгыздык катышына байланышкан кабыл алынуучулук параметри. C болсо сандык туруктуу.

Бул чектин мааниси мындай: HS-RWM үчүн моддордун аралыгы өскөн сайын күтүлгөн өтүү убактысы полиномдук тартипте өсөт. Бул классикалык Langevin үчүн берилген экспоненциалдуу төмөнкү чек менен салыштырганда маанилүү теориялык айырма:

\[ E[T^L_{B_2}] \geq C\exp(\Delta U/h) \]

Бул жерде ΔU — эки моддун ортосундагы энергиялык тосмонун бийиктиги; h — discretized Langevin кадам өлчөмү. Тосмонун бийиктиги өскөндө классикалык Langevin өтүү убактысы экспоненциалдуу өсөт, ал эми horseshoe сунуш механизми оор куйруктун аркасында полиномдук жүрүм-турум көрсөтүшү мүмкүн.

Бирок бул теориялык жыйынтыктын чектерин туура түшүнүү керек. Изилдөө өзү да муну ачык белгилейт. Theorem 11 — hitting-time, башкача айтканда биринчи өтүү убактысынын чеги; ал толук вариациядагы аралашуу убактысы үчүн курч bound эмес. Мындан тышкары, ал эки basin'дүү идеалдаштырылган максатты божомолдойт. Эксперименттердеги көп модалуу аралашмалар же жогорку өлчөмдүү куб бурчу моддору бул божомолго так тең эмес. Ошентсе да жыйынтык оор куйруктуу сунуштар эмне үчүн моддон модго секирүүдө күчтүү болушу мүмкүн экенине математикалык түшүндүрмө берет.

Изилдөөнүн эксперименттик бөлүгү төрт benchmark камтыйт. Биринчи эксперимент эки өлчөмдүү төрт Гаусс модунан турган аралашма. Моддор (±4,0) жана (0,±4) чекиттеринде жайгашат; жалпы дисперсия σ² = 0.16 деп алынат. Чынжырлар (4,0) чекитинен башталып, 15.000 итерация иштетилет. Салыштырылган ыкмалар RWM, MALA, PT-MALA, HS-RWM жана HS-jump+MALA.

1-сүрөт бул эксперименттин жыйынтыгын үч панелде берет. Сол панель төрт моддун канчасы зыярат кылынганын көрсөткөн мод камтуусун көрсөтөт. Ортоңку панель моддон модго өтүү санын көрсөтөт. Оң панель чыныгы бөлүштүрүүгө sliced Wasserstein-2 аралыкты көрсөтөт. Бул жерде негизги жыйынтык абдан так: RWM жана MALA баштапкы моддо гана калат; алардын мод камтуусу 0.25 деңгээлинде. PT-MALA жана HS-RWM бардык моддорго барат. HS-RWM ошондой эле эң төмөн sliced W2 маанисин берет.

1-таблицада сандык жыйынтыктар мындай берилет. HS-RWM мод камтуусунда 1.00 ± 0.00 маанисине жетет, болжол менен 87 ± 13 мод өтүүсүн жасайт жана sliced W2 мааниси 1.05 ± 0.29 болот. PT-MALA да мод камтуусунда 1.00 ± 0.00 маанисине жетип, көбүрөөк cold-chain өтүүсүн билдирет; бирок sliced W2 мааниси 1.62 ± 0.45 болуп жогору жана беш температуралык көчүрмө колдонгондуктан ар бир кадамга болжол менен беш эсе эсептөө чыгымын талап кылат.

Бул жыйынтык HS-RWM эки өлчөмдүү benchmarkта бир чынжыр менен бардык моддорду камтый аларын жана бөлүштүрүү сапаты жагынан күчтүү натыйжа берерин көрсөтөт. Бирок benchmark чектелген жана көзөмөлдөнгөн экенин эске алуу керек. Чыныгы жогорку өлчөмдүү posterior'лордо ошол эле натыйжа автоматтык түрдө сакталат деген тыянакты бул эксперименттен чыгарууга болбойт.

Экинчи эксперимент — өлчөм боюнча масштабдоо тести. Максаттуу бөлүштүрүү p өлчөмдүү мейкиндикке киргизилген сегиз модго ээ. Моддор 3-кубдун бурчтарында:

\[ \mu_k \in \{-3,+3\}^3 \times \{0\}^{p-3} \]

Жалпы дисперсия:

\[ \sigma^2 = 0.36 \]

деп алынат. Өлчөмдөр p ∈ {5,10,15,20} түрүндө өзгөртүлөт. Максат — өлчөм көбөйгөн сайын ыкмалар сегиз модду канчалык камтый аларын өлчөө.

2-сүрөт жана 2-таблица бул эксперименттин негизги жыйынтыгын берет. MALA бардык өлчөмдөрдө болжол менен 0.12 камтуу деңгээлинде калат; башкача айтканда сегиз моддун болжол менен бирөөсүн гана табат. Изотроптук HS-RWM p = 5те жакшы көрүнүп, 0.83 ± 0.12 камтуу берет; бирок p = 10до 0.17 ± 0.06, p = 15 жана p = 20да болжол менен 0.12 деңгээлине түшөт. Мунун себеби чоң секириктин өлчөмү бардык өлчөмдөргө таралып, туура мод багытына туура келүү ыктымалдыгы өлчөм көбөйгөн сайын азайышы.

PT-MALA жана HS-axis+MALA болсо p = 20га чейин маанилүү камтууну сактайт. PT-MALA p = 20да 0.71 ± 0.12, HS-axis+MALA болсо 0.62 ± 0.10 камтуу билдирет. Үч seed менен бул айырма ызы-чуунун ичинде калышы мүмкүн. Бирок эсептөө чыгымы башка: PT-MALA беш температуралык көчүрмө колдонот; HS-axis+MALA бир гана чынжыр колдонот. Бул ок боюнча багытталган horseshoe секириктери жогорку өлчөмдүү көп модалуу максаттарда практикалык альтернатива болушу мүмкүн экенин көрсөтөт.

Үчүнчү эксперимент тосмонун бийиктиги менен модго өтүү убактысын түз салыштырат. Бир өлчөмдүү кош-чуңкур максаттарда тосмонун бийиктиги:

\[ \Delta U \in \{4.5,8,12.5,18,24.5,32\} \]

түрүндө өзгөртүлөт. Моддордун аралыгы:

\[ R = \sqrt{2\Delta U} \]

менен аныкталат. HS-RWM жана Langevin үчүн 60 көз карандысыз чынжырда биринчи өтүүнүн медианалык убакыттары өлчөнөт.

3-сүрөттө y огу логарифмдик масштабда. Langevin чынжыры ΔU көбөйгөн сайын тез жайлайт жана ΔU ≥ 12.5 болгондо 50.000 итерациялык чынжыр бюджетине жетип токтойт. 3-таблицада Langevin үчүн медианалык өтүү убакыттары ΔU = 4.5те 1145, ΔU = 8.0да 28552, андан кийинки бардык бийик тосмолордо ≥ 50000 деп берилет. Ал эми HS-RWM ошол эле тосмолордо 18, 16, 28, 24, 35, 30 итерация аралыгында калат.

Бул эксперимент изилдөөнүн теориялык билдирүүсүн эң ачык көрсөткөн визуалдардын бири. Brownian/Гаусстук ызы-чуу тосмонун бийиктиги өскөндө экспоненциалдуу түрдө тыгылып калат, ал эми horseshoe'дун оор куйругу бир кадамдык чоң секириктерди мүмкүн кылат. p = 1 үчүн теориялык bound R боюнча квадраттык, бирок экспериментте өтүү убакыттары дээрлик түз бойдон калат. Изилдөө муну ушул масштабдарда бир кадамдык моддон ашып өтүүлөр үстөм болушу менен түшүндүрөт.

Төртүнчү эксперимент Байес өзгөрмө тандоо мисалы. Бул жерде n = 40 байкоо жана d = 8 predictor колдонулат. Биринчи жана экинчи өзгөрмөнүн ортосундагы корреляция ϱ = 0.95, үчүнчү жана төртүнчү өзгөрмөнүн ортосунда да ϱ = 0.95. Чыныгы коэффициент вектору:

\[ \beta_{true} = (2,0,2,0,0,0,0,0) \]

деп алынат. Ызы-чуунун стандарттык четтөөсү σ_y = 0.4 жана үзгүлтүксүз spike-and-slab prior колдонулат. Чынжырлар β = 0ден башталып, 60.000 итерация иштетилет.

Бул эксперименттин максаты корреляциядан улам пайда болгон альтернативдүү posterior колдоо үлгүлөрү табылабы же жокпу — ошону көрүү. Эгер эки predictor өтө жогорку корреляцияга ээ болсо, чыныгы моделде биринчи өзгөрмө активдүү болгонуна карабастан экинчи өзгөрмө активдүү болгон альтернативдүү колдоо үлгүсү да posterior мод катары пайда болушу мүмкүн. Мындай моддор өзгөрмө тандоону чечмелөөдө маанилүү, анткени маалымат кайсы өзгөрмөнү колдоп жаткандыгы белгисиз болушу мүмкүн.

4-сүрөт posterior үлгүлөрүн β₁ жана β₂ тегиздигине проекциялайт. Кызыл крест чыныгы модду, кызгылт сары плюс болсо корреляциядан чыккан swap модду көрсөтөт. RWM, ULA жана HS-RWM бул swap колдоо үлгүсүн таба албайт, ал эми HS-axis+ULA альтернативдүү модду тапкан жалгыз ыкма болот. 4-таблицада HS-axis+ULA 5 ар башка колдоо үлгүсүн тапканы, ULA 4, RWM 3, HS-RWM болсо 2 колдоо тапканы көрсөтүлөт.

Бирок бул экспериментте маанилүү методологиялык эскертүү бар. HS-axis+ULA жана ULA — Metropolis түзөтүүсү жок unadjusted ыкмалар; ошондуктан алардын π үчүн толук кайтарымдуулук кепилдиктери Section 4төгү Metropolis-adjusted ыкмалар менен бирдей эмес. Изилдөө бул жыйынтыкты изилдөөчү демонстрация катары сунуштайт. HS-axis+ULAнын swap модду табышы маанилүү, бирок бул вариант exact posterior үлгүлөө жасайт деп айтууга болбойт.

Изилдөөнүн талкуу бөлүмү horseshoe диффузияларынын score-based generative diffusion менен байланышын да түзөт. Гаусстук forward noise ордуна horseshoe scale mixture колдонулса, алдыга процесс оор куйруктуу маргиналдарды жаратып, маалымат бөлүштүрүүсүнүн көп модалуу аймактарына жакшыраак бара алышы мүмкүн. Бул generative Bayesian computation жана оор куйруктуу диффузия моделдери үчүн келечектеги изилдөө багыты катары көрсөтүлөт.

Мындан тышкары, ок боюнча багытталган ыкма кайсы учурда алсырай турганы да талкууланат. HS-axis+MALA моддорду бөлүүчү багыттар координат окторуна жакын деп божомолдойт. Бирок моддор кыйгач багытта же корреляцияланган координат блоктору боюнча бөлүнсө, бир координаталык секириктер жетишсиз болушу мүмкүн. Мындай учурда horseshoe масштабы үйрөнүлгөн базисте, Hessian өздүк векторлорунда, normalizing-flow координаталарында же блок-координат түзүлүштөрүндө колдонулушу керек болушу мүмкүн.

Изилдөөнүн күчтүү жактарына максаттуу бөлүштүрүүнү сактаган үзгүлтүксүз убакыттагы теориялык алкак, мод өтүү убактысы үчүн полиномдук bound, Гаусс/Brownian ыкмалары менен ачык теориялык салыштыруу, көп seed менен берилген benchmarkтар жана жогорку өлчөмгө багытталган axis-aligned вариантынын сыноосу кирет. Мындан тышкары, өзгөрмө тандоо мисалы оор куйруктуу секириктер жасалма аралашма benchmarkтарында гана эмес, корреляцияланган posterior моддорунда да пайдалуу болушу мүмкүн экенин көрсөтөт.

Чектөөлөрү да ошончолук маанилүү. Theorem 11 HS-RWM үчүн гана жана эки-basin идеалдаштырылган божомол астында жарактуу. HS-axis+MALA үчүн жогорку өлчөмдүү теориялык кепилдик азырынча берилген эмес. Benchmarkтар чектелген сандагы маселелерде жүргүзүлгөн. Байес өзгөрмө тандоо экспериментинде колдонулган HS-axis+ULA толук Metropolis түзөтүүсүнө ээ эмес, ошондуктан exact MCMC катары чечмеленбеши керек. Ошондой эле чыныгы жогорку өлчөмдүү Байес нейрондук тармак posterior'лорунда ыкманын кандай иштей турганы бул изилдөөдө көрсөтүлгөн эмес.

Изилдөө эмнени айтат жана эмнени айтпайт — так ажыратылышы керек. Изилдөө horseshoe диффузиялары көп модалуу posterior'лордо моддор аралык өтүүнү олуттуу жакшырта алат деп теориялык жана эксперименттик негизде ырастайт. Бирок бул ар бир көп модалуу Байес маселесинде автоматтык ийгилик кепилдиги эмес. Оор куйруктуу секириктер мод камтуусун көбөйтө алат, бирок жогорку өлчөмдө багыт, блок түзүлүшү, кабыл алуу катышы, жергиликтүү аралашуу жана эсептөө чыгымы бирге бааланышы керек. Эң туура түшүнүк мындай: изилдөө Brownian/Гаусстук MCMCнин экспоненциалдуу тосмо көйгөйүнө каршы оор куйруктуу horseshoe масштаб аралашмасы күчтүү жана изилдөөгө татыктуу альтернатива экенин көрсөтөт.

Изилдөөнүн Методу жана Жыйынтыктары

Изилдөөнүн методу үзгүлтүксүз убакыттагы horseshoe-Langevin диффузиясын аныктоодон, максаттуу бөлүштүрүүнүн сакталышын далилдөөдөн, Metropolis-adjusted дискреттик убакыт үлгүлөгүчтөрүн түзүүдөн, моддор аралык биринчи өтүү үчүн полиномдук теориялык bound берүүдөн жана төрт эксперименттик benchmark аркылуу ыкманын жүрүм-турумун изилдөөдөн турат.

1. Максаттуу бөлүштүрүү жана стандарттык Langevin баштапкы чекити

Максаттуу posterior бөлүштүрүү:

\[ \pi(\theta) \propto \exp(-U(\theta)) \]

Стандарттык overdamped Langevin диффузиясы:

\[ d\theta_t = -\nabla U(\theta_t)dt+\sqrt{2}dW_t \]

2. Horseshoe-Langevin диффузиясы

Изилдөө сунуштаган негизги процесс:

\[ d\theta_t = -S_t \nabla U(\theta_t)dt+\sqrt{2S_t}dW_t \]

Масштаб процесси:

\[ S_t=\tau^2\lambda_t^2 \]

3. Стационардык бөлүштүрүүнүн сакталышы

Theorem 2нин негизги шарты:

\[ \int_0^\infty S_s ds = \infty \quad \text{a.s.} \]

Бул шартта π horseshoe-Langevin процессинин жалгыз стационардык бөлүштүрүүсү катары сакталат. Далил убакыт өзгөртүү идеясына негизделет. Процесс стандарттык Langevin динамикасынын кокус тездетилип-жайлатылган түрү сыяктуу иштейт; жалпы убакыт масштабы чексизге кеткен шартта максаттуу бөлүштүрүүгө жакындашуу сакталат.

4. Half-Cauchy масштабынын augmentациясы

Макалада берилген Makalic-Schmidt көрсөтмөсү:

\[ \lambda^2|\nu \sim IG\left(\frac{1}{2},\nu^{-1}\right) \]

\[ \nu \sim IG\left(\frac{1}{2},1\right) \]

Бул көрсөтмө жарым-Коши масштаб өзгөрмөсүн эки inverse-gamma тандоосу менен үлгүлөөгө мүмкүндүк берет жана практикада ар бир итерацияда λ түзүү үчүн колдонулат.

5. Дискреттик убакыт үлгүлөгүчтөрү

HS-RWM сунушу:

\[ \theta'=\theta+\tau\lambda\xi,\quad \xi\sim N(0,I_p),\quad \lambda\sim C^+(0,1) \]

HS-axis+MALA секирик сунушу:

\[ \theta'_j=\theta_j+\tau\lambda z,\quad z\sim N(0,1) \]

6. Horseshoe өсүшүнүн куйрук жүрүм-туруму

Lemma 8:

\[ P(\langle\tau\lambda\xi,u\rangle>R)\geq \frac{1}{4\pi}\arctan\left(\frac{\tau}{R}\right) \]

Асимптотикалык жүрүм-турум:

\[ \frac{\tau}{4\pi R}+O(R^{-3}) \]

Гаусстук аналогу:

\[ \Phi(R/\tau)\asymp \exp\left(-\frac{R^2}{2\tau^2}\right) \]

7. Биринчи өтүү убактысы теоремалары

HS-RWM үчүн полиномдук жогорку чек:

\[ E[T_{B_2}] \leq \frac{C R^{p+1}}{r^p\tau\rho} \]

Brownian-driven Langevin үчүн экспоненциалдуу төмөнкү чек:

\[ E[T^L_{B_2}] \geq C\exp(\Delta U/h) \]

8. Benchmark 1: 2-D төрт модалуу Гаусс аралашмасы

9. Benchmark 2: Өлчөм боюнча масштабдоо

Мод түзүлүшү:

\[ \mu_k \in \{-3,+3\}^3\times\{0\}^{p-3} \]

Өлчөмдөр:

\[ p\in\{5,10,15,20\} \]

10. Benchmark 3: Тосмонун бийиктиги жана өтүү убактысы

Тосмонун бийиктиктери:

\[ \Delta U \in \{4.5,8,12.5,18,24.5,32\} \]

Моддордун аралыгы:

\[ R=\sqrt{2\Delta U} \]

Бул эксперимент Brownian/Langevin чынжыры тосмонун бийиктиги өскөн сайын бюджетке жетип токтоорун, HS-RWM болсо текшерилген аралыкта 16–35 итерациянын ичинде каларын көрсөтөт.

11. Benchmark 4: Байес өзгөрмө тандоо

12. Сүрөттөр көрсөткөн илимий мазмун

• 1-сүрөт: 2 өлчөмдүү төрт модалуу Гаусс аралашмасында мод камтуусу, мод өтүү саны жана sliced Wasserstein-2 аралыгы салыштырылат. HS-RWM толук камтуу жана эң төмөн sliced W2 менен күчтүү натыйжа берери көрүнөт.
• 2-сүрөт: Өлчөм өскөн сайын мод камтуусу кандай өзгөрөрү көрсөтүлөт. MALA жана изотроптук HS-RWM начарлайт, PT-MALA жана HS-axis+MALA болсо p = 20га чейин маанилүү камтууну сактайт.
• 3-сүрөт: Тосмонун бийиктиги өскөн сайын Langevin'дин биринчи өтүү убактысы бюджетке жетери, HS-RWM болсо текшерилген бардык тосмолордо аз өтүү убактысын сактаары көрсөтүлөт.
• 4-сүрөт: Байес өзгөрмө тандоо экспериментинде β₁ жана β₂ тегиздигиндеги үлгүлөр көрсөтүлөт. HS-axis+ULA жогорку корреляциядан чыккан альтернативдүү swap модду тапкан жалгыз ыкма.

13. Изилдөөнүн негизги жыйынтыктары

• Brownian-driven Langevin жана MALA тибиндеги ыкмалар көп модалуу posterior'лордо энергиялык тосмолорду өткөндө экспоненциалдуу өтүү убактысы көйгөйүнө туш болушу мүмкүн.
• Horseshoe масштабдуу ызы-чуу кичине жергиликтүү кадамдар менен сейрек чоң секириктерди бир механизмде айкалыштырат.
• Horseshoe-Langevin процесси ылайыктуу оң стохастикалык волатилдүүлүк шарттарында максаттуу бөлүштүрүү πни стационардык бөлүштүрүү катары сактайт.
• HS-RWM үчүн моддор аралык биринчи өтүү убактысы моддордун аралыгы R боюнча полиномдук жогорку чекке ээ.
• 2-D төрт модалуу benchmarkта HS-RWM бардык моддорду камтып, эң төмөн sliced Wasserstein-2 аралыгын алат.
• Өлчөм боюнча масштабдоодо HS-axis+MALA бир чынжыр менен p = 20га чейин маанилүү мод камтуусун камсыз кылат.
• Тосмонун бийиктиги экспериментинде HS-RWM Langevin'дин экспоненциалдуу жайлоосуна салыштырмалуу практикада бир топ тез өтүүлөрдү көрсөтөт.
• Байес өзгөрмө тандоо мисалында ок боюнча багытталган horseshoe варианты корреляциядан чыккан альтернативдүү колдоо модун таба алат.

14. Чектөөлөр

• Изилдөө текст боюнча рецензиядан өткөнү тастыкталбаган preprint мүнөзүндө.
• Theorem 11 HS-RWM үчүн гана жана эки-basin идеалдаштырылган максат божомолунда жарактуу.
• HS-axis+MALA үчүн жогорку өлчөмдүү теориялык камтуу кепилдиги азырынча берилген эмес.
• Изотроптук HS-RWM жогорку өлчөмдө олуттуу начарлайт; бул теориялык bound'дагы өлчөмгө көз карандылык менен шайкеш.
• Байес өзгөрмө тандоо экспериментинде колдонулган HS-axis+ULA Metropolis түзөтүүсүнө ээ эмес, ошондуктан exact π-кайтарымдуу үлгүлөгүч эмес.
• Чыныгы чоң масштабдуу Байес нейрондук тармак posterior'лору бул изилдөөдө текшерилген эмес.
• Блок-координат horseshoe секириктери, үйрөнүлгөн координат системалары жана score-based generative diffusion кеңейтүүлөрү келечектеги изилдөө багыттары катары калтырылган.

Булак жана Метод Эскертмеси

Бул макала Aleksandar Mijatović, Nicholas G. Polson жана Vadim Sokolov даярдаган “Horseshoe Diffusions for Multimodal Bayesian Posteriors” аттуу изилдөөнүн негизинде даярдалган. Изилдөөдө авторлордун байланыштары University of Warwick Department of Statistics, University of Chicago Booth School of Business жана George Mason University деп көрсөтүлгөн. Тексттин датасы June 1, 2026 деп көрүнөт.

Булактын түрү тексттин түзүлүшү, дата маалыматы жана берүү формасы эске алынып, preprint / академиялык изилдөө макаласынын долбоору катары бааланышы керек. Текстте рецензияланган журналга кабыл алуу, DOI же ачык рецензия маалыматы ырасталбагандыктан, бул изилдөө үчүн рецензиядан өткөнү текст аркылуу ырасталбаган изилдөө деген аныктама колдонулушу керек.

Бул мазмун даярдалганда изилдөөдө берилген horseshoe-Langevin SDE аныктамасы, стационардык бөлүштүрүү теоремасы, HS-RWM, HS-jump+MALA жана HS-axis+MALA үлгүлөгүчтөрү, half-Cauchy куйрук леммасы, полиномдук биринчи өтүү убактысы теоремасы, Eyring–Kramers салыштыруусу, 2-D Гаусс аралашмасы benchmark'ы, өлчөм боюнча масштабдоо эксперименти, тосмонун бийиктиги эксперименти, Байес өзгөрмө тандоо мисалы, сүрөттөр, таблицалар жана талкуу бөлүмүндөгү чектөөлөр негиз катары алынган.

Текстте жок жалпы MCMC ийгилик кепилдиги, бардык көп модалуу posterior'лордо артыкчылык, жогорку өлчөмдүү Байес нейрондук тармактарында ырасталган жыйынтык, HS-axis+MALA үчүн толук теориялык кепилдик же рецензияланган басылмага кабыл алуу сыяктуу дооматтар кошулган эмес. Изилдөөнүн жыйынтыктары көп модалуу posterior'лордо оор куйруктуу сунуштар мод камтуусун жакшырта аларын көрсөтүүсү менен маанилүү; бирок практикада ыкманы тандоо максаттуу геометрия, өлчөм, моддордун ажыроо багыты, кабыл алуу катышы, эсептөө чыгымы жана posterior тактыгы чогуу баалануу менен жүргүзүлүшү керек.