Тадқиқоти академӣ, забони фаҳмо

Verianla | Тадқиқоти академӣ ва илм ба забони тоҷикӣ

27 сентябр 2026, якшанбе
VERİANLAНашри мустақили илмӣ
Кушодан ё бастани меню
...
Саҳифаи асосӣ / Илмҳои амалӣ / Математика / Horseshoe Diffusions дар Posterior-ҳои Бисёрмодаи Байесӣ
Математика

Horseshoe Diffusions дар Posterior-ҳои Бисёрмодаи Байесӣ

Ин таҳқиқот horseshoe-scaled stochastic volatility-ро барои беҳтар кардани mode transitions дар multimodal Bayesian posteriors пешниҳод мекунад. Horseshoe-Langevin diffusion target distribution-ро дар шароити муайян нигоҳ медорад, HS-RWM барои first-passage time polynomial bound мегирад ва benchmark-ҳо heavy-tailed jumps-ро бо Langevin/MALA муқоиса мекунанд. Натиҷаҳо умедбахшанд, вале theory ва experiments ҳанӯз маҳдуд буда, high-dimensional guarantees пурра нестанд.

29/06/2026  Veri Anla 67 боздид
Horseshoe Diffusions дар Posterior-ҳои Бисёрмодаи Байесӣ

Дар Bayesian statistics ҳадаф ба даст овардани постериор тақсимот барои unknown параметрҳо дар партави мушоҳидашуда додаҳо мебошад. Ин постериор тақсимот аксар вақт single-centered bell curve-и сода нест. Хусусан дар real applications, тақсимот метавонад якчанд peak дошта бошад. Чунин тақсимотҳо multimodal постериор номида мешаванд.

Multimodality танҳо technical detail нест; он ба reliability-и inference мустақим таъсир мекунад. Агар MCMC chain танҳо дар як мод-и постериор бимонад ва дигар модҳо-ро ҳеҷ гоҳ дидан накунад, researcher метавонад фикр кунад, ки тамоми тақсимот sampled шудааст, дар ҳоле ки танҳо local region sampled шудааст. Дар ин ҳолат номуайянӣ incomplete represented мешавад, модел alternatives нодида мемонанд ва постериор summaries misleading мешаванд.

Дар introduction чанд example-и муҳим барои multimodal posteriors оварда мешавад. Дар mixture моделҳо label switching боиси он мешавад, ки same statistical explanation бо параметр labels-и гуногун такрор шавад. Дар sparse regression номуайян аст, ки кадом тағйирёбандаҳо бояд ба модел дохил шаванд; combinations-и гуногуни тағйирёбандаҳо бо similar explanatory power метавонанд separate постериор модҳо созанд. Дар Bayesian neural шабакаҳо вазн symmetries метавонанд different вазн configurations ҳосил кунанд, ки same function-ро ифода мекунанд. Weak identifiability дар hierarchical моделҳо низ метавонад постериор-ро дар multiple regions concentrate кунад.

Яке аз усулҳо-и маъмул дар classical MCMC workflows Langevin-dynamics-based намунагирӣ мебошад. Standard overdamped Langevin diffusion чунин аст:

\[ d\theta_t = -\nabla U(\theta_t)dt + \sqrt{2}dW_t \]

Дар ин ҷо θt position-и chain дар вақт t мебошад. U(θ) potential function мебошад, ки мисли negative log зичӣ-и ҳадаф тақсимот рафтор мекунад. Target тақсимот:

\[ \pi(\theta) \propto \exp(-U(\theta)) \]

∇U(θ) gradient information аст, ки chain-ро ба баланд-эҳтимолият regions роҳнамоӣ мекунад. Wt Brownian motion ва √2dWt Gaussian тасодуфият мебошад.

Ин сохтор дар unimodal ё well-connected тақсимотҳо самаранок буда метавонад. Аммо вақте байни ду баланд-эҳтимолият мод паст-эҳтимолият energy монеа вуҷуд дорад, масъала пайдо мешавад. Барои гузаштан аз як мод ба мод-и дигар, chain бояд аз паст-зичӣ region бигзарад. Gaussian қадамҳо одатан хурд ё medium size мебошанд; эҳтимолият-и very калон қадамҳо хеле зуд, яъне exponentially кам мешавад. Аз ин рӯ chain метавонад муддати дароз around ҷорӣ мод ҳаракат кунад ва ба other мод нагузарад.

Таҳқиқот ин масъала-ро бо Eyring–Kramers law мепайвандад. Дар Brownian-driven Langevin dynamics монеа-crossing вақт бо монеа height ΔU ва қадам size h тақрибан чунин exponential behavior дорад:

\[ E[T_{cross}] \asymp \exp(\Delta U/h) \]

Practical маъно-и формула сахт аст. Агар монеа height каме зиёд шавад, crossing вақт танҳо ду баробар намешавад; метавонад exponentially зиёд шавад. Аз ҳамин сабаб classical Langevin-type намунагирҳо дар posteriors бо truly separated модҳо unreliable мешаванд. Chain метавонад within one мод хуб mix кунад ва ҳамин illusion-и умумӣ mixing диҳад.

Main solution-и таҳқиқот тағйир додани ғавғо сохтор-и chain аст. Ба ҷойи Brownian/Gaussian ғавғо horseshoe-distributed stochastic volatility истифода мешавад. Horseshoe тақсимот дар Bayesian statistics, махсусан дар sparse сигнал ва тағйирёбанда-selection масъалаҳо, шинохта шудааст. Main хусусият-и он якҷоя кардани ду extreme behavior аст: қавӣ concentration around zero ва heavy tail.

Барои намунагирӣ ин ду хусусият чунин маъно доранд. Concentration around zero chain-ро имкон медиҳад, ки most of the вақт хурд local қадамҳо кунад. Heavy tail бошад rare very калон қадамҳо истеҳсол мекунад. Multimodal постериор маҳз ҳаминро талаб мекунад: chain бояд within a мод detailed намунагирӣ кунад, вале эҳтимолият-и jumping to another мод-ро нигоҳ дорад.

Continuous-вақт раванд-и пешниҳодшуда horseshoe-Langevin diffusion номида мешавад:

\[ d\theta_t = -S_t \nabla U(\theta_t)dt + \sqrt{2S_t}dW_t \]

Дар ин формула St instantaneous миқёс ё volatility раванд мебошад. Таҳқиқот онро чунин таъриф мекунад:

\[ S_t = \tau^2 \lambda_t^2 \]

Дар ин ҷо τ global миқёс параметр мебошад. λt positive cadlag раванд мебошад, яъне right-continuous with left limits, ва marginal тақсимот-и он half-Cauchy C+(0,1) гирифта мешавад. Вақте St калон аст, ҳам дрейф ва ҳам тасодуфӣ-қадам magnitude калон мешаванд; вақте хурд аст, chain бештар locally ҳаракат мекунад.

Дар ин ҷо balance-и муҳим ҳаст. Агар намунагир танҳо калон jumps мекард, between модҳо гузаштан осон мебуд, аммо fine постериор shape within модҳо бад sampled мешуд. Агар намунагир танҳо хурд қадамҳо мекард, local сохтор хуб sampled мешуд, аммо мод switching суст мемонд. Horseshoe миқёс mixture кӯшиш мекунад ин ду behavior-ро дар як mechanism муттаҳид кунад.

First theoretical натиҷа ба preservation-и ҳадаф тақсимот дахл дорад. Тибқи Theorem 2, агар St almost surely positive, independent of Brownian motion ва satisfy кунад:

\[ \int_0^\infty S_s ds = \infty \quad \text{a.s.} \]

он гоҳ ҳадаф тақсимот π unique stationary тақсимот барои horseshoe-Langevin раванд мебошад. Ин муҳим аст, зеро тасодуфӣ heavy-tailed ғавғо миқёс ҳадаф тақсимот-ро necessarily distort намекунад. Process метавонад ҳамчун тасодуфӣ вақт-change interpreted шавад; дар шароити мувофиқ stationary тақсимот-и standard Langevin ҳифз мешавад.

Intuition-и Theorem 2 чунин аст. Standard Langevin ба correct ҳадаф тақсимот converges. Horseshoe-Langevin ҳамон dynamics-ро бо тасодуфӣ clock, ки гоҳ тез ва гоҳ суст меравад, иҷро мекунад. Агар ин clock forever progress кунад, яъне total accumulated миқёс infinite бошад, раванд боз ҳам ба ҳамон ҳадаф тақсимот мерасад. Ин basic guarantee медиҳад, ки heavy-tailed қадам миқёс тақсимот-ро вайрон намекунад.

Барои practical generation-и half-Cauchy миқёс таҳқиқот Makalic-Schmidt augmentation-ро истифода мекунад:

\[ \lambda^2|\nu \sim IG\left(\frac{1}{2},\nu^{-1}\right),\quad \nu \sim IG\left(\frac{1}{2},1\right) \]

Дар ин ҷо IG inverse-gamma тақсимот мебошад. Ин representation имкон медиҳад half-Cauchy миқёс бо ду inverse-gamma draws generated шавад. Code fragment дар implementation section нишон медиҳад, ки миқёс дар ҳар итератсия чӣ гуна sampled мешавад.

Таҳқиқот се discrete-вақт намунагир таъриф мекунад. Якум HS-RWM, horseshoe-scaled тасодуфӣ-walk Metropolis мебошад. Proposal:

\[ \theta' = \theta + \tau \lambda \xi,\quad \xi \sim N(0,I_p),\quad \lambda \sim C^+(0,1) \]

Дар ин формула ξ p-dimensional standard Gaussian vector ва λ half-Cauchy миқёс тағйирёбанда мебошанд. Proposal тақсимот symmetric аст, бинобар ин standard Metropolis acceptance эҳтимолият истифода мешавад:

\[ \alpha(\theta,\theta') = \min\left\{1,\frac{\pi(\theta')}{\pi(\theta)}\right\} \]

Ин усул reversible with respect to π мемонад. HS-RWM усул-и асосӣ барои theoretical таҳлил аст; polynomial upper bound барои first мод-гузариш вақт маҳз барои ин усул исбот мешавад.

Method-и дуюм HS-jump+MALA мебошад. Ин mixture ядро аст. Бо эҳтимолият муайян horseshoe-scaled калон jump анҷом мешавад; бо эҳтимолият боқимонда standard MALA қадам. Logic равшан аст: horseshoe jumps барои between-мод гузариш кӯмак мекунанд, MALA қадамҳо бо gradient information local намунагирӣ within мод-ро efficient мекунанд.

Method-и сеюм HS-axis+MALA мебошад ва барои баланд андозаҳо тарҳрезӣ шудааст. Агар isotropic калон jump across all p андозаҳо паҳн шавад, эҳтимолият-и hitting correct мод direction дар баланд андозаҳо кам мешавад. Axis-aligned равиш аввал тасодуфӣ coordinate интихоб мекунад, баъд horseshoe-scaled jump танҳо дар он coordinate:

\[ \theta'_j = \theta_j + \tau\lambda z,\quad z\sim N(0,1) \]

Other coordinates fixed мемонанд. Баъд standard Metropolis acceptance истифода мешавад. Вақте ин ядро бо MALA mixed мешавад, π-reversible мемонад. Таҳқиқот нишон медиҳад, ки дар баланд-dimensional таҷрибаҳо HS-axis+MALA аз isotropic HS-RWM robustтар аст.

Theoretical core ба монеа-crossing эҳтимолият-и horseshoe-scaled increments дахл дорад. Lemma 8 натиҷа-и зерин медиҳад:

\[ P(\langle \tau\lambda\xi,u\rangle > R) \geq \frac{1}{4\pi}\arctan\left(\frac{\tau}{R}\right) \]

Барои калон R ин expression:

\[ \frac{\tau}{4\pi R} + O(R^{-3}) \]

behavior дорад. Дар ин ҷо u arbitrary unit vector ва R distance ё мод separation-и crossing мебошад. Result нишон медиҳад, ки эҳтимолият-и horseshoe-scaled қадам барои crossing калон distance in a given direction ба order-и 1/R polynomial decay мекунад.

Ин sharply contrast бо Gaussian proposals мебошад. Дар Gaussian increments калон-deviation эҳтимолият тақрибан:

\[ \exp\left(-\frac{R^2}{2\tau^2}\right) \]

exponentially decays. Whole mechanism-и таҳқиқот аз ҳамин фарқ меояд. Under Gaussian ғавғо эҳтимолият-и single-қадам jump to far мод practically disappears, аммо horseshoe heavy tail ин эҳтимолият-ро polynomially alive нигоҳ медорад.

Theorem 11 under idealized two-basin ҳадаф assumptions polynomial upper bound барои first hitting вақт of HS-RWM медиҳад:

\[ E[T_{B_2}] \leq \frac{C R^{p+1}}{r^p \tau \rho} \]

Дар ин формула TB2 first entry вақт of chain into second basin. R distance between модҳо. p андоза. r radius of хурд acceptable region around ҳадаф мод. τ horseshoe proposal миқёс. ρ acceptance-related параметр tied to зичӣ ratio near second мод. C numerical constant мебошад.

Meaning-и bound: as мод separation grows, expected гузариш вақт of HS-RWM grows polynomially. Ин with classical Langevin exponential пасттар bound contrast мекунад:

\[ E[T^L_{B_2}] \geq C\exp(\Delta U/h) \]

Дар ин ҷо ΔU energy-монеа height байни модҳо ва h discretized Langevin қадам size аст. Classical Langevin гузариш вақт бо монеа height exponentially grows; horseshoe proposal mechanism ба туфайли heavy tail polynomial behavior пешниҳод карда метавонад.

Аммо limits-и theoretical натиҷа муҳиманд. Study explicit мегӯяд Theorem 11 hitting-вақт bound аст, на sharp total-variation mixing-вақт bound. Ҳамчунин idealized two-basin ҳадаф assume мекунад. Multimodal mixtures ё баланд-dimensional cube-corner модҳо дар таҷрибаҳо exactly same assumptions нестанд. Бо вуҷуди ин, натиҷа mathematical explanation медиҳад, ки чаро heavy-tailed proposals мод hopping-ро беҳтар карда метавонанд.

Experimental section чор меъёри озмоишӣ дорад. First таҷриба дуюм-D mixture of four Gaussian модҳо мебошад. Modes at (±4,0) ва (0,±4), shared variance σ2 = 0.16. Chains аз (4,0) оғоз ва 15.000 итератсияҳо иҷро мешаванд. Methods: RWM, MALA, PT-MALA, HS-RWM, HS-jump+MALA.

Figure 1 таҷриба-ро дар се panel хулоса мекунад. Left panel мод фарогирӣ, middle panel number of мод гузаришҳо, right panel sliced Wasserstein-2 distance to true тақсимот. Main натиҷа: RWM ва MALA дар starting мод мемонанд, фарогирӣ 0.25. PT-MALA ва HS-RWM all модҳо-ро visit мекунанд. HS-RWM lowest sliced W2 медиҳад.

Table 1 numerical натиҷаҳо: HS-RWM мод фарогирӣ 1.00 ± 0.00, approximately 87 ± 13 мод гузаришҳо, sliced W2 1.05 ± 0.29. PT-MALA ҳам фарогирӣ 1.00 ± 0.00 ва бештар cold-chain гузаришҳо дорад, вале sliced W2 1.62 ± 0.45 ва five temperature replicas дорад, бинобар ин roughly fivefold хароҷот per қадам.

Ин натиҷа нишон медиҳад, ки HS-RWM дар дуюм-D меъёри озмоишӣ single chain-ро истифода бурда all модҳо-ро cover мекунад ва қавӣ distributional quality медиҳад. Аммо меъёри озмоишӣ controlled ва limited аст; automatic same иҷроиш in real баланд-dimensional posteriors бароварда намешавад.

Second таҷриба андоза-scaling санҷиш мебошад. Target тақсимот eight модҳо embedded in p-dimensional space дорад. Modes at corners of a 3-cube:

\[ \mu_k \in \{-3,+3\}^3 \times \{0\}^{p-3} \]

Shared variance:

\[ \sigma^2 = 0.36 \]

Dimensions p ∈ {5,10,15,20}. Goal measure how many of eight модҳо усулҳо cover as p increases.

Figure 2 ва Table 2 асосӣ натиҷа медиҳанд. MALA дар ҳамаи андозаҳо approximately 0.12 фарогирӣ мемонад, яъне roughly one of eight модҳо. Isotropic HS-RWM p = 5 good with 0.83 ± 0.12, but p = 10 0.17 ± 0.06, p = 15 ва 20 around 0.12. Reason: калон-jump magnitude spreads across all андозаҳо and эҳтимолият of aligning with correct мод direction falls with андоза.

PT-MALA ва HS-axis+MALA meaningful фарогирӣ то p = 20 нигоҳ медоранд. PT-MALA at p = 20 0.71 ± 0.12, HS-axis+MALA 0.62 ± 0.10. Бо only three seeds фарқ within ғавғо буда метавонад. Computational хароҷот фарқ мекунад: PT-MALA five temperature replicas, HS-axis+MALA single chain. Ин suggests axis-aligned horseshoe jumps practical alternative барои баланд-dimensional multimodal targets.

Third таҷриба монеа height vs мод-гузариш вақт directly compares. One-dimensional double-well targets бо монеа heights:

\[ \Delta U \in \{4.5,8,12.5,18,24.5,32\} \]

Mode separation:

\[ R = \sqrt{2\Delta U} \]

For HS-RWM ва Langevin, median first-passage times measured over 60 independent chains.

Figure 3 y-axis log миқёс. Langevin slows rapidly with ΔU and for ΔU ≥ 12.5 hits 50.000-итератсия chain budget. Table 3: Langevin median гузариш times 1145 at ΔU = 4.5, 28552 at ΔU = 8.0, and ≥ 50000 for all баландтар монеаҳо. HS-RWM remains 18, 16, 28, 24, 35, 30 итератсияҳо respectively.

Ин таҷриба visualizes theoretical message most clearly. Brownian/Gaussian ғавғо gets exponentially stuck as монеа height rises, horseshoe heavy tail allows single-қадам калон jumps. For p = 1 theoretical bound quadratic in R, but мушоҳидашуда passage times are almost flat at these миқёсҳо; таҳқиқот explains this by dominant one-қадам crossings.

Fourth таҷриба Bayesian тағйирёбанда selection. n = 40 observations, d = 8 predictors. Correlation between first-second тағйирёбандаҳо ϱ = 0.95, third-fourth also ϱ = 0.95. True коэффисиент vector:

\[ \beta_{true} = (2,0,2,0,0,0,0,0) \]

Noise standard deviation σy = 0.4, continuous spike-and-slab приор. Chains start β = 0 and run 60.000 итератсияҳо.

Goal: detect alternative постериор дастгирӣ нақшҳо due to ҳамбастагӣ. If two predictors highly correlated, although predictor якум is true active, alternative дастгирӣ with predictor дуюм active may form постериор мод. Such модҳо matter because тағйирёбанда-selection тафсир becomes uncertain.

Figure 4 projects постериор намунаҳо onto β1-β2 plane. Red cross true мод, orange plus swap мод from ҳамбастагӣ. RWM, ULA, HS-RWM do not find swap дастгирӣ; HS-axis+ULA is only усул that discovers it. Table 4: HS-axis+ULA finds 5 different дастгириҳо, ULA 4, RWM 3, HS-RWM 2.

Important methodological warning: HS-axis+ULA and ULA are unadjusted, lacking Metropolis correction; therefore exact reversibility guarantees w.r.t. π are not same as Metropolis-adjusted усулҳо in Section 4. Study presents this as exploratory demonstration. Finding swap мод is meaningful, but cannot claim exact постериор намунагирӣ for this variant.

Discussion also connects horseshoe diffusions with score-based generative diffusion. If Gaussian forward ғавғо replaced with horseshoe миқёс mixture, forward раванд can yield heavy-tailed marginals and perhaps visit multimodal regions better. This is proposed as оянда research for generative Bayesian computation and heavy-tailed diffusion моделҳо.

Study also discusses when axis-aligned усул may weaken. HS-axis+MALA assumes мод-separating directions align roughly with coordinate axes. If модҳо separated diagonally or along correlated blocks, single-coordinate jumps may be inadequate. Horseshoe миқёс may need омӯхташуда basis, Hessian eigenvectors, normalizing-flow coordinates or block-coordinate сохтор.

Strengths: continuous-вақт theoretical framework preserving ҳадаф тақсимот, polynomial first-passage bound, explicit theoretical comparison to Gaussian/Brownian усулҳо, multi-seed меъёрҳои озмоишӣ and санҷиш axis-aligned баланд-dimensional variant. Variable-selection example suggests heavy-tailed jumps can help not just artificial mixture меъёрҳои озмоишӣ but correlated постериор модҳо.

Limitations are equally муҳим. Theorem 11 applies only to HS-RWM under idealized two-basin assumptions. No баланд-dimensional theoretical guarantee yet for HS-axis+MALA. Benchmarks cover limited масъалаҳо. HS-axis+ULA in тағйирёбанда-selection таҷриба lacks Metropolis correction, so it should not be interpreted as exact MCMC. Behavior in real баланд-dimensional Bayesian neural-шабака posteriors is not shown.

Study claim versus non-claim should be clear. It theoretically and experimentally argues horseshoe diffusions can substantially improve мод гузаришҳо in multimodal posteriors. This is not automatic success guarantee for every multimodal Bayesian масъала. Heavy-tailed jumps can improve фарогирӣ, but баланд-dimensional direction, block сохтор, acceptance rate, local mixing and computation хароҷот must all be considered. Most accurate reading: horseshoe миқёс mixtures offer a қавӣ research-worthy alternative to exponential монеа масъала of Brownian/Gaussian MCMC.

Усул ва Натиҷаҳои Таҳқиқот

Methodology defines continuous-вақт horseshoe-Langevin diffusion, proves preservation of ҳадаф тақсимот, builds Metropolis-adjusted discrete-вақт намунагирҳо, derives polynomial bound for inter-мод first passage, and tests behavior with four таҷрибавӣ меъёрҳои озмоишӣ.

1. Target тақсимот and standard Langevin starting нуқта

Target постериор:

\[ \pi(\theta) \propto \exp(-U(\theta)) \]

Standard overdamped Langevin diffusion:

\[ d\theta_t = -\nabla U(\theta_t)dt+\sqrt{2}dW_t \]

TermMeaningRole in study
θBayesian параметр vectorUnknowns to намуна from постериор.
π(θ)Target постериор зичӣShould be stationary тақсимот of MCMC.
U(θ)Potential energy / negative log зичӣDefines модҳо and монеаҳо.
∇U(θ)Potential gradientGuides Langevin chain toward баланд зичӣ.
WtBrownian motionGaussian тасодуфӣ driver.

2. Horseshoe-Langevin diffusion

Core раванд:

\[ d\theta_t = -S_t \nabla U(\theta_t)dt+\sqrt{2S_t}dW_t \]

Scale раванд:

\[ S_t=\tau^2\lambda_t^2 \]

ComponentDefinitionInterpretation
τGlobal миқёсControls умумӣ size of horseshoe қадамҳо.
λtLocal миқёс with half-Cauchy marginalUsually хурд, occasionally very калон.
StStochastic volatilityModulates instantaneous speed and ғавғо of Langevin dynamics.
√(2St)dWtScaled Brownian ғавғоContinuous-вақт counterpart of heavy-tailed jump behavior.

3. Stationary тақсимот preservation

Theorem 2 шарт:

\[ \int_0^\infty S_s ds = \infty \quad \text{a.s.} \]

Under this шарт π is preserved as unique stationary тақсимот. Proof uses вақт-change logic: раванд behaves like standard Langevin with тасодуфӣ speed; as long as accumulated clock tends to infinity, наздикшавӣ to same ҳадаф is preserved.

4. Half-Cauchy augmentation

Makalic-Schmidt representation:

\[ \lambda^2|\nu \sim IG\left(\frac{1}{2},\nu^{-1}\right) \]

\[ \nu \sim IG\left(\frac{1}{2},1\right) \]

This lets half-Cauchy миқёс be sampled through two inverse-gamma draws.

5. Discrete-вақт намунагирҳо

SamplerProposal сохторMain goalTheoretical status
HS-RWM[ \\theta'=\\theta+\\tau\\lambda\\xi ]Heavy-tailed тасодуфӣ-walk мод jumps.π-reversible; theory bound proved for this усул.
HS-jump+MALAHorseshoe jump + MALA mixtureCombine мод hopping with local gradient mixing.Metropolis-adjusted mixture is π-reversible.
HS-axis+MALASingle-coordinate horseshoe jump + MALAFocus jumps coordinate-wise in баланд андозаҳо.Adjusted version π-reversible; баланд-dimensional theory open.

HS-RWM proposal:

\[ \theta'=\theta+\tau\lambda\xi,\quad \xi\sim N(0,I_p),\quad \lambda\sim C^+(0,1) \]

HS-axis+MALA jump:

\[ \theta'_j=\theta_j+\tau\lambda z,\quad z\sim N(0,1) \]

6. Tail behavior of horseshoe increment

Lemma 8:

\[ P(\langle\tau\lambda\xi,u\rangle>R)\geq \frac{1}{4\pi}\arctan\left(\frac{\tau}{R}\right) \]

Asymptotic:

\[ \frac{\tau}{4\pi R}+O(R^{-3}) \]

Gaussian comparison:

\[ \Phi(R/\tau)\asymp \exp\left(-\frac{R^2}{2\tau^2}\right) \]

Noise typeLarge-jump эҳтимолиятMeaning for мод гузариш
GaussianExponential decayFar-мод jump эҳтимолият disappears rapidly.
Horseshoe-scaled GaussianPolynomial decayRare калон мод-hopping қадамҳо remain possible.

7. First-passage-вақт theorems

Polynomial upper bound for HS-RWM:

\[ E[T_{B_2}] \leq \frac{C R^{p+1}}{r^p\tau\rho} \]

Exponential пасттар bound for Brownian Langevin:

\[ E[T^L_{B_2}] \geq C\exp(\Delta U/h) \]

TermMeaning
RSeparation between модҳо.
pPosterior андоза.
rRadius of acceptable region around ҳадаф мод.
τHorseshoe proposal миқёс.
ρAcceptance-related зичӣ-ratio параметр near second мод.
ΔUEnergy монеа height for Langevin.
hDiscretized Langevin қадам size.

8. Benchmark 1: 2-D four-мод Gaussian mixture

FeatureValue
Mode locations(±4,0) and (0,±4)
Shared varianceσ2 = 0.16
Starting нуқта(4,0)
Iterations15.000
Seeds5
Quality меъёрSliced Wasserstein-2
SamplerMode фарогирӣTransitionsSliced W2Interpretation
RWM0.25 ± 0.000 ± 03.81 ± 0.06Stays in ибтидоӣ мод.
MALA0.25 ± 0.000 ± 03.82 ± 0.06Gaussian/Langevin қадамҳо fail to cross модҳо.
PT-MALA1.00 ± 0.00384 ± 431.62 ± 0.45All модҳо covered, but хароҷотҳо 5 temperatures.
HS-RWM1.00 ± 0.0087 ± 131.05 ± 0.29Full фарогирӣ and lowest sliced W2.
HS-jump+MALA0.95 ± 0.109 ± 32.00 ± 0.57High фарогирӣ but weaker distributional quality than HS-RWM.

9. Benchmark 2: Dimension scaling

Mode сохтор:

\[ \mu_k \in \{-3,+3\}^3\times\{0\}^{p-3} \]

Dimensions:

\[ p\in\{5,10,15,20\} \]

Samplerp = 5p = 10p = 15p = 20Interpretation
MALA0.12 ± 0.000.12 ± 0.000.17 ± 0.060.12 ± 0.00Almost no мод гузариш.
PT-MALA1.00 ± 0.000.96 ± 0.061.00 ± 0.000.71 ± 0.12Strong фарогирӣ, five-replica хароҷот.
HS-RWM0.83 ± 0.120.17 ± 0.060.12 ± 0.000.12 ± 0.00Isotropic jumps degrade in баланд андоза.
HS-axis+MALA1.00 ± 0.001.00 ± 0.001.00 ± 0.000.62 ± 0.10Single chain retains meaningful фарогирӣ to p = 20.

10. Benchmark 3: Barrier height and passage вақт

Barrier heights:

\[ \Delta U \in \{4.5,8,12.5,18,24.5,32\} \]

Mode separation:

\[ R=\sqrt{2\Delta U} \]

SamplerΔU = 4.5ΔU = 8.0ΔU = 12.5ΔU = 18.0ΔU = 24.5ΔU = 32.0
Langevin114528552≥50000≥50000≥50000≥50000
HS-RWM181628243530

Experiment shows Langevin hits budget as монеа rises, whereas HS-RWM stays 16–35 итератсияҳо across tested монеаҳо.

11. Benchmark 4: Bayesian тағйирёбанда selection

ItemValue
Observationsn = 40
Predictorsd = 8
Correlationϱ = 0.95 for predictors 1–2 and 3–4
True коэффисиентβtrue = (2,0,2,0,0,0,0,0)
Observation ғавғоσy = 0.4
PriorContinuous spike-and-slab, σ0 = 0.1, σ1 = 2, w = 0.5
Iterations60.000
SamplerDistinct дастгириҳоSupports with mass above %1ESSmin/secInterpretation
RWM3311Does not find swap мод.
ULA4287Fast ESS but no swap дастгирӣ.
HS-RWM229Limited дастгирӣ exploration here.
HS-axis+ULA5263Only усул натиҷа swap дастгирӣ нақш.

12. Scientific content of шаклҳо

  • Figure 1: Compares мод фарогирӣ, гузариш count, and sliced Wasserstein-2 for 2-D four-мод Gaussian mixture. HS-RWM reaches full фарогирӣ and lowest sliced W2.
  • Figure 2: Shows мод фарогирӣ vs андоза. MALA and isotropic HS-RWM degrade, while PT-MALA and HS-axis+MALA retain meaningful фарогирӣ to p = 20.
  • Figure 3: Shows Langevin passage вақт hitting budget as монеа rises, while HS-RWM remains паст across all tested монеаҳо.
  • Figure 4: Projects намунаҳо onto β1-β2. HS-axis+ULA alone discovers ҳамбастагӣ-induced alternative swap мод.

13. Main conclusions

  • Brownian-driven Langevin/MALA усулҳо can suffer exponential монеа-crossing вақт in multimodal posteriors.
  • Horseshoe-scaled ғавғо combines хурд local қадамҳо with rare калон jumps.
  • Horseshoe-Langevin preserves ҳадаф π under suitable positive stochastic-volatility шартҳо.
  • HS-RWM has polynomial upper bound in мод separation R for first-passage вақт.
  • In 2-D four-мод меъёри озмоишӣ HS-RWM covers all модҳо and has lowest sliced Wasserstein-2.
  • In андоза scaling HS-axis+MALA gives meaningful single-chain фарогирӣ to p = 20.
  • In монеа-height таҷриба HS-RWM гузаришҳо much faster than exponentially slowing Langevin.
  • Axis-aligned horseshoe variant can discover ҳамбастагӣ-induced alternative дастгирӣ мод in Bayesian тағйирёбанда selection.

14. Limitations

  • Study is preprint-like and peer review cannot be verified from text.
  • Theorem 11 applies only to HS-RWM under idealized two-basin assumptions.
  • No баланд-dimensional theoretical фарогирӣ guarantee yet for HS-axis+MALA.
  • Isotropic HS-RWM clearly degrades in баланд андоза, consistent with dimensional dependence in bound.
  • HS-axis+ULA in тағйирёбанда-selection меъёри озмоишӣ lacks Metropolis correction and is not exact π-reversible намунагир.
  • Real калон-миқёс Bayesian neural-шабака posteriors are not tested.
  • Block-coordinate horseshoe jumps, омӯхташуда coordinates and score-based generative-diffusion extensions remain оянда work.

Ёддошт оид ба Манбаъ ва Усул

Ин мақола дар асоси “Horseshoe Diffusions for Multimodal Bayesian Posteriors” аз Aleksandar Mijatović, Nicholas G. Polson ва Vadim Sokolov таҳия шудааст. Affiliations ҳамчун University of Warwick Department of Statistics, University of Chicago Booth School of Business ва George Mason University дода шудаанд. Date дар text June 1, 2026 мебошад.

Аз рӯи сохтор, date ва presentation, source бояд ҳамчун preprint / academic research manuscript арзёбӣ шавад. Peer-reviewed journal acceptance, DOI ё explicit peer-review information дар text тасдиқ намешавад; аз ин рӯ description-и эҳтиёткорона коре, ки peer review-и он аз рӯи матн тасдиқ намешавад мебошад.

Маълумоти ин article аз horseshoe-Langevin SDE, stationary-тақсимот theorem, HS-RWM, HS-jump+MALA, HS-axis+MALA намунагирҳо, half-Cauchy tail lemma, polynomial first-passage theorem, Eyring–Kramers comparison, 2-D Gaussian-mixture меъёри озмоишӣ, андоза-scaling таҷриба, монеа-height таҷриба, Bayesian тағйирёбанда-selection example, шаклҳо, ҷадвалҳо ва stated маҳдудиятҳо гирифта шудаанд.

No unsupported claim about universal MCMC success, superiority for all multimodal posteriors, validated баланд-dimensional Bayesian neural-шабака натиҷаҳо, completed theory for HS-axis+MALA, or peer-reviewed acceptance has been added. Findings are муҳим as evidence that heavy-tailed proposals can improve мод фарогирӣ, but practical усул choice must jointly consider ҳадаф geometry, андоза, separation direction, acceptance rate, local mixing, computational хароҷот and постериор дақиқӣ.


Мубодила:

Шарҳҳо пас аз баррасӣ нашр мешаванд.Шарҳи шумо ба раванди тасдиқ фиристода шуда, пас аз пазируфта шудан намоён мегардад.

Шарҳ гузоред

Нишонии почтаи электронии шумо нашр намешавад. Майдонҳои ҳатмӣ бо * нишон дода шудаанд

Иҷозат додан ба кукиҳо таҷрибаи шуморо дар ин сомона беҳтар мекунад. Сиёсати кукиҳо