Rate-Adaptive Vector-Quantized HoloNet (RAVQ-HoloNet), комплекстүү маанилүү голографиялык толкун талааларын дискреттүү латенттик коддорго кысуучу, бул коддорду өткөрүү тилкесинин талабына жараша ар башка код китепчесинин өлчөмү менен жеткире алуучу жана кабыл алуучу тарапта фазалык гана голограмма жаратуучу терең үйрөнүү алкагы. Система иерархиялык VQ-HoloNet encoder–decoder архитектурасын Seq2Seq негизиндеги код китепчесин ыңгайлаштыруу жана ANS энтропиялык коддоо менен бириктирет. Ошентип, ар бир бит ылдамдыгы үчүн өзүнчө тармактарды сактабастан, бир эле үйрөтүлгөн моделде бир нече кысуу деңгээли колдоого алынат.

Изилдөөдө DIV2K маалымат топтомунда эки конфигурация каралган: төмөн бит ылдамдыгы үчүн VQ-HoloNet (low) жана мындан да төмөн бит ылдамдыгына жетүү үчүн латенттик мейкиндикти көбүрөөк кичирейтүүчү VQ-HoloNet (ultra low). Set1 натыйжаларында low модели 1,79 Bpp менен 29,43 dB PSNR алган, салыштырылган DPRC High Quality модели 29,67 dB үчүн 3,50 Bpp пайдаланган. Low модели үчүн rate–distortion ийри сызыктарында −%33,91 BD-Rate жана +1,02 dB BD-PSNR артыкчылыгы маалымдалган.

Изилдөө ошондой эле фаза үлгүлөрүн чыныгы Spatial Light Modulator (SLM) экранында көрсөтүп, физикалык оптикалык реконструкцияларды түзгөн. Бул эксперименттерде модель болжол менен 0,5 Bpp салыштыруусунда SGD+JPEG жана DPRCге караганда контрастты жогору, объект четтерин такыраак берген. Бирок изилдөө 2D голография менен чектелген; RGB каналдары өзүнчө моделдер менен иштетилген жана лабораториялык жабдуунун толкун узундугу менен таралуу аралыгы симуляция шарттарынан айырмаланган. Андыктан бул натыйжалар бардык реалдуу убакыттагы 3D AR/VR системалары үчүн түздөн-түз ырасталган көрсөткүч деп чечмеленбеши керек.

RAVQ-HoloNet деген эмне?

RAVQ-HoloNet голограмма жаратуу менен кысууну бир үйрөнүлүүчү иштетүү чынжырына бириктирген жана код китепчесинин көлөмүн өзгөртүп, бир эле үйрөтүлгөн тармак менен ар башка бит ылдамдыгында иштей алган иерархиялык вектордук кванттоого негизделген голографияны кысуу системасы.

Голографиялык көрсөтүүдө сүрөттүн жарыктыгы эле эмес, жарык толкунунун фазалык түзүлүшү да маанилүү. Ошондуктан табигый сүрөттөргө арналган JPEG, H.264 же башка жалпы колдонулуучу кысуу ыкмалары жогорку жыштыктагы голографиялык фаза үлгүлөрүн олуттуу бузушу мүмкүн. Фаза үлгүсүндөгү майда ката да таралуудан кийин реконструкция тегиздигинде байкаларлык бурмалоого айланат.

Демек изилдөөнүн максаты жөн гана «голограмма файлын кичирейтүү» эмес. Система баштапкы сүрөттөн же даяр комплекстүү голограммадан тартып, физикалык таралууга ылайык фазалык гана голограмма түзүүнү, латенттик көрүнүштү кванттоону, жөнөтүү бит ылдамдыгын жөндөөнү жана кабыл алуучу тараптагы реконструкцияны бир архитектурада карайт.

Биринчи этап: комплекстүү голограмманы түзүү

Эгер кирүүчү маалымат интенсивдүүлүк сүрөтү болсо, ал адегенде тескери гамма коррекциясы жана квадраттык тамыр операциясы аркылуу максаттуу амплитудага \(A_t\) айландырылат. Алдын ала үйрөтүлгөн U-Net баштапкы фазаны \(P_t\) чыгарат. Максаттуу амплитуда менен баштапкы фаза объект тегиздигиндеги комплекстүү жарык талаасын түзөт.

Андан соң талаа bandwidth-limited Angular Spectrum Method (ASM) менен голограмма тегиздигине жайылтылат. Натыйжада голограмма тегиздигинде амплитуда \(A_h\) жана фаза \(P_h\) алынат. VQ-HoloNet ушул голограмманы гана эмес, объект тегиздигинин амплитудасы тууралуу маалыматты да пайдаланып, таралууда жоголушу мүмкүн болгон маалыматты жарым-жартылай толуктоого аракеттенет.

Иерархиялык VQ-HoloNet архитектурасы

VQ-HoloNet эки иерархиялык encoder жана эки decoder деңгээлинен турат. Төмөнкү encoder \(E_1\) кененирээк мейкиндиктик өзгөчөлүктөрдү, үстүңкү encoder \(E_2\) болсо абстракттуу жана азыраак чечилишке ээ түзүлүштөрдү чагылдырат. Үстүңкү латент адегенде квантталып декоддолот; кийин төмөнкү латент менен бириктирилип экинчи кванттоо этабына өтөт.

Бул ыкманын максаты голограммадагы ири масштабдуу түзүлүштөрдү жана жогорку жыштыктагы майда деталдарды ар башка иерархиялык деңгээлде сактоо. Encoder блокторунда конволюция катмарлары жана residual блоктору, decoder жагында residual блоктору жана transposed convolution катмарлары колдонулат. Акыркы decoder катмары масштабдалган tanh активациясы аркылуу фаза маанилерин SLMге ылайык \([-\pi,\pi]\) аралыгына түшүрөт.

Вектордук кванттоо

Encoderдин үзгүлтүксүз чыгышын жөнөтүүгө ылайыктуу дискреттүү көрсөтүүгө айландыруу үчүн vector quantization колдонулат. Кириш голограммасы \(x=(A_h,P_h)\) үчүн квантталган латент:

\[ z_q(x)=Q(E_\theta(x)\mid e) = \underset{0\le i\le K}{\operatorname{argmin}} \left\|E_\theta(x)-e_i\right\|_2 \]

аркылуу тандалат. \(E_\theta(x)\) — encoder чыгышы, \(e_i\) — код китепчесиндеги \(i\)-код вектору, \(K\) — код векторлорунун жалпы саны. Ар бир латент вектор Евклид аралыгы боюнча өзүнө эң жакын үйрөнүлүүчү код векторуна алмаштырылат.

Фазалык гана голограмма андан соң decoder аркылуу:

\[ \tilde P_h=D_\phi(z_q(x)) \]

түрүндө түзүлөт. Ошентип кабыл алуучуга чоң өлчөмдүү үзгүлтүксүз тензорлордун ордуна код китепчесинин индекстерин жөнөтүүгө мүмкүн болот.

Бир Моделде Бит Ылдамдыгына Ыңгайлашуу Кантип Камсыздалат?

Ыңгайлашуу VQ-HoloNetтин баштапкы код китепчесин LSTM негизиндеги Seq2Seq encoder–decoder аркылуу кичирээк китепчелерге которуп, кабыл алуучунун бир эле decoderди ар кандай көлөмдөгү китепчелер менен колдоно алышы аркылуу ишке ашат; бит ылдамдыгы өзгөргөндө жаңы голограмма кысуу тармагын үйрөтүүнүн кереги жок.

Негизги код китепчеси \(K=4096\) даана, ар бири 128 өлчөмдүү код векторлорунан турат. Seq2Seq моделинин максаттуу код китепчесинин көлөмү \(\tilde K\) окутууда 512ден 4096га чейин өзгөрөт. Иш жүзүндөгү баалоодо эстутумдун тегизделишине ылайык:

\[ \tilde K\in\{512,1024,2048,4096\} \]

маанилери колдонулган.

Seq2Seq бөлүгү LSTM бирдиктеринен турат. Код векторлору сүйлөмдөгү сөздөр сыяктуу иреттелген элементтер катары алынат: encoder баштапкы код китепчесин бир көрсөтүү векторуна кысат, decoder суралган өлчөмдөгү жаңы код китепчесин түзөт.

Изилдөөнүн жөнөтүүчү–кабыл алуучу сценарийинде ар башка өлчөмдө түзүлгөн код китепчелери эки тарапта тең алдын ала сакталат. Жөнөтүү маалында толук 128 өлчөмдүү векторлор эмес, тандалган китепчедеги элементтерге көрсөткөн индекстер гана жөнөтүлөт. Индекстер Asymmetric Numeral Systems (ANS) аркылуу жоготуусуз энтропиялык коддолуп бит агымына айланат.

Low жана ultra-low конфигурациялары

Булактын архитектуралык түшүндүрмөсүнө ылайык VQ-HoloNet (low) үчүн төмөнкү жана үстүңкү латент чечилиштери тиешелүүлүгүнө жараша:

\[ \frac{H}{4}\times\frac{W}{4}, \qquad \frac{H}{8}\times\frac{W}{8} \]

болсо, VQ-HoloNet (ultra low) кошумча downsampling катмарын колдонуп:

\[ \frac{H}{8}\times\frac{W}{8}, \qquad \frac{H}{16}\times\frac{W}{16} \]

чечилиштерине түшөт. Экинчи конфигурация азыраак латенттик элемент менен төмөнүрөөк бит ылдамдыгын көздөйт.

Булактын ичиндеги дал келбестик: Кийинки implementation бөлүмүндө 1072×1920 кириш үчүн сандык латент чечилиштеринин аталышы жогорудагы аныктамага тескерисинче берилгендей. Ошондуктан Verianla түшүндүрмөсүндө архитектура бөлүмүндөгү математикалык \(H/4,H/8,H/16\) аныктамасы сакталган; сандык сап жашыруун оңдолгон эмес.

Физикага Негизделген Реконструкция Жоготуусу Эмне Үчүн Колдонулат?

Физикага негизделген реконструкция жоготуусу decoder түзгөн фаза картасын пиксел деңгээлинде гана салыштырбастан, жарыктын эркин мейкиндикте чыныгы таралышын дифференциалдануучу ASM модели аркылуу эсептеп, максаттуу объект тегиздигиндеги амплитуданы түз оптималдаштыруу үчүн колдонулат.

VQ-HoloNetтин биринчи окутуу баскычындагы жалпы максат:

\[ L_{\mathrm{framework}} = L_{\mathrm{LatentVQ}}(e) + L_{\mathrm{VQReconstruct}}(e) \]

түрүндө берилет.

Вектордук кванттоо жоготуусу эки бөлүктөн турат:

\[ L_{\mathrm{LatentVQ}}(e) = \left\| \operatorname{sg}[E_\theta(x)]-z_q(x) \right\|_2^2 + \beta \left\| \operatorname{sg}[z_q(x)]-E_\theta(x) \right\|_2^2 \]

Бул жерде \(\operatorname{sg}[\cdot]\) stop-gradient операциясын, биринчи мүчө codebook lossту, экинчи мүчө commitment lossту, \(\beta\) commitment салмагын билдирет. Изилдөөдө \(\beta=0,25\) колдонулган. Кванттоо түз дифференциалданбагандыктан градиент straight-through estimator аркылуу өткөрүлөт.

Angular Spectrum Method

Амплитуда \(a(x,y)\) жана фаза \(\phi(x,y)\) талаасынын \(d\) аралыкка таралышы Fourier мейкиндигинде:

\[ f_p^d(\phi,a) = \mathcal{F}^{-1} \left\{ \mathcal{F} \left[ a(x,y)e^{i\phi(x,y)} \right] H(f_x,f_y,d) \right\} \]

деп көрсөтүлөт.

Тилкеси чектелген таралуу өзөгү:

\[ H(f_x,f_y,d)= \begin{cases} \exp\left[ i\frac{2\pi d}{\lambda} \sqrt{1-(\lambda f_x)^2-(\lambda f_y)^2} \right], & f_x^2+f_y^2<\frac{1}{\lambda^2} \\ 0, & \text{aksi halde} \end{cases} \]

түрүндө. \(f_x\) жана \(f_y\) мейкиндиктик жыштыктарды, \(\lambda\) толкун узундугун, \(d\) таралуу аралыгын билдирет. Жогорку мейкиндиктик жыштыктар физикалык кесүү чегинен тышкары нөлгө түшүрүлөт.

Үч компоненттүү реконструкция жоготуусу

Модель максаттуу амплитуда менен таралуудан кийин алынган реконструкциянын катасын үч башка жагынан баалайт:

\[ L_{\mathrm{VQReconstruct}} = a_{\mathrm{MSE}}L_{\mathrm{MSE}} + a_{\mathrm{MS-SSIM}} (1-L_{\mathrm{MS-SSIM}}) + a_{\mathrm{WFFT}}L_{\mathrm{WFFT}} \]

MSE пиксел деңгээлиндеги сандык катаны, MS-SSIM көп масштабдуу түзүмдүк окшоштукту, Watson-DFT болсо жыштык мейкиндигиндеги кабылдоо бурмалануусун билдирет. Салыштырма эксперименттерде салмактар \(w_{\mathrm{MSE}}=1\), \(w_{\mathrm{MS-SSIM}}=0,1\) жана \(w_{\mathrm{WFFT}}=0,025\) болгон.

Биринчи \(N=100\) epoch аралыгында VQ-HoloNet warm-up окутуусу жүргүзүлөт. Андан соң Seq2Seq бөлүгү иштетилип, жоготуу баштапкы код китепчесинин \(e\) ордуна ылайыкташкан китепчени \(\tilde e\) пайдаланган түргө:

\[ L_{\mathrm{framework}} = L_{\mathrm{LatentVQ}}(\tilde e) + L_{\mathrm{VQReconstruct}}(\tilde e) \]

өтөт.

Изилдөө колдогон жана колдобогон жыйынтыктар

Изилдөө колдогону: Каралган DIV2K тест топтомдору жана көрсөтүлгөн оптикалык/сандык шарттарда RAVQ-HoloNet DPRC жана JPEG негизиндеги салыштырууларга караганда төмөн бит ылдамдыгында атаандаштыкка жөндөмдүү же жогорураак rate–distortion көрсөткүчүн бере алат. Бир модель үй-бүлөсүндө код китепчесинин көлөмүн өзгөртүп ар кандай бит ылдамдыгына жетүүгө болот.

Изилдөө колдобогону: Бул жыйынтыктар бардык голографиялык экрандарда, бардык 3D көрүнүштөрдө, ар тармак шартында же коммерциялык AR/VR түзмөктөрүндө бирдей утуш кепилденет дегенди билдирбейт. 3D, RGB-D, gaze-driven жана camera-in-the-loop версиялары текшерилген жыйынтыктар эмес, келечектеги изилдөө багыттары.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Маалымат топтому жана оптикалык симуляция

Моделди баалоодо DIV2K топтомунун 800 сүрөттөн турган окутуу булагы колдонулган. Сыноо үчүн эки топтом бөлүнгөн: DPRC мурда колдонгон 100 сүрөттүк DIV2K validation чакан топтому Set1, DIV2Kнин 50 сүрөттүк test чакан топтому Set2 аталган.

Симуляцияда голограмма тегиздигинин пиксел кадамы 6,4 µm. RGB жарыгы үчүн 450 nm көк, 520 nm жашыл жана 638 nm кызыл толкун узундуктары колдонулган. Объект менен голограмма тегиздиктеринин таралуу аралыгы 20 cm. Толкун узундугуна жараша дифракция өзгөргөндүктөн ар бир түс каналы өзүнчө моделде үйрөтүлгөн.

Эсептөө жабдуусу жана окутуу параметрлери

Set1 сандык жыйынтыктары

VQ-HoloNet (low) DPRC High Quality менен дээрлик бирдей PSNR деңгээлин болжол менен жарым Bpp менен алат. Бирок SSIM болжол менен %3 төмөн, LPIPS 0,05 жогору. Ultra-low конфигурациясы бит ылдамдыгын low моделине караганда болжол менен %78 азайтса, PSNR болжол менен %13 төмөндөйт.

Decoding убактысы neural decoderди гана эмес, entropy decodingди да камтыйт. VQ-HoloNet код китепчесинин индекстерин lookup table аркылуу түз код векторлоруна айландырганы DPRCнин hyperprior эсептөөлөрүнө караганда decoding убактысынын кыскалыгынын негизги архитектуралык себеби.

Set2 жыйынтыктары

Set2де RAVQ-HoloNet (low) DPRC Mid Quality менен дээрлик бирдей бит ылдамдыгында жогорураак PSNR алат; DPRC High Quality менен салыштырганда төмөн Bpp үчүн окшош, бирок бир аз төмөн реконструкция сапатын берет.

Rate–distortion көрсөткүчү

Set1де PSNR, SSIM жана LPIPSтин Bppге салыштырмалуу rate–distortion ийри сызыктарында RAVQ-HoloNet SGD+JPEG, WirtingerSGD+JPEG жана HoloNet+JPEG айкалыштарына караганда кыйла жакшы көрсөткүч берет. Булак JPEGтин DCT негизиндеги кванттоосу жогорку жыштыктагы phase-only үлгүлөрү үчүн өзгөчө көйгөйлүү экенин айтат.

DPRC менен Bjøntegaard салыштыруусунда low конфигурациясы үчүн:

BD-Rate: −%33,91

BD-PSNR: +1,02 dB

маалымдалган. Терс BD-Rate мааниси салыштырылган rate–distortion аралыгында окшош сапат үчүн орточо бит ылдамдыгы төмөн экенин билдирет.

Сапаттык реконструкциялар

Сандык мисалдарда арстандын жүнү, адам бетиндеги майда бырыштар, тоту куштун жүнү жана жарыгы аз сахна деталдары бааланган. Маселен, тоту куш сүрөтүндө RAVQ-HoloNet болжол менен 34,400 dB PSNRди 1,630 Bpp менен алган, DPRC ошол PSNR үчүн 2,620 Bpp колдонгон. Башка караңгы сахнада RAVQ-HoloNet 32,654 dB чамасында реконструкцияны 1,740 Bpp менен түзгөн, DPRCнин салыштырылган натыйжасы 3,120 Bpp пайдаланган.

Код китепчесинин өлчөмү 512ден 4096га өскөн сайын low жана ultra-low конфигурацияларында реконструкция деталдары жана четтердин тактыгы жакшырганы визуалдык мисалдарда көрсөтүлгөн. Бул код китепчесинин өлчөмү бит ылдамдыгы менен сапаттын компромиссин түз башкарарын колдойт.

Физикалык SLM эксперименттик түзүлүшү

Лабораторияда 813 nm толкун узундугундагы кубаттуу M2 Titanium Sapphire лазери колдонулган. Эллипстик жана астигматикалык баштапкы нур цилиндр линзалардан турган beam-shaping модулу менен диаметри 6 mm тегерек Gaussian нуруна айланып, L1–L2 2:3 телескопу менен болжол менен 9 mmге кеңейтилген.

Жарым толкун пластиналары менен PBS1 поляризацияны Meadowlark P1920 суюк кристаллдуу SLM огуна тууралайт. SLMге жүктөлгөн фаза үлгүсүнөн кийин голограмма 13,5 mm аралыкта пайда болот. L3–L4 4f системасы нөлүнчү тартиптеги жарыкты Fourier тегиздигинде чыпкалоого мүмкүнчүлүк берет. PBS2 калган нөлүнчү тартип компоненттерин азайтат; L5–L6 2:1 телескопу сүрөттү Basler a2A2840-48umBAS CMOS камерасына өткөрөт.

Камера сүрөттөрүндө лазердин когеренттүүлүгүнөн жана камера сенсору менен коргоочу айнектин ортосундагы чагылуулардан Fabry–Perot тилкелери пайда болгон. Булак SLMге бир тектүү фаза жүктөп Gaussian профилин баалап, өлчөнгөн мезгилдүү модуляцияны бөлүү менен алып салуу аркылуу таасирди компенсациялаган.

Физикалык реконструкциянын жыйынтыгы

Болжол менен 0,5 Bpp деңгээлинде физикалык SLM салыштырууларында RAVQ-HoloNet натыйжалары SGD+JPEG жана DPRCге караганда контрастты жогору жана объект четтерин курчураак берген. Бирок булак жылмакай, жарык аймактарда — пингвиндин тулкусу сыяктуу — RAVQ-HoloNet реконструкциясында бурмалоо байкалышы мүмкүн экенин ачык билдирет.

Эксперимент менен симуляциянын айырмасы

Физикалык түзүлүштө RoI жана логикалык пиксел кадамы программалык моделге мүмкүн болушунча дал келтирилген. Бирок лаборатория лазеринин жеткиликтүү толкун узундугу жана оптикалык столдун механикалык чектөөлөрүнөн физикалык таралуу аралыгы симуляциядан айырмаланган. Камеранын FOVу толук реконструкция аймагынан кичине болгондуктан бир бөлүгү гана өлчөнгөн.

Чектөөлөр жана келечектеги изилдөөлөр

Иштин учурдагы версиясы негизинен 2D голографияга багытталган. RGB каналдары толкун узундугу боюнча өзүнчө тармактарда иштетилген. Авторлор келечекте биргелешкен комплекстүү RGB кысуусун, saliency же gaze-driven бит бөлүштүрүүнү, RGB-D жана 2.5D/full-3D голографияны, depth-aware таралууну жана camera-in-the-loop калибрлөөсүн изилдөөнү сунушташат.

Булак ошондой эле ыкманы тез голографиялык жаңыртуу талап кылган оптикалык пинцет системаларында жана нейтрал атом массивдерин башкаруу сыяктуу өнүккөн оптикалык колдонмолордо изилдөөнү талкуулайт. Булар экспериментте далилденген колдонмолор эмес, келечектеги багыттар.

Булак жана Ыкма Жөнүндө Эскертүү

Түпкү изилдөө: RAVQ-HoloNet: Rate-Adaptive Vector-Quantized Hologram Compression.

PDFдеги авторлордун ирети: Shima Rafiei, Zahra Nabizadeh Shahr-Babak, Soroush Khoubyarian, Alexandre Cooper, Shadrokh Samavi, Shahram Shirani.

Байланыш үчүн автор: Zahra Nabizadeh Shahr-Babak.

Мекемелер: Department of Electrical and Computer Engineering, McMaster University; Institute for Quantum Computing ve Department of Physics and Astronomy, University of Waterloo; Computer Science Department, Seattle University.

Платформа: SSRN.

SSRN Abstract ID: 6946746.

DOI: 10.2139/ssrn.6946746.

Расмий каттоо күнү: 15 июнь 2026.

Булактын түрү: Терең үйрөнүүгө негизделген голограмманы кысуу изилдөөсү; сандык симуляция жана лабораториялык SLM текшерүүсүн камтыган preprint.

Рецензиялоо абалы: PDF изилдөө али рецензиядан өтө электигин ачык көрсөтөт.

Библиографиялык metadata айырмасы: Булак PDFде алты автор болсо, учурдагы SSRN metadata барагында Shadrokh Samavi көрсөтүлбөйт. Бул айырма чечилди деп эсептелген эмес; Verianla макаласында PDFдеги толук авторлордун тизмеси сакталган.

Лицензия: Каралган PDFде жана текшерилген расмий каттоодо ачык Creative Commons лицензиясы тастыкталган эмес. Ошондуктан түпкү сүрөттөр жана графикалык дизайндар кайра жарыяланган эмес.

Каржылоо, кызыкчылыктардын кагылышы жана маалыматтын жеткиликтүүлүгү: Булак PDFде каржылоо, кызыкчылыктардын кагылышы же маалымат жеткиликтүүлүгү жөнүндө өзүнчө билдирүү табылган эмес. Жок талаалар божомол менен толтурулган эмес.

AI колдонуу жөнүндө билдирүү: Авторлор жазуу учурунда тилдик оңдоо жана сүйлөмдөрдү жакшыртуу үчүн ChatGPT колдонгонун, бардык мазмунду өздөрү карап чыгып оңдогонун билдиришкен.

Булактын ичиндеги техникалык дал келбестик: Архитектура бөлүмүндөгү low/ultra-low латент чечилиштеринин аныктамасы менен implementation бөлүмүндө 1072×1920 үчүн берилген сандык латент өлчөмдөрүнүн аталышы тескерисинче көрүнөт. Бул дал келбестик жашыруун оңдолгон эмес.

Чечмелөөнүн чеги: Моделдин симуляциядагы rate–distortion көрсөткүчү жана лабораториялык SLM сүрөттөрү ыкманын көрсөтүлгөн эксперименттик шарттардагы натыйжасын колдойт, бирок толук түстүү 3D голографиялык системаларда, динамикалык AR/VR байланышында же продукт деңгээлиндеги edge жабдууларында ошол эле көрсөткүчтү кепилдебейт.