Rate-Adaptive Vector-Quantized HoloNet (RAVQ-HoloNet), karmaşık-değerli holografik dalga alanlarını ayrık latent kodlara sıkıştıran, bu kodları bant genişliği gereksinimine göre farklı kod kitabı boyutlarıyla iletebilen ve alıcı tarafında faz-yegâne hologram üreten bir derin öğrenme çerçevesidir. Sistem, hiyerarşik VQ-HoloNet encoder–decoder mimarisini Seq2Seq tabanlı kod kitabı uyarlaması ve ANS entropi kodlamasıyla birleştirir. Böylece farklı bit hızları için ayrı ağların saklanması yerine aynı eğitimli model içinde birden fazla sıkıştırma seviyesi desteklenir.

Çalışmada DIV2K veri seti üzerinde iki yapılandırma incelenmiştir: düşük bit hızı için VQ-HoloNet (low) ve daha düşük bit hızlarına ulaşmak amacıyla latent uzayı daha fazla küçülten VQ-HoloNet (ultra low). Set1 sonuçlarında low model 29,43 dB PSNR değerini 1,79 Bpp'de elde ederken karşılaştırılan DPRC High Quality modeli 29,67 dB için 3,50 Bpp kullanmaktadır. Low model için rate–distortion eğrileri üzerinden −%33,91 BD-Rate ve +1,02 dB BD-PSNR avantajı raporlanmaktadır.

Araştırma ayrıca faz desenlerini gerçek bir Spatial Light Modulator (SLM) üzerinde göstererek fiziksel optik rekonstrüksiyonlar üretmiştir. Bu deneylerde model, yaklaşık 0,5 Bpp karşılaştırmasında SGD+JPEG ve DPRC'ye göre daha yüksek kontrast ve daha keskin nesne kenarları göstermiştir. Bununla birlikte çalışma 2D holografiyle sınırlıdır; RGB kanalları ayrı modellerle işlenmiştir ve fiziksel laboratuvar düzeneğinin dalga boyu ile propagasyon mesafesi simülasyon koşullarından farklıdır. Bu nedenle sonuçlar doğrudan bütün gerçek zamanlı 3D AR/VR sistemleri için doğrulanmış performans olarak yorumlanmamalıdır.

RAVQ-HoloNet Nedir?

RAVQ-HoloNet, hologram oluşturma ile hologram sıkıştırmayı tek bir öğrenilebilir işlem zincirinde birleştiren ve kod kitabı boyutunu değiştirerek tek eğitimli ağla farklı bit hızlarında çalışabilen hiyerarşik vektör-nicemlemeli bir holografi sıkıştırma sistemidir.

Holografik gösterimlerde yalnız görüntü parlaklığı değil, ışık dalgasının faz yapısı da önemlidir. Bu nedenle doğal görüntüler için geliştirilmiş JPEG, H.264 veya benzeri genel amaçlı sıkıştırma yöntemleri, yüksek frekanslı holografik faz desenlerini ciddi biçimde bozabilir. Faz desenindeki küçük bir hata bile propagasyon sonrasında rekonstrüksiyon düzleminde belirgin bozulmaya dönüşebilir.

Çalışmanın hedefi bu nedenle yalnız “bir hologram dosyasını küçültmek” değildir. Sistem; giriş görüntüsü veya mevcut karmaşık hologramdan başlayarak, fiziksel propagasyonla uyumlu faz-yegâne hologram üretimini, latent temsilin nicemlenmesini, iletim bit hızının ayarlanmasını ve alıcı tarafındaki rekonstrüksiyonu aynı mimari içinde ele almaktadır.

İlk aşama: karmaşık hologram üretimi

Giriş bir yoğunluk görüntüsüyse görüntü önce ters gamma düzeltmesi ve karekök işlemiyle hedef genliğe \(A_t\) dönüştürülür. Önceden eğitilmiş bir U-Net başlangıç fazı \(P_t\) üretir. Hedef genlik ve başlangıç fazı birlikte nesne düzlemindeki karmaşık ışık alanını oluşturur.

Bu alan daha sonra bandwidth-limited Angular Spectrum Method (ASM) kullanılarak hologram düzlemine yayılır. Sonuçta hologram düzleminde genlik \(A_h\) ve faz \(P_h\) elde edilir. VQ-HoloNet yalnız bu hologramı değil, nesne düzleminin genlik bilgisini de kullanarak propagasyon sırasında kaybolabilecek bilgiyi kısmen telafi etmeye çalışır.

Hiyerarşik VQ-HoloNet mimarisi

VQ-HoloNet iki hiyerarşik encoder ve iki decoder düzeyinden oluşur. Alt encoder \(E_1\) daha ayrıntılı mekânsal özellikleri, üst encoder \(E_2\) ise daha soyut ve düşük çözünürlüklü yapıları temsil eder. Üst latent önce nicemlenip çözülür; ardından alt latent ile birleştirilerek ikinci nicemleme aşamasına girer.

Bu yaklaşımın amacı hologramdaki hem geniş ölçekli yapıları hem de yüksek frekanslı ayrıntıları ayrı hiyerarşik düzeylerde tutabilmektir. Encoder bloklarında evrişim katmanları ve residual bloklar; decoder tarafında residual bloklar ve transposed convolution katmanları kullanılır. Son decoder katmanı ölçeklenmiş tanh aktivasyonuyla faz değerlerini SLM uyumluluğu için \([-\pi,\pi]\) aralığına eşler.

Vektör nicemleme

Sürekli encoder çıktısının iletime uygun ayrık bir temsile çevrilmesi için vector quantization uygulanır. Bir giriş hologramı \(x=(A_h,P_h)\) için nicemlenmiş latent:

\[ z_q(x)=Q(E_\theta(x)\mid e) = \underset{0\le i\le K}{\operatorname{argmin}} \left\|E_\theta(x)-e_i\right\|_2 \]

ile seçilir. \(E_\theta(x)\) encoder çıktısı, \(e_i\) kod kitabındaki \(i\). kod vektörü, \(K\) ise toplam kod vektörü sayısıdır. Her latent vektör kendisine Öklid uzaklığı bakımından en yakın öğrenilebilir kod vektörüyle değiştirilir.

Faz-yegâne hologram daha sonra decoder tarafından:

\[ \tilde P_h=D_\phi(z_q(x)) \]

şeklinde oluşturulur. Böylece alıcıya yüksek boyutlu sürekli tensörler yerine kod kitabı indekslerinin iletilmesi mümkün hale gelir.

Tek Bir Modelde Oran Uyarlaması Nasıl Sağlanıyor?

Oran uyarlaması, VQ-HoloNet'in özgün kod kitabını LSTM tabanlı Seq2Seq encoder–decoder ile daha küçük kod kitaplarına dönüştürmesi ve alıcının aynı decoder'ı farklı kod kitabı boyutlarıyla kullanabilmesi sayesinde sağlanır; böylece bit hızı değiştiğinde yeni bir hologram sıkıştırma ağı eğitmek gerekmez.

Temel kod kitabı \(K=4096\) adet, her biri 128 boyutlu kod vektöründen oluşur. Seq2Seq modelinin hedef kod kitabı boyutu \(\tilde K\), eğitimde 512 ile 4096 arasında değişebilir. Uygulama değerlendirmesinde bellek hizalamasına uygun olarak:

\[ \tilde K\in\{512,1024,2048,4096\} \]

değerleri kullanılmıştır.

Seq2Seq bölümü LSTM birimlerinden oluşur. Kod vektörleri bir cümledeki kelimelere benzer sıralı öğeler gibi ele alınır: encoder özgün kod kitabını bir temsil vektörüne sıkıştırır, decoder ise istenen büyüklükte yeni bir kod kitabı üretir.

Çalışmanın gönderici–alıcı senaryosunda farklı büyüklüklerde oluşturulmuş kod kitapları önceden hem gönderici hem alıcıda saklanabilir. İletim sırasında tam 128 boyutlu vektörler gönderilmez; yalnız seçilen kod kitabındaki elemanlara işaret eden indeksler iletilir. Bu indeksler Asymmetric Numeral Systems (ANS) ile kayıpsız biçimde entropi kodlanarak bit akışına dönüştürülür.

Low ve ultra-low yapılandırmaları

Kaynağın mimari tanımına göre VQ-HoloNet (low) için alt ve üst latent çözünürlükleri sırasıyla:

\[ \frac{H}{4}\times\frac{W}{4}, \qquad \frac{H}{8}\times\frac{W}{8} \]

iken VQ-HoloNet (ultra low) bir ek downsampling katmanı kullanarak:

\[ \frac{H}{8}\times\frac{W}{8}, \qquad \frac{H}{16}\times\frac{W}{16} \]

çözünürlüklerine iner. Bu ikinci yapılandırma daha az latent öğe ile daha düşük bit hızını hedefler.

Kaynak içi tutarsızlık: Daha sonraki implementation bölümünde 1072×1920 girdi için sayısal latent çözünürlükleri bu tanımla ters isimlendirilmiş görünmektedir. Bu nedenle Verianla anlatımında mimari bölümündeki matematiksel \(H/4,H/8,H/16\) tanımı korunmuş; sayısal satır sessizce düzeltilmemiştir.

Fizik-Tabanlı Rekonstrüksiyon Kaybı Neden Kullanılıyor?

Fizik-tabanlı rekonstrüksiyon kaybı, decoder'ın ürettiği faz haritasını yalnız piksel düzeyinde karşılaştırmak yerine ışığın serbest uzayda gerçek propagasyonunu diferansiyellenebilir ASM modeliyle hesaplayıp hedef nesne düzlemindeki genliği doğrudan optimize etmek için kullanılır.

VQ-HoloNet'in birinci eğitim aşamasındaki toplam amaç:

\[ L_{\mathrm{framework}} = L_{\mathrm{LatentVQ}}(e) + L_{\mathrm{VQReconstruct}}(e) \]

şeklindedir.

Vektör nicemleme kaybı iki parçadan oluşur:

\[ L_{\mathrm{LatentVQ}}(e) = \left\| \operatorname{sg}[E_\theta(x)]-z_q(x) \right\|_2^2 + \beta \left\| \operatorname{sg}[z_q(x)]-E_\theta(x) \right\|_2^2 \]

Burada \(\operatorname{sg}[\cdot]\) stop-gradient işlemini, ilk terim codebook loss'u, ikinci terim commitment loss'u, \(\beta\) ise commitment ağırlığını gösterir. Çalışmada \(\beta=0,25\) kullanılmıştır. Nicemleme işlemi doğrudan türevlenebilir olmadığı için straight-through estimator ile gradyan aktarımı yapılır.

Angular Spectrum Method

Bir genlik \(a(x,y)\) ve faz \(\phi(x,y)\) alanının \(d\) mesafesine propagasyonu Fourier uzayında:

\[ f_p^d(\phi,a) = \mathcal{F}^{-1} \left\{ \mathcal{F} \left[ a(x,y)e^{i\phi(x,y)} \right] H(f_x,f_y,d) \right\} \]

olarak ifade edilir.

Band-sınırlı propagasyon çekirdeği:

\[ H(f_x,f_y,d)= \begin{cases} \exp\left[ i\frac{2\pi d}{\lambda} \sqrt{1-(\lambda f_x)^2-(\lambda f_y)^2} \right], & f_x^2+f_y^2<\frac{1}{\lambda^2} \\ 0, & \text{aksi halde} \end{cases} \]

biçimindedir. \(f_x\) ve \(f_y\) uzaysal frekansları, \(\lambda\) dalga boyunu, \(d\) propagasyon mesafesini temsil eder. Yüksek uzaysal frekanslar fiziksel kesme sınırının dışında sıfırlanır.

Üç bileşenli rekonstrüksiyon kaybı

Model hedef genlik ile propagasyon sonrasında elde edilen rekonstrüksiyon arasındaki hatayı üç farklı bakış açısından değerlendirir:

\[ L_{\mathrm{VQReconstruct}} = a_{\mathrm{MSE}}L_{\mathrm{MSE}} + a_{\mathrm{MS-SSIM}} (1-L_{\mathrm{MS-SSIM}}) + a_{\mathrm{WFFT}}L_{\mathrm{WFFT}} \]

MSE piksel düzeyindeki sayısal hatayı, MS-SSIM çok ölçekli yapısal benzerliği, Watson-DFT ise frekans alanındaki algısal bozulmayı temsil eder. Karşılaştırmalı deneylerde kullanılan ağırlıklar \(w_{\mathrm{MSE}}=1\), \(w_{\mathrm{MS-SSIM}}=0,1\) ve \(w_{\mathrm{WFFT}}=0,025\)'tir.

İlk \(N=100\) epoch boyunca VQ-HoloNet warm-up eğitimi yapılır. Ardından Seq2Seq bölümü etkinleştirilir ve kayıp, özgün kod kitabı \(e\) yerine uyarlanmış kod kitabı \(\tilde e\) kullanacak biçimde:

\[ L_{\mathrm{framework}} = L_{\mathrm{LatentVQ}}(\tilde e) + L_{\mathrm{VQReconstruct}}(\tilde e) \]

haline gelir.

Çalışmanın söylediği ve söylemediği

Çalışmanın desteklediği: İncelenen DIV2K test setleri ve belirtilen optik/sayısal koşullar altında RAVQ-HoloNet, DPRC ve JPEG tabanlı karşılaştırmalara göre daha düşük bit hızında rekabetçi veya daha yüksek rate–distortion performansı gösterebilir. Aynı model ailesi içinde kod kitabı büyüklüğü değiştirilerek farklı bit hızları sağlanabilir.

Çalışmanın desteklemediği: Sonuçlar bütün holografik ekranlarda, bütün 3D sahnelerde, her ağ koşulunda veya ticari AR/VR cihazlarında aynı kazancın garanti edildiğini göstermez. 3D, RGB-D, gaze-driven ve camera-in-the-loop sürümleri bu çalışmanın doğrulanmış sonuçları değil, gelecekteki araştırma yönleridir.

Çalışmanın Yöntemi ve Bulguları

Veri seti ve optik simülasyon

Model değerlendirmesinde DIV2K veri setinin 800 görüntülük eğitim kaynağı kullanılmıştır. Test için iki ayrı küme tanımlanmıştır: daha önce DPRC tarafından kullanılan 100 görüntülük DIV2K validation alt kümesi Set1, DIV2K'nin 50 görüntülük test alt kümesi ise Set2 olarak adlandırılmıştır.

Simülasyonda hologram düzlemi piksel aralığı 6,4 µm'dir. RGB ışık için 450 nm mavi, 520 nm yeşil ve 638 nm kırmızı dalga boyları kullanılmıştır. Nesne ve hologram düzlemleri arasındaki propagasyon mesafesi 20 cm'dir. Dalga boyuna bağlı difraksiyon nedeniyle her renk kanalı için ayrı bir model eğitilmiştir.

Hesaplama altyapısı ve eğitim parametreleri

Set1 nicel sonuçları

VQ-HoloNet (low), DPRC High Quality ile neredeyse aynı PSNR düzeyini yaklaşık yarı Bpp ile elde etmektedir. Buna karşılık SSIM yaklaşık %3 daha düşük, LPIPS ise 0,05 daha yüksektir. Ultra-low yapılandırması bit hızını low modele göre yaklaşık %78 daha aşağı çekerken PSNR yaklaşık %13 azalır.

Decoding süreleri yalnız neural decoder'ı değil, entropy decoding'i de kapsamaktadır. VQ-HoloNet'in kod kitabı indekslerini lookup table ile doğrudan kod vektörlerine dönüştürmesi, DPRC'nin hyperprior hesaplamalarına kıyasla daha düşük decoding süresinin temel mimari nedenidir.

Set2 sonuçları

Set2'de RAVQ-HoloNet (low), DPRC Mid Quality ile hemen hemen aynı bit hızında daha yüksek PSNR elde eder; DPRC High Quality ile karşılaştırıldığında ise daha düşük Bpp karşılığında benzer fakat biraz daha düşük rekonstrüksiyon kalitesi verir.

Rate–distortion performansı

Set1 üzerinde PSNR, SSIM ve LPIPS'nin Bpp'ye karşı çizildiği rate–distortion eğrilerinde RAVQ-HoloNet; SGD+JPEG, WirtingerSGD+JPEG ve HoloNet+JPEG kombinasyonlarından belirgin biçimde daha iyi performans göstermektedir. Kaynak, özellikle JPEG'in DCT tabanlı nicemlemesinin yüksek frekanslı phase-only örüntüler için sorunlu olduğunu belirtir.

DPRC'ye karşı Bjøntegaard değerlendirmesinde low yapılandırması için:

BD-Rate: −%33,91

BD-PSNR: +1,02 dB

raporlanmıştır. Negatif BD-Rate değeri, karşılaştırılan rate–distortion aralığında benzer kalite için ortalama bit oranının daha düşük olduğunu ifade eder.

Nitel rekonstrüksiyonlar

Sayısal örneklerde aslan kürkü, insan yüzündeki ince kırışıklıklar, papağan tüyleri ve düşük parlaklıklı sahne ayrıntıları değerlendirilmiştir. Örneğin papağan görüntüsünde RAVQ-HoloNet yaklaşık 34,400 dB PSNR'ı 1,630 Bpp ile elde ederken DPRC benzer PSNR için 2,620 Bpp kullanmaktadır. Başka bir karanlık sahnede RAVQ-HoloNet 32,654 dB civarında rekonstrüksiyonu 1,740 Bpp ile üretirken DPRC'nin karşılaştırılan çıktısı 3,120 Bpp kullanmıştır.

Kod kitabı boyutu 512'den 4096'ya yükseldikçe hem low hem ultra-low yapılandırmalarda rekonstrüksiyon ayrıntılarının ve kenar keskinliğinin iyileştiği görsel örneklerde gösterilmiştir. Bu, kod kitabı büyüklüğünün bit hızı–kalite ödünleşimini doğrudan yönettiğini desteklemektedir.

Fiziksel SLM deney düzeneği

Laboratuvar deneyinde 813 nm dalga boylu yüksek güçlü M2 Titanium Sapphire lazer kullanılmıştır. Eliptik ve astigmatik başlangıç ışını silindirik lenslerden oluşan beam-shaping modülüyle 6 mm çaplı dairesel Gaussian ışına dönüştürülmüş; L1–L2 2:3 teleskopuyla yaklaşık 9 mm'ye genişletilmiştir.

Yarım dalga plakaları ve PBS1, polarizasyonu Meadowlark P1920 sıvı-kristal SLM'nin eksenine hizalamaktadır. SLM'ye yüklenen faz deseni sonrasında hologram 13,5 mm mesafede oluşur. L3–L4 4f sistemi sıfırıncı mertebe ışığın Fourier düzleminde filtrelenmesine olanak verir. PBS2 artık sıfırıncı-mertebe bileşenlerini azaltır; L5–L6 2:1 teleskopu görüntüyü Basler a2A2840-48umBAS CMOS kameraya aktarır.

Kamera görüntülerinde lazer koherensi ve kamera sensörü ile koruyucu cam arasındaki yansımalar nedeniyle Fabry–Perot saçakları oluşmuştur. Kaynak bu etkiyi, SLM'ye uniform faz yükleyip Gaussian profilini tahmin ederek ve ölçülen periyodik modülasyonu bölme işlemiyle çıkararak telafi etmiştir.

Fiziksel rekonstrüksiyon sonucu

Yaklaşık 0,5 Bpp civarındaki fiziksel SLM karşılaştırmalarında RAVQ-HoloNet çıktıları, SGD+JPEG ve DPRC'ye göre daha yüksek kontrast ve daha keskin nesne kenarları göstermiştir. Bununla birlikte kaynak, özellikle düzgün ve parlak bölgelerde — penguen örneğinin gövdesi gibi — RAVQ-HoloNet rekonstrüksiyonunda bozulma görülebildiğini açıkça belirtmektedir.

Deney ile simülasyon arasındaki farklar

Fiziksel düzende RoI ve mantıksal piksel aralığı yazılım modeline mümkün olduğunca uyumlu tutulmuştur. Buna karşılık laboratuvar lazerinin kullanılabilir dalga boyu ve optik tezgâhın mekanik kısıtları nedeniyle fiziksel propagasyon mesafesi simülasyondan farklıdır. Ayrıca kamera FOV'u tam rekonstrüksiyon alanından küçük olduğundan yalnız belirli bir bölüm ölçülmüştür.

Sınırlılıklar ve gelecek araştırmalar

Çalışmanın mevcut sürümü esas olarak 2D holografi üzerindedir. RGB kanalları dalga boyuna bağlı olarak ayrı ağlarla işlenmiştir. Yazarlar gelecekte ortak kompleks RGB sıkıştırmasının, saliency veya gaze-driven bit tahsisinin, RGB-D ve 2.5D/full-3D holografinin, depth-aware propagasyonun ve camera-in-the-loop kalibrasyonunun araştırılmasını önermektedir.

Kaynak ayrıca yöntemin hızlı holografik güncelleme gerektiren optik cımbız sistemleri ve nötr atom dizilerinin manipülasyonu gibi daha ileri optik uygulamalarda araştırılabileceğini tartışmaktadır. Bunlar mevcut çalışmanın deneysel olarak kanıtlanmış uygulamaları değil, gelecekteki kullanım yönleridir.

Kaynak ve Yöntem Notu

Özgün çalışma: RAVQ-HoloNet: Rate-Adaptive Vector-Quantized Hologram Compression.

PDF'deki yazar sırası: Shima Rafiei, Zahra Nabizadeh Shahr-Babak, Soroush Khoubyarian, Alexandre Cooper, Shadrokh Samavi, Shahram Shirani.

Corresponding author: Zahra Nabizadeh Shahr-Babak.

Kurumlar: Department of Electrical and Computer Engineering, McMaster University; Institute for Quantum Computing ve Department of Physics and Astronomy, University of Waterloo; Computer Science Department, Seattle University.

Platform: SSRN.

SSRN Abstract ID: 6946746.

DOI: 10.2139/ssrn.6946746.

Resmî kayıt tarihi: 15 Haziran 2026.

Kaynak türü: Derin öğrenme tabanlı hologram sıkıştırma araştırması; sayısal simülasyon ve laboratuvar SLM doğrulaması içeren preprint.

Hakemlik durumu: PDF açık biçimde çalışmanın henüz hakem değerlendirmesinden geçmediğini belirtmektedir.

Bibliyografik metadata farkı: Kaynak PDF altı yazar içerirken mevcut SSRN metadata sayfasında Shadrokh Samavi görünmemektedir. Bu fark çözülmüş kabul edilmemiş; Verianla makalesinde PDF'deki tam yazar dizisi korunmuştur.

Lisans: İncelenen PDF ve doğrulanabilen resmî kayıt üzerinde açık Creative Commons lisansı doğrulanmamıştır. Özgün şekiller ve grafik tasarımları bu nedenle yeniden yayımlanmamıştır.

Finansman, çıkar çatışması ve veri erişilebilirliği: Kaynak PDF'de ayrı bir finansman, çıkar çatışması veya veri erişilebilirliği bildirimi tespit edilmemiştir. Eksik alanlar tahmin edilerek doldurulmamıştır.

AI kullanım beyanı: Yazarlar, yazım sürecinde dil düzenleme ve cümle iyileştirme için ChatGPT kullandıklarını; bütün içeriğin yazarlar tarafından gözden geçirilip düzenlendiğini ayrıca beyan etmektedir.

Kaynak içi teknik tutarsızlık: Mimari bölümündeki low/ultra-low latent çözünürlük tanımı ile implementation bölümündeki 1072×1920 için verilen sayısal latent boyutlarının isimlendirilmesi birbiriyle ters görünmektedir. Bu tutarsızlık sessizce düzeltilmemiştir.

Yorum sınırı: Modelin simülasyondaki rate–distortion performansı ile laboratuvar SLM görüntüleri, yöntemin belirtilen deney koşullarındaki başarısını destekler; ancak tam renkli 3D holografik sistemler, dinamik AR/VR iletişimi veya ürün ölçeğindeki edge donanımında aynı performansı garanti etmez.