Bu çalışma, yağmur çizgileriyle bozulan tek bir görüntüyü düşük enerji tüketimiyle temizlemek için BiSNet adlı biyolojik görmeden esinlenen bir atımlı sinir ağı önermektedir. Atımlı sinir ağları, bilgiyi sürekli kayan noktalı etkinleştirmeler yerine çoğunlukla 0 veya 1 değerli seyrek spike olaylarıyla işler. Bu özellik, etkin olmayan nöronlarda gereksiz hesaplamayı azaltma potansiyeli taşırken görüntü restorasyonunda renk, doku ve ince kenar bilgisinin kaybolmasına da yol açabilir. BiSNet’in temel amacı, bu bilgi kaybını azaltırken atımlı hesaplamanın düşük enerji avantajını korumaktır.

Model, biyolojik görme sistemindeki ayrıntı ve yön bilgisine duyarlı ventral yol ile daha geniş görsel bağlamı değerlendiren dorsal yol arasındaki iş bölümünden esinlenen iki kollu bir mimari kullanmaktadır. Yerel kol, yağmur çizgilerinin çoğunlukla dikey veya eğik uzanmasından yararlanarak Gabor tabanlı atımlı evrişimlerle yönsel özellikleri çıkarır. Küresel kol ise görüntünün genel yapısını, yağmurdan etkilenen bölgeleri ve frekans alanındaki yüksek frekanslı bozulmaları değerlendirir. İki kol, kodlayıcı boyunca birbirleriyle etkileşmekte ve çözücü aşamasına yön bilgili atlama bağlantıları göndermektedir.

BiSNet üç temel özel bileşen içermektedir. Gabor Spiking Residual Block, 0°, 45°, 90° ve 135° gibi yönlere duyarlı Gabor çekirdekleriyle yağmur çizgilerini yakalamaktadır. FMECA modülü, Fourier alanında spektral genliği uyarlarken faz bilgisini korumakta; uzamsal kolda ise yağmurdan etkilenmiş bölgeleri belirleyen bir maske üretmektedir. DiSA modülü, kodlayıcıdan çözücüye aktarılan özelliklerde 45°, 90° ve 135° yönlerindeki yağmur tepkilerini semantik bilgilerle birleştirerek gerçek nesne kenarlarıyla yağmur çizgilerini ayırmaya çalışmaktadır.

Rain200H, Rain200L ve Rain1200 adlı sentetik veri kümelerinde BiSNet, karşılaştırılan bütün yöntemler içinde en yüksek PSNR ve SSIM değerlerini vermiştir. Model Rain200H’de 29,88 dB ve 0,9180; Rain200L’de 40,31 dB ve 0,9877; Rain1200’de 34,61 dB ve 0,9398 sonuçlarına ulaşmıştır. Rain1200’de en yakın rakibe göre PSNR avantajı yalnızca 0,02 dB iken Rain200L’de fark 0,78 dB’ye çıkmıştır. Bu nedenle üstünlüğün büyüklüğü veri kümesine göre değişmektedir.

BiSNet 1,108 milyon parametre, 12,494 milyar FLOP ve \(1{,}562\times10^5\) µJ olarak raporlanan enerji maliyetine sahiptir. Enerjisi, tablodaki en düşük enerjili CNN modeli NAFNet’ten yaklaşık yüzde 22,2 daha düşüktür. Buna karşılık daha küçük atımlı modeller olan ESDNet ve VLIF, BiSNet’ten daha az enerji tüketmektedir. BiSNet’in katkısı en düşük enerji değerini sağlamak değil, atımlı ağların doğruluk–enerji dengesini daha yüksek görüntü kalitesi yönünde geliştirmektir.

Türkiye açısından: BiSNet yaklaşımı; yağış altında çalışan trafik kameraları, sürücü destek sistemleri, insansız hava araçları, güvenlik kameraları, tarımsal görüntüleme, demiryolu ve otoyol izleme sistemleri gibi alanlarda araştırılabilir. Türkiye’de uygulama öncesinde Karadeniz, Marmara ve yüksek yağış alan kentlerde gece-gündüz, far yansıması, sis, karla karışık yağmur, lens üzerindeki damlalar ve rüzgârla yataylaşan yağış koşullarını içeren yerel veri kümeleri oluşturulmalıdır. Model gerçek bir kenar cihazında veya nöromorfik işlemcide gecikme, watt cinsinden güç, bellek kullanımı ve sonraki nesne algılama görevlerine etkisiyle sınanmalıdır. Çalışmadan Türkiye’deki trafik veya güvenlik sistemlerinde doğrudan kullanıma hazır bir ürün, bütün yağış biçimlerinde güvenilir sonuç veya doğrulanmış fiziksel enerji tasarrufu çıkarılamaz.

Tek görüntüden yağmur giderme problemi nedir?

Yağmur sırasında çekilen görüntülerde ince çizgiler, yoğun beyaz bantlar, düşük kontrast, ışık saçılması ve yerel bulanıklık oluşabilir. Bu bozulmalar yalnızca görüntünün estetik kalitesini düşürmez; nesne algılama, takip, sınıflandırma ve sahne anlama gibi sonraki bilgisayarlı görü görevlerinin girdisini de değiştirir.

Tek görüntüden yağmur giderme, yalnızca bir yağmurlu kareden temiz görüntünün tahmin edilmesini amaçlar. Video yöntemlerinin aksine önceki ve sonraki karelerden hareket bilgisi alınamaz. Modelin aynı anda iki karşıt hedefi dengelemesi gerekir:

• Yağmur çizgilerini ve yağışın oluşturduğu yüksek frekanslı bozulmaları kaldırmak
• İnce nesne kenarlarını, saç, bitki, tel, yol çizgisi ve benzeri gerçek yapıları korumak

Yağmur çizgileri ile gerçek görüntü kenarları benzer doğrultulara ve yüksek frekans özelliklerine sahip olabileceğinden, aşırı güçlü giderme işlemi gerçek dokuları silebilir. Yetersiz giderme ise görüntüde yağmur kalıntıları bırakabilir.

Neden atımlı sinir ağı kullanılmıştır?

Geleneksel evrişimli sinir ağları ve Transformer modelleri, çok sayıda sürekli değerli çarpma-toplama işlemi gerçekleştirir. Atımlı sinir ağları ise nöronların yalnızca eşik aşıldığında spike üretmesine dayanır. Spike oluşmayan konumlarda seyrek ve olay güdümlü hesaplama yapılabilmesi, özellikle uygun nöromorfik donanım üzerinde enerji tasarrufu potansiyeli oluşturur.

Yağmurdan etkilenen piksellerin çevrelerine göre ani yoğunluk değişimleri göstermesi, araştırmacıların yorumuna göre ikili spike tepkileriyle doğal bir uyum taşımaktadır. Bununla birlikte görüntü restorasyonu yoğun ve sürekli değerli bir çıktı gerektirir. Spike etkinleştirmelerinin ikili yapısı aşağıdaki bilgilerin kaybolmasına neden olabilir:

• Hafif renk geçişleri
• Düşük kontrastlı kenarlar
• İnce yüzey dokuları
• Yağmur çizgisinin şeffaflık derecesi
• Arka plan ile bozulma arasındaki küçük yoğunluk farkları

BiSNet, iki yollu özellik çıkarma, yönsel Gabor öncülleri, frekans alanı işleme ve dikkat mekanizmalarıyla bu bilgi kaybını azaltmayı hedeflemektedir.

BiSNet’in genel mimarisi nasıldır?

Çalışmanın 3. sayfasındaki Şekil 1 ve 14. sayfadaki tam boyutlu mimari çizimi, ağın yağmurlu görüntüden temiz görüntüye kadar olan akışını göstermektedir.

1. Tek yağmurlu görüntü zaman ekseninde çoğaltılarak bir spike dizisine dönüştürülür.
2. Görüntü, yerel GaborConv kolu ve küresel özellik çıkarma kolu olmak üzere iki kola ayrılır.
3. Yerel kolda GaborSRB blokları yönsel yağmur ve kenar özelliklerini çıkarır.
4. Küresel kolda standart Spiking Residual Block ve FMECA modülleri bağlam, frekans ve yağmur maskesi bilgisini işler.
5. İki kolun özellikleri kodlayıcının farklı seviyelerinde birleştirilir.
6. DiSA modülleri, kodlayıcı özelliklerini yönsel ve semantik olarak süzüp çözücüye aktarır.
7. Çözücüdeki SRB blokları çözünürlüğü ve görüntü ayrıntılarını yeniden oluşturur.
8. Şema, yağmurlu giriş ile ağ çıktısı arasında artık bağlantısı bulunduğunu göstermektedir.

Mimari, yerel yön bilgisinin küresel kola rehberlik etmesini amaçlamaktadır. Böylece ağ yalnızca geniş görüntü bağlamını değil, yağmur çizgilerinin yönünü ve gerçek nesne sınırlarıyla ilişkisini de kullanmaktadır.

Biyolojik çift yol benzetmesi nasıl kullanılmaktadır?

Araştırmacılar yerel Gabor kolunu biyolojik görmedeki ventral yolun ayrıntı ve yön seçiciliğiyle, küresel kolu ise dorsal yolun geniş görsel bağlam işlemesiyle ilişkilendirmektedir. Bu benzetme mimarinin tasarım gerekçesidir.

Çalışmada insan veya hayvan görsel sistemi üzerinde deney yapılmamış, biyolojik nöron kayıtlarıyla model etkinlikleri karşılaştırılmamıştır. Bu nedenle “biyolojik olarak esinlenmiş” ifadesi, mimari analoji ve Gabor reseptif alan öncüllerini anlatmaktadır; ağın biyolojik görmeyi tam olarak modellediğini göstermez.

Spiking Residual Block hangi bileşenleri içermektedir?

Çalışmanın 5. ve 15. sayfalarındaki Şekil 2, standart Spiking Residual Block ile GaborSRB yapısını karşılaştırmaktadır. Standart blokta:

• LIF nöronu
• Atımlı evrişim
• Zamana bağlı toplu normalizasyon veya tdBN
• Artık bağlantısı
• Mixed Attention Unit

bulunmaktadır. Mixed Attention Unit şemada zamansal dikkat, kanal dikkati ve uzamsal dikkat bileşenlerini içermektedir. Ana metinde bu üç alt bileşenin ayrıntılı denklemleri verilmemiştir.

Gabor Spiking Residual Block nasıl çalışmaktadır?

Gabor filtreleri belirli bir yön ve uzamsal frekanstaki çizgilere güçlü yanıt veren filtrelerdir. Çalışmada yağmur çizgilerinin çoğunlukla dikey veya eğik olması, Gabor tabanlı başlangıç çekirdeklerinin seçilmesinin temel gerekçesidir.

GaborSRB’de evrişim ağırlıkları sabit tutulmamaktadır. Önce yağmur yönlerine duyarlı Gabor işlevleriyle başlatılmakta, daha sonra eğitim sırasında veriyle birlikte uyarlanmaktadır. Böylece başlangıçtaki yön seçiciliğin korunması ile görev özelinde öğrenme arasında denge kurulmaya çalışılmaktadır.

Sığ katmanlarda kullanılan çekirdekler ana ve çevresel reseptif alanların farkına dayanmaktadır. Çalışmadaki temel yapı aşağıdaki biçimde özetlenebilir:

\[ K_1 = \operatorname{Gabor}(x,y;\theta_1,\sigma_3) -\beta\,\operatorname{Gabor}(x,y;0^\circ,\sigma_4) \]

ve işaret yönü ters çevrilmiş eş çekirdeğidir. İkinci yapı iki farklı yönü karşılaştırmaktadır:

\[ K_2 = \operatorname{Gabor}(x,y;\theta_1,\sigma_1) -\operatorname{Gabor}(x,y;\theta_2,\sigma_2) \]

Derin katmanlarda kullanılan üçüncü yapı, ana yönü yatay ve eğik yardımcı bileşenlerin birleşiminden ayırmaktadır:

\[ K_3 = \operatorname{Gabor}(x,y;\theta_1,\sigma_1) -\left[ \alpha\,\operatorname{Gabor}(x,y;0^\circ,\sigma_2) +\operatorname{Gabor}(x,y;\theta_2,\sigma_2) \right] \]

Çalışmadaki açılar:

• \(\theta_1\in\{0^\circ,45^\circ,90^\circ,135^\circ\}\)
• \(\theta_2\in\{45^\circ,135^\circ\}\)
• \(\alpha=18\%\)
• \(\beta=26\%\)

olarak belirlenmiştir. \(\sigma_1\) ve \(\sigma_2\) sığ katmanlardaki merkez ve çevre alanlarını, \(\sigma_3\) ve \(\sigma_4\) ise derin katmanlardaki alan büyüklüklerini temsil etmektedir.

Bu yapı dikey ve çapraz yağmur çizgilerine güçlü bir başlangıç tepkisi sağlar. Ancak yataya yakın yağmur, eğri damla izleri, lens üzerindeki büyük damlalar veya ışık saçılması için ayrı yön bazlı performans sonuçları raporlanmamıştır.

GaborSRB görselleştirmesi ne göstermektedir?

10. ve 21. sayfalardaki Şekil 8’de eğitim başlangıcındaki düşük seviyeli Gabor tepkileri ile eğitim sonrasındaki daha derin özellik haritaları gösterilmektedir.

• Başlangıçta filtreler çok sayıda eğik yağmur çizgisine ve nesne kenarına güçlü yanıt vermektedir.
• Orta katmanlarda tepkiler daha seçici hâle gelmekte ve bazı arka plan çizgileri bastırılmaktadır.
• Derin katmanların nesne sınırları ile daha soyut yapıları öne çıkardığı ileri sürülmektedir.

Bu görseller modelin hangi bölgelere tepki verdiğini nitel olarak göstermektedir. Ancak özellik haritası, belirli bir modülün nedensel olarak doğru yağmur ayrımını yaptığına tek başına kanıt oluşturmaz. Ayrıca şeklin son iki satırındaki etiketlerin ikisi de “Gabor Converge-Mid” olarak yazılmıştır; açıklamada üçüncü satırın yüksek düzey özellik olduğu belirtilmektedir.

FMECA modülü frekans alanını nasıl kullanmaktadır?

FMECA, metnin farklı bölümlerinde Spiking Frequency Mask Attention Block ve Frequency-Mask-guided Efficient Channel Attention ifadeleriyle tanımlanmaktadır. Modül üç ana parçadan oluşur:

• FrequencyMixerBlock
• RainMaskHead ve RainMaskGate
• Efficient Channel Attention

Frekans kolunda her zaman adımındaki özellik haritasına iki boyutlu gerçek Fourier dönüşümü uygulanır. Spektrumun genliği 1 × 1 evrişimle uyarlanırken faz bileşeni korunur. Değiştirilen spektrum ters Fourier dönüşümüyle uzamsal alana getirilir.

Frekansla güçlendirilmiş özellik \(F\), özgün giriş \(x_{tb}\) ile artık bağlantısında birleştirilir:

\[ Y=x_{tb}+F \]

Bu yaklaşımın amacı, yağmur çizgilerinin yüksek frekanslı ve yönlü spektral bileşenlerini küresel bağlam içinde belirginleştirmektir.

Yağmur maskesi nasıl oluşturulmaktadır?

RainMaskHead, spike özellik tensörü \(p\) üzerinden önce yerel kenar tepkisi üretir:

\[ E_t=\operatorname{tdBN} \left( \operatorname{Conv}_{3\times3}(\operatorname{LIF}(p)) \right) \]

Her zaman adımındaki pozitif yanıtların ortalaması alınır:

\[ M=\frac{1}{T}\sum_{t=1}^{T}\operatorname{ReLU}(E_t) \]

Daha sonra 1 × 1 evrişim ve Sigmoid ile 0–1 aralığında yağmur belirginlik maskesi oluşturulur:

\[ M_{\mathrm{rain}}= \operatorname{Sigmoid} \left( \operatorname{Conv}_{1\times1}(M) \right) \]

RainMaskGate, yağmur ve arka plan bölgelerine ayrı evrişimler uygular:

\[ Y_{\mathrm{gate}} = \operatorname{Conv}_{\mathrm{rain}}(f)\odot M_{\mathrm{rain}} + \operatorname{Conv}_{\mathrm{bg}}(f)\odot (1-M_{\mathrm{rain}}) \]

Bu ayrım, ağın yağmurdan etkilenen bölgeleri daha güçlü işlemeyi, temiz veya yapısal bölgelerde ise ayrıntıyı korumayı öğrenmesini amaçlamaktadır.

Yağmur maskesi görselleri ne göstermektedir?

9. ve 20. sayfalardaki Şekil 7’de beş sütun bulunmaktadır:

• Yağmurlu giriş
• Yağmurlu ve temiz görüntünün farkından oluşturulan sözde referans maske
• BiSNet’in tahmin ettiği maske
• Temizlenmiş sonuç
• Temiz hedef

Tahmin edilen maskeler, yoğun ve eğik yağmur çizgilerinde güçlü yanıtlar üretmektedir. Maskeler sözde referansın birebir kopyası değildir; daha yaygın ve sürekli alanlar oluşturmaktadır. Araştırmacılar bunun ağın yalnızca piksel farkını taklit etmek yerine bozulma bölgelerini öğrendiğine işaret ettiğini belirtmektedir.

Maskelerin doğruluğu için IoU, F1, kesinlik veya duyarlılık gibi ayrı bir nicel ölçüt sunulmamıştır. Görsel benzerlik, maske kolunun yağmur bölgelerini doğru ayırdığını desteklese de tam doğruluğunu belirlemez.

DiSA modülü neden gereklidir?

Kodlayıcı–çözücü ağlarda atlama bağlantıları, yüksek çözünürlüklü özelliklerin çözücüye aktarılmasını sağlar. Ancak kodlayıcıdaki özellikler gerçek nesne kenarlarıyla birlikte yağmur çizgilerini de taşıyabilir. Bunlar doğrudan aktarılırsa çözücü kaldırılmış yağmuru yeniden görüntüye ekleyebilir.

Direction-Integrated Skip Attention veya DiSA, kodlayıcı özelliği \(x\) ile çözücü özelliği \(g\) arasında semantik uyum ve yönsel ayrım kurmaktadır.

Önce iki özellik 1 × 1 izdüşümlerle ortak alana taşınır:

\[ q=w_g(g)+w_x(x) \]

Kodlayıcı ve çözücü özelliklerinin birleştirilmiş temsili üzerinde 45°, 90° ve 135° Gabor filtreleri uygulanır:

\[ O_k=\left|G_{\theta_k}*s\right|, \qquad \theta_k\in\{45^\circ,90^\circ,135^\circ\} \]

Semantik kapı, her pikselde hangi yönün daha önemli olduğunu belirleyen ağırlıkları üretir:

\[ W= \operatorname{Softmax} \left( \operatorname{Conv}_{1\times1} (\operatorname{Sigmoid}(q)) \right) \]

Yönsel tepkiler ağırlıklı olarak birleştirilir:

\[ A_{\mathrm{dir}} = \sum_{k=1}^{K}W_k\odot O_k \]

Yönsel ve semantik bilgilerden son dikkat haritası hesaplanır:

\[ A= \operatorname{Sigmoid} \left( \operatorname{Conv}_{1\times1} \left[ A_{\mathrm{dir}}, \operatorname{Conv}_{1\times1}(q) \right] \right) \]

Atlama özelliği bu haritayla süzülür:

\[ x_{\mathrm{out}}=A\odot x \]

DiSA içinde yönsel Gabor filtreleri sabit öncüller olarak kullanılmakta ve ek öğrenilebilir parametre yükü sınırlı tutulmaktadır.

Hangi veri kümeleri kullanılmıştır?

Sentetik veri kümelerinde yağmurlu görüntünün temiz hedefi bulunduğu için piksel ve yapı benzerliği ölçülebilmektedir. RW-Data’da temiz eşlenik hedef bulunmadığından PSNR veya SSIM hesaplanmamıştır.

PSNR ve SSIM neyi ölçmektedir?

PSNR, yeniden oluşturulan görüntü ile temiz hedef arasındaki piksel düzeyindeki hataya duyarlıdır. Daha yüksek değer, genel olarak daha düşük ortalama piksel hatası anlamına gelir.

SSIM ise görüntüleri parlaklık, kontrast ve yapısal benzerlik açısından değerlendirir. Yüksek SSIM değeri, nesne sınırlarının ve yerel yapıların hedefe daha yakın korunduğunu gösterir.

Bu iki ölçüt görüntü restorasyonunda yaygın olmakla birlikte algısal doğallığı, renk doğruluğunu veya sonraki nesne algılama performansını tek başına tam olarak temsil etmez.

Eğitim ve uygulama ayarları nelerdir?

Çalışmada görüntü artırma işlemleri, renk normalizasyonu, kayıp fonksiyonu, LIF eşik değerleri, nöron zaman sabitleri, vekil gradyan işlevi, ağırlık başlangıçlarının tamamı ve erken durdurma ölçütü ayrıntılı olarak açıklanmamıştır.

Ana karşılaştırma sonuçları nelerdir?

Rain200H sonuçları nasıl yorumlanmalıdır?

Yoğun yağmur çizgilerinden oluşan Rain200H’de BiSNet 29,88 dB PSNR ve 0,9180 SSIM elde etmiştir. İkinci en yüksek PSNR 29,62 dB, ikinci en yüksek SSIM 0,9126 ile CPRA’ya aittir.

• PSNR farkı: 0,26 dB
• SSIM farkı: 0,0054

7. ve 18. sayfalardaki görsel karşılaştırmada BiSNet’in yoğun çapraz yağmur çizgilerini kaldırdığı ve mercan ile su yüzeyindeki ayrıntıları hedef görüntüye yakın koruduğu gösterilmektedir. Bazı rakiplerde küçük yağmur kalıntıları, renk değişimleri veya yumuşama işaretlenmiştir.

Rain200L sonuçları nasıl yorumlanmalıdır?

Seyrek yağmur veri kümesi Rain200L’de BiSNet 40,31 dB PSNR ve 0,9877 SSIM vermiştir.

• İkinci en yüksek PSNR: CPRA, 39,53 dB
• PSNR farkı: 0,78 dB
• İkinci en yüksek SSIM: MPRNet, 0,9869
• SSIM farkı: 0,0008

PSNR farkı bu veri kümesinde belirginken SSIM farkı küçüktür. Bu durum, piksel hatasında daha güçlü iyileşme elde edilirken yapısal benzerlikte rakip modellerin de hedefe oldukça yakın olduğunu göstermektedir.

Rain1200 sonuçları nasıl yorumlanmalıdır?

Daha büyük ve çeşitli Rain1200 veri kümesinde BiSNet 34,61 dB PSNR ve 0,9398 SSIM elde etmiştir.

• İkinci en yüksek PSNR: CPRA, 34,59 dB
• PSNR farkı: 0,02 dB
• İkinci en yüksek SSIM: HPCNet, 0,9371
• SSIM farkı: 0,0027

BiSNet tablo içinde en yüksek değere sahip olsa da PSNR üstünlüğü yalnızca 0,02 dB’dir. Tek çalıştırma ve istatistiksel değişkenlik verilmediğinden bu küçük farkın rastgele eğitim değişkenliğinden daha büyük olup olmadığı belirlenemez.

SNN tabanlı yöntemlere göre kazanım nedir?

BiSNet, atımlı rakiplerden daha yüksek restorasyon doğruluğu sağlamakta; fakat bunun karşılığında daha fazla parametre, FLOP ve raporlanan enerji kullanmaktadır.

Modelin enerji ve hesaplama dengesi nasıldır?

• BiSNet’in parametre sayısı 1,108 milyondur.
• VLIF, ESDNet ve CPRA daha az parametre kullanmaktadır.
• BiSNet’in 12,494 milyar FLOP değeri yalnızca VLIF ve ESDNet’in üzerindedir; tabloda üçüncü en düşük değerdir.
• BiSNet’in raporlanan enerjisi 156.200 µJ’dür.
• NAFNet’in 200.800 µJ değerine göre yaklaşık yüzde 22,2 daha düşüktür.
• BiSNet, ESDNet’ten yaklaşık yüzde 70,7 daha fazla enerji kullanmaktadır.
• BiSNet’in raporlanan enerjisi VLIF’in yaklaşık 13,4 katıdır.

Bu sonuçlar BiSNet’in mutlak olarak en verimli ağ olmadığını göstermektedir. Model, daha fazla SNN hesaplama maliyeti karşılığında CNN ve Transformer düzeyine yaklaşan veya onları aşan görüntü kalitesi sağlamayı amaçlamaktadır.

Enerji tablosunun nasıl hesaplandığı açıklanmadığı için µJ değerleri gerçek cihaz güç tüketimi, batarya süresi veya saha performansı olarak doğrudan yorumlanmamalıdır.

Gerçek yağmurlu görüntülerde ne gösterilmiştir?

8. ve 19. sayfalardaki RW-Data karşılaştırmasında yağmurlu bir yol ve bitki örtüsü görüntüsü kullanılmıştır. Araştırmacılar bazı yöntemlerde:

• Yağmur kalıntısı
• Bitki dokularında aşırı yumuşama
• Yerel yapı kaybı
• Doğal olmayan renk geçişi

bulunduğunu, BiSNet’in ise daha temiz ve doğal bir görüntü ürettiğini ileri sürmektedir.

RW-Data için temiz hedef bulunmadığından “en iyi” sonuç yalnızca seçilen görsellerin nitel yorumuna dayanmaktadır. Kör insan değerlendirmesi, kullanıcı puanı, NIQE, BRISQUE veya sonraki görev doğruluğu raporlanmamıştır.

Modül çıkarma deneyleri ne göstermektedir?

Çift yolun katkısı nedir?

Temel model (a) ile yalnız çift yol eklenen model (b) karşılaştırıldığında:

• PSNR 38,89’dan 39,53 dB’ye yükselmiştir.
• Kazanım 0,64 dB’dir.
• SSIM 0,9826’dan 0,9848’e yükselmiştir.
• Parametre sayısı 0,029 milyondan 0,063 milyona çıkmıştır.

FMECA bulunan modellerde (c) ile (d) arasındaki 0,46 dB fark da çift yolun katkısını desteklemektedir.

FMECA’nın katkısı nedir?

Çift yollu model (b) ile FMECA eklenen model (c) karşılaştırıldığında PSNR 0,18 dB, SSIM 0,0005 artmıştır. Bununla birlikte parametre sayısı 0,063 milyondan 0,983 milyona, FLOP değeri 2,633 milyardan 10,286 milyara yükselmiştir.

GaborSRB ve DiSA bulunan model (f) ile tam model (g) karşılaştırıldığında FMECA eklenmesi:

• PSNR’ı 0,49 dB artırmıştır.
• SSIM’i 0,0019 artırmıştır.
• FLOP değerini yaklaşık 9,782 milyar artırmıştır.

FMECA, ablation tablosunda doğruluğa güçlü katkı sağlarken hesaplama artışının da büyük bölümünü oluşturmaktadır.

GaborSRB’nin katkısı nedir?

Çift yol ve FMECA içeren model (c) ile GaborSRB eklenen model (e) karşılaştırıldığında:

• PSNR 39,71’den 39,95 dB’ye çıkmıştır.
• Kazanım 0,24 dB’dir.
• SSIM 0,9853’ten 0,9866’ya yükselmiştir.
• Ek parametre ve FLOP yükü sınırlı kalmıştır.

Bu karşılaştırma Gabor yön öncüllerinin, aynı küresel mimari içinde ek restorasyon katkısı sağladığını desteklemektedir.

DiSA’nın bağımsız katkısı belirlenmiş midir?

Hayır. Makalede DiSA’nın Gabor özelliklerine ve çapraz katman bağlantılarına bağlı olduğu gerekçesiyle ayrı bir ablation yapılmadığı belirtilmektedir.

Model (b) ile model (f) karşılaştırıldığında PSNR 39,53’ten 39,82 dB’ye yükselmektedir. Ancak bu karşılaştırmada hem GaborSRB hem DiSA aynı anda eklenmiştir. Dolayısıyla 0,29 dB’lik farkın ne kadarının GaborSRB’den, ne kadarının DiSA’dan kaynaklandığı ayrı olarak belirlenemez.

Tam model temel modele göre ne kazandırmaktadır?

Ablation sonuçları doğruluk kazancının ücretsiz olmadığını göstermektedir. Tam model, temel ağdan daha başarılı olmakla birlikte belirgin biçimde daha büyük ve hesaplama yoğundur.

Zaman adımı sayısı performansı nasıl etkilemektedir?

Altı zaman adımı en yüksek ölçütleri vermiştir. Ancak dört adımdan altı adıma geçişte:

• PSNR yalnızca 0,08 dB yükselmiştir.
• SSIM yalnızca 0,0004 yükselmiştir.
• FLOP değeri 0,877 milyar artmıştır.

Araştırmacılar doğruluk–hesaplama dengesi nedeniyle ana modelde dört zaman adımını seçmiştir.

Çalışmanın güçlü yönleri nelerdir?

• Atımlı sinir ağlarını yalnız sınıflandırma değil yoğun görüntü restorasyonu problemine uygulamaktadır.
• Yerel yön bilgisi ile küresel bağlamı ayrı kollarda işlemektedir.
• Gabor öncülleri eğitim sırasında uyarlanabilir tutulmuştur.
• Uzamsal yağmur maskesi ile frekans alanı işleme aynı modülde birleştirilmiştir.
• Atlama bağlantılarındaki yağmur bilgisinin yeniden görüntüye taşınmasını azaltmaya çalışmaktadır.
• Üç sentetik veri kümesinde aynı ölçütlerle kapsamlı model karşılaştırması sunmaktadır.
• CNN, Transformer ve SNN ailelerini aynı tabloda değerlendirmektedir.
• Parametre, FLOP ve enerji tahminlerini doğrulukla birlikte raporlamaktadır.
• Temel modüller için ablation deneyleri yapılmıştır.
• Zaman adımı ile doğruluk–hesaplama ilişkisi incelenmiştir.
• Yağmur maskeleri ve Gabor tepkileri görselleştirilmiştir.
• Gerçek yağmur görüntülerinde nitel test yapılmıştır.

Çalışmanın temel sınırlılıkları nelerdir?

• Çalışma hakem değerlendirmesinden geçmemiş bir preprinttir.
• Enerji hesabının yöntemi ve varsayımları açıklanmamıştır.
• Nöromorfik işlemcide gerçek enerji ve gecikme ölçümü yapılmamıştır.
• GPU eğitimi ile nöromorfik çıkarım arasındaki fark değerlendirilmemiştir.
• Gerçek dünya veri kümesinde nicel referanslı değerlendirme bulunmamaktadır.
• Kör insan değerlendirmesi veya kullanıcı çalışması yapılmamıştır.
• Sonuçlar için rastgele tohum, standart sapma veya güven aralığı verilmemiştir.
• Rain1200’deki 0,02 dB’lik üstünlüğün istatistiksel kararlılığı gösterilmemiştir.
• DiSA modülü bağımsız olarak izole edilmemiştir.
• Kayıp fonksiyonu açıklanmamıştır.
• Vekil gradyan yöntemi ve LIF nöron parametreleri verilmemiştir.
• Spike oranı ve katman bazlı olay yoğunluğu raporlanmamıştır.
• Enerji değeriyle spike etkinliği arasındaki bağlantı gösterilmemiştir.
• Eğitim süresi ve görüntü başına çıkarım gecikmesi verilmemiştir.
• Bellek kullanımı ve saniyedeki görüntü sayısı raporlanmamıştır.
• Mobil, gömülü veya kenar cihaz testi yapılmamıştır.
• Farklı yağmur yönleri için ayrı performans analizi yoktur.
• Yatay yağmur, lens damlası, sis ve kar gibi bozulmalar incelenmemiştir.
• Gece yağmuru, far parlaması ve düşük ışık koşulları ayrı test edilmemiştir.
• Yağmur giderme sonrasında nesne algılama veya takip başarımı ölçülmemiştir.
• Maske tahmini ayrı segmentasyon ölçütleriyle değerlendirilmemiştir.
• Karşılaştırma modellerinin yeniden eğitim ayrıntıları açıklanmamıştır.
• Veri artırma ve normalizasyon ayarları verilmemiştir.
• Kaynak kodu, eğitilmiş ağırlıklar ve yeniden üretim dosyaları için bağlantı sunulmamıştır.
• Şekil 8’de etiket tutarsızlığı bulunmaktadır.
• Genel mimarideki FRB kısaltması açık biçimde tanımlanmamıştır.

Çalışma neyi desteklemektedir?

• Yön bilgili Gabor öncüllerinin atımlı görüntü restorasyonunda yararlı olabileceğini desteklemektedir.
• Yerel ve küresel özelliklerin çift yolda işlenmesinin temel SNN’ye göre daha yüksek doğruluk sağlayabildiğini göstermektedir.
• Frekans alanı ve yağmur maskesi işlemenin birlikte kullanıldığında performansı artırabildiğini göstermektedir.
• BiSNet’in seçilen üç sentetik veri kümesinde karşılaştırılan yöntemlerden daha yüksek PSNR ve SSIM verdiğini göstermektedir.
• BiSNet’in mevcut iki SNN tabanlı yağmur giderme yönteminden daha doğru olduğunu göstermektedir.
• Dört zaman adımının altı adıma yakın sonuçları daha düşük FLOP ile sağlayabildiğini desteklemektedir.
• Atımlı ağlarda doğruluk ile enerji verimliliği arasında ayarlanabilir bir denge kurulabileceğini göstermektedir.

Çalışma neyi kanıtlamamaktadır?

• BiSNet’in bütün yağmur veri kümelerinde en iyi yöntem olduğunu kanıtlamamaktadır.
• 0,02 dB gibi küçük farkların farklı eğitim tekrarlarında korunacağını göstermemektedir.
• Raporlanan enerji değerinin gerçek cihazda aynı şekilde gerçekleşeceğini kanıtlamamaktadır.
• BiSNet’in en düşük enerjili SNN olduğunu göstermemektedir.
• Modelin gerçek zamanlı çalıştığını kanıtlamamaktadır.
• Gerçek yağmurlu görüntülerde nesnel olarak en iyi görsel kaliteyi sağladığını göstermemektedir.
• Yağmur giderme işleminin nesne algılama veya sürüş güvenliğini artırdığını kanıtlamamaktadır.
• Biyolojik görme sisteminin işleyişini doğru biçimde yeniden ürettiğini göstermemektedir.
• DiSA’nın bağımsız katkısını kesin olarak belirlememektedir.
• Yatay yağmur, lens damlası, sis, kar veya gece parlamasında aynı başarıyı garanti etmemektedir.

Çalışmanın Yöntemi ve Bulguları

Araştırma tasarımı

Araştırma; yeni bir atımlı sinir ağı mimarisi geliştirme, sentetik eşlenik görüntülerle denetimli eğitim, CNN–Transformer–SNN karşılaştırması, gerçek görüntülerde nitel inceleme, bileşen çıkarma deneyleri ve zaman adımı analizi içeren deneysel bir bilgisayarlı görü çalışmasıdır.

Model girdisi ve çıktısı

Temel modüller

• LIF nöron tabanlı Spiking Convolution Unit
• Zamana bağlı toplu normalizasyon
• Spiking Residual Block
• Gabor Spiking Residual Block
• Mixed Attention Unit
• FrequencyMixerBlock
• RainMaskHead
• RainMaskGate
• Efficient Channel Attention
• Direction-Integrated Skip Attention

Deney veri kümeleri

Ana bulgular

• BiSNet üç sentetik veri kümesinde en yüksek PSNR ve SSIM değerlerini vermiştir.
• En büyük SNN PSNR kazanımı VLIF’e karşı Rain1200’de 1,87 dB’dir.
• Rain1200’de en yakın genel rakibe karşı PSNR farkı yalnızca 0,02 dB’dir.
• Çift yol, temel modele 0,64 dB PSNR kazandırmıştır.
• GaborSRB, aynı çift yol ve FMECA yapısına 0,24 dB eklemiştir.
• FMECA, tam yapıda 0,49 dB ek PSNR sağlamıştır.
• Tam model temel modelden 1,42 dB daha yüksek PSNR vermiştir.
• Dört zaman adımı, altı adımdan yalnızca 0,08 dB daha düşük sonuç vermiştir.
• BiSNet, karşılaştırılan CNN modelleri içinde en düşük enerjili modelden yaklaşık yüzde 22,2 daha düşük raporlanan enerjiye sahiptir.
• VLIF ve ESDNet, BiSNet’ten daha düşük enerji tüketmektedir.

Başarı ölçütlerinin yorum sınırları

Sentetik veri kümelerinde PSNR ve SSIM temiz hedef görüntülere göre hesaplanmıştır. Bu ölçütler aynı test görüntüleri üzerinde tek değer olarak verilmiştir. Görüntü başına dağılımlar, güven aralıkları veya tekrarlar arası değişim paylaşılmamıştır.

Gerçek görüntülerde hedef bulunmadığından sonuçlar görsel örneklere dayanmaktadır. Çalışmada gerçek dünya başarısını nicel olarak destekleyecek bağımsız bir değerlendirme bulunmamaktadır.

Tekrarlanabilirlik açısından eksik bilgiler

• Eğitim ve doğrulama kayıp fonksiyonları
• Vekil gradyan işlevi
• LIF eşik, reset ve zaman sabitleri
• Spike kodlama ayrıntıları
• Katman bazlı spike oranları
• Enerji hesabının denklemi ve donanım varsayımları
• Rastgele tohumlar ve deney tekrarları
• Görüntü artırma ayarları
• Çıkarım süresi ve bellek tüketimi
• Rakip modellerin yeniden eğitim prosedürleri
• Kaynak kodu ve model ağırlıkları

Gerçek uygulamaya geçiş için gerekli adımlar

• Nöromorfik işlemcide gerçek watt ve joule ölçümü
• Mobil GPU, FPGA ve kenar işlemcilerinde gecikme testi
• Gece, sis, far parlaması ve rüzgârlı yağmur veri kümeleri
• Lens üzerindeki damlalar ve yağmur birikmesi için ayrı modelleme
• Türkiye’ye ait gerçek yağış görüntüleriyle dış doğrulama
• Yağmur giderme öncesi ve sonrası nesne algılama karşılaştırması
• Farklı yağmur açıları için performans tablosu
• Birden fazla rastgele tohumla güven aralıkları
• DiSA’nın bağımsız ablation deneyi
• Maske doğruluğunun IoU ve F1 gibi ölçütlerle değerlendirilmesi
• Gerçek görüntülerde kör insan değerlendirmesi
• Kod, ağırlık ve eğitim yapılandırmasının paylaşılması

Kaynak ve Yöntem Notu

Çalışmanın özgün adı: Bio-inspired Spiking Neural Network for Single Image Deraining

Yazarlar: Yuwei Chen; Yuwei Deng; Zhefei Cai; Tong Zhu; Bin Zhao; Yingle Fan.

Yazar sıralaması: Yukarıdaki sıra çalışmadaki özgün yazar sırasını korumaktadır.

Eş katkı bilgisi: Çalışmada eş birinci yazar veya eş katkı beyanı yer almamaktadır.

Sorumlu yazar: Yingle Fan.

Yazar e-postaları:

• Yuwei Chen: yuweichen@hdu.edu.cn
• Yuwei Deng: yuweideng@hdu.edu.cn
• Zhefei Cai: zfcai@cjlu.edu.cn
• Yingle Fan: fan@hdu.edu.cn

Diğer yazar e-postaları: Tong Zhu ve Bin Zhao için ana başlık sayfasında e-posta adresi verilmemiştir.

ORCID bilgileri:

• Yuwei Chen: 0009-0007-2123-2651
• Yingle Fan: 0000-0002-7478-9687

Kurumlar:

• School of Automation, Hangzhou Dianzi University, Hangzhou 310018, Çin.
• College of Information Engineering, China Jiliang University, Hangzhou 310018, Çin.

DOI:10.2139/ssrn.7212892

Resmî yayın platformu: SSRN.

Resmî çalışma bağlantısı:SSRN çalışma sayfası

SSRN yükleme tarihi: 31 Temmuz 2026.

Yayın yılı: 2026.

Dosya uzunluğu: SSRN kaydında 21 sayfa. Ana makalenin kendi sayfa numaralandırması 13 sayfadır; yüklenen dosyada ek tam sayfa şekil görselleri bulunmaktadır.

Dergi: Bu sürüm için belirli bir hakemli dergi adı veya kabul kararı yer almamaktadır.

Yayın durumu: Belgede “Preprint submitted to Elsevier” ifadesi bulunmaktadır. Bu ifade, çalışmanın bir Elsevier dergisince kabul edildiği veya hakem değerlendirmesini geçtiği anlamına gelmemektedir.

Kaynak türü: Atımlı sinir ağı mimarisi, sentetik benchmark karşılaştırmaları, gerçek görüntülerde nitel değerlendirme ve ablation deneyleri içeren bilgisayarlı görü preprint araştırması.

Hakemlik durumu: Çalışma hakem değerlendirmesinden geçmemiştir. Dosyanın her sayfasında “Preprint not peer reviewed” uyarısı bulunmaktadır.

Finansman: Araştırma, Zhejiang Provincial Applied Basic Research Program kapsamındaki Xinmiao Project tarafından 2026XMHD023 numaralı destekle finanse edilmiştir.

Yazar katkıları:

• Yuwei Chen: Kavramsallaştırma, yöntem, yazılım, doğrulama, biçimsel analiz, araştırma ve yazım.
• Yuwei Deng: Yöntem ve veri düzenleme.
• Zhefei Cai: Biçimsel analiz, kaynaklar ve inceleme.
• Tong Zhu: Yazılım ve görselleştirme.
• Bin Zhao: Kaynaklar ve danışmanlık.
• Yingle Fan: Kavramsallaştırma, danışmanlık ve inceleme.

Çıkar çatışması: Ana metinde açık bir çıkar çatışması beyanı yer almamaktadır.

Veri erişimi: Rain200L, Rain200H, Rain1200 ve RW-Data adlı mevcut veri kümeleri kullanılmıştır. Ana metinde bu veri kümelerinin doğrudan indirme bağlantıları verilmemiştir.

Kod ve model erişimi: Kaynak kodu, eğitilmiş ağırlıklar, tam yapılandırma dosyaları ve deney günlükları için açık erişim bağlantısı sunulmamıştır.

Enerji ölçüm notu: Karşılaştırma tablosunda µJ cinsinden enerji değerleri verilmiş; ancak fiziksel ölçüm cihazı, enerji hesaplama formülü, MAC ve AC katsayıları, spike oranı veya hedef nöromorfik donanım açıklanmamıştır. Bu nedenle değerler gerçek saha güç tüketimi olarak doğrulanamamaktadır.

Görsel ve yöntem tutarsızlıkları: Şekil 8 açıklamasında düşük, orta ve yüksek seviyeli özelliklerden söz edilmesine rağmen iki alt görsel aynı “Gabor Converge-Mid” etiketiyle sunulmuştur. Genel mimaride görülen FRB kısaltmasının açık tanımı da ana yöntem metninde bulunmamaktadır.

Bu Türkçe açıklama; yüklenen çalışmanın mimari şemaları, Gabor çekirdek tanımları, FMECA ve DiSA denklemleri, veri kümesi açıklamaları, eğitim ayarları, PSNR–SSIM tablosu, parametre–FLOP–enerji karşılaştırması, gerçek görüntü örnekleri, yağmur maskeleri, Gabor özellik görselleştirmeleri, ablation tablosu ve zaman adımı sonuçları incelenerek hazırlanmıştır. Bilimsel sonuçlara çalışma dışından yeni deney veya performans değeri eklenmemiştir.

Çalışma, biyolojik yön seçiciliğinden esinlenen Gabor öncülleri ile frekans ve maske tabanlı dikkat mekanizmalarının atımlı görüntü restorasyonunda doğruluk artışı sağlayabileceğini desteklemektedir. Temel sınır, bu başarıların sentetik veri kümelerindeki tekil ölçümlere ve yöntemi açıklanmayan enerji tahminlerine dayanmasıdır. Model gerçek nöromorfik donanımda, gerçek zamanlı bir görüntüleme sisteminde veya güvenlik açısından kritik bir bilgisayarlı görü hattında doğrulanmadan uygulamaya hazır kabul edilmemelidir.