Bu tədqiqat, yşəbəkəış xətləriyle bozulan tek bir görüntüyü düşük enerji istehlaxınyle temizlemek üçün BiSNet adlı bioloji görmədən ilhamlanan bir spayk neyron şəbəkəsi təklif edir. Spayk neyron şəbəkələri, bilgiyi davamlı sürüşən vergüllü aktivləşdirməler yerine çoğunlukla 0 və ya 1 dəyərli seyrək spayk hadisələriyla işler. Bu özellik, etkin olmayan neyronlarda gereksiz hesablamayı azaltma potensialı daşıyırken görüntü bərpasında renk, tekstura və incə kənar bilgisinin kaybolmasına da yol açabilir. BiSNet’in təməl amacı, bu bilgi kaybını azaltırken atımlı hesablamanın düşük enerji avantajını korumaktır.

Model, bioloji görmə dumantemindeki ayrıntı və yön bilgisine duyarlı ventral yol ilə daha geniş görsel bşəbəkəlamı dəyərlendiren dorsal yol arasındaki iş bölümünden esinlenen iki kollu bir mimari kullanmaktadır. Yerel kol, yşəbəkəış xətlərinin çoğunlukla şaquli və ya maili uzanmasından yararlanarak Gabor tabanlı atımlı konvolyusiyalerle yönlü xüsusiləri çıqarır. Küresel kol isə görüntünün genel strukturunı, yşəbəkəışdan təsirlənən bölgeleri və tezlik sahəsindaki yüksək tezlikli pozulmaları dəyərlendirir. İki kol, kodlayıcı boyunca birbirleriyle etgiləşmekte və dekoder aşamasına yön məlumatlı atlama keçidları göndermektedir.

BiSNet üç təməl özel komponent içermektedir. Gabor Spiking Residual Block, 0°, 45°, 90° və 135° gibi yönlere duyarlı Gabor nüvəleriyle yşəbəkəış xətlərini yakalamaktadır. FMECA modulü, Fourier sahəsinda spektral genliği uyarlarken fazaa məlumatıni korumakta; uzamsal kolda isə yşəbəkəmurdan etgilənmiş bölgeleri belirleyen bir maska üretmektedir. DiSA modulü, kodlayıcıdan dekoderye aktarılan xüsusilərde 45°, 90° və 135° yönlerindeki yşəbəkəmur tepgilərini semantik bilgilərle birleştirerek gerçek nesne kenarlarıyla yşəbəkəış xətlərini ayırmaya tədqiqatktadır.

Rain200H, Rain200L və Rain1200 adlı sentetik məlumat kümelerinde BiSNet, qarşılaştırılan bütün üsuller üçünde ən yüksək PSNR və SSIM dəyərlərini vermiştir. Model Rain200H’də 29,88 dB və 0,9180; Rain200L’də 40,31 dB və 0,9877; Rain1200’də 34,61 dB və 0,9398 nəticələrina ulaşmıştır. Rain1200’də en yaxınn rakibe görə PSNR avantajı yalnızca 0,02 dB iken Rain200L’də fark 0,78 dB’ye çıkmıştır. Bu nedenle üstünlüğün böyüklüğü məlumat kümesine görə değişmektedir.

BiSNet 1,108 milyon parametre, 12,494 milyar FLOP və \(1{,}562\times10^5\) µJ kimi raporlanan enerji xərcine sahiptir. Enerjisi, cədvəldaki ən aşşəbəkəı enerjili CNN modeli NAFNet’ten təxminən yüzde 22,2 daha düşüktür. Bunun əksinə daha kiçik atımlı modeller olan ESDNet və VLIF, BiSNet’ten daha az enerji tüketmektedir. BiSNet’in töhfəsi ən aşşəbəkəı enerji dəyərini sşəbəkəlamak değil, atımlı şəbəkəların dəqiqlik–enerji dengesini daha yüksek görüntü keyfiyyəti yönünde geliştirmektir.

Türkiyə baxımından: BiSNet yaklaşımı; yşəbəkəış altında çalışan trafik kameraları, sürücü dəstək dumantemləri, pilotsuz uçuş aparatları, təhlükəsizlik kameraları, kənd təsərrüfatı görüntüləməsi, dəmir yolu və avtomagistral izleme dumantemleri gibi alanlarda araştırılabilir. Türkiyədə tətbiq əvvəlsinde Karadeniz, Marmara və yüksek yşəbəkəış alan kentlerde gecə-gündüz, fara əksi, duman, qarla qarışıq yşəbəkəış, linza üzərindəki damcılar və rüzgârla üfüqilaşan yşəbəkəış şərtlərını içeren yerli məlumat kümeleri oluşturulmalıdır. Model gerçek bir kənar cihaznda və ya neyromorfik işlemcide gecikme, watt cinsinden güç, yaddaş istifadəsi və sonraxın obyekt aşqarlanması görəvlerine etkisiyle sınanmalıdır. Tədqiqatdan Türkiyədəki trafik və ya təhlükəsizlik dumantemlerinde birbaşa kullanıma hazır bir ürün, bütün yşəbəkəış biçimlerinde inamılir nəticə və ya doğrulanmış fiziksel enerji qənaəti çıqarılamaz.

Tek görüntüden yşəbəkəış aradan qaldırma problemi nedir?

Yşəbəkəmur ardıcıllıqsında çegilən görüntülərde ince çizgilər, yoğun beyaz bantlar, düşük kontrast, ışık saçılması və yerli bulanıqlıq oluşabilir. Bu bozulmalar yalnızca görüntünün estetik kalitesini düşürmez; obyekt aşqarlanması, izləmə, sinifləndirmə və səhnə anlama gibi sonraxın bilgisayarlı görü görəvlerinin girdisini də değiştirir.

Tek görüntüden yşəbəkəış aradan qaldırma, yalnızca bir yşəbəkəmurlu qareden təmiz görüntünün tahmin edilmesini amaçlar. Video üsullerinin aksine əvvəlki və sonraxın qarelerden hareket bilgisi alınamaz. Modelin eyni anda iki qarşıt hədəfi dengelemesi lazımdır:

• Yşəbəkəmur çizgilərini və yşəbəkəışın oluşturduğu yüksək tezlikli pozulmaları kaldırmak
• İnce nesne kenarlarını, saç, bitki, tel, yol çizgisi və benzeri gerçek strukturları korumak

Yşəbəkəmur çizgiləri ilə gerçek görüntü kenarları benzer doğrultulara və yüksek tezlik xüsusilərine sahip olabiləceğinden, aşırı güclü giderme işlemi gerçek teksturaları siləbilir. Yetersiz giderme isə görüntüde yşəbəkəmur kalıntıları bırakabilir.

Neden spayk neyron şəbəkəsi istifadə edilmişdir?

Geleneksel konvolyusiyali sinir şəbəkəları və Transformer modelleri, çox sayıda müddətkli dəyərli çarpma-toplama işlemi gerçekleştirir. Spayk neyron şəbəkələri isə neyronların yalnızca hədd aşıldığında spayk üretmesine dayanır. Spike oluşmayan konumlarda seyrək və hadisə əsaslı hesablama strukturlabilmesi, xüsusilə uygun neyromorfik donanım üzərində enerji qənaəti potensialı oluşturur.

Yşəbəkəmurdan etgilənen piksellerin çevrelerine görə ani sıxlıq değişimleri göstermesi, tədqiqatçıların yorumuna görə igili spayk tepgiləriyle doğal bir uyum daşıyır. Bununla belə görüntü bərpası yoğun və müddətkli dəyərli bir çıktı gerektirir. Spike aktivləşdirməlerinin igili strukturu aşşəbəkəıdaxın bilgilərin kaybolmasına neden olabilir:

• Hafif renk geçişleri
• Düşük kontrastlı kenarlar
• İnce səth teksturaları
• Yşəbəkəmur çizgisinin şeffaflık derecesi
• Arka plan ilə bozulma arasındaki kiçik sıxlıq farkları

BiSNet, iki yollu özellik çıqarma, yönlü Gabor öncülleri, tezlik sahəsi işleme və diqqət mekanizmalarıyla bu bilgi kaybını azaltmayı hədəfləyir.

BiSNet’in genel mimarisi nasıldır?

Tədqiqatın 3. sayfasındaki Şegil 1 və 14. sayfadaki tam boyutlu mimari çizimi, şəbəkəın yşəbəkəışlı görüntüden təmiz görüntüye kadar olan axınşını göstərir.

1. Tek yşəbəkəışlı görüntü zaman oxunde çoğaltılarak bir spayk dizisine dönüştürülür.
2. Görüntü, yerli GaborConv kolu və küresel özellik çıqarma kolu olmak üzere iki kola ayrılır.
3. Yerel kolda GaborSRB blokları yönlü yşəbəkəmur və kenar xüsusilərini çıqarır.
4. Küresel kolda standart Spiking Residual Block və FMECA modullari bşəbəkəlam, tezlik və yşəbəkəış maskası bilgisini işler.
5. İki kolun xüsusiləri kodlayıcının fərqli seviyelerinde birleştirilir.
6. DiSA modullari, kodlayıcı xüsusilərini yönlü və semantik kimi süzüp dekoderye aktarır.
7. Çözücüdeki SRB blokları çözünürlüğü və görüntü ayrıntılarını yeniden oluşturur.
8. Şema, yşəbəkəışlı giriş ilə şəbəkə çıktistilik arasında qalıq keçidsı bulunduğunu göstərir.

Mimari, yerli yön bilgisinin qlobal qola rehberlik etmesini amaçlamaktadır. Böylece şəbəkə yalnızca geniş görüntü bşəbəkəlamını değil, yşəbəkəış xətlərinin yönünü və gerçek obyekt sərhədləriyla ilişkisini də kullanmaktadır.

Biyolojik iki yol benzetmesi nasıl kullanılmaktadır?

Tədqiqatçılar yerli Gabor kolunu bioloji görmədeki ventral yolun ayrıntı və yön seçiciliğiyle, qlobal qolu isə dorsal yolun geniş görsel bşəbəkəlam işlemesiyle ilişgiləndirmektedir. Bu benzetme mimarinin tasarım gerekçesidir.

Tədqiqatda insan və ya hayvan görsel dumantemi üzərində təcrübə strukturlmamış, biyolojik neyron kayıtlarıyla model etkinlikleri qarşılaştırılmamıştır. Bu nedenle “bioloji baxımdan ilhamlanmış” ifadesi, mimari analoji və Gabor reseptif alan öncüllerini anlatmaktadır; şəbəkəın bioloji görməyi tam kimi modellediğini göstermez.

Spiking Residual Block hangi komponentləri içermektedir?

Tədqiqatın 5. və 15. sayfalarındaki Şegil 2, standart Spiking Residual Block ilə GaborSRB strukturunı müqayisəktadır. Standart blokta:

• LIF neyronu
• Atımlı konvolyusiya
• Zamana bşəbəkəlı toplu normalizasyon və ya tdBN
• Artık keçidsı
• Mixed Attention Unit

bulunmaktadır. Mixed Attention Unit şemada zamanla bşəbəkəlı diqqət, kanal diqqəti və uzamsal diqqət komponentlərini içermektedir. Ana mətnde bu üç alt komponentin ayrıntılı tənlikleri məlumatlmemiştir.

Gabor Spiking Residual Block nasıl tədqiqatktadır?

Gabor filtreleri belirli bir yön və uzamsal tezliktaki çizgiləre güclü yanıt veren filtrelerdir. Tədqiqatda yşəbəkəış xətlərinin çoğunlukla şaquli və ya maili olması, Gabor tabanlı başlanğıc nüvəlerinin seçilmesinin təməl gerekçesidir.

GaborSRB’də konvolyusiya şəbəkəırlıkları sabit tutulmamaktadır. Önce yşəbəkəmur yönlerine duyarlı Gabor işlevleriyle başlatılmakta, daha sonra təlim ardıcıllıqsında məlumatyle birlikte uyarlanmaktadır. Böylece başlanğıctaki yön seçiciliğin korunması ilə görəv özelinde öğrenme arasında denge kurulmaya çalışılmaktadır.

Sığ qatlarda istifadə edilən nüvəler ana və çevresel reseptif alanların farkına dayanmaktadır. Tədqiqatdaki təməl struktur aşşəbəkəıdaxın biçimde özetlenebilir:

\[ K_1 = \operatorname{Gabor}(x,y;\theta_1,\sigma_3) -\beta\,\operatorname{Gabor}(x,y;0^\circ,\sigma_4) \]

və işaret yönü ters çevrilmiş eş çekirdeğidir. İkinci struktur iki fərqli yönü müqayisəktadır:

\[ K_2 = \operatorname{Gabor}(x,y;\theta_1,\sigma_1) -\operatorname{Gabor}(x,y;\theta_2,\sigma_2) \]

Derin qatlarda istifadə edilən üçüncü struktur, ana yönü üfüqi və maili yardımcı komponentlərin birleşiminden ayırmaktadır:

\[ K_3 = \operatorname{Gabor}(x,y;\theta_1,\sigma_1) -\left[ \alpha\,\operatorname{Gabor}(x,y;0^\circ,\sigma_2) +\operatorname{Gabor}(x,y;\theta_2,\sigma_2) \right] \]

Tədqiqatdaki açılar:

• \(\theta_1\in\{0^\circ,45^\circ,90^\circ,135^\circ\}\)
• \(\theta_2\in\{45^\circ,135^\circ\}\)
• \(\alpha=18\%\)
• \(\beta=26\%\)

kimi müəyyən edilmişdir. \(\sigma_1\) və \(\sigma_2\) sığ qatlardaki merkez və çevre alanlarını, \(\sigma_3\) və \(\sigma_4\) isə derin qatlardaki alan böyüklüklerini temsil etmektedir.

Bu struktur şaquli və çapraz yşəbəkəış xətlərine güclü bir başlanğıc tepkisi sşəbəkəlar. Lakin üfüqia yaxınn yşəbəkəmur, eğri damla izleri, lens üzərindəki böyük damlalar və ya ışık saçılması üçün ayrı yön bazlı performans nəticələri raporlanmamıştır.

GaborSRB görselleştirmesi ne göstərir?

10. və 21. sayfalardaki Şegil 8’də təlim başlangıcındaki düşük seviyeli Gabor tepgiləri ilə təlim sonrasındaki daha derin özellik xəritəları gösterilmektedir.

• Başlangıçta filtreler çox sayıda maili yşəbəkəmur çizgisine və obyekt kənarına güclü yanıt vermektedir.
• Orta qatlarda tepgilər daha seçici hâle gelmekte və bazı arka plan çizgiləri bastırılmaktadır.
• Derin qatların obyekt sərhədləri ilə daha soyut strukturları öne çıqardığı iləri sürülmektedir.

Bu görseller modelin hangi bölgelere tepki verdiğini nitel kimi göstərir. Lakin özellik xəritəsı, belirli bir modulün nedensel kimi doğru yşəbəkəmur ayrımını yaptığına tek başına kanıt oluşturmaz. Həmçinin şeklin son iki satırındaki etiketlerin ikisi də “Gabor Converge-Mid” kimi yazılmıştır; açıklamada üçüncü satırın yüksek düzey özellik olduğu belirtilmektedir.

FMECA modulü tezlik sahəsinı nasıl kullanmaktadır?

FMECA, metnin fərqli bölümlerinde Spiking Frequency Mask Attention Block və Frequency-Mask-guided Efficient Channel Attention ifadeleriyle tanımlanmaktadır. Modül üç ana parçadan oluşur:

• FrequencyMixerBlock
• RainMaskHead və RainMaskGate
• Efficient Channel Attention

Frekans kolunda her zaman addımındaki özellik xəritəsına iki boyutlu gerçek Fourier çevrilməü uygulanır. Spektrumun genliği 1 × 1 konvolyusiyale uyarlanırken faza komponenti korunur. Değiştirilən spektr tərs Fourier çevrilməsiyle uzamsal alana getirilir.

Frekansla güçlendirilmiş özellik \(F\), özgün giriş \(x_{tb}\) ilə qalıq keçidsında birleştirilir:

\[ Y=x_{tb}+F \]

Bu yaklaşımın amacı, yşəbəkəış xətlərinin yüksek tezliklı və yönlü spektral komponentlərini qlobal kontekst üçünde aydınleştirmektir.

Yşəbəkəmur maskasi nasıl oluşturulmaktadır?

RainMaskHead, spayk özellik tensörü \(p\) üzərindən əvvəl yerli kenar tepkisi üretir:

\[ E_t=\operatorname{tdBN} \left( \operatorname{Conv}_{3\times3}(\operatorname{LIF}(p)) \right) \]

Her zaman addımındaki pozitif yanıtların ortası alınır:

\[ M=\frac{1}{T}\sum_{t=1}^{T}\operatorname{ReLU}(E_t) \]

Daha sonra 1 × 1 konvolyusiya və Sigmoid ilə 0–1 aralığında yşəbəkəmur aydınlik maskasi oluşturulur:

\[ M_{\mathrm{rain}}= \operatorname{Sigmoid} \left( \operatorname{Conv}_{1\times1}(M) \right) \]

RainMaskGate, yşəbəkəmur və arka plan bölgelerine ayrı konvolyusiyaler uygular:

\[ Y_{\mathrm{gate}} = \operatorname{Conv}_{\mathrm{rain}}(f)\odot M_{\mathrm{rain}} + \operatorname{Conv}_{\mathrm{bg}}(f)\odot (1-M_{\mathrm{rain}}) \]

Bu ayrım, şəbəkəın yşəbəkəışdan təsirlənən bölgeleri daha güclü işlemeyi, temiz və ya struktur bölgelerde isə ayrıntıyı korumayı öğrenmesini amaçlamaktadır.

Yşəbəkəmur maskasi görselleri ne göstərir?

9. və 20. sayfalardaki Şegil 7’də beş sütun bulunmaktadır:

• Yşəbəkəmurlu giriş
• Yşəbəkəmurlu və təmiz görüntünün farkından oluşturulan psevdo-referans maska
• BiSNet’in tahmin ettiği maska
• Temizlenmiş nəticə
• Temiz hədəf

Tahmin edilən maskaler, yoğun və maili yşəbəkəış xətlərinde güclü yanıtlar üretmektedir. Maskeler sözde referansın birebir kopyası değildir; daha yaygın və müddətkli alanlar yaratmaqtadır. Tədqiqatçılar bunun şəbəkəın yalnızca piksel farkını taklit etmek yerine bozulma bölgelerini öğrendiğine işaret ettiğini belirtmektedir.

Maskelerin doğruluğu üçün IoU, F1, dəqiqlik və ya həssaslıq gibi ayrı bir nicel ölçüt sunulmamıştır. Görsel benzerlik, maska kolunun yşəbəkəmur bölgelerini doğru ayırdığını desteklese də tam doğruluğunu belirlemez.

DiSA modulü neden lazımlıdir?

Kodlayıcı–dekoder şəbəkəlarda atlama keçidları, yüksək ayırdetməli xüsusilərin dekoderye aktarılmasını sşəbəkəlar. Lakin kodlayıcıdaki xüsusilər gerçek nesne kenarlarıyla birlikte yşəbəkəış xətlərini də taşıyabilir. Bunlar birbaşa aktarılırsa dekoder kaldırılmış yşəbəkəmuru yeniden görüntüye ekleyebilir.

Direction-Integrated Skip Attention və ya DiSA, kodlayıcı özelliği \(x\) ilə dekoder özelliği \(g\) arasında semantik uyum və yönlü ayrım kurmaktadır.

Önce iki özellik 1 × 1 izdüşümlerle ortak alana taşınır:

\[ q=w_g(g)+w_x(x) \]

Kodlayıcı və dekoder xüsusilərinin birleştirilmiş temsili üzərində 45°, 90° və 135° Gabor filtreleri uygulanır:

\[ O_k=\left|G_{\theta_k}*s\right|, \qquad \theta_k\in\{45^\circ,90^\circ,135^\circ\} \]

Semantik qapı, her pikselde hangi yönün daha mühüm olduğunu belirleyen şəbəkəırlıkları üretir:

\[ W= \operatorname{Softmax} \left( \operatorname{Conv}_{1\times1} (\operatorname{Sigmoid}(q)) \right) \]

Yönsel tepgilər şəbəkəırlıklı kimi birleştirilir:

\[ A_{\mathrm{dir}} = \sum_{k=1}^{K}W_k\odot O_k \]

Yönsel və semantik bilgilərden son diqqət xəritəsı hesaplanır:

\[ A= \operatorname{Sigmoid} \left( \operatorname{Conv}_{1\times1} \left[ A_{\mathrm{dir}}, \operatorname{Conv}_{1\times1}(q) \right] \right) \]

Atlama özelliği bu xəritəyla süzülür:

\[ x_{\mathrm{out}}=A\odot x \]

DiSA üçünde yönlü Gabor filtreleri sabit öncüller kimi kullanılmakta və ek öğreniləbilir parametre yükü məhdud tutulmaktadır.

Hangi məlumat kümeleri istifadə edilmişdir?

Sentetik məlumat kümelerinde yşəbəkəışlı görüntünün təmiz hədəfi bulunduğu üçün piksel və struktur benzerliği ölçülebilmektedir. RW-Data’da temiz eşlenik hədəf bulunmadığından PSNR və ya SSIM hesaplanmamıştır.

PSNR və SSIM neyi ölçmektedir?

PSNR, yeniden oluşturulan görüntü ilə təmiz hədəf arasındaki piksel düzeyindeki xətaya duyarlıdır. Daha yüksek dəyər, genel kimi daha düşük orta piksel xətası anlamına gelir.

SSIM isə görüntüləri parlaklık, kontrast və struktur benzerlik açistilikndan dəyərlendirir. Yüksek SSIM dəyəri, obyekt sərhədlərinın və yerli strukturların hədəfe daha yaxınn korunduğunu gösterir.

Bu iki ölçüt görüntü bərpasında yaygın olmakla birlikte algısal doğallığı, renk doğruluğunu və ya sonraxın obyekt aşqarlanması performansını tek başına tam kimi temsil etmez.

Eğitim və tətbiq ayarları nelerdir?

Tədqiqatda görüntü artırma işlemleri, renk normalizasyonu, itki funksiyası, LIF hədd dəyərləri, neyron zaman sabitleri, surroqat qradiyent işlevi, şəbəkəırlık başlanğıclarının tamamı və erkən dayandırma ölçütü ayrıntılı kimi açıklanmamıştır.

Ana müqayisə nəticələri nelerdir?

Rain200H nəticələri nasıl yorumlanmalıdır?

Yoğun yşəbəkəış xətlərinden yaranan Rain200H’də BiSNet 29,88 dB PSNR və 0,9180 SSIM elde etmiştir. İkinci ən yüksək PSNR 29,62 dB, ikinci ən yüksək SSIM 0,9126 ilə CPRA’ya aittir.

• PSNR farkı: 0,26 dB
• SSIM farkı: 0,0054

7. və 18. sayfalardaki görsel müqayisəda BiSNet’in yoğun çapraz yşəbəkəış xətlərini kaldırdığı və mercan ilə su səthindeki ayrıntıları hədəf görüntüye yaxınn koruduğu gösterilmektedir. Bazı rakiplerde kiçik yşəbəkəmur kalıntıları, renk değişimleri və ya yumuşama işaretlenmiştir.

Rain200L nəticələri nasıl yorumlanmalıdır?

Seyrek yşəbəkəmur məlumat kümesi Rain200L’də BiSNet 40,31 dB PSNR və 0,9877 SSIM vermiştir.

• İkinci ən yüksək PSNR: CPRA, 39,53 dB
• PSNR farkı: 0,78 dB
• İkinci ən yüksək SSIM: MPRNet, 0,9869
• SSIM farkı: 0,0008

PSNR farkı bu məlumat kümesinde aydınken SSIM farkı kiçiktür. Bu durum, piksel xətasında daha güclü iyiləşme elde edilirken struktur benzerlikte rakip modellerin də hədəfe oldukça yaxınn olduğunu göstərir.

Rain1200 nəticələri nasıl yorumlanmalıdır?

Daha böyük və çeşitli Rain1200 məlumat kümesinde BiSNet 34,61 dB PSNR və 0,9398 SSIM elde etmiştir.

• İkinci ən yüksək PSNR: CPRA, 34,59 dB
• PSNR farkı: 0,02 dB
• İkinci ən yüksək SSIM: HPCNet, 0,9371
• SSIM farkı: 0,0027

BiSNet cədvəl üçünde ən yüksək dəyəre sahip olsa da PSNR üstünlüğü yalnızca 0,02 dB’dir. Tek çalıştırma və istatistiksel değişkenlik məlumatlmediğinden bu kiçik farkın rastgele təlim değişkenliğinden daha böyük olup olmadığı belirlerütubətez.

SNN tabanlı üsullere görə kazanım nedir?

BiSNet, atımlı rakiplerden daha yüksek restorasyon doğruluğu sşəbəkəlamakta; lakin bunun qarşılığında daha fazala parametre, FLOP və raporlanan enerji kullanmaktadır.

Modelin enerji və hesablama dengesi nasıldır?

• BiSNet’in parametr sayı 1,108 milyondur.
• VLIF, ESDNet və CPRA daha az parametre kullanmaktadır.
• BiSNet’in 12,494 milyar FLOP dəyəri yalnızca VLIF və ESDNet’in üzərindədir; cədvəlda üçüncü ən aşşəbəkəı dəyərdir.
• BiSNet’in raporlanan enerjisi 156.200 µJ’dür.
• NAFNet’in 200.800 µJ dəyərine görə təxminən yüzde 22,2 daha düşüktür.
• BiSNet, ESDNet’ten təxminən yüzde 70,7 daha fazala enerji kullanmaktadır.
• BiSNet’in raporlanan enerjisi VLIF’in təxminən 13,4 katıdır.

Bu nəticələr BiSNet’in mutlak kimi en səmərəli şəbəkə olmadığını göstərir. Model, daha fazala SNN hesablama maya dəyərii qarşılığında CNN və Transformer düzeyine yaklaşan və ya onları aşan görüntü keyfiyyəti sşəbəkəlamayı amaçlamaktadır.

Enerji cədvəlsunun nasıl hesaplandığı açıklanmadığı üçün µJ dəyərləri gerçek cihaz güc istehlaxın, batareya müddəti və ya saha performansı kimi birbaşa yorumlanmamalıdır.

Gerçek yşəbəkəışlı görüntülərde ne göstərilmişdir?

8. və 19. sayfalardaki RW-Data müqayisəsında yşəbəkəmurlu bir yol və bitki örtüsü görüntüsü istifadə edilmişdir. Tədqiqatçılar bazı üsullerde:

• Yşəbəkəmur kalıntistilik
• Bitki teksturalarında aşırı yumuşama
• Yerel struktur kaybı
• Doğal olmayan renk geçişi

bulunduğunu, BiSNet’in isə daha temiz və doğal bir görüntü ürettiğini iləri sürmektedir.

RW-Data üçün təmiz hədəf bulunmadığından “en iyi” nəticə yalnızca seçilən görsellerin nitel yorumuna dayanmaktadır. Kör insan dəyərləndirməsi, kullanıcı puanı, NIQE, BRISQUE və ya sonraxın görəv doğruluğu raporlanmamıştır.

Modül çıqarma təcrübələri ne göstərir?

Çift yolun töhfəsi nedir?

Temel model (a) ilə yalnız iki yol eklenen model (b) qarşılaştırıldığında:

• PSNR 38,89’dan 39,53 dB’ye yüksəlmişdir.
• Kazanım 0,64 dB’dir.
• SSIM 0,9826’dan 0,9848’e yüksəlmişdir.
• Parametre sayistilik 0,029 milyondan 0,063 milyona çıkmıştır.

FMECA bulunan modellerde (c) ilə (d) arasındaki 0,46 dB fark da iki yolun töhfəsinı desteklemektedir.

FMECA’nın töhfəsi nedir?

Çift yollu model (b) ilə FMECA eklenen model (c) qarşılaştırıldığında PSNR 0,18 dB, SSIM 0,0005 artmışdır. Bununla belə parametr sayı 0,063 milyondan 0,983 milyona, FLOP dəyəri 2,633 milyardan 10,286 milyara yüksəlmişdir.

GaborSRB və DiSA bulunan model (f) ilə tam model (g) qarşılaştırıldığında FMECA eklenmesi:

• PSNR’ı 0,49 dB artırmışdır.
• SSIM’i 0,0019 artırmışdır.
• FLOP dəyərini təxminən 9,782 milyar artırmışdır.

FMECA, ablasiya cədvəlsunda doğruluğa güclü töhfə sşəbəkəlarken hesablama artışının da böyük bölümünü yaratmaqtadır.

GaborSRB’nin töhfəsi nedir?

Çift yol və FMECA içeren model (c) ilə GaborSRB eklenen model (e) qarşılaştırıldığında:

• PSNR 39,71’den 39,95 dB’ye çıkmıştır.
• Kazanım 0,24 dB’dir.
• SSIM 0,9853’ten 0,9866’ya yüksəlmişdir.
• Ek parametre və FLOP yükü məhdud qalmışdır.

Bu müqayisə Gabor yön öncüllerinin, eyni küresel mimari üçünde ek restorasyon töhfəsi sşəbəkəladığını desteklemektedir.

DiSA’nın bşəbəkəımsız töhfəsi belirlenmiş midir?

Hayır. Makalede DiSA’nın Gabor xüsusilərine və çapraz qat keçidlarına bşəbəkəlı olduğu gerekçesiyle ayrı bir ablasiya strukturlmadığı belirtilmektedir.

Model (b) ilə model (f) qarşılaştırıldığında PSNR 39,53’ten 39,82 dB’ye yükselmektedir. Lakin bu müqayisəda hem GaborSRB hem DiSA eyni anda eklenmiştir. Buna görə 0,29 dB’lik farkın ne kadarının GaborSRB’den, ne kadarının DiSA’dan mənbəlandığı ayrı kimi belirlerütubətez.

Tam model təməl modele görə ne kazandırmaktadır?

Ablation nəticələri dəqiqlik kazancının ücretsiz olmadığını göstərir. Tam model, təməl şəbəkədan daha başarılı olmakla birlikte aydın biçimde daha böyük və hesablama yoğundur.

Zaman adımı sayistilik performansı nasıl etgiləmektedir?

Altı zaman addımı ən yüksək ölçütleri vermiştir. Lakin dört adımdan altı adıma geçişte:

• PSNR yalnızca 0,08 dB yüksəlmişdir.
• SSIM yalnızca 0,0004 yüksəlmişdir.
• FLOP dəyəri 0,877 milyar artmışdır.

Tədqiqatçılar dəqiqlik–hesablama dengesi nedeniyle ana modelde dört zaman addımını seçmiştir.

Tədqiqatın güclü yönleri nelerdir?

• Spayk neyron şəbəkələrinı yalnız sinifləndirmə değil yoğun görüntü bərpası problemine tətbiqktadır.
• Yerel yön bilgisi ilə qlobal kontekstı ayrı kollarda işlemektedir.
• Gabor öncülleri təlim ardıcıllıqsında uyarlanabilir tutulmuştur.
• Uzamsal yşəbəkəış maskası ilə tezlik sahəsi işleme eyni modulde birleştirilmiştir.
• Atlama keçidlarındaki yşəbəkəmur bilgisinin yeniden görüntüye taşınmasını azaltmaya tədqiqatktadır.
• Üç sentetik məlumat kümesinde eyni ölçütlerle kapsamlı model müqayisəsı təqdim edir.
• CNN, Transformer və SNN ailəlerini eyni cədvəlda dəyərləndirməktedir.
• Parametre, FLOP və enerji tahminlerini dəqiqlikla birlikte raporlamaktadır.
• Temel modullar üçün ablasiya təcrübələri strukturlmıştır.
• Zaman adımı ilə dəqiqlik–hesablama ilişkisi araşdırılmışdır.
• Yşəbəkəmur maskaleri və Gabor tepgiləri görselleştirilmiştir.
• Gerçek yşəbəkəmur görüntülərinde nitel test strukturlmıştır.

Tədqiqatın təməl məhdudlıkları nelerdir?

• Tədqiqat rəyçi qiymətləndirməsindən keçməmiş preprintdir.
• Enerji hesabının üsulu və varsayımları açıklanmamıştır.
• Nöromorfik işlemcide gerçek enerji və gecikme ölçməü strukturlmamıştır.
• GPU təlimi ilə neyromorfik çıqarım arasındaki fark dəyərlendirilmemiştir.
• Gerçek dünya məlumat kümesinde nicel referanslı dəyərləndirmə bulunmamaktadır.
• Kör insan dəyərləndirməsi və ya kullanıcı tədqiqatsı strukturlmamıştır.
• Sonuçlar üçün rastgele tohum, standart sapma və ya etibar intervalı məlumatlmemiştir.
• Rain1200’deki 0,02 dB’lik üstünlüğün istatistiksel sabitlığı gösterilmemiştir.
• DiSA modulü bşəbəkəımsız kimi izole edilmemiştir.
• Kayıp fonksionu açıklanmamıştır.
• Vegil qradiyent üsulu və LIF neyron parametreleri məlumatlmemiştir.
• Spike nisbəti və qat bazlı olay sıxlığı raporlanmamıştır.
• Enerji dəyəriyle spayk etkinliği arasındaki keçid gösterilmemiştir.
• Eğitim müddəti və görüntü başına çıxarım gecikməsi məlumatlmemiştir.
• Bellek istifadəsi və saniyədeki görüntü sayistilik raporlanmamıştır.
• Mobil, gömülü və ya kenar cihaz testi strukturlmamıştır.
• Farklı yşəbəkəmur yönleri üçün ayrı performans analizi yoktur.
• Yatay yşəbəkəmur, lens damlası, duman və qar gibi bozulmalar araşdırılmamışdır.
• Gece yşəbəkəmuru, far parlaması və düşük işıq şəraiti ayrı test edilmemiştir.
• Yşəbəkəmur giderme sonrasında obyekt aşqarlanması və ya izləmə başarımı ölçülmemiştir.
• Maske tahmini ayrı segmentasyon ölçütleriyle dəyərlendirilmemiştir.
• Karşılaştırma modellerinin yeniden təlim ayrıntıları açıklanmamıştır.
• Veri artırma və normalizasyon ayarları məlumatlmemiştir.
• Qaynaq kodu, eğitilmiş şəbəkəırlıklar və yeniden istehsal dosyaları üçün keçid sunulmamıştır.
• Şegil 8’də etiket tutarsızlığı bulunmaktadır.
• Genel mimarideki FRB kısaltması açık biçimde tanımlanmamıştır.

Tədqiqat neyi desteklemektedir?

• Yön bilgili Gabor öncüllerinin atımlı görüntü bərpasında yararlı olabiləceğini desteklemektedir.
• Yerel və küresel xüsusilərin iki yolda işlenmesinin təməl SNN’ye görə daha yüksek dəqiqlik sşəbəkəlayabildiğini göstərir.
• Frekans alanı və yşəbəkəış maskası işlemenin birlikte kullanıldığında performansı artırabildiğini göstərir.
• BiSNet’in seçilən üç sentetik məlumat kümesinde qarşılaştırılan üsullerden daha yüksek PSNR və SSIM verdiğini göstərir.
• BiSNet’in mevcut iki SNN tabanlı yşəbəkəış aradan qaldırma üsulunden daha doğru olduğunu göstərir.
• Dört zaman addımının altı adıma yaxınn nəticələri daha düşük FLOP ilə sşəbəkəlayabildiğini desteklemektedir.
• Atımlı şəbəkəlarda dəqiqlik ilə enerji səmərəliliği arasında ayarlanabilir bir denge kurulabiləceğini göstərir.

Tədqiqat neyi sübut etmir?

• BiSNet’in bütün yşəbəkəmur məlumat kümelerinde en iyi üsul olduğunu sübut etmir.
• 0,02 dB gibi kiçik farkların fərqli təlim tekrarlarında korunacşəbəkəını göstermemektedir.
• Raporlanan enerji dəyərinin gerçek cihazda eyni şəgilde gerçekleşeceğini sübut etmir.
• BiSNet’in ən aşşəbəkəı enerjili SNN olduğunu göstermemektedir.
• Modelin gerçek zamanlı çalıştığını sübut etmir.
• Gerçek yşəbəkəışlı görüntülərde nesnel kimi en iyi görsel kaliteyi sşəbəkəladığını göstermemektedir.
• Yşəbəkəmur giderme işleminin obyekt aşqarlanması və ya sürüş inamliğini artırdığını sübut etmir.
• Biyolojik görme dumanteminin işleyişini doğru biçimde yeniden ürettiğini göstermemektedir.
• DiSA’nın bşəbəkəımsız töhfəsinı kesin kimi belirlememektedir.
• Yatay yşəbəkəmur, lens damlası, duman, qar və ya gecə parlamasında eyni başarıyı garanti etmemektedir.

Tədqiqatın Yöntemi və Bulguları

Araşdırma tasarımı

Araşdırma; yeni bir spayk neyron şəbəkəsi mimarisi geliştirme, sentetik eşlenik görüntülərle denetimli təlim, CNN–Transformer–SNN müqayisəsı, gerçek görüntülərde nitel inceleme, komponent çıqarma təcrübələri və zaman addımı analizi içeren eksperimental bir bilgisayarlı görü tədqiqatsıdır.

Model girdisi və çıktistilik

Temel modullar

• LIF neyron tabanlı Spiking Convolution Unit
• Zamana bşəbəkəlı toplu normalizasyon
• Spiking Residual Block
• Gabor Spiking Residual Block
• Mixed Attention Unit
• FrequencyMixerBlock
• RainMaskHead
• RainMaskGate
• Efficient Channel Attention
• Direction-Integrated Skip Attention

Deney məlumat kümeleri

Ana tapıntılar

• BiSNet üç sentetik məlumat kümesinde ən yüksək PSNR və SSIM dəyərlərini vermiştir.
• En böyük SNN PSNR kazanımı VLIF’e qarşı Rain1200’də 1,87 dB’dir.
• Rain1200’də en yaxınn genel rakibe qarşı PSNR farkı yalnızca 0,02 dB’dir.
• Çift yol, təməl modele 0,64 dB PSNR kazandırmıştır.
• GaborSRB, eyni iki yol və FMECA strukturuna 0,24 dB eklemiştir.
• FMECA, tam strukturda 0,49 dB ek PSNR sşəbəkəlamıştır.
• Tam model təməl modelden 1,42 dB daha yüksek PSNR vermiştir.
• Dört zaman addımı, altı adımdan yalnızca 0,08 dB daha düşük nəticə vermiştir.
• BiSNet, qarşılaştırılan CNN modelleri üçünde ən aşşəbəkəı enerjili modelden təxminən yüzde 22,2 daha düşük raporlanan enerjiye sahiptir.
• VLIF və ESDNet, BiSNet’ten daha düşük enerji tüketmektedir.

Başarı ölçütlerinin yorum sınırları

Sentetik məlumat kümelerinde PSNR və SSIM təmiz hədəf görüntüləre görə hesablanmışdır. Bu ölçütler eyni test görüntüləri üzərində tek dəyər kimi məlumatlmiştir. Görüntü başına dşəbəkəılımlar, inam aralıkları və ya tekrarlar arası değişim paylaşılmamıştır.

Gerçek görüntülərde hədəf bulunmadığından nəticələr görsel nümunəlere dayanmaktadır. Tədqiqatda real dünya başaristiliknı nicel kimi destekleyecek bşəbəkəımsız bir dəyərləndirmə bulunmamaktadır.

Tekrarlanabilirlik açistilikndan əskik bilgilər

• Eğitim və doğrulama itki fonksionları
• Vegil qradiyent işlevi
• LIF hədd, reset və zaman sabitleri
• Spike kodlama ayrıntıları
• Katman bazlı spayk nisbətları
• Enerji hesabının tənliki və donanım varsayımları
• Rastgele tohumlar və təcrübə tekrarları
• Görüntü artırma ayarları
• Çıqarım müddəti və yaddaş tüketimi
• Rakip modellerin yeniden təlim prosedürleri
• Qaynaq kodu və model şəbəkəırlıkları

Gerçek tətbiqya geçiş üçün lazımlı adımlar

• Nöromorfik işlemcide gerçek watt və joule ölçməü
• Mobil GPU, FPGA və kenar işlemcilərinde gecikme testi
• Gece, duman, far parlaması və rüzgârlı yşəbəkəmur məlumat kümeleri
• Lens üzərindəki damlalar və yşəbəkəmur birikmesi üçün ayrı modelleme
• Türkiyə’ye ait gerçek yşəbəkəış görüntüləriyle xarici doğrulama
• Yşəbəkəmur giderme əvvəlsi və sonrası obyekt aşqarlanması müqayisəsı
• Farklı yşəbəkəmur açıları üçün performans cədvəlsu
• Birden fazala rastgele tohumla inam aralıkları
• DiSA’nın bşəbəkəımsız ablasiya təcrübəsi
• Maske doğruluğunun IoU və F1 gibi ölçütlerle dəyərlendirilmesi
• Gerçek görüntülərde kor insan qiymətləndirməsi
• Kod, şəbəkəırlık və təlim strukturlandırmasının paylaşılması

Mənbə və Metod Qeydi

Tədqiqatın özgün adı: Bio-inspired Spiking Neural Network for Single Image Deraining

Yazarlar: Yuwei Chen; Yuwei Deng; Zhefei Cai; Tong Zhu; Bin Zhao; Yingle Fan.

Yazar ardıcıllıqlaması: Yuqarıdaki ardıcıllıq tədqiqatdaki özgün müəllif ardıcıllıqsını korumaktadır.

Eş töhfə bilgisi: Tədqiqatda eş birinci müəllif və ya eş töhfə beyanı yer almamaktadır.

Sorumlu müəllif: Yingle Fan.

Yazar e-postaları:

• Yuwei Chen: yuweichen@hdu.edu.cn
• Yuwei Deng: yuweideng@hdu.edu.cn
• Zhefei Cai: zfcai@cjlu.edu.cn
• Yingle Fan: fan@hdu.edu.cn

Diğer müəllif e-postaları: Tong Zhu və Bin Zhao üçün ana başlıq sayfasında e-posta adresi məlumatlmemiştir.

ORCID bilgiləri:

• Yuwei Chen: 0009-0007-2123-2651
• Yingle Fan: 0000-0002-7478-9687

Kurumlar:

• School of Automation, Hangzhou Dianzi University, Hangzhou 310018, Çin.
• College of Information Engineering, China Jiliang University, Hangzhou 310018, Çin.

DOI:10.2139/ssrn.7212892

Resmî yayım platformaası: SSRN.

Resmî tədqiqat keçidsı:SSRN tədqiqat sayfası

SSRN yükleme tarihi: 31 Temmuz 2026.

Yayın yılı: 2026.

Dosya uzunluğu: SSRN kaydında 21 sayfa. Ana makalenin kendi sayfa numaralandırması 13 sayfadır; yüklenen dosyada ek tam sayfa şəgil görselleri bulunmaktadır.

Dergi: Bu sürüm üçün belirli bir hakemli jurnal adı və ya kabul qararı yer almamaktadır.

Yayın durumu: Belgede “Preprint submitted to Elsevier” ifadesi bulunmaktadır. Bu ifade, tədqiqatın bir Elsevier jurnalsince kabul edildiği və ya hakem dəyərləndirməsini geçtiği anlamına gelmemektedir.

Qaynaq türü: Atımlı sinir şəbəkəsi mimarisi, sentetik benchmark müqayisəları, gerçek görüntülərde nitel dəyərləndirmə və ablasiya təcrübələri içeren bilgisayarlı görü preprint araşdırması.

Hakemlik durumu: Tədqiqat rəyçi qiymətləndirməsindən keçməmişdir. Dosyanın her sayfasında “Preprint not peer reviewed” uyaristilik bulunmaktadır.

Finansman: Araşdırma, Zhejiang Provincial Applied Basic Research Program kapsamındaki Xinmiao Project tarafından 2026XMHD023 numaralı destekle finanse edilmiştir.

Yazar töhfəları:

• Yuwei Chen: Kavramsallaştırma, üsul, yazılım, doğrulama, biçimsel analiz, araşdırma və yazım.
• Yuwei Deng: Yöntem və məlumat düzenleme.
• Zhefei Cai: Biçimsel analiz, mənbəlar və inceleme.
• Tong Zhu: Yazılım və görselleştirme.
• Bin Zhao: Qaynaqlar və danışmanlık.
• Yingle Fan: Kavramsallaştırma, danışmanlık və inceleme.

Çıqar çatışması: Ana mətnde açık bir maraqlar toqquşması beyanı yer almamaktadır.

Veri erişimi: Rain200L, Rain200H, Rain1200 və RW-Data adlı mevcut məlumat kümeleri istifadə edilmişdir. Ana mətnde bu məlumat kümelerinin birbaşa indirme keçidları məlumatlmemiştir.

Kod və model erişimi: Qaynaq kodu, eğitilmiş şəbəkəırlıklar, tam strukturlandırma dosyaları və təcrübə günlükları üçün açık erişim keçidsı sunulmamıştır.

Enerji ölçmə notu: Karşılaştırma cədvəlsunda µJ cinsinden enerji dəyərləri məlumatlmiş; lakin fiziksel ölçmə cihazı, enerji hesablama formulaü, MAC və AC katsayıları, spayk nisbəti və ya hədəf neyromorfik donanım açıklanmamıştır. Bu nedenle dəyərler gerçek saha güc istehlaxın kimi doğrulanamamaktadır.

Görsel və üsul uyğunsuzluqları: Şegil 8 açıklamasında düşük, orta və yüksek seviyeli xüsusilərden söz edilmesine rşəbəkəmen iki alt görsel eyni “Gabor Converge-Mid” etiketiyle sunulmuştur. Genel mimaride görülen FRB kısaltmasının açık tanımı da ana üsul metninde bulunmamaktadır.

Bu Türkçe açıklama; yüklenen tədqiqatın mimari şemaları, Gabor nüvə tanımları, FMECA və DiSA tənlikleri, məlumat kümesi açıklamaları, təlim ayarları, PSNR–SSIM cədvəlsu, parametre–FLOP–enerji müqayisəsı, gerçek görüntü nümunələri, yşəbəkəmur maskaleri, Gabor özellik görselleştirmeleri, ablasiya cədvəlsu və zaman addımı nəticələri incelenerek hazırlanmışdır. Bilimsel nəticələra tədqiqat dışından yeni təcrübə və ya performans dəyəri eklenmemiştir.

Tədqiqat, biyolojik yön seçiciliğinden esinlenen Gabor öncülleri ilə tezlik və maska tabanlı diqqət mekanizmalarının atımlı görüntü bərpasında dəqiqlik artışı sşəbəkəlayabiləceğini desteklemektedir. Temel sınır, bu başarıların sentetik məlumat kümelerindeki tegil ölçmələre və üsulu açıklanmayan enerji tahminlerine dayanmasıdır. Model gerçek neyromorfik donanımda, gerçek zamanlı bir görüntüleme dumanteminde və ya təhlükəsizlik açistilikndan kritik bir bilgisayarlı görü hattında doğrulanmadan tətbiqya hazır kabul edilmemelidir.