Ushbu tadqiqot yomg‘ir chiziqlari bilan buzilgan bitta tasvirni kam energiya sarfi bilan tozalash uchun BiSNet deb nomlangan, biologik ko‘rishdan ilhomlangan impulsli neyron tarmoqni taklif etadi. Impulsli neyron tarmoqlar axborotni uzluksiz suzuvchi nuqtali faollashuvlar o‘rniga asosan 0 yoki 1 qiymatli siyrak spike hodisalari orqali qayta ishlaydi. Bu xususiyat faol bo‘lmagan neyronlarda keraksiz hisoblashlarni kamaytirish imkonini bersa-da, tasvirni tiklashda rang, tekstura va nozik qirra axborotining yo‘qolishiga ham olib kelishi mumkin. BiSNet’ning asosiy maqsadi ana shu axborot yo‘qotilishini kamaytirgan holda impulsli hisoblashning kam energiya afzalligini saqlab qolishdir.

Model biologik ko‘rish tizimidagi tafsilot va yo‘nalish axborotiga sezgir ventral yo‘l bilan kengroq vizual kontekstni baholovchi dorsal yo‘l o‘rtasidagi mehnat taqsimotidan ilhomlangan ikki tarmoqli arxitekturadan foydalanadi. Mahalliy tarmoq yomg‘ir chiziqlarining ko‘pincha vertikal yoki qiya cho‘zilishidan foydalanib, Gabor asosidagi impulsli konvolyutsiyalar orqali yo‘nalishli xususiyatlarni ajratadi. Global tarmoq esa tasvirning umumiy tuzilishini, yomg‘irdan ta’sirlangan hududlarni va chastota sohasidagi yuqori chastotali buzilishlarni baholaydi. Ikki tarmoq kodlovchi bo‘ylab o‘zaro ta’sirlashadi va dekoder bosqichiga yo‘nalish axborotli skip-bog‘lanishlarni yuboradi.

BiSNet uchta asosiy maxsus komponentni o‘z ichiga oladi. Gabor Spiking Residual Block 0°, 45°, 90° va 135° kabi yo‘nalishlarga sezgir Gabor yadrolari bilan yomg‘ir chiziqlarini ushlaydi. FMECA moduli Fourier sohasida spektral amplitudani moslashtirar ekan, faza axborotini saqlaydi; fazoviy tarmoqda esa yomg‘irdan ta’sirlangan hududlarni aniqlovchi niqob yaratadi. DiSA moduli kodlovchidan dekoderga uzatiladigan xususiyatlarda 45°, 90° va 135° yo‘nalishlaridagi yomg‘ir javoblarini semantik axborot bilan birlashtirib, haqiqiy obyekt qirralari bilan yomg‘ir chiziqlarini farqlashga urinadi.

Rain200H, Rain200L va Rain1200 nomli sintetik ma’lumotlar to‘plamlarida BiSNet taqqoslangan barcha usullar orasida eng yuqori PSNR va SSIM qiymatlarini bergan. Model Rain200H’da 29,88 dB va 0,9180; Rain200L’da 40,31 dB va 0,9877; Rain1200’da 34,61 dB va 0,9398 natijalariga erishgan. Rain1200’da eng yaqin raqibga nisbatan PSNR ustunligi atigi 0,02 dB bo‘lgan bo‘lsa, Rain200L’da farq 0,78 dB gacha yetgan. Shu sababli ustunlik miqyosi ma’lumotlar to‘plamiga qarab o‘zgaradi.

BiSNet 1,108 million parametr, 12,494 milliard FLOP va \(1{,}562\times10^5\) µJ sifatida hisobot qilingan energiya xarajatiga ega. Uning energiya sarfi jadvaldagi eng kam energiya sarflovchi CNN modeli NAFNet’dan taxminan foiz 22,2 kam. Biroq kichikroq impulsli modellar bo‘lgan ESDNet va VLIF BiSNet’dan kamroq energiya sarflaydi. BiSNet’ning hissasi eng past energiya qiymatini berish emas, balki impulsli tarmoqlarning aniqlik–energiya muvozanatini yuqoriroq tasvir sifati tomon yaxshilashdir.

Turkiya nuqtayi nazaridan: BiSNet yondashuvi; yog‘ingarchilik ostida ishlovchi yo‘l harakati kameralari, haydovchiga yordam tizimlari, uchuvchisiz uchish apparatlari, xavfsizlik kameralari, qishloq xo‘jaligi tasvirlash tizimlari, temiryo‘l va avtomagistral monitoringi kabi sohalarda tadqiq qilinishi mumkin. Turkiyada qo‘llashdan oldin Qora dengiz, Marmara va ko‘p yog‘in tushadigan shaharlarda kunduz-tun, fara akslari, tuman, qor aralash yomg‘ir, linza ustidagi tomchilar va shamol sabab gorizontal tus olgan yog‘in sharoitlarini qamrab oluvchi mahalliy ma’lumotlar to‘plamlari yaratilishi kerak. Model haqiqiy chekka qurilmada yoki neyromorfik protsessorda kechikish, watt birlikdagi quvvat, xotira sarfi va keyingi obyekt aniqlash vazifalariga ta’siri bo‘yicha sinovdan o‘tkazilishi lozim. Tadqiqotdan Turkiyadagi yo‘l harakati yoki xavfsizlik tizimlarida to‘g‘ridan-to‘g‘ri foydalanishga tayyor mahsulot, barcha yog‘in turlarida ishonchli natija yoki tasdiqlangan fizik energiya tejalishi haqida xulosa chiqarib bo‘lmaydi.

Bitta tasvirdan yomg‘irni olib tashlash muammosi nima?

Yomg‘ir paytida olingan tasvirlarda ingichka chiziqlar, zich oq tasmalar, past kontrast, yorug‘lik sochilishi va mahalliy xiralashish paydo bo‘lishi mumkin. Bu buzilishlar nafaqat tasvirning estetik sifatini pasaytiradi; balki obyekt aniqlash, kuzatish, tasniflash va sahnani tushunish kabi keyingi kompyuter ko‘rish vazifalarining kirishini ham o‘zgartiradi.

Bitta tasvirdan yomg‘irni olib tashlash faqat bitta yomg‘irli kadrdan toza tasvirni baholashni maqsad qiladi. Video usullaridan farqli ravishda avvalgi va keyingi kadrlardan harakat axboroti olinmaydi. Model bir vaqtning o‘zida ikki qarama-qarshi maqsadni muvozanatlashi kerak:

• Yomg‘ir chiziqlari va yog‘in hosil qilgan yuqori chastotali buzilishlarni olib tashlash
• Nozik obyekt qirralari, soch, o‘simlik, sim, yo‘l chizig‘i va shunga o‘xshash haqiqiy tuzilmalarni saqlab qolish

Yomg‘ir chiziqlari va haqiqiy tasvir qirralari o‘xshash yo‘nalish hamda yuqori chastotali xususiyatlarga ega bo‘lishi mumkinligi sababli, haddan tashqari kuchli tozalash haqiqiy teksturalarni o‘chirib yuborishi mumkin. Yetarli bo‘lmagan tozalash esa tasvirda yomg‘ir qoldiqlarini qoldirishi mumkin.

Nega impulsli neyron tarmoq ishlatilgan?

An’anaviy konvolyutsion neyron tarmoqlar va Transformer modellari ko‘p sonli uzluksiz qiymatli ko‘paytirish-yig‘ish amallarini bajaradi. Impulsli neyron tarmoqlar esa neyronlar faqat chegara qiymatidan oshganda spike hosil qilishiga asoslanadi. Spike yuz bermagan joylarda siyrak va hodisa bilan boshqariladigan hisoblashni amalga oshirish mumkinligi, ayniqsa mos neyromorfik apparatda energiya tejash salohiyatini yaratadi.

Yomg‘irdan ta’sirlangan piksellarning atrofdagilarga nisbatan keskin intensivlik o‘zgarishlarini ko‘rsatishi, tadqiqotchilar talqiniga ko‘ra, ikkilik spike javoblari bilan tabiiy moslikka ega. Biroq tasvirni tiklash zich va uzluksiz qiymatli chiqishni talab qiladi. Spike faollashuvlarining ikkilik tabiati quyidagi axborotlarning yo‘qolishiga sabab bo‘lishi mumkin:

• Yengil rang o‘tishlari
• Past kontrastli qirralar
• Nozik sirt teksturalari
• Yomg‘ir chizig‘ining shaffoflik darajasi
• Fon bilan buzilish orasidagi kichik intensivlik farqlari

BiSNet ikki yo‘lli xususiyat ajratish, yo‘nalishli Gabor priorlari, chastota sohasi ishlovi va e’tibor mexanizmlari orqali ushbu axborot yo‘qotilishini kamaytirishni maqsad qiladi.

BiSNet’ning umumiy arxitekturasi qanday?

Tadqiqotning 3. sahifasidagi 1-rasm va 14. sahifadagi to‘liq o‘lchamli arxitektura chizmasi tarmoqning yomg‘irli tasvirdan toza tasvirgacha bo‘lgan oqimini ko‘rsatadi.

1. Bitta yomg‘irli tasvir vaqt o‘qi bo‘ylab ko‘paytirilib, spike ketma-ketligiga aylantiriladi.
2. Tasvir mahalliy GaborConv tarmog‘i va global xususiyat ajratish tarmog‘i sifatida ikki qismga ajratiladi.
3. Mahalliy tarmoqda GaborSRB bloklari yo‘nalishli yomg‘ir va qirra xususiyatlarini ajratadi.
4. Global tarmoqda standart Spiking Residual Block va FMECA modullari kontekst, chastota va yomg‘ir niqobi axborotini qayta ishlaydi.
5. Ikki tarmoq xususiyatlari kodlovchining turli darajalarida birlashtiriladi.
6. DiSA modullari kodlovchi xususiyatlarini yo‘nalish va semantika bo‘yicha filtrlab, dekoderga uzatadi.
7. Dekoderdagi SRB bloklari aniqlik va tasvir tafsilotlarini qayta tiklaydi.
8. Sxema yomg‘irli kirish bilan tarmoq chiqishi orasida residual bog‘lanish mavjudligini ko‘rsatadi.

Arxitektura mahalliy yo‘nalish axborotining global tarmoqqa yo‘l-yo‘riq berishini maqsad qiladi. Shu tariqa tarmoq nafaqat keng tasvir kontekstidan, balki yomg‘ir chiziqlarining yo‘nalishi va haqiqiy obyekt chegaralari bilan munosabatidan ham foydalanadi.

Biologik ikki yo‘l analogiyasi qanday qo‘llanadi?

Tadqiqotchilar mahalliy Gabor tarmog‘ini biologik ko‘rishdagi ventral yo‘lning tafsilot va yo‘nalish tanlovchanligi bilan, global tarmoqni esa dorsal yo‘lning keng vizual kontekstni qayta ishlashi bilan bog‘laydi. Bu analogiya arxitekturaning dizayn asosidir.

Tadqiqotda inson yoki hayvon ko‘rish tizimida tajriba o‘tkazilmagan, biologik neyron yozuvlari bilan model faolliklari solishtirilmagan. Shu sababli “biologik ilhomlangan” iborasi arxitektura analogiyasi va Gabor retseptiv maydon priorlarini anglatadi; tarmoq biologik ko‘rishni to‘liq modellashtirishini ko‘rsatmaydi.

Spiking Residual Block qaysi komponentlarni o‘z ichiga oladi?

Tadqiqotning 5. va 15. sahifalaridagi 2-rasm standart Spiking Residual Block bilan GaborSRB tuzilishini taqqoslaydi. Standart blokda:

• LIF neyroni
• Impulsli konvolyutsiya
• Vaqtga bog‘liq batch normalization yoki tdBN
• Residual bog‘lanish
• Mixed Attention Unit

mavjud. Mixed Attention Unit sxemada vaqt e’tibori, kanal e’tibori va fazoviy e’tibor komponentlarini o‘z ichiga oladi. Asosiy matnda ushbu uchta quyi komponentning batafsil tenglamalari berilmagan.

Gabor Spiking Residual Block qanday ishlaydi?

Gabor filtrlari ma’lum bir yo‘nalish va fazoviy chastotadagi chiziqlarga kuchli javob beradigan filtrlardir. Tadqiqotda yomg‘ir chiziqlarining ko‘pincha vertikal yoki qiya bo‘lishi Gabor asosidagi boshlang‘ich yadrolarni tanlashning asosiy sababi hisoblanadi.

GaborSRB’da konvolyutsiya og‘irliklari qat’iy saqlanmaydi. Avval yomg‘ir yo‘nalishlariga sezgir Gabor funksiyalari bilan boshlanadi, so‘ng ta’lim jarayonida ma’lumot bilan birga moslashtiriladi. Shu tariqa boshlang‘ich yo‘nalish tanlovchanligini saqlash bilan vazifaga xos o‘rganish o‘rtasida muvozanat o‘rnatishga harakat qilinadi.

Sayoz qatlamlarda ishlatiladigan yadrolar markaziy va periferik retseptiv maydonlar farqiga asoslanadi. Tadqiqotdagi asosiy tuzilma quyidagicha umumlashtirilishi mumkin:

\[ K_1 = \operatorname{Gabor}(x,y;\theta_1,\sigma_3) -\beta\,\operatorname{Gabor}(x,y;0^\circ,\sigma_4) \]

va ishora yo‘nalishi teskari aylantirilgan juft yadrosi. Ikkinchi tuzilma ikki xil yo‘nalishni taqqoslaydi:

\[ K_2 = \operatorname{Gabor}(x,y;\theta_1,\sigma_1) -\operatorname{Gabor}(x,y;\theta_2,\sigma_2) \]

Chuqur qatlamlarda qo‘llanadigan uchinchi tuzilma asosiy yo‘nalishni gorizontal va qiya yordamchi komponentlar yig‘indisidan ajratadi:

\[ K_3 = \operatorname{Gabor}(x,y;\theta_1,\sigma_1) -\left[ \alpha\,\operatorname{Gabor}(x,y;0^\circ,\sigma_2) +\operatorname{Gabor}(x,y;\theta_2,\sigma_2) \right] \]

Tadqiqotdagi burchaklar:

• \(\theta_1\in\{0^\circ,45^\circ,90^\circ,135^\circ\}\)
• \(\theta_2\in\{45^\circ,135^\circ\}\)
• \(\alpha=18\%\)
• \(\beta=26\%\)

tarzida belgilangan. \(\sigma_1\) va \(\sigma_2\) sayoz qatlamlardagi markaz va atrof maydonlarini, \(\sigma_3\) va \(\sigma_4\) esa chuqur qatlamlardagi maydon o‘lchamlarini ifodalaydi.

Bu tuzilma vertikal va diagonal yomg‘ir chiziqlariga kuchli boshlang‘ich javob beradi. Biroq gorizontalga yaqin yomg‘ir, egri tomchi izlari, linza ustidagi katta tomchilar yoki yorug‘lik sochilishi uchun alohida yo‘nalish bo‘yicha natijalar hisobot qilinmagan.

GaborSRB vizualizatsiyasi nimani ko‘rsatadi?

10. va 21. sahifalardagi 8-rasmda ta’lim boshidagi past darajali Gabor javoblari bilan ta’limdan keyingi chuqurroq xususiyat xaritalari ko‘rsatilgan.

• Boshida filtrlar ko‘plab qiya yomg‘ir chiziqlari va obyekt qirralariga kuchli javob beradi.
• O‘rta qatlamlarda javoblar tanlovchanroq bo‘lib, ayrim fon chiziqlari bostiriladi.
• Chuqur qatlamlar obyekt chegaralari va yanada abstrakt tuzilmalarni ajratib ko‘rsatishi ta’kidlanadi.

Bu tasvirlar modelning qaysi hududlarga javob berishini sifat jihatdan ko‘rsatadi. Biroq xususiyat xaritasi muayyan modul to‘g‘ri yomg‘ir ajratishni sababiy tarzda amalga oshirishini o‘z-o‘zicha isbotlamaydi. Bundan tashqari, rasmning oxirgi ikki qatoridagi yorliqlarning ikkalasi ham “Gabor Converge-Mid” deb yozilgan; izohda uchinchi qator yuqori darajali xususiyat ekani aytiladi.

FMECA moduli chastota sohasidan qanday foydalanadi?

FMECA matnning turli bo‘limlarida Spiking Frequency Mask Attention Block va Frequency-Mask-guided Efficient Channel Attention iboralari bilan tavsiflanadi. Modul uchta asosiy qismdan iborat:

• FrequencyMixerBlock
• RainMaskHead va RainMaskGate
• Efficient Channel Attention

Chastota tarmog‘ida har bir vaqt qadamidagi xususiyat xaritasiga ikki o‘lchamli haqiqiy Fourier transform qo‘llanadi. Spektr amplitudasi 1 × 1 konvolyutsiya bilan moslashtiriladi, faza komponenti esa saqlanadi. O‘zgartirilgan spektr teskari Fourier transform bilan fazoviy sohaga qaytariladi.

Chastota bilan kuchaytirilgan xususiyat \(F\), asl kirish \(x_{tb}\) bilan residual bog‘lanishda birlashtiriladi:

\[ Y=x_{tb}+F \]

Ushbu yondashuvning maqsadi yomg‘ir chiziqlarining yuqori chastotali va yo‘nalishli spektral komponentlarini global kontekst ichida aniqroq qilishdir.

Yomg‘ir niqobi qanday yaratiladi?

RainMaskHead spike xususiyat tensori \(p\) orqali avval mahalliy qirra javobini hosil qiladi:

\[ E_t=\operatorname{tdBN} \left( \operatorname{Conv}_{3\times3}(\operatorname{LIF}(p)) \right) \]

Har bir vaqt qadamidagi musbat javoblarning o‘rtachasi olinadi:

\[ M=\frac{1}{T}\sum_{t=1}^{T}\operatorname{ReLU}(E_t) \]

Keyin 1 × 1 konvolyutsiya va Sigmoid yordamida 0–1 oralig‘ida yomg‘ir yaqqollik niqobi yaratiladi:

\[ M_{\mathrm{rain}}= \operatorname{Sigmoid} \left( \operatorname{Conv}_{1\times1}(M) \right) \]

RainMaskGate yomg‘ir va fon hududlariga alohida konvolyutsiyalar qo‘llaydi:

\[ Y_{\mathrm{gate}} = \operatorname{Conv}_{\mathrm{rain}}(f)\odot M_{\mathrm{rain}} + \operatorname{Conv}_{\mathrm{bg}}(f)\odot (1-M_{\mathrm{rain}}) \]

Bu ajratish tarmoqning yomg‘irdan ta’sirlangan hududlarni kuchliroq qayta ishlashni, toza yoki strukturali hududlarda esa tafsilotlarni saqlashni o‘rganishini maqsad qiladi.

Yomg‘ir niqobi tasvirlari nimani ko‘rsatadi?

9. va 20. sahifalardagi 7-rasmda beshta ustun mavjud:

• Yomg‘irli kirish
• Yomg‘irli va toza tasvir farqidan hosil qilingan soxta referens niqob
• BiSNet taxmin qilgan niqob
• Tozalangan natija
• Toza nishon

Taxmin qilingan niqoblar zich va qiya yomg‘ir chiziqlarida kuchli javoblar hosil qiladi. Niqoblar soxta referensning aynan nusxasi emas; kengroq va uzluksiz hududlar hosil qiladi. Tadqiqotchilar buni tarmoq faqat piksel farqini taqlid qilish o‘rniga buzilish hududlarini o‘rganayotganidan dalolat deb hisoblaydi.

Niqob aniqligi uchun IoU, F1, aniqlik yoki sezgirlik kabi alohida miqdoriy mezon berilmagan. Vizual o‘xshashlik niqob tarmog‘i yomg‘ir hududlarini to‘g‘ri ajratishini qo‘llab-quvvatlasa-da, uning to‘liq aniqligini belgilamaydi.

DiSA moduli nima uchun kerak?

Kodlovchi–dekoder tarmoqlarida skip-bog‘lanishlar yuqori aniqlikdagi xususiyatlarni dekoderga uzatishga xizmat qiladi. Biroq kodlovchidagi xususiyatlar haqiqiy obyekt qirralari bilan birga yomg‘ir chiziqlarini ham olib yurishi mumkin. Ular to‘g‘ridan-to‘g‘ri uzatilsa, dekoder olib tashlangan yomg‘irni tasvirga qayta kiritishi mumkin.

Direction-Integrated Skip Attention yoki DiSA kodlovchi xususiyat \(x\) va dekoder xususiyat \(g\) o‘rtasida semantik moslik hamda yo‘nalishli ajratishni o‘rnatadi.

Avval ikki xususiyat 1 × 1 proyeksiyalar orqali umumiy fazoga o‘tkaziladi:

\[ q=w_g(g)+w_x(x) \]

Kodlovchi va dekoder xususiyatlarining birlashtirilgan tasviriga 45°, 90° va 135° Gabor filtrlari qo‘llanadi:

\[ O_k=\left|G_{\theta_k}*s\right|, \qquad \theta_k\in\{45^\circ,90^\circ,135^\circ\} \]

Semantik darvoza har bir pikselda qaysi yo‘nalish muhimroq ekanini belgilovchi og‘irliklarni hosil qiladi:

\[ W= \operatorname{Softmax} \left( \operatorname{Conv}_{1\times1} (\operatorname{Sigmoid}(q)) \right) \]

Yo‘nalishli javoblar vaznlangan holda birlashtiriladi:

\[ A_{\mathrm{dir}} = \sum_{k=1}^{K}W_k\odot O_k \]

Yo‘nalishli va semantik axborotdan yakuniy e’tibor xaritasi hisoblanadi:

\[ A= \operatorname{Sigmoid} \left( \operatorname{Conv}_{1\times1} \left[ A_{\mathrm{dir}}, \operatorname{Conv}_{1\times1}(q) \right] \right) \]

Skip xususiyati ushbu xarita bilan filtrlanadi:

\[ x_{\mathrm{out}}=A\odot x \]

DiSA ichida yo‘nalishli Gabor filtrlari qat’iy priorlar sifatida ishlatiladi va qo‘shimcha o‘rganiladigan parametr yuklamasi cheklangan holda saqlanadi.

Qaysi ma’lumotlar to‘plamlaridan foydalanilgan?

Sintetik ma’lumotlar to‘plamlarida yomg‘irli tasvirning toza nishoni mavjud bo‘lgani uchun piksel va strukturaviy o‘xshashlikni o‘lchash mumkin. RW-Data’da mos toza nishon bo‘lmagani sababli PSNR yoki SSIM hisoblanmagan.

PSNR va SSIM nimani o‘lchaydi?

PSNR qayta tiklangan tasvir bilan toza nishon orasidagi piksel darajasidagi xatoga sezgir. Yuqoriroq qiymat odatda o‘rtacha piksel xatosining pastroq ekanini anglatadi.

SSIM esa tasvirlarni yorqinlik, kontrast va strukturaviy o‘xshashlik bo‘yicha baholaydi. Yuqori SSIM qiymati obyekt chegaralari va mahalliy tuzilmalar nishonga yaqinroq saqlanganini ko‘rsatadi.

Bu ikki mezon tasvirni tiklashda keng qo‘llansa-da, perceptual tabiiylik, rang aniqligi yoki keyingi obyekt aniqlash ko‘rsatkichlarini o‘z-o‘zicha to‘liq ifodalamaydi.

Ta’lim va qo‘llash sozlamalari qanday?

Tadqiqotda tasvir augmentatsiyasi, rang normalizatsiyasi, yo‘qotish funksiyasi, LIF chegara qiymatlari, neyron vaqt konstantalari, surrogate gradient funksiyasi, barcha og‘irlik boshlang‘ichlari va erta to‘xtatish mezoni batafsil tushuntirilmagan.

Asosiy taqqoslash natijalari qanday?

Rain200H natijalarini qanday talqin qilish kerak?

Zich yomg‘ir chiziqlaridan iborat Rain200H’da BiSNet 29,88 dB PSNR va 0,9180 SSIMga erishgan. Ikkinchi eng yuqori PSNR 29,62 dB, ikkinchi eng yuqori SSIM esa 0,9126 bilan CPRA’ga tegishli.

• PSNR farqi: 0,26 dB
• SSIM farqi: 0,0054

7. va 18. sahifalardagi vizual taqqoslashda BiSNet zich kesishuvchi yomg‘ir chiziqlarini olib tashlagani va korall hamda suv yuzasidagi tafsilotlarni nishon tasvirga yaqin saqlagani ko‘rsatilgan. Ayrim raqiblarda kichik yomg‘ir qoldiqlari, rang o‘zgarishlari yoki yumshash belgilariga ishora qilingan.

Rain200L natijalarini qanday talqin qilish kerak?

Siyrak yomg‘ir ma’lumotlar to‘plami Rain200L’da BiSNet 40,31 dB PSNR va 0,9877 SSIM bergan.

• Ikkinchi eng yuqori PSNR: CPRA, 39,53 dB
• PSNR farqi: 0,78 dB
• Ikkinchi eng yuqori SSIM: MPRNet, 0,9869
• SSIM farqi: 0,0008

Bu ma’lumotlar to‘plamida PSNR farqi aniqroq bo‘lsa-da, SSIM farqi kichik. Bu piksel xatosida kuchliroq yaxshilanish olingan, biroq strukturaviy o‘xshashlikda raqib modellar ham nishonga juda yaqin bo‘lganini ko‘rsatadi.

Rain1200 natijalarini qanday talqin qilish kerak?

Kattaroq va xilma-xil Rain1200 ma’lumotlar to‘plamida BiSNet 34,61 dB PSNR va 0,9398 SSIMga erishgan.

• Ikkinchi eng yuqori PSNR: CPRA, 34,59 dB
• PSNR farqi: 0,02 dB
• Ikkinchi eng yuqori SSIM: HPCNet, 0,9371
• SSIM farqi: 0,0027

BiSNet jadval ichida eng yuqori qiymatga ega bo‘lsa-da, PSNR ustunligi atigi 0,02 dB. Bitta ishga tushirish va statistik o‘zgaruvchanlik berilmagani sababli bu kichik farq tasodifiy ta’lim o‘zgaruvchanligidan kattami yoki yo‘qmi, aniqlab bo‘lmaydi.

SNN asosidagi usullarga nisbatan yutuq qanday?

BiSNet impulsli raqiblarga qaraganda yuqoriroq tiklash aniqligini ta’minlaydi, biroq buning evaziga ko‘proq parametr, FLOP va hisobot qilingan energiyadan foydalanadi.

Modelning energiya va hisoblash muvozanati qanday?

• BiSNet parametrlar soni 1,108 million.
• VLIF, ESDNet va CPRA kamroq parametr ishlatadi.
• BiSNet’ning 12,494 milliard FLOP qiymati faqat VLIF va ESDNet’dan yuqori; jadvalda uchinchi eng past qiymatdir.
• BiSNet’ning hisobot qilingan energiyasi 156.200 µJ.
• NAFNet’ning 200.800 µJ qiymatiga nisbatan taxminan foiz 22,2 past.
• BiSNet ESDNet’dan taxminan foiz 70,7 ko‘proq energiya ishlatadi.
• BiSNet’ning hisobot qilingan energiyasi VLIF’nikidan taxminan 13,4 baravar.

Bu natijalar BiSNet mutlaq jihatdan eng samarali tarmoq emasligini ko‘rsatadi. Model ko‘proq SNN hisoblash xarajati evaziga CNN va Transformer darajasiga yaqinlashadigan yoki ulardan oshadigan tasvir sifatini ta’minlashni maqsad qiladi.

Energiya jadvali qanday hisoblangani tushuntirilmagani sababli µJ qiymatlarini haqiqiy qurilma quvvat sarfi, batareya muddati yoki dala ko‘rsatkichi sifatida to‘g‘ridan-to‘g‘ri talqin qilib bo‘lmaydi.

Haqiqiy yomg‘irli tasvirlarda nima ko‘rsatilgan?

8. va 19. sahifalardagi RW-Data taqqoslashida yomg‘irli yo‘l va o‘simlik qoplami tasviri ishlatilgan. Tadqiqotchilar ayrim usullarda:

• Yomg‘ir qoldiqlari
• O‘simlik teksturalarida haddan tashqari yumshash
• Mahalliy tuzilma yo‘qolishi
• G‘ayritabiiy rang o‘tishi

mavjudligini, BiSNet esa tozaroq va tabiiyroq tasvir hosil qilganini ta’kidlaydi.

RW-Data uchun toza nishon bo‘lmagani sababli “eng yaxshi” natija faqat tanlangan tasvirlarning sifat jihatidan talqiniga asoslanadi. Ko‘r inson baholashi, foydalanuvchi reytingi, NIQE, BRISQUE yoki keyingi vazifa aniqligi hisobot qilinmagan.

Modulni olib tashlash tajribalari nimani ko‘rsatadi?

Ikki yo‘lning hissasi qanday?

Asosiy model (a) bilan faqat ikki yo‘l qo‘shilgan model (b) taqqoslanganda:

• PSNR 38,89’dan 39,53 dB’gacha ko‘tarilgan.
• Yutuq 0,64 dB.
• SSIM 0,9826’dan 0,9848’gacha ko‘tarilgan.
• Parametrlar soni 0,029 milliondan 0,063 milliongacha oshgan.

FMECA mavjud modellarda (c) va (d) orasidagi 0,46 dB farq ham ikki yo‘lning hissasini qo‘llab-quvvatlaydi.

FMECA’ning hissasi qanday?

Ikki yo‘lli model (b) bilan FMECA qo‘shilgan model (c) taqqoslanganda PSNR 0,18 dB, SSIM 0,0005 oshgan. Biroq parametrlar soni 0,063 milliondan 0,983 milliongacha, FLOP qiymati esa 2,633 milliarddan 10,286 milliardgacha oshgan.

GaborSRB va DiSA mavjud model (f) bilan to‘liq model (g) taqqoslanganda FMECA qo‘shilishi:

• PSNR’ni 0,49 dB oshirgan.
• SSIM’ni 0,0019 oshirgan.
• FLOP qiymatini taxminan 9,782 milliardga oshirgan.

FMECA ablation jadvalida aniqlikka kuchli hissa qo‘shar ekan, hisoblash o‘sishining ham katta qismini tashkil etadi.

GaborSRB’ning hissasi qanday?

Ikki yo‘l va FMECA’ni o‘z ichiga olgan model (c) bilan GaborSRB qo‘shilgan model (e) taqqoslanganda:

• PSNR 39,71’dan 39,95 dB’gacha oshgan.
• Yutuq 0,24 dB.
• SSIM 0,9853’dan 0,9866’gacha ko‘tarilgan.
• Qo‘shimcha parametr va FLOP yuklamasi cheklangan bo‘lib qolgan.

Bu taqqoslash Gabor yo‘nalish priorlari ayni global arxitektura ichida qo‘shimcha tiklash hissasini berishini qo‘llab-quvvatlaydi.

DiSA’ning mustaqil hissasi aniqlanganmi?

Yo‘q. Maqolada DiSA Gabor xususiyatlari va qatlamlararo bog‘lanishlarga bog‘liq ekani sababli alohida ablation o‘tkazilmagani aytiladi.

Model (b) bilan model (f) taqqoslanganda PSNR 39,53’dan 39,82 dB’gacha oshadi. Biroq bu taqqoslashda GaborSRB va DiSA bir vaqtning o‘zida qo‘shilgan. Shu sababli 0,29 dB farqning qanchasi GaborSRB, qanchasi DiSA’dan kelgani alohida aniqlanmaydi.

To‘liq model asosiy modelga nisbatan nima beradi?

Ablation natijalari aniqlik yutug‘i bepul emasligini ko‘rsatadi. To‘liq model asosiy tarmoqdan muvaffaqiyatliroq, biroq sezilarli darajada kattaroq va hisoblash talabchanroq.

Vaqt qadamlari soni ko‘rsatkichga qanday ta’sir qiladi?

Olti vaqt qadami eng yuqori mezonlarni bergan. Biroq to‘rt qadamdan olti qadamga o‘tganda:

• PSNR atigi 0,08 dB oshgan.
• SSIM atigi 0,0004 oshgan.
• FLOP qiymati 0,877 milliardga oshgan.

Tadqiqotchilar aniqlik–hisoblash muvozanati sababli asosiy modelda to‘rtta vaqt qadamini tanlagan.

Tadqiqotning kuchli tomonlari nimalar?

• Impulsli neyron tarmoqlarni faqat tasniflashga emas, zich tasvir tiklash muammosiga qo‘llaydi.
• Mahalliy yo‘nalish axboroti bilan global kontekstni alohida tarmoqlarda qayta ishlaydi.
• Gabor priorlari ta’lim davomida moslashuvchan holda qoldirilgan.
• Fazoviy yomg‘ir niqobi bilan chastota sohasidagi ishlov bir modulda birlashtirilgan.
• Skip-bog‘lanishlardagi yomg‘ir axborotining tasvirga qayta uzatilishini kamaytirishga urinadi.
• Uchta sintetik ma’lumotlar to‘plamida bir xil mezonlar bilan keng qamrovli model taqqoslashini beradi.
• CNN, Transformer va SNN oilalarini bir xil jadvalda baholaydi.
• Parametr, FLOP va energiya baholarini aniqlik bilan birga hisobot qiladi.
• Asosiy modullar uchun ablation tajribalari o‘tkazilgan.
• Vaqt qadami bilan aniqlik–hisoblash munosabati o‘rganilgan.
• Yomg‘ir niqoblari va Gabor javoblari vizuallashtirilgan.
• Haqiqiy yomg‘ir tasvirlarida sifat jihatidan test o‘tkazilgan.

Tadqiqotning asosiy cheklovlari nimalar?

• Tadqiqot ekspert baholashidan o‘tmagan preprintdir.
• Energiya hisobining usuli va taxminlari tushuntirilmagan.
• Neyromorfik protsessorda haqiqiy energiya va kechikish o‘lchovi bajarilmagan.
• GPU’da ta’lim bilan neyromorfik inference orasidagi farq baholanmagan.
• Haqiqiy dunyo ma’lumotlar to‘plamida miqdoriy referensli baholash yo‘q.
• Ko‘r inson baholashi yoki foydalanuvchi tadqiqoti o‘tkazilmagan.
• Natijalar uchun tasodifiy urug‘, standart og‘ish yoki ishonch oralig‘i berilmagan.
• Rain1200’dagi 0,02 dB ustunlikning statistik barqarorligi ko‘rsatilmagan.
• DiSA moduli mustaqil ravishda izolyatsiya qilinmagan.
• Yo‘qotish funksiyasi tushuntirilmagan.
• Surrogate gradient usuli va LIF neyron parametrlari berilmagan.
• Spike nisbati va qatlam bo‘yicha hodisa zichligi hisobot qilinmagan.
• Energiya qiymati bilan spike faolligi orasidagi bog‘lanish ko‘rsatilmagan.
• Ta’lim vaqti va har bir tasvir uchun inference kechikishi berilmagan.
• Xotira sarfi va sekundiga tasvirlar soni hisobot qilinmagan.
• Mobil, embedded yoki edge qurilma testi bajarilmagan.
• Turli yomg‘ir yo‘nalishlari uchun alohida ishlash tahlili yo‘q.
• Gorizontal yomg‘ir, linza tomchisi, tuman va qor kabi buzilishlar o‘rganilmagan.
• Tungi yomg‘ir, fara yaltirashi va past yorug‘lik sharoitlari alohida sinovdan o‘tkazilmagan.
• Yomg‘irni olib tashlashdan keyin obyekt aniqlash yoki kuzatish ko‘rsatkichi o‘lchanmagan.
• Niqob taxmini alohida segmentatsiya mezonlari bilan baholanmagan.
• Taqqoslash modellarining qayta ta’lim tafsilotlari tushuntirilmagan.
• Ma’lumot augmentatsiyasi va normalizatsiya sozlamalari berilmagan.
• Manba kodi, o‘rgatilgan og‘irliklar va qayta ishlab chiqarish fayllari uchun havola berilmagan.
• 8-rasmda yorliq nomuvofiqligi mavjud.
• Umumiy arxitekturadagi FRB qisqartmasi aniq ta’riflanmagan.

Tadqiqot nimani qo‘llab-quvvatlaydi?

• Yo‘nalish axborotli Gabor priorlari impulsli tasvir tiklashda foydali bo‘lishi mumkinligini qo‘llab-quvvatlaydi.
• Mahalliy va global xususiyatlarni ikki yo‘lda qayta ishlash asosiy SNN’ga qaraganda yuqoriroq aniqlik bera olishini ko‘rsatadi.
• Chastota sohasi va yomg‘ir niqobi ishlovi birga qo‘llanganda ko‘rsatkichni oshira olishini ko‘rsatadi.
• BiSNet tanlangan uchta sintetik ma’lumotlar to‘plamida taqqoslangan usullardan yuqoriroq PSNR va SSIM berganini ko‘rsatadi.
• BiSNet mavjud ikkita SNN asosidagi yomg‘ir olib tashlash usulidan aniqroq ekanini ko‘rsatadi.
• To‘rt vaqt qadami olti qadamga yaqin natijalarni kamroq FLOP bilan bera olishini qo‘llab-quvvatlaydi.
• Impulsli tarmoqlarda aniqlik va energiya samaradorligi o‘rtasida sozlanadigan muvozanat o‘rnatish mumkinligini ko‘rsatadi.

Tadqiqot nimani isbotlamaydi?

• BiSNet barcha yomg‘ir ma’lumotlar to‘plamlarida eng yaxshi usul ekanini isbotlamaydi.
• 0,02 dB kabi kichik farqlar turli ta’lim takrorlarida saqlanishini ko‘rsatmaydi.
• Hisobot qilingan energiya qiymati haqiqiy qurilmada xuddi shunday yuz berishini isbotlamaydi.
• BiSNet eng kam energiyali SNN ekanini ko‘rsatmaydi.
• Model real vaqt rejimida ishlashini isbotlamaydi.
• Haqiqiy yomg‘irli tasvirlarda obyektiv ravishda eng yaxshi vizual sifatni ta’minlashini ko‘rsatmaydi.
• Yomg‘irni olib tashlash obyekt aniqlash yoki haydash xavfsizligini oshirishini isbotlamaydi.
• Biologik ko‘rish tizimi ishlashini to‘g‘ri qayta yaratishini ko‘rsatmaydi.
• DiSA’ning mustaqil hissasini qat’iy aniqlamaydi.
• Gorizontal yomg‘ir, linza tomchisi, tuman, qor yoki tungi yaltirashda bir xil muvaffaqiyatni kafolatlamaydi.

Tadqiqotning usuli va natijalari

Tadqiqot dizayni

Tadqiqot yangi impulsli neyron tarmoq arxitekturasini ishlab chiqish, sintetik juftlangan tasvirlar bilan nazorat ostida ta’lim, CNN–Transformer–SNN taqqoslashi, haqiqiy tasvirlarda sifat jihatidan tahlil, komponentlarni olib tashlash tajribalari va vaqt qadami tahlilini o‘z ichiga olgan eksperimental kompyuter ko‘rish tadqiqotidir.

Model kirishi va chiqishi

Asosiy modullar

• LIF neyroni asosidagi Spiking Convolution Unit
• Vaqtga bog‘liq batch normalization
• Spiking Residual Block
• Gabor Spiking Residual Block
• Mixed Attention Unit
• FrequencyMixerBlock
• RainMaskHead
• RainMaskGate
• Efficient Channel Attention
• Direction-Integrated Skip Attention

Eksperimental ma’lumotlar to‘plamlari

Asosiy topilmalar

• BiSNet uchta sintetik ma’lumotlar to‘plamida eng yuqori PSNR va SSIM qiymatlarini bergan.
• Eng katta SNN PSNR yutug‘i VLIF’ga qarshi Rain1200’da 1,87 dB.
• Rain1200’da eng yaqin umumiy raqibga nisbatan PSNR farqi atigi 0,02 dB.
• Ikki yo‘l asosiy modelga 0,64 dB PSNR qo‘shgan.
• GaborSRB ayni ikki yo‘l va FMECA tuzilmasiga 0,24 dB qo‘shgan.
• FMECA to‘liq tuzilmada 0,49 dB qo‘shimcha PSNR bergan.
• To‘liq model asosiy modeldan 1,42 dB yuqoriroq PSNR bergan.
• To‘rt vaqt qadami olti qadamdan atigi 0,08 dB past natija bergan.
• BiSNet taqqoslangan CNN modellari orasida eng kam energiyali modelga nisbatan taxminan foiz 22,2 pastroq hisobot qilingan energiyaga ega.
• VLIF va ESDNet BiSNet’dan kamroq energiya sarflaydi.

Muvaffaqiyat mezonlarini talqin qilish chegaralari

Sintetik ma’lumotlar to‘plamlarida PSNR va SSIM toza nishon tasvirlarga nisbatan hisoblangan. Ushbu mezonlar bir xil test tasvirlarida bitta qiymat sifatida berilgan. Tasvir bo‘yicha taqsimotlar, ishonch oralig‘i yoki takrorlar orasidagi o‘zgarish ulashilmagan.

Haqiqiy tasvirlarda nishon bo‘lmagani sababli natijalar vizual misollarga asoslangan. Tadqiqotda haqiqiy dunyo muvaffaqiyatini miqdoriy ravishda qo‘llab-quvvatlaydigan mustaqil baholash yo‘q.

Takror ishlab chiqarish nuqtayi nazaridan yetishmaydigan ma’lumotlar

• Ta’lim va validatsiya yo‘qotish funksiyalari
• Surrogate gradient funksiyasi
• LIF chegara, reset va vaqt konstantalari
• Spike kodlash tafsilotlari
• Qatlam bo‘yicha spike nisbatlari
• Energiya hisobining tenglamasi va apparat taxminlari
• Tasodifiy urug‘lar va tajriba takrorlari
• Tasvir augmentatsiyasi sozlamalari
• Inference vaqti va xotira sarfi
• Raqib modellarni qayta o‘qitish protseduralari
• Manba kodi va model og‘irliklari

Haqiqiy qo‘llashga o‘tish uchun zarur qadamlar

• Neyromorfik protsessorda haqiqiy watt va joule o‘lchovi
• Mobil GPU, FPGA va edge protsessorlarda kechikish testi
• Tun, tuman, fara yaltirashi va shamolli yomg‘ir ma’lumotlar to‘plamlari
• Linza ustidagi tomchilar va yomg‘ir to‘planishi uchun alohida modellashtirish
• Turkiyaga tegishli haqiqiy yog‘in tasvirlari bilan tashqi validatsiya
• Yomg‘irni olib tashlashdan oldin va keyin obyekt aniqlashni taqqoslash
• Turli yomg‘ir burchaklari uchun ko‘rsatkich jadvali
• Bir nechta tasodifiy urug‘ bilan ishonch oralig‘i
• DiSA’ning mustaqil ablation tajribasi
• Niqob aniqligini IoU va F1 kabi mezonlar bilan baholash
• Haqiqiy tasvirlarda ko‘r inson baholashi
• Kod, og‘irliklar va ta’lim konfiguratsiyasini ulashish

Manba va usul haqida izoh

Tadqiqotning asl nomi: Bio-inspired Spiking Neural Network for Single Image Deraining

Mualliflar: Yuwei Chen; Yuwei Deng; Zhefei Cai; Tong Zhu; Bin Zhao; Yingle Fan.

Mualliflar tartibi: Yuqoridagi tartib tadqiqotdagi asl mualliflar tartibini saqlaydi.

Teng hissa ma’lumoti: Tadqiqotda teng birinchi muallif yoki teng hissa bayonoti mavjud emas.

Mas’ul muallif: Yingle Fan.

Mualliflarning e-pochta manzillari:

• Yuwei Chen: yuweichen@hdu.edu.cn
• Yuwei Deng: yuweideng@hdu.edu.cn
• Zhefei Cai: zfcai@cjlu.edu.cn
• Yingle Fan: fan@hdu.edu.cn

Boshqa mualliflarning e-pochta manzillari: Tong Zhu va Bin Zhao uchun asosiy sarlavha sahifasida e-pochta manzili berilmagan.

ORCID ma’lumotlari:

• Yuwei Chen: 0009-0007-2123-2651
• Yingle Fan: 0000-0002-7478-9687

Muassasalar:

• School of Automation, Hangzhou Dianzi University, Hangzhou 310018, Xitoy.
• College of Information Engineering, China Jiliang University, Hangzhou 310018, Xitoy.

DOI:10.2139/ssrn.7212892

Rasmiy nashr platformasi: SSRN.

Rasmiy tadqiqot havolasi:SSRN tadqiqot sahifasi

SSRN yuklash sanasi: 31-iyul 2026.

Nashr yili: 2026.

Fayl uzunligi: SSRN qaydida 21 sahifa. Asosiy maqolaning o‘z sahifa raqamlashi 13 sahifa; yuklangan faylda qo‘shimcha to‘liq sahifali rasm tasvirlari mavjud.

Jurnal: Ushbu versiya uchun muayyan ekspert baholangan jurnal nomi yoki qabul qarori mavjud emas.

Nashr holati: Hujjatda “Preprint submitted to Elsevier” iborasi mavjud. Bu ibora tadqiqot Elsevier jurnalida qabul qilingan yoki ekspert baholashidan o‘tganini anglatmaydi.

Manba turi: Impulsli neyron tarmoq arxitekturasi, sintetik benchmark taqqoslashlari, haqiqiy tasvirlarda sifat jihatidan baholash va ablation tajribalarini o‘z ichiga olgan kompyuter ko‘rish preprint tadqiqoti.

Ekspert baholash holati: Tadqiqot ekspert baholashidan o‘tmagan. Faylning har bir sahifasida “Preprint not peer reviewed” ogohlantirishi mavjud.

Moliyalashtirish: Tadqiqot Zhejiang Provincial Applied Basic Research Program doirasidagi Xinmiao Project tomonidan 2026XMHD023 raqamli grant bilan moliyalashtirilgan.

Muallif hissalari:

• Yuwei Chen: Konseptuallashtirish, usul, dasturiy ta’minot, validatsiya, formal tahlil, tadqiqot va yozish.
• Yuwei Deng: Usul va ma’lumotlarni tartibga solish.
• Zhefei Cai: Formal tahlil, resurslar va ko‘rib chiqish.
• Tong Zhu: Dasturiy ta’minot va vizuallashtirish.
• Bin Zhao: Resurslar va maslahat.
• Yingle Fan: Konseptuallashtirish, maslahat va ko‘rib chiqish.

Manfaatlar to‘qnashuvi: Asosiy matnda aniq manfaatlar to‘qnashuvi bayonoti mavjud emas.

Ma’lumotlarga kirish: Rain200L, Rain200H, Rain1200 va RW-Data nomli mavjud ma’lumotlar to‘plamlaridan foydalanilgan. Asosiy matnda ushbu ma’lumotlar to‘plamlarining to‘g‘ridan-to‘g‘ri yuklab olish havolalari berilmagan.

Kod va modelga kirish: Manba kodi, o‘rgatilgan og‘irliklar, to‘liq konfiguratsiya fayllari va tajriba jurnallari uchun ochiq kirish havolasi taqdim etilmagan.

Energiya o‘lchovi haqida izoh: Taqqoslash jadvalida µJ birlikdagi energiya qiymatlari berilgan; biroq fizik o‘lchash qurilmasi, energiya hisoblash formulasi, MAC va AC koeffitsiyentlari, spike nisbati yoki nishon neyromorfik apparat tushuntirilmagan. Shu sababli qiymatlarni haqiqiy dala quvvat sarfi sifatida tasdiqlab bo‘lmaydi.

Vizual va usul nomuvofiqliklari: 8-rasm izohida past, o‘rta va yuqori darajali xususiyatlar haqida so‘z yuritilgan bo‘lsa-da, ikkita quyi tasvir bir xil “Gabor Converge-Mid” yorlig‘i bilan berilgan. Umumiy arxitekturadagi FRB qisqartmasining aniq ta’rifi ham asosiy usul matnida mavjud emas.

Ushbu o‘zbekcha tushuntirish yuklangan tadqiqotning arxitektura sxemalari, Gabor yadro ta’riflari, FMECA va DiSA tenglamalari, ma’lumotlar to‘plami izohlari, ta’lim sozlamalari, PSNR–SSIM jadvali, parametr–FLOP–energiya taqqoslashlari, haqiqiy tasvir namunalari, yomg‘ir niqoblari, Gabor xususiyat vizualizatsiyalari, ablation jadvali va vaqt qadami natijalari o‘rganilib tayyorlandi. Ilmiy natijalarga tadqiqot tashqarisidan yangi tajriba yoki ishlash qiymati qo‘shilmagan.

Tadqiqot biologik yo‘nalish tanlovchanligidan ilhomlangan Gabor priorlari bilan chastota va niqob asosidagi e’tibor mexanizmlari impulsli tasvir tiklashda aniqlik oshishini bera olishini qo‘llab-quvvatlaydi. Asosiy chegara shundaki, bu muvaffaqiyatlar sintetik ma’lumotlar to‘plamlaridagi yakka o‘lchovlar va usuli tushuntirilmagan energiya baholariga tayanadi. Model haqiqiy neyromorfik apparatda, real vaqt tasvirlash tizimida yoki xavfsizlik nuqtayi nazaridan kritik kompyuter ko‘rish zanjirida tasdiqlanmasdan turib qo‘llashga tayyor deb hisoblanmasligi kerak.