Dual-Domain Synergy Network (D2SNet) меъмории омӯзиши амиқест, ки дар масъалаи беҳтарсозии тасвирҳои камравшан сохтори фазоии тасвир ва ҷузъҳои басомадиро дар дохили U-Net-и бисёрмиқёса якҷоя коркард мекунад. Ҳадафи асосии модел танҳо равшан кардани тасвир нест; балки ҳангоми ислоҳи равшанӣ аз афзоиши нолозими садо ҷилавгирӣ кардан, рангҳоро нигоҳ доштан ва бофтаҳои нозукро барқарор намудан аст. D2SNet ин корро тавассути Модули Интихоби Динамикии Басомад (Dynamic Frequency Selection Module, DFSM), Модули Истихроҷи Хусусиятҳои Бисёрмиқёса (Multi-Scale Feature Extraction Module, MSFEM) ва Модули Мукаммалсозии Фазоӣ-Басомадӣ (Spatial-Frequency Complementarity Module, SFCM) анҷом медиҳад.

DFSM ба ҷойи ҷудокунии мустақим бо асосҳои собити Fourier, косинус ё wavelet гурӯҳҳои филтрҳои пастгузареро тавлид мекунад, ки аз хусусиятҳои вурудӣ омӯхта мешаванд. Ин филтрҳо хусусиятҳои басомади паст ва баландро ҷудо мекунанд; механизмҳои диққати каналӣ ва фазоӣ сипас ба он ҷузъҳои басомадие вазн медиҳанд, ки барои беҳтарсозӣ муфидтаранд. MSFEM бошад, конволютсияҳои васеъшудаи depth-wise separable-и 3 × 3, 5 × 5 ва 7 × 7-ро бо шохаи маҳаллии 1 × 1 муттаҳид намуда, кӯшиш мекунад ҳам контексти васеъ ва ҳам ҷузъиёти маҳаллиро фаро гирад. SFCM ин ду равишро тавассути сохтори хурди SU-Net ба сатҳи баландҳаҷми U-Net-и асосӣ мепайвандад.

Дар таҳқиқоти манбаъ D2SNet дар маҷмӯи васеи benchmark, аз ҷумла LOLv1, LOLv2-Real, LOLv2-Synthetic, LOL-Blur, Sony-Total-Dark, панҷ маҷмӯи додаи камравшани ҷуфтнашуда ва озмоишҳои ошкорсозии объектҳои ExDark арзёбӣ шудааст. Масалан, барои LOLv1 25.09 dB PSNR ва 0.874 SSIM, барои LOLv2-Synthetic 26.60 dB PSNR ва 0.947 SSIM, барои LOL-Blur 27.78 dB PSNR ва 0.906 SSIM гузориш шудааст. Модел бо 5.62 миллион параметр ва барои patch-и вурудии 256 × 256 бо 36.82 G FLOPs кор мекунад.

Ин натиҷаҳо нишон медиҳанд, ки D2SNet дар доираи маҷмӯаҳои дода ва протоколи омӯзишии истифодашуда модели пурқуввати барқарорсозии тасвирҳои камравшан аст. Бо вуҷуди ин, натиҷаҳо аз preprint-и ҳанӯз рецензиянашуда гирифта шудаанд ва нишондиҳандаҳои мушаххаси benchmark маънои бартарии универсалӣ барои ҳамаи камераҳо, сенсорҳо, сатҳҳои равшанӣ ё намудҳои вайроншавӣ дар ҷаҳони воқеиро надоранд.

Масъалаи таҳқиқот: чаро танҳо зиёд кардани равшанӣ кофӣ нест?

Дар тасвире, ки дар равшании кам гирифта шудааст, масъала танҳо паст будани шиддати миёнаи пиксел нест. Садои сенсор метавонад бештар намоён шавад, рангҳо вайрон шаванд, контрасти маҳаллӣ коҳиш ёбад, бофтаҳои нозук гум шаванд ва агар экспозитсияи тӯлонӣ истифода шуда бошад, хирашавии вобаста ба ҳаракат ё камера ба вуҷуд ояд. Аз ин рӯ, низоми хуби беҳтарсозии тасвири камравшан бояд аз як тараф равшании умумиро ислоҳ кунад ва аз тарафи дигар ҷузъиётро нигоҳ дорад, садоро зиёд накунад ва минтақаҳои ғайритабиии аз ҳад равшанро эҷод накунад.

Таҳқиқоти манбаъ равишҳои мавҷударо аз ду ҷиҳати асосӣ баррасӣ мекунад. Қисми зиёди усулҳои асосёфта ба CNN ва Transformer асосан дар домени фазоӣ кор мекунанд. Усулҳое, ки аз домени басомад истифода мебаранд, аксаран аз табдилҳои пешакӣ муайяншудаи FFT, DCT ё DWT истифода мекунанд. Нотавонии ин табдилҳои собит дар мутобиқшавии мустақим ба сохтори тағйирёбандаи вайроншавии камравшан аз як тасвир ба тасвири дигар нуқтаи оғози D2SNet мебошад.

D2SNet Чист ва Чаро Ду Домени Гуногунро Якҷоя Истифода Мекунад?

D2SNet модели беҳтарсозии тасвир дар асоси U-Net мебошад, ки сохтори фазоии тасвири камравшан ва хусусиятҳои басомади пасту баландро дар як шабакаи бисёрмиқёсаи барқарорсозӣ ба таври мутақобил истифода мекунад. Дар ҳоле ки домени фазоӣ ҷойгиршавии объектҳо, минтақаҳо ва контексти маҳаллиро нигоҳ медорад, ҷудокунии басомад имкон медиҳад ҷузъҳои сусттағйирёбандаи равшанӣ ва ҷузъҳои зудтағйирёбанда, аз қабили канор, бофта ва садо, ба таври гуногун коркард шаванд.

Ҷараёни умумии дода дар шабака

Вуруд тасвири RGB-и камравшан бо андозаи \(3 \times H \times W\) мебошад. Конволютсияи аввалини 3 × 3 тасвирро ба намояндагии сатҳии хусусиятҳо бо андозаи \(C \times H \times W\) табдил медиҳад. Сипас encoder-и асосии се-миқёсаи U-Net ҳангоми тадриҷан кам кардани ҳалнокӣ шумораи каналҳоро зиёд мекунад. Decoder дар самти баръакс кор мекунад ва бо хусусиятҳои encoder тавассути skip connection якҷоя мешавад.

Пас аз охирин амалиёти ResBlock дар ҳар сатҳи ҳалнокӣ DFSM татбиқ мешавад. MSFEM бошад, пайваста дар ҳар сатҳ ҷойгир намешавад; он дар bottleneck-ҳои SU-Net ва U-Net-и асосӣ истифода мешавад. Ба гуфтаи манбаъ, ин интихоб барои кам кардани холигиҳои намунагирии мунтазам ва талафи иттилооти фазоӣ пешбинӣ шудааст, ки ҳангоми пайдарпай истифода кардани шумораи зиёди конволютсияҳои васеъшуда ба вуҷуд омада метавонанд.

Дар марҳилаи ниҳоӣ конволютсияи 3 × 3 татбиқ мешавад ва баромади шабака бо тасвири аслии камравшан тавассути residual connection муттаҳид шуда, тасвири ниҳоии беҳтаршуда ба даст меояд.

Се модули асосӣ

DFSM Интихоби Басомади Омӯзишпазирро Чӣ Тавр Амалӣ Мекунад?

DFSM хусусиятҳои вурудиро ба гурӯҳҳои каналӣ ҷудо мекунад, ядроҳои филтри пастгузарро, ки аз худи вуруд омӯхта мешаванд, тавлид менамояд, ҷузъи басомади пастро тавассути филтркунӣ ҷудо мекунад ва ҷузъи басомади баландро ҳамчун residual байни вуруд ва ҷузъи басомади паст месозад; сипас вазнҳои диққати каналӣ ва фазоӣ саҳми басомадҳои паст ва баландро дар баромад ба таври динамикӣ муайян мекунанд.

FFE: ҷудокунии динамикии ҷузъҳои басомад

Харитаи хусусиятҳои вурудӣ \(X \in \mathbb{R}^{C \times H \times W}\) дар меҳвари канал ба \(g\) гурӯҳ ҷудо мешавад:

Муодила (1)

\[ X=[X^{1},X^{2},\ldots,X^{g}] \]

Шумораи каналҳои ҳар гурӯҳ ҳамчун \(C_i=C/g\) муайян мешавад. Роҳи тавлиди филтр global average pooling, конволютсияи 1 × 1, batch normalization ва Softmax-ро истифода мебарад:

Муодила (2)

\[ LPF=\operatorname{Softmax}\left(BN\left(Conv_{1\times1}(GAP(X))\right)\right) \]

Андозаи филтрҳои пастгузари тавлидшуда \(k^{2}\times g\) аст. \(k\) андозаи ядрои филтр ва \(g\) шумораи гурӯҳҳои каналиро нишон медиҳад. Амали Softmax дар рӯи \(k^{2}\) унсури ядро вазнҳои нормализатсияшударо тавлид мекунад.

Муодила (3), ҳамон тавре ки дар манбаъ чоп шудааст

\[ X^{i}_{low}= \sum_{p,q\in\mathcal{N}_{k}} \left( X^{i}(h+p,w+q)\cdot LPS^{i} \right) \]

Дар ин ҷо \(h,w\) мавқеи ҷории фазоиро ва \(\mathcal{N}_{k}\) ҳамсоягии маҳаллии \(k\times k\)-ро нишон медиҳад. Дар шарҳи матни манбаъ филтри дахлдор LPF номида шудааст, аммо дар тасвири Муодила (3) аломати LPS чоп шудааст. Азбаски манбаъ ошкоро намегӯяд, ки ин хатои навишт аст, номувофиқии байни ин ду ишора дар ин ҷо бе тағйир сабт мешавад.

Ҷузъи басомади баланд бо тарҳ кардани намояндагии якҷояшудаи ҳамаи гурӯҳҳои басомади паст аз хусусияти аслӣ ба даст меояд:

Муодила (4)

\[ X_{high}=X-[X^{1}_{low},X^{2}_{low},\ldots,X^{g}_{low}] \]

Ин сохтори математикӣ муҳим аст: ҷузъи басомади баланд на бо филтри собити high-pass-и алоҳида, балки ҳамчун боқимондаи баҳодиҳии омӯзишпазири басомади паст муайян карда мешавад.

DAGG ва механизми дугонаи диққат

Хусусиятҳои басомади паст ва баланд аввал аз конволютсияҳои алоҳидаи 3 × 3 depth-wise гузаронида мешаванд. Сипас ду роҳи гуногуни fusion сохта мешаванд: \(X_{add}\) бо ҷамъкунии элементӣ ва \(X_{con}\) бо якҷоякунӣ дар самти канал. \(X_{add}\) ба Dual Attention Module, ки аз роҳҳои параллелии диққати каналӣ ва фазоӣ иборат аст, фиристода мешавад.

Муодила (5)

\[ W_{ca}=Conv_{1\times1}\left( ReLU\left( Conv_{1\times1}(GAP(X_{add})) \right) \right) \]

\(W_{ca}\in\mathbb{R}^{C\times1\times1}\) узви диққати каналӣ мебошад, ки муҳимияти каналҳои хусусиятро барои беҳтарсозӣ вазн медиҳад.

Муодила (6)

\[ W_{sa}=Conv_{7\times7}\left( [GAP(X_{add}),GMP(X_{add})] \right) \]

\(W_{sa}\in\mathbb{R}^{1\times H\times W}\) тақсимоти вазнро байни минтақаҳои фазоӣ тавлид мекунад. Тибқи шарҳи манбаъ, ҳадаф ин аст, ки минтақаҳои бештар осебдида диққати бештар гиранд.

Вазнҳои каналӣ ва фазоӣ якҷоя шуда, бо Sigmoid \(W_{casa}\) тавлид мешавад. Омезиши ду роҳи fusion чунин аст:

Муодила (7)

\[ X_{fuse}= W_{casa}\cdot X_{add} + (1-W_{casa})\cdot Conv_{1\times1}(X_{con}) \]

Сипас вазнҳои нормализатсияшудаи махсус барои ҷузъҳои басомади паст ва баланд ба даст меоянд:

Муодила (8)

\[ W_{low},W_{high} = Split\left( Softmax(GAP(X_{fuse})) \right) \]

Баромади DFSM:

Муодила (9)

\[ X_{out} = W_{low}\cdot X_{low} + W_{high}\cdot X_{high} \]

Ин ифодаи ниҳоӣ вазифаи асосии DFSM-ро ҷамъбаст мекунад. Модел хусусиятҳои басомади паст ва баландро бо нисбати собит ҷамъ намекунад; онҳоро бо вазнҳое, ки барои ҳар вуруд омӯхта шудаанд, дубора муттаҳид мекунад.

MSFEM: нигоҳ доштани контексти глобалӣ ва ҷузъиёти маҳаллӣ дар як модул

MSFEM хусусиятҳои вурудиро аввал аз batch normalization, конволютсияи 1 × 1 point-wise ва фаъолсозии GELU мегузаронад:

Муодила (10)

\[ \hat{X} = GELU\left( Conv_{1\times1}(BN(X)) \right) \]

Дар шохаи калон се depth-wise dilated convolution-и параллел истифода мешавад:

Муодила (11)

\[ X_{k} = DWDConv_{k\times k,d=3}(\hat{X}), \qquad k\in\{3,5,7\} \]

Нисбати dilation \(d=3\) аст. Муносибати receptive field-и самараноке, ки манбаъ додааст:

\[ k_{eff}=k+(k-1)(d-1) \]

Мувофиқи он, ядроҳои 3 × 3, 5 × 5 ва 7 × 7 мутаносибан ба receptive field-ҳои самараноки 7 × 7, 13 × 13 ва 19 × 19 мерасанд. Ҳамин тавр, бидуни вобастагӣ ба як миқёси ягонаи ядро кӯшиш мешавад контексти фазоии кӯтоҳ, миёна ва дуртар фаро гирифта шавад.

Баромади шохаи калон:

Муодила (12)

\[ X_{large} = Conv_{1\times1} \left( GELU \left( Conv_{1\times1} ([X_{3},X_{5},X_{7}]) \right) \right) \]

Шохаи хурд танҳо конволютсияи 1 × 1 depth-wise-ро истифода бурда, иттилооти маҳаллиро пурра мекунад:

Муодила (13)

\[ X_{small} = Conv_{1\times1} \left( GELU \left( DWConv_{1\times1}(\hat{X}) \right) \right) \]

Интихоби ҷолиби тарроҳии MSFEM ин аст, ки модул дар ҳамаи сатҳҳо пайдарпай истифода намешавад. Манбаъ мегӯяд, ки истифодаи конволютсияҳои васеъшуда дар шумораи зиёди миқёсҳои пайдарпай метавонад пикселҳои ба таври мунтазам намунагиринашуда ва талафи иттилооти фазоиро ба вуҷуд орад, аз ин рӯ MSFEM танҳо дар bottleneck-ҳои SU-Net ва U-Net-и асосӣ ҷойгир карда мешавад.

Ҷойгиршавии SFCM ва U-Net-и хурд

SFCM вуруди \(C\times H\times W\)-ро аввал бо ResBlock, ки ду конволютсияи 3 × 3 ва ReLU дорад, коркард мекунад. Сипас хусусиятҳо бо depth-wise convolution-и kernel=2 ва stride=2 ба андозаи \(C\times H/2\times W/2\) кам шуда, ба MSFEM фиристода мешаванд. Пас аз баргардонидан ба ҳалнокии аслӣ бо bilinear interpolation, DFSM татбиқ мешавад ва бо хусусиятҳои сатҳӣ skip connection сохта мешавад.

Ин сохтор танҳо дар миқёси якуми баландтарин ҳалнокии U-Net-и асосӣ истифода шудааст. Натиҷаҳои ablation нишон медиҳанд, ки илова кардани SU-Net ба миқёсҳои дуюм ва сеюм ҳарчанд FLOPs-ро коҳиш медиҳад, PSNR-ро паст мекунад. Ин натиҷа бо он шарҳ дода шудааст, ки downsampling-и нав дар сатҳҳои ҳалнокии паст метавонад ҷузъиёти фазоии муфидро аз даст диҳад.

Функсияи талафот

Дар омӯзиши D2SNet ҳам барои домени фазоӣ ва ҳам барои домени басомад талафоти \(L_{1}\) истифода мешавад.

Муодила (14)

\[ L_{spatial} = \|Pred-GT\|_{1} \]

Дар ин ҷо \(Pred\) тасвири тавлидкардаи шабака ва \(GT\) тасвири истинодии равшании муқаррариро нишон медиҳад.

Муодила (15)

\[ L_{frequency} = \|F(Pred)-F(GT)\|_{1} \]

\(F\) табдили босуръати Fourier (FFT)-ро ифода мекунад. Ин талафоти басомадӣ барои наздик кардани намояндагиҳои басомадии тасвири пешгӯишуда ва тасвири истинодӣ истифода мешавад.

Муодила (16)

\[ L = L_{spatial} + \lambda L_{frequency} \]

Дар таҳқиқот \(\lambda=0.2\) интихоб шудааст. Аз ин рӯ, оптимизатсияи умумӣ хатои барқарорсозии фазоиро ҷузъи асосӣ нигоҳ дошта, ба мувофиқати домени басомад низ вазни иловагӣ медиҳад.

Метрикаҳои арзёбӣ чиро чен мекунанд?

PSNR меъёри сифатест, ки бо хатои барқарорсозии сатҳи пиксел алоқаманд аст ва дар ин таҳқиқот қимати баландтар бартарӣ дорад. SSIM монандии сохториро чен мекунад ва дар он низ қимати баландтар беҳтар аст. LPIPS фарқи идрокиро дар фазои хусусиятҳои амиқ арзёбӣ мекунад; қимати пасттар беҳтар аст. Барои маҷмӯаҳои додае, ки тасвири истинодӣ надоранд, BRISQUE ва NIQE истифода шудаанд ва дар ҳарду қимати пасттар афзал аст.

Усул ва Натиҷаҳои Таҳқиқот

Маҷмӯаҳои дода

Дар арзёбиҳои асосии ҷуфтшуда LOLv1, LOLv2-Real ва LOLv2-Synthetic истифода шудаанд. Дар LOLv1 485 ҷуфти тасвири кам/муқаррарии равшанӣ барои омӯзиш ва 15 ҷуфт барои тест ҷудо шудааст. Таносуби омӯзиш:test барои LOLv2-Real 689:100 ва барои LOLv2-Synthetic 900:100 мебошад.

Маҷмӯи додаи LOL-Blur аз 12.000 ҷуфти тасвири камравшан/хира ва баландравшан, ки аз 200 саҳна сохта шудаанд, иборат аст; 10.200 ҷуфт барои омӯзиш ва 1.800 ҷуфт барои тест истифода шудааст. Дар бахши Sony-Total-Dark 2.697 ҷуфти тасвири RAW бо экспозитсияи кӯтоҳ ва тӯлонӣ мавҷуд аст; 2.099 ҷуфт барои омӯзиш ва 598 ҷуфт барои тест истифода шудаанд.

Озмоишҳои умумисозӣ бидуни тасвири истинодӣ дар DICM, LIME, MEF, NPE ва VV анҷом дода шудаанд. Илова бар ин, барои арзёбии таъсири беҳтарсозии камравшан ба вазифаи сатҳи баландтари диди компютерӣ маҷмӯи додаи ошкорсозии объектҳои ExDark истифода шудааст.

Ҷузъиёти омӯзиш ва татбиқ

Натиҷаҳои асосии benchmark-и ҷуфтшуда

Ҳаҷми ҳисоббарории D2SNet дар ҷадвалҳои манбаъ ҳамчун 5.62 миллион параметр ва 36.82 G FLOPs дода шудааст. Дар LOLv1 модел бо 25.09 dB PSNR қимати 24.67 dB-и Diff-Retinex++-ро 0.42 dB боло бурдааст. Дар LOLv2-Synthetic D2SNet 26.60 dB PSNR, 0.947 SSIM ва 0.027 LPIPS ба даст овардааст.

Барои LOLv2-Real қиматҳои 23.80 dB PSNR ва 0.877 SSIM-и D2SNet дар Ҷадвали 1-и манбаъ баландтаринанд. Аммо LPIPS 0.076 аст, дар ҳоле ки барои CWNet дар ҳамон ҷадвал 0.063 гузориш шудааст. Аз ин рӯ, изҳороти матни манбаъ, ки мегӯяд “дар PSNR, SSIM ва LPIPS ҳама беҳтарин аст”, бо сутуни LPIPS-и ҷадвал мувофиқат намекунад.

LOL-Blur: беҳтарсозӣ ва бартараф кардани хирашавӣ якҷоя

Дар озмоиши LOL-Blur D2SNet 27.78 dB PSNR, 0.906 SSIM ва 0.075 LPIPS ба даст овардааст. Дар Ҷадвали 2-и манбаъ ҳар се қимат аз дигар усулҳои end-to-end ва пайдарпайи номбаршуда беҳтар ба назар мерасанд. Арзиши ҳисоббарории 36.82 G FLOPs аз баъзе усулҳои вазнинтар ба таври назаррас пасттар аст, аммо модел сабуктарини муқоисашуда нест.

Дар муқоисаҳои сифатии манбаъ барои баромадҳои D2SNet барқарорсозии ранг, нигоҳдории ҷузъиёт ва коҳиши хирашавӣ таъкид мешавад. Ин бо мисолҳои визуалӣ дастгирӣ мешавад; аммо интихоби мисолҳои сифатӣ таҳқиқоти мустақили корбарӣ нест, ки ҳамаи саҳнаҳои имконпазирро намояндагӣ кунад.

Sony-Total-Dark: тасвирҳои RAW-и бисёр торик

Дар Sony-Total-Dark D2SNet 21.70 dB PSNR, 0.676 SSIM ва 0.387 LPIPS ба даст овардааст. Дар муқоисаи манбаъ LEDNet мутаносибан 20.83 dB, 0.648 ва 0.471 дорад. Ин озмоиш нишон медиҳад, ки меъморӣ на танҳо дар тасвирҳои стандартии LOL, балки дар додаҳои RAW бо экспозитсияи бисёр паст низ арзёбӣ шудааст.

Маҷмӯаҳои дода бидуни тасвири истинодӣ

Дар LIME, MEF ва VV D2SNet қиматҳои қавӣ медиҳад. Дар DICM BRISQUE 18.16 пасттарин қимат дар ҷадвали манбаъ аст; NIQE 3.77 бошад, аз 3.76-и DarkIR андаке баландтар аст. Дар NPE қимати BRISQUE-и D2SNet 13.21 аз 12.88-и DarkIR ва қимати NIQE 4.01 аз 3.74-и CIDNet баландтар аст. Аз ин рӯ, натиҷаҳоро набояд ҳамчун “дар ҳамаи маҷмӯаҳои додаи ҷуфтнашуда ва дар ҳамаи метрикаҳо беҳтарин” тафсир кард.

Озмоишҳои Ablation Саҳми Кадом Ҷузъҳои D2SNet-ро Нишон Медиҳанд?

Ablation-ҳои манбаъ нишон медиҳанд, ки бузургтарин саҳми модули ягона аз DFSM меояд, MSFEM фоидаи иловагӣ медиҳад ва истифодаи SU-Net танҳо дар миқёси баландтарин ҳалнокӣ аз ҷиҳати тавозуни самаранокӣ-ҳисоббарорӣ муносибтар аст; сохтори пурра дар LOLv1 ба 25.09 dB PSNR ва 0.874 SSIM расидааст.

Саҳми модулҳои асосӣ

Шабакаи асосӣ 20.19 dB PSNR ва 0.815 SSIM додааст. Илова кардани MSFEM ба bottleneck-и U-Net-и асосӣ PSNR-ро ба 21.06 dB расонд, дар ҳоле ки истифодаи DFSM дар миқёсҳои дахлдор онро ба 23.68 dB бурд. Муаллифони манбаъ инро ҳамчун афзоиши 3.49 dB PSNR нисбат ба baseline барои DFSM гузориш мекунанд.

Бо илова кардани SU-Net ба миқёси якум PSNR 23.74 dB шуд, дар ҳоле ки FLOPs аз 38.13 G ба 35.01 G коҳиш ёфт. Бо ҷойгиркуниҳои баъдии MSFEM шабакаи пурра ба 25.09 dB PSNR, 0.874 SSIM, 5.62 M параметр ва 36.82 G FLOPs расид.

Чаро танҳо як SU-Net?

Бо зиёд шудани шумораи SU-Net, ҳарчанд ҳисоббарорӣ кам мешавад, сифати тасвир коҳиш меёбад. Тавзеҳи манбаъ ин аст, ки downsampling-и иловагӣ дар қабатҳои ҳалнокии паст метавонад боиси талафи барқарорнашавандаи ҷузъиёти фазоӣ гардад.

Шумораи гурӯҳҳои FFE

Барои FFE дар ҳолатҳои \(g=2\) ва \(g=4\) PSNR 23.57 dB, дар \(g=8\) 23.68 dB ва дар \(g=16\) 23.48 dB аст. Аз ин рӯ, дар модели ниҳоӣ 8 гурӯҳ интихоб шудааст. Манбаъ пастшавӣ дар 16 гурӯҳро ба overfitting-и эҳтимолӣ нисбат медиҳад; ин шарҳ механизми мустақиман исботшуда нест, балки тафсири муаллифон аст.

Тарҳи филтри омӯзишпазир ва диққат

Дар муқоисаи FFE филтри Gaussian 23.22 dB, филтри Wavelet 23.21 dB ва филтри пастгузари омӯзишпазир 23.68 dB PSNR додааст. Дар бахши DAGG бо CBAM 23.19 dB ва бо сохтори DAM-и таҳқиқот 23.68 dB ба даст омадааст. Ҳамин тавр, озмоишҳои манбаъ нишон медиҳанд, ки ҳам ҷудокунии басомади мутобиқ ба мундариҷа ва ҳам механизми параллелии дугонаи диққат дар benchmark-и интихобшуда саҳм гузоштаанд.

Саҳми миқёсҳои MSFEM

Се 3 × 3 DWDConv-и параллел 20.34 dB, се сохтори параллелии 5 × 5 20.56 dB ва се сохтори параллелии 7 × 7 20.64 dB PSNR додааст. Large Branch-и бисёрмиқёса ба 20.81 dB, истифодаи якҷояи Large Branch ва Small Branch бошад ба 21.06 dB расидааст. Илова кардани шохаи хурд 0.19 dB PSNR фоида дода, тибқи ҷадвали манбаъ танҳо 0.07 G FLOPs-и иловагӣ овардааст.

Барномаи ошкорсозии объектҳои ExDark

Таҳқиқот таъсири беҳтарсозии тасвирро на танҳо ба метрикаи сифати визуалӣ, балки ба вазифаи минбаъдаи диди компютерӣ низ санҷидааст. 7.363 тасвири маҷмӯи додаи ExDark ба 5.890 тасвири омӯзиш, 737 тасвири валидация ва 736 тасвири тест тақсим шудааст. Пас аз беҳтар кардани тасвирҳо бо модели D2SNet, ки дар LOLv2-Synthetic омӯзонида шудааст, детектори объектҳои YOLO-V5 истифода шудааст.

Бо preprocessing-и D2SNet дар Ҷадвали 10-и манбаъ mAP-и умумӣ 73.6 гузориш шудааст. Дувумин қимати миёнаи баландтар барои SRENet 67.9 аст; фарқ 5.7 нуқта мебошад. Дар категорияи “Dog” D2SNet ба 80.0 ва Diff-Retinex++ ба 72.8 расида, фарқ 7.2 нуқта шудааст. Дар яке аз мисолҳои Расми 9-и манбаъ қаиқе, ки дар тасвири камравшан ошкор нашуда буд, пас аз беҳтарсозии D2SNet аз ҷониби YOLO-V5 бо эътимоди 0.82 муайян шудааст.

Натиҷаҳои D2SNet-ро Чӣ Гуна Бояд Тафсир Кард?

Натиҷаҳои D2SNet дастгирӣ мекунанд, ки синергияи фазоӣ-басомадӣ метавонад дар шароити маҷмӯаҳои benchmark ва танзимоти омӯзишии истифодашуда равиши қавии барқарорсозӣ бошад; аммо бинобар мақоми preprint, доираи маҳдуди маҷмӯаҳои дода ва баъзе номувофиқиҳои матн-ҷадвал, ин натиҷаҳоро набояд ба даъвои бартарии қатъӣ ва универсалӣ барои ҳамаи системаҳои камераи воқеӣ ё ҳамаи шароити камравшан табдил дод.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

Озмоишҳои манбаъ нишон медиҳанд, ки DFSM саҳми пурқуввати ablation медиҳад, омезиши миқёсҳои гуногуни receptive field дар MSFEM нисбат ба версияҳои якмиқёса PSNR-и баландтар медиҳад ва як SU-Net, ки дар сатҳи баландтарин ҳалнокӣ ҷойгир шудааст, байни харҷи ҳисоббарорӣ ва сифат тавозуни муносибтар месозад. D2SNet инчунин дар маҷмӯаҳои додаи ҷуфтшуда, ҷуфтнашуда, хира ва бисёр торик санҷида шудааст; тавассути озмоиши ExDark таъсири preprocessing ба ошкорсозии объектҳо низ арзёбӣ шудааст.

Умумисозиҳое, ки таҳқиқот дастгирӣ намекунад

Таҳқиқот исбот намекунад, ки D2SNet дар ҳамаи сенсорҳои камера, ҳамаи моделҳои садо, ҳамаи сатҳҳои равшанӣ ё дастгоҳҳои embedded-и вақти воқеӣ ҳамон як самаранокиро медиҳад. Манбаъ андозагирии latency-ро дар дастгоҳи муайяни мобилӣ, edge accelerator ё низоми саноатии вақти воқеӣ гузориш намекунад. Илова бар ин, беҳбудии метрикаҳои тасвири benchmark маънои онро надорад, ки дар ҳар вазифаи идроки визуалӣ ё диди компютерии амниятӣ-критикӣ ҳамон андоза фоида ба даст меояд.

Ёддошт оид ба Манбаъ ва Усул

Унвони аслӣ: D2SNet: Dual-domain Synergy Network for Low-Light Image Enhancement

Муаллифон: Feng Huang; Jing Guo; Jing Wu; Jiong Huang.

Тартиби муаллифон: Feng Huang → Jing Guo → Jing Wu → Jiong Huang.

Муассиса: Тибқи сабти расмии SSRN, ҳамаи чор муаллиф бо Fuzhou University алоқаманданд.

Муаллифи тамос: Дар сабти SSRN Jing Guo ҳамчун “Contact Author” нишон дода шудааст. Версияи намоёни PDF нишонаи алоҳидаи corresponding-author пешниҳод намекунад.

DOI: 10.2139/ssrn.7003581

Платформа: SSRN.

Сабти расмӣ:SSRN Abstract 7003581

Санаи ирсол/сабт: 26 июни 2026.

Навъи манбаъ: Мақолаи таҳқиқотии preprint.

Ҳолати рецензия: PDF-и манбаъ ошкоро нишон медиҳад, ки кор аз рецензияи ҳамтоён нагузаштааст.

Маҷалла/ҷилд/шумора: Дар манбаъ маълумоти нашри маҷаллаи рецензияшаванда, ҷилд ё шумора дода нашудааст.

Иҷозатнома/ҳуқуқи муаллиф: Дар саҳифаи сабти SSRN гуфта мешавад, ки ҳуқуқҳо ҳифз шудаанд ва истифодаи дубора бидуни иҷозат манъ аст. Аз ин рӯ, матни Verianla тарҳи расм ва ҷадвалҳои манбаъро нусхабардорӣ намекунад; танҳо маълумоти илмии санҷишпазир, усул, муодилаҳо ва натиҷаҳоро дар сохтори мустақили омӯзишӣ шарҳ медиҳад.

Бархӯрди манфиатҳо: Муаллифон изҳор мекунанд, ки манфиати молиявӣ ё муносибати шахсии маълуме, ки ба кор таъсир расонад, вуҷуд надорад.

Дастрасии дода: Манбаъ мегӯяд, ки додаҳои истифодашуда дар таҳқиқот бо дархост дастрасанд.

Маблағгузорӣ: Дар PDF-и баррасишуда изҳороти алоҳидаи маблағгузорӣ гузориш нашудааст.

CRediT/саҳми муаллифон: Дар PDF-и баррасишуда изҳороти CRediT барои ҳар як муаллиф дода нашудааст.

Номувофиқии ишора дар дохили манбаъ: Дар тасвири Муодила (3) \(LPS^{i}\) истифода шудааст, дар ҳоле ки дар матни шарҳи дахлдор барои филтри пастгузар \(LPF^{i}\) навишта шудааст. Манбаъ сабаби ин фарқро шарҳ намедиҳад.

Номувофиқии натиҷа дар дохили манбаъ: Матн мегӯяд, ки D2SNet дар LOLv2-Real аз рӯи PSNR, SSIM ва LPIPS ҳар се беҳтарин аст, аммо дар Ҷадвали 1 қимати LPIPS-и CWNet 0.063 ва D2SNet 0.076 мебошад. Азбаски барои LPIPS қимати пасттар беҳтар аст, дар арзёбии Verianla қиматҳои ҷадвал асос гирифта шудаанд.

Маҳдудияти методологӣ: Натиҷаҳо ба самаранокии модели омӯзишёфтаи барқарорсозии тасвир дар маҷмӯаҳои интихобшудаи benchmark такя мекунанд. Рецензия, бозтавлиди мустақил, андозагирии latency дар сахтафзорҳои гуногун ва санҷиши васеи саҳроӣ аз ҷониби ин манбаъ нишон дода нашудаанд.