Бул изилдөө, жамгыр сызыктарыйле бозулан тек бир сүрөтйү дүшүк энергия керектөөсүйле темизлемек үчүн BiSNet адлы биологиялык көрүүдөн шыктанган бир импульстук нейрон тармагы сунуштайт. Импульстук нейрон тармактары, билгийи үзгүлтүксүз калкыма чекиттүү активациялер йерине чогунлукла 0 вейа 1 маанили сейрек импульс окуяларыйла ишлер. Бу өзеллик, еткин олмайан нейрондордо герексиз эсептөөйы азалтма потенциалы ташыркен сүрөттү калыбына келтирүүнда ренк, текстура ве ичке кыр билгисинин кайболмасына да йол ачабилир. BiSNet’ин пайдубал амажы, бу билги кайбыны азалтыркен атымлы эсептөөнын дүшүк энергия авантажыны корумактыр.

Модел, биологиялык көрүү системаиндеки айрынты ве йөн билгисине дуйарлы вентралдык жол менен дагы кең гөрсел бторламы маанилендирен дорсалдык жол арасындаки иш бөлүмүнден есинленен ики коллу бир мимари кулланмактадыр. Йерел кол, жамгыр сызыктарынн чогунлукла тик вейа кыйгач узанмасындан йарарланарак Gabor табанлы атымлы конволюциялерле багыттык айрыкчари чыкарыр. Күресел кол болсо сүрөтнүн генел түзүмүны, жамгырдан жабыркаган бөлгелери ве жыштык мейкиндигиндаки жогорку жыштыктагы бузулуулары маанилендирир. Ики кол, коддоочу бойунжа бирбирлерийле еткмененшмекте ве декоддоочу ашамасына багыт маалыматы бар аттоо байланыштары гөндермектедир.

BiSNet үч пайдубал өзел компонент ичермектедир. Gabor Спикинг Ресидуал Бложк, 0°, 45°, 90° ве 135° гиби йөнлере дуйарлы Gabor өзөклерийле жамгыр сызыктарын йакаламактадыр. FMECA модульү, Фоуриер мейкиндигинда спектрал генлиги уйарларкен фаза маалыматыни корумакта; узамсал колда болсо йтормурдан еткмененнмиш бөлгелери белирлейен бир маска үретмектедир. DiSA модульү, коддоочудан декоддоочуйе актарылан айрыкчарде 45°, 90° ве 135° йөнлериндеки йтормур тепкмененрини семантик билгмененрле бирлештиререк герчек несне кенарларыйла жамгыр сызыктарын айырмайа изилдөөктадыр.

Rain200H, Rain200L ве Rain1200 адлы сентэтикалык маалымат күмелеринде BiSNet, каршылаштырылан бүтүн ыкмалер үчүнде эң жогорку PSNR ве SSIM маанилерини вермиштир. Модел Rain200H’де 29,88 дБ ве 0,9180; Rain200L’де 40,31 дБ ве 0,9877; Rain1200’де 34,61 дБ ве 0,9398 натыйжаларына улашмыштыр. Rain1200’де ен йагымн ракибе ылайык PSNR авантажы йалнызжа 0,02 дБ икен Rain200L’де фарк 0,78 дБ’йе чыкмыштыр. Бу неденле үстүнлүгүн чоңлүгү маалымат күмесине ылайык дегишмектедир.

BiSNet 1,108 милйон параметре, 12,494 милйар ФЛОП ве \(1{,}562\times10^5\) µЖ катары рапорланан энергия чыгымыне сахиптир. Енержиси, таблицадаки эң төмөн энергияли ЖНН модельи NAFNet’тен болжол менен йүзде 22,2 дагы дүшүктүр. Буга каршы дагы кичинекей атымлы модельлер олан ESDNet ве VLIF, BiSNet’тен дагы аз энергия түкетмектедир. BiSNet’ин салымы эң төмөн энергия мааниини сторламак дегил, атымлы торларын тактык–энергия денгесини дагы йүксек сүрөт сапаты йөнүнде гелиштирмектир.

Түркия жагынан: BiSNet йаклашымы; йторыш астында чалышан жол кыймылы камералары, айдоочуга жардам системалары, учкучсуз учуучу аппараттар, коопсуздук камералары, айыл чарба сүрөттөөсү, темир жол ве автомагистраль излеме системалери гиби аланларда араштырылабилир. Түркияда колдонмо мурунсинде Карадениз, Мармара ве йүксек йторыш алан кентлерде түн-гүндүз, фара чагылышы, туман, кар аралаш жамгыр, линзадагы тамчылар ве рүзгâрла горизонталдуулашан йторыш шарттарыны ичерен жергиликтүү маалымат күмелери олуштурулмалыдыр. Модел герчек бир четки түзмөкнда вейа нейроморфтук ишлемжиде гежикме, wатт жинсинден гүч, эстутум колдонуу ве кийинки объект аныктоо ылайыквлерине еткисийле сынанмалыдыр. Изилдөөдөн Түркиядаки трафик вейа коопсуздук системалеринде догрудан кулланыма хазыр бир үрүн, бүтүн йторыш бичимлеринде ишенимилир натыйжа вейа догруланмыш физиксел энергия үнөмдөө чыкарыламаз.

Тек сүрөтден жамгырды кетирүү маселеи недир?

Йтормур тартипсында чекмененн сүрөттөрде инже чизгмененр, йогун бейаз бантлар, дүшүк контраст, ышык сачылмасы ве жергиликтүү булануу олушабилир. Бу бозулмалар йалнызжа сүрөтнүн естэтикалык калитесини дүшүрмез; объект аныктоо, көзөмөлдөө, классификация ве сахнаны түшүнүү гиби кийинки билгисайарлы гөрү ылайыквлеринин гирдисини де дегиштирир.

Тек сүрөтден жамгырды кетирүү, йалнызжа бир йтормурлу кареден таза сүрөтнүн тахмин едилмесини амачлар. Видео ыкмалеринин аксине мурунку ве кийинки карелерден харекет билгиси алынамаз. Моделин ошол эле анда ики каршыт бутаи денгелемеси герекир:

• Йтормур чизгмененрини ве йторышын олуштурдугу жогорку жыштыктагы бузулуулары калдырмак
• Инже несне кенарларыны, сач, битки, тел, йол чизгиси ве бензери герчек түзүмлары корумак

Йтормур чизгмененри менен герчек сүрөт кенарлары бензер догрултулара ве йүксек жыштык айрыкчарине сахип олабмененжегинден, ашыры күчтүү гидерме ишлеми герчек текстуралары смененбилир. Йетерсиз гидерме болсо сүрөтде йтормур калынтылары быракабилир.

Неден импульстук нейрон тармагы колдонулган?

Геленексел конволюцияли синир торлары ве Трансформер модельлери, абдан сайыда убакыткли маанили чарпма-топлама ишлеми герчеклештирир. Импульстук нейрон тармактары болсо нейронларын йалнызжа чек ашылдыгында импульс үретмесине дайаныр. Спике олушмайан конумларда сейрек ве окуяга негизделген эсептөө түзүмлабилмеси, айрыкча уйгун нейроморфтук донаным үстүндө энергия үнөмдөө потенциалы олуштурур.

Йтормурдан еткмененнен пикселлерин чеврелерине ылайык ани тыгыздык дегишимлери гөстермеси, изилдөөчүлөрдүн йорумуна ылайык экилик импульс тепкмененрийле догал бир уйум ташымактадыр. Ошентсе да сүрөттү калыбына келтирүү йогун ве убакыткли маанили бир чыкты геректирир. Спике активациялеринин ичопои түзүмү төмөнкү билгмененрин кайболмасына неден олабилир:

• Хафиф ренк гечишлери
• Дүшүк контрастлы кенарлар
• Инже бет текстуралары
• Йтормур чизгисинин шеффафлык дережеси
• Арка план менен бозулма арасындаки кичинекей тыгыздык фарклары

BiSNet, ики йоллу өзеллик чыкарма, багыттык Gabor өнжүллери, жыштык мейкиндиги ишлеме ве көңүл буруу меканизмаларыйла бу билги кайбыны азалтмайы максаттайт.

BiSNet’ин генел мимариси насылдыр?

Изилдөөнүн 3. сайфасындаки Шечопо 1 ве 14. сайфадаки там бойутлу мимари чизими, торын жамгырлуу сүрөтден таза сүрөтйе катар олан агымшыны көрсөтөт.

1. Тек жамгырлуу сүрөт убакыт огунде чогалтыларак бир импульс дизисине дөнүштүрүлүр.
2. Гөрүнтү, жергиликтүү ГаборЖонв колу ве күресел өзеллик чыкарма колу олмак үзере ики кола айрылыр.
3. Йерел колда GaborSRB блоклары багыттык йтормур ве кенар айрыкчарини чыкарыр.
4. Күресел колда стантарт Спикинг Ресидуал Бложк ве FMECA модулдари бторлам, жыштык ве жамгыр маскасы билгисини ишлер.
5. Ики колун айрыкчари коддоочунын ар түрдүү севийелеринде бирлештирилир.
6. DiSA модулдари, коддоочу айрыкчарини багыттык ве семантик катары сүзүп декоддоочуйе актарыр.
7. Чөзүжүдеки SRB блоклары чөзүнүрлүгү ве сүрөт айрынтыларыны йениден олуштурур.
8. Шема, жамгырлуу кириш менен тор чыктжылуулук арасында калдык байланышсы булундугуну көрсөтөт.

Мимари, жергиликтүү йөн билгисинин глобалдык бутака рехберлик етмесини амачламактадыр. Бөйлеже тор йалнызжа кең сүрөт бторламыны дегил, жамгыр сызыктарынн йөнүнү ве герчек объект чек араларыйла илишкисини де кулланмактадыр.

Бийоложик эки жол бензетмеси насыл кулланылмактадыр?

Изилдөөчүлөр жергиликтүү Gabor колуну биологиялык көрүүдеки вентралдык жолун айрынты ве йөн сечижилигийле, глобалдык бутаку болсо дорсалдык жолун кең гөрсел бторлам ишлемесийле илишкмененндирмектедир. Бу бензетме мимаринин тасарым герекчесидир.

Изилдөөдө инсан вейа хайван гөрсел системаи үстүндө тажрыйба түзүмлмамыш, бийоложик нейрон кайытларыйла модель еткинликлери каршылаштырылмамыштыр. Бу неденле “биологиялык жактан шыктанган” ифадеси, мимари аналожи ве Gabor ресептиф алан өнжүллерини анлатмактадыр; торын биологиялык көрүүйи там катары модельледигини гөстермез.

Спикинг Ресидуал Бложк ханги компоненттери ичермектедир?

Изилдөөнүн 5. ве 15. сайфаларындаки Шечопо 2, стантарт Спикинг Ресидуал Бложк менен GaborSRB түзүмүны салыштырууктадыр. Стантарт блокта:

• LIF нейрону
• Атымлы конволюция
• Замана бторлы топлу нормализасйон вейа тдБН
• Артык шилтемесы
• Миxед Аттентион Унит

булунмактадыр. Миxед Аттентион Унит шемада убакыттык көңүл буруу, канал көңүл бурууи ве узамсал көңүл буруу компоненттерини ичермектедир. Ана текстде бу үч алт компонентин айрынтылы теңдемелери маалыматлмемиштир.

Gabor Спикинг Ресидуал Бложк насыл изилдөөктадыр?

Gabor филтрелери белирли бир йөн ве узамсал жыштыктаки чизгмененре күчтүү йаныт верен филтрелердир. Изилдөөдө жамгыр сызыктарынн чогунлукла тик вейа кыйгач олмасы, Gabor табанлы баштапкы өзөклеринин сечилмесинин пайдубал герекчесидир.

GaborSRB’де конволюция торырлыклары сабит тутулмамактадыр. Өнже йтормур йөнлерине дуйарлы Gabor ишлевлерийле башлатылмакта, дагы кийин окутуу тартипсында маалыматйле бирликте уйарланмактадыр. Бөйлеже баштапкытаки йөн сечижилигин корунмасы менен ылайыкв өзелинде өгренме арасында денге курулмайа чалышылмактадыр.

Сыг катмарларда колдонулган өзөклер ана ве чевресел ресептиф аланларын фаркына дайанмактадыр. Изилдөөдөки пайдубал түзүм төмөнкү бичимде өзетленебилир:

\[ K_1 = \operatorname{Gabor}(x,y;\theta_1,\sigma_3) -\beta\,\operatorname{Gabor}(x,y;0^\circ,\sigma_4) \]

ве ишарет йөнү терс чеврилмиш еш чекирдегидир. Икинжи түзүм ики ар түрдүү йөнү салыштырууктадыр:

\[ K_2 = \operatorname{Gabor}(x,y;\theta_1,\sigma_1) -\operatorname{Gabor}(x,y;\theta_2,\sigma_2) \]

Дерин катмарларда колдонулган үчүнжү түзүм, ана йөнү горизонталдуу ве кыйгач йардымжы компоненттерин бирлешиминден айырмактадыр:

\[ K_3 = \operatorname{Gabor}(x,y;\theta_1,\sigma_1) -\left[ \alpha\,\operatorname{Gabor}(x,y;0^\circ,\sigma_2) +\operatorname{Gabor}(x,y;\theta_2,\sigma_2) \right] \]

Изилдөөдөки ачылар:

• \(\theta_1\in\{0^\circ,45^\circ,90^\circ,135^\circ\}\)
• \(\theta_2\in\{45^\circ,135^\circ\}\)
• \(\alpha=18\%\)
• \(\beta=26\%\)

катары аныкталган. \(\sigma_1\) ве \(\sigma_2\) сыг катмарлардаки меркез ве чевре аланларыны, \(\sigma_3\) ве \(\sigma_4\) болсо дерин катмарлардаки алан чоңлүклерини темсил етмектедир.

Бу түзүм тик ве чапраз жамгыр сызыктарыне күчтүү бир баштапкы тепкиси сторлар. Бирок горизонталдууа йагымн йтормур, егри дамла излери, ленс үстүндөки чоң дамлалар вейа ышык сачылмасы үчүн айры йөн базлы өндүрүмдүүлүк натыйжалары рапорланмамыштыр.

GaborSRB гөрселлештирмеси не көрсөтөт?

10. ве 21. сайфалардаки Шечопо 8’де окутуу башлангыжындаки дүшүк севийели Gabor тепкмененри менен окутуу кийинсындаки дагы дерин өзеллик карталары гөстерилмектедир.

• Башлангычта филтрелер абдан сайыда кыйгач йтормур чизгисине ве объект кырына күчтүү йаныт вермектедир.
• Орта катмарларда тепкмененр дагы сечижи хâле гелмекте ве базы арка план чизгмененри бастырылмактадыр.
• Дерин катмарларын объект чек аралары менен дагы сойут түзүмлары өне чыкардыгы мененри үйүрлмектедир.

Бу гөрселлер модельин ханги бөлгелере тепки вердигини нител катары көрсөтөт. Бирок өзеллик картасы, белирли бир модульүн неденсел катары догру йтормур айрымыны йаптыгына тек башына каныт олуштурмаз. Ошондой эле шеклин сон ики сатырындаки этикалыкетлерин икиси де “Gabor Жонверге-Мид” катары йазылмыштыр; ачыкламада үчүнжү сатырын йүксек дүзей өзеллик олдугу белиртилмектедир.

FMECA модульү жыштык мейкиндигины насыл кулланмактадыр?

FMECA, метнин ар түрдүү бөлүмлеринде Спикинг Фреqуенжй Маск Аттентион Бложк ве Фреqуенжй-Маск-гуидед Еффижиент Жханнел Аттентион ифаделерийле танымланмактадыр. Модүл үч ана парчадан олушур:

• FrequencyMixerBlock
• RainMaskHead ве RainMaskGate
• Еффижиент Жханнел Аттентион

Фреканс колунда хер убакыт кадамындаки өзеллик картасына ики бойутлу герчек Фоуриер дөнүшүмү уйгуланыр. Спектрумун генлиги 1 × 1 конволюцияле уйарланыркен фаза компоненти корунур. Дегиштирмененн спектр тескери Фоуриер өзгөртүүсүйле узамсал алана гетирилир.

Фрекансла гүчлендирилмиш өзеллик \(Ф\), өзгүн гириш \(x_{тб}\) менен калдык байланышсында бирлештирилир:

\[ Y=x_{tb}+F \]

Бу йаклашымын амажы, жамгыр сызыктарынн йүксек жыштыклы ве йөнлү спектрал компоненттерини глобалдык контекст үчүнде айкынлештирмектир.

Йтормур маскаси насыл олуштурулмактадыр?

RainMaskHead, импульс өзеллик тенсөрү \(п\) аркылуу мурун жергиликтүү кенар тепкиси үретир:

\[ E_t=\operatorname{tdBN} \left( \operatorname{Conv}_{3\times3}(\operatorname{LIF}(p)) \right) \]

Хер убакыт кадамындаки позитиф йанытларын орточосы алыныр:

\[ M=\frac{1}{T}\sum_{t=1}^{T}\operatorname{ReLU}(E_t) \]

Даха кийин 1 × 1 конволюция ве Сигмоид менен 0–1 аралыгында йтормур айкынлик маскаси олуштурулур:

\[ M_{\mathrm{rain}}= \operatorname{Sigmoid} \left( \operatorname{Conv}_{1\times1}(M) \right) \]

RainMaskGate, йтормур ве арка план бөлгелерине айры конволюциялер уйгулар:

\[ Y_{\mathrm{gate}} = \operatorname{Conv}_{\mathrm{rain}}(f)\odot M_{\mathrm{rain}} + \operatorname{Conv}_{\mathrm{bg}}(f)\odot (1-M_{\mathrm{rain}}) \]

Бу айрым, торын жамгырдан жабыркаган бөлгелери дагы күчтүү ишлемейи, темиз вейа түзүмдүк бөлгелерде болсо айрынтыйы корумайы өгренмесини амачламактадыр.

Йтормур маскаси гөрселлери не көрсөтөт?

9. ве 20. сайфалардаки Шечопо 7’де беш сүтун булунмактадыр:

• Йтормурлу гириш
• Йтормурлу ве таза сүрөтнүн фаркындан олуштурулан псевдо-эталон маска
• BiSNet’ин тахмин еттиги маска
• Темизленмиш натыйжа
• Темиз бута

Тахмин едмененн маскалер, йогун ве кыйгач жамгыр сызыктарынде күчтүү йанытлар үретмектедир. Маскелер сөзде реферансын биребир копйасы дегилдир; дагы йайгын ве убакыткли аланлар олуштурмактадыр. Изилдөөчүлөр бунун торын йалнызжа пиксел фаркыны таклит етмек йерине бозулма бөлгелерини өгрендигине ишарет еттигини белиртмектедир.

Маскелерин догрулугу үчүн IoU, F1, тактык вейа сезгичтик гиби айры бир нижел өлчүт сунулмамыштыр. Гөрсел бензерлик, маска колунун йтормур бөлгелерини догру айырдыгыны дестеклесе де там догрулугуну белирлемез.

DiSA модульү неден гереклидир?

Кодлайыжы–декоддоочу торларда аттоо байланыштары, жогорку ажыратуудагы айрыкчарин декоддоочуйе актарылмасыны сторлар. Бирок коддоочудаки айрыкчар герчек несне кенарларыйла бирликте жамгыр сызыктарын де ташыйабилир. Бунлар догрудан актарылырса декоддоочу калдырылмыш йтормуру йениден сүрөтйе еклейебилир.

Дирежтион-Ынтегратед Скип Аттентион вейа DiSA, коддоочу өзеллиги \(x\) менен декоддоочу өзеллиги \(г\) арасында семантик уйум ве багыттык айрым курмактадыр.

Өнже ики өзеллик 1 × 1 издүшүмлерле ортак алана ташыныр:

\[ q=w_g(g)+w_x(x) \]

Кодлайыжы ве декоддоочу айрыкчаринин бирлештирилмиш темсили үстүндө 45°, 90° ве 135° Gabor филтрелери уйгуланыр:

\[ O_k=\left|G_{\theta_k}*s\right|, \qquad \theta_k\in\{45^\circ,90^\circ,135^\circ\} \]

Семантик дарбаза, хер пикселде ханги йөнүн дагы маанилүү олдугуну белирлейен торырлыклары үретир:

\[ W= \operatorname{Softmax} \left( \operatorname{Conv}_{1\times1} (\operatorname{Sigmoid}(q)) \right) \]

Йөнсел тепкмененр торырлыклы катары бирлештирилир:

\[ A_{\mathrm{dir}} = \sum_{k=1}^{K}W_k\odot O_k \]

Йөнсел ве семантик билгмененрден сон көңүл буруу картасы хесапланыр:

\[ A= \operatorname{Sigmoid} \left( \operatorname{Conv}_{1\times1} \left[ A_{\mathrm{dir}}, \operatorname{Conv}_{1\times1}(q) \right] \right) \]

Атлама өзеллиги бу картайла сүзүлүр:

\[ x_{\mathrm{out}}=A\odot x \]

DiSA үчүнде багыттык Gabor филтрелери сабит өнжүллер катары кулланылмакта ве ек өгренмененбилир параметре йүкү чектелген тутулмактадыр.

Ханги маалымат күмелери колдонулган?

Сентэтикалык маалымат күмелеринде жамгырлуу сүрөтнүн таза максати булундугу үчүн пиксел ве түзүм бензерлиги өлчүлебилмектедир. RW-Data’да темиз ешленик бута булунмадыгындан PSNR вейа SSIM хесапланмамыштыр.

PSNR ве SSIM нейи өлчмектедир?

PSNR, йениден олуштурулан сүрөт менен таза максат арасындаки пиксел дүзейиндеки катайа дуйарлыдыр. Даха йүксек маани, генел катары дагы дүшүк орточо пиксел катасы анламына гелир.

SSIM болсо сүрөттөри парлаклык, контраст ве түзүмдүк бензерлик ачжылуулукндан маанилендирир. Йүксек SSIM маании, объект чек араларынын ве жергиликтүү түзүмларын бутае дагы йагымн корундугуну гөстерир.

Бу ики өлчүт сүрөттү калыбына келтирүүнда йайгын олмакла бирликте алгысал догаллыгы, ренк догрулугуну вейа кийинки объект аныктоо өндүрүмдүүлүкыны тек башына там катары темсил етмез.

Егитим ве колдонмо айарлары нелердир?

Изилдөөдө сүрөт артырма ишлемлери, ренк нормализасйону, жоготуу функциясы, LIF чек маанилери, нейрон заман сабитлери, суррогат градиент ишлеви, торырлык баштапкыларынын тамамы ве эрте токтотуу өлчүтү айрынтылы катары ачыкланмамыштыр.

Ана салыштыруу натыйжалары нелердир?

Rain200H натыйжалары насыл йорумланмалыдыр?

Йогун жамгыр сызыктарынден олушан Rain200H’де BiSNet 29,88 дБ PSNR ве 0,9180 SSIM елде етмиштир. Икинжи эң жогорку PSNR 29,62 дБ, икинжи эң жогорку SSIM 0,9126 менен CPRA’йа аиттир.

• PSNR фаркы: 0,26 дБ
• SSIM фаркы: 0,0054

7. ве 18. сайфалардаки гөрсел салыштырууда BiSNet’ин йогун чапраз жамгыр сызыктарын калдырдыгы ве мержан менен су бетиндеки айрынтылары бута сүрөтйе йагымн корудугу гөстерилмектедир. Базы ракиплерде кичинекей йтормур калынтылары, ренк дегишимлери вейа йумушама ишаретленмиштир.

Rain200L натыйжалары насыл йорумланмалыдыр?

Сейрек йтормур маалымат күмеси Rain200L’де BiSNet 40,31 дБ PSNR ве 0,9877 SSIM вермиштир.

• Икинжи эң жогорку PSNR: CPRA, 39,53 дБ
• PSNR фаркы: 0,78 дБ
• Икинжи эң жогорку SSIM: MPRNet, 0,9869
• SSIM фаркы: 0,0008

PSNR фаркы бу маалымат күмесинде айкынкен SSIM фаркы кичинекейтүр. Бу дурум, пиксел катасында дагы күчтүү иймененшме елде едилиркен түзүмдүк бензерликте ракип модельлерин де бутае олдукча йагымн олдугуну көрсөтөт.

Rain1200 натыйжалары насыл йорумланмалыдыр?

Даха чоң ве чешитли Rain1200 маалымат күмесинде BiSNet 34,61 дБ PSNR ве 0,9398 SSIM елде етмиштир.

• Икинжи эң жогорку PSNR: CPRA, 34,59 дБ
• PSNR фаркы: 0,02 дБ
• Икинжи эң жогорку SSIM: HPCNet, 0,9371
• SSIM фаркы: 0,0027

BiSNet таблица үчүнде эң жогорку маание сахип олса да PSNR үстүнлүгү йалнызжа 0,02 дБ’дир. Тек чалыштырма ве истатистиксел дегишкенлик маалыматлмедигинден бу кичинекей фаркын растгеле окутуу дегишкенлигинден дагы чоң олуп олмадыгы белирленымдуулукез.

СНН табанлы ыкмалере ылайык казаным недир?

BiSNet, атымлы ракиплерден дагы йүксек ресторасйон догрулугу сторламакта; бирок бунун каршылыгында дагы фазала параметре, ФЛОП ве рапорланан энергия кулланмактадыр.

Моделин энергия ве эсептөө денгеси насылдыр?

• BiSNet’ин параметр саны 1,108 милйондур.
• VLIF, ESDNet ве CPRA дагы аз параметре кулланмактадыр.
• BiSNet’ин 12,494 милйар ФЛОП маании йалнызжа VLIF ве ESDNet’ин үстүндөдир; таблицада үчүнжү эң төмөн маанидир.
• BiSNet’ин рапорланан энергияси 156.200 µЖ’дүр.
• NAFNet’ин 200.800 µЖ мааниине ылайык болжол менен йүзде 22,2 дагы дүшүктүр.
• BiSNet, ESDNet’тен болжол менен йүзде 70,7 дагы фазала энергия кулланмактадыр.
• BiSNet’ин рапорланан энергияси VLIF’ин болжол менен 13,4 катыдыр.

Бу натыйжалар BiSNet’ин мутлак катары ен натыйжалуулукли тор олмадыгыны көрсөтөт. Модел, дагы фазала СНН эсептөө нарки каршылыгында ЖНН ве Трансформер дүзейине йаклашан вейа онлары ашан сүрөт сапаты сторламайы амачламактадыр.

Енержи таблицасунун насыл хесапландыгы ачыкланмадыгы үчүн µЖ маанилери герчек жихаз кубат керектөөсү, батарея мөөнөтү вейа саха өндүрүмдүүлүкы катары догрудан йорумланмамалыдыр.

Герчек жамгырлуу сүрөтлерде не көрсөтүлгөн?

8. ве 19. сайфалардаки RW-Data салыштыруусында йтормурлу бир йол ве битки өртүсү сүрөтсү колдонулган. Изилдөөчүлөр базы ыкмалерде:

• Йтормур калынтжылуулук
• Битки текстураларында ашыры йумушама
• Йерел түзүм кайбы
• Догал олмайан ренк гечиши

булундугуну, BiSNet’ин болсо дагы темиз ве догал бир сүрөт үреттигини мененри сүрмектедир.

RW-Data үчүн таза максат булунмадыгындан “ен ийи” натыйжа йалнызжа сечмененн гөрселлерин нител йорумуна дайанмактадыр. Көр инсан баалооси, кулланыжы пуаны, NIQE, BRISQUE вейа кийинки ылайыкв догрулугу рапорланмамыштыр.

Модүл чыкарма тажрыйбалари не көрсөтөт?

Чифт йолун салымы недир?

Темел модель (а) менен йалныз эки жол екленен модель (б) каршылаштырылдыгында:

• PSNR 38,89’дан 39,53 дБ’йе йүкселмиштир.
• Казаным 0,64 дБ’дир.
• SSIM 0,9826’дан 0,9848’е йүкселмиштир.
• Параметре сайжылуулук 0,029 милйондан 0,063 милйона чыкмыштыр.

FMECA булунан модельлерде (ж) менен (д) арасындаки 0,46 дБ фарк да эки жолун салымыны дестеклемектедир.

FMECA’нын салымы недир?

Чифт йоллу модель (б) менен FMECA екленен модель (ж) каршылаштырылдыгында PSNR 0,18 дБ, SSIM 0,0005 артмыштыр. Ошентсе да параметр саны 0,063 милйондан 0,983 милйона, ФЛОП маании 2,633 милйардан 10,286 милйара йүкселмиштир.

GaborSRB ве DiSA булунан модель (ф) менен там модель (г) каршылаштырылдыгында FMECA екленмеси:

• PSNR’ы 0,49 дБ артырмыштыр.
• SSIM’и 0,0019 артырмыштыр.
• ФЛОП мааниини болжол менен 9,782 милйар артырмыштыр.

FMECA, абляция таблицасунда догрулуга күчтүү салым сторларкен эсептөө артышынын да чоң бөлүмүнү олуштурмактадыр.

GaborSRB’нин салымы недир?

Чифт йол ве FMECA ичерен модель (ж) менен GaborSRB екленен модель (е) каршылаштырылдыгында:

• PSNR 39,71’ден 39,95 дБ’йе чыкмыштыр.
• Казаным 0,24 дБ’дир.
• SSIM 0,9853’тен 0,9866’йа йүкселмиштир.
• Ек параметре ве ФЛОП йүкү чектелген калмыштыр.

Бу салыштыруу Gabor йөн өнжүллеринин, ошол эле күресел мимари үчүнде ек ресторасйон салымы сторладыгыны дестеклемектедир.

DiSA’нын бторымсыз салымы белирленмиш мидир?

Хайыр. Макаледе DiSA’нын Gabor айрыкчарине ве чапраз катмар шилтемеларына бторлы олдугу герекчесийле айры бир абляция түзүмлмадыгы белиртилмектедир.

Модел (б) менен модель (ф) каршылаштырылдыгында PSNR 39,53’тен 39,82 дБ’йе йүкселмектедир. Бирок бу салыштырууда хем GaborSRB хем DiSA ошол эле анда екленмиштир. Ошондуктан 0,29 дБ’лик фаркын не катарынын GaborSRB’ден, не катарынын DiSA’дан ширетүүландыгы айры катары белирленымдуулукез.

Там модель пайдубал моделье ылайык не казандырмактадыр?

Аблатион натыйжалары тактык казанжынын үжретсиз олмадыгыны көрсөтөт. Там модель, пайдубал тордан дагы башарылы олмакла бирликте айкын бичимде дагы чоң ве эсептөө йогундур.

Заман адымы сайжылуулук өндүрүмдүүлүкы насыл еткмененмектедир?

Алты убакыт кадамы эң жогорку өлчүтлери вермиштир. Бирок дөрт адымдан алты адыма гечиште:

• PSNR йалнызжа 0,08 дБ йүкселмиштир.
• SSIM йалнызжа 0,0004 йүкселмиштир.
• ФЛОП маании 0,877 милйар артмыштыр.

Изилдөөчүлөр тактык–эсептөө денгеси неденийле ана модельде дөрт убакыт кадамыны сечмиштир.

Изилдөөнүн күчтүү йөнлери нелердир?

• Импульстук нейрон тармактарыны йалныз классификация дегил йогун сүрөттү калыбына келтирүү маселеине колдонмоктадыр.
• Йерел йөн билгиси менен глобалдык контексты айры колларда ишлемектедир.
• Gabor өнжүллери окутуу тартипсында уйарланабилир тутулмуштур.
• Узамсал жамгыр маскасы менен жыштык мейкиндиги ишлеме ошол эле модульде бирлештирилмиштир.
• Атлама шилтемеларындаки йтормур билгисинин йениден сүрөтйе ташынмасыны азалтмайа изилдөөктадыр.
• Үч сентэтикалык маалымат күмесинде ошол эле өлчүтлерле капсамлы модель салыштыруусы сунмактадыр.
• ЖНН, Трансформер ве СНН амененлерини ошол эле таблицада баалооктедир.
• Параметре, ФЛОП ве энергия тахминлерини тактыкла бирликте рапорламактадыр.
• Темел модулдар үчүн абляция тажрыйбалари түзүмлмыштыр.
• Заман адымы менен тактык–эсептөө илишкиси изилденген.
• Йтормур маскалери ве Gabor тепкмененри гөрселлештирилмиштир.
• Герчек йтормур сүрөттөринде нител сыноо түзүмлмыштыр.

Изилдөөнүн пайдубал чектелгенлыклары нелердир?

• Изилдөө рецензиядан өтпөгөн препринт.
• Енержи хесабынын ыкмасы ве варсайымлары ачыкланмамыштыр.
• Нөроморфик ишлемжиде герчек энергия ве гежикме өлчөөү түзүмлмамыштыр.
• ГПУ окутууи менен нейроморфтук чыкарым арасындаки фарк маанилендирилмемиштир.
• Герчек дүнйа маалымат күмесинде нижел реферанслы баалоо булунмамактадыр.
• Көр инсан баалооси вейа кулланыжы изилдөөсы түзүмлмамыштыр.
• Сонучлар үчүн растгеле тохум, стантарт сапма вейа ишеним интервалы маалыматлмемиштир.
• Rain1200’деки 0,02 дБ’лик үстүнлүгүн истатистиксел туруктуулыгы гөстерилмемиштир.
• DiSA модульү бторымсыз катары изоле едилмемиштир.
• Кайып фонксиону ачыкланмамыштыр.
• Вечопо градиент ыкмасы ве LIF нейрон параметрелери маалыматлмемиштир.
• Спике катышы ве катмар базлы олай тыгыздыгы рапорланмамыштыр.
• Енержи мааниийле импульс еткинлиги арасындаки шилтеме гөстерилмемиштир.
• Егитим мөөнөтү ве сүрөт башына чыгаруу кечигүүсү маалыматлмемиштир.
• Беллек колдонулушу ве секундадеки сүрөт сайжылуулук рапорланмамыштыр.
• Мобил, гөмүлү вейа кенар жихаз сыноои түзүмлмамыштыр.
• Фарклы йтормур йөнлери үчүн айры өндүрүмдүүлүк анализи йоктур.
• Йатай йтормур, ленс дамласы, туман ве кар гиби бозулмалар изилденген эмес.
• Геже йтормуру, фар парламасы ве дүшүк жарык шарттары айры сыноо едилмемиштир.
• Йтормур гидерме кийинсында объект аныктоо вейа көзөмөлдөө башарымы өлчүлмемиштир.
• Маске тахмини айры сегментасйон өлчүтлерийле маанилендирилмемиштир.
• Каршылаштырма модельлеринин йениден окутуу айрынтылары ачыкланмамыштыр.
• Вери артырма ве нормализасйон айарлары маалыматлмемиштир.
• Ширетүү коду, егитилмиш торырлыклар ве йениден өндүрүш досйалары үчүн шилтеме сунулмамыштыр.
• Шечопо 8’де этикалыкет тутарсызлыгы булунмактадыр.
• Генел мимаридеки FRB кысалтмасы ачык бичимде танымланмамыштыр.

Изилдөө нейи дестеклемектедир?

• Йөн билгили Gabor өнжүллеринин атымлы сүрөттү калыбына келтирүүнда йарарлы олабмененжегини дестеклемектедир.
• Йерел ве күресел айрыкчарин эки жолда ишленмесинин пайдубал СНН’йе ылайык дагы йүксек тактык сторлайабилдигини көрсөтөт.
• Фреканс аланы ве жамгыр маскасы ишлеменин бирликте кулланылдыгында өндүрүмдүүлүкы артырабилдигини көрсөтөт.
• BiSNet’ин сечмененн үч сентэтикалык маалымат күмесинде каршылаштырылан ыкмалерден дагы йүксек PSNR ве SSIM вердигини көрсөтөт.
• BiSNet’ин мевжут ики СНН табанлы жамгырды кетирүү ыкмасынден дагы догру олдугуну көрсөтөт.
• Дөрт убакыт кадамынын алты адыма йагымн натыйжалары дагы дүшүк ФЛОП менен сторлайабилдигини дестеклемектедир.
• Атымлы торларда тактык менен энергия натыйжалуулуклилиги арасында айарланабилир бир денге курулабмененжегини көрсөтөт.

Изилдөө нейи далилдебейт?

• BiSNet’ин бүтүн йтормур маалымат күмелеринде ен ийи ыкма олдугуну далилдебейт.
• 0,02 дБ гиби кичинекей фаркларын ар түрдүү окутуу текрарларында корунажторыны гөстермемектедир.
• Рапорланан энергия мааниинин герчек жихазда ошол эле сүрөтде герчеклешежегини далилдебейт.
• BiSNet’ин эң төмөн энергияли СНН олдугуну гөстермемектедир.
• Моделин герчек заманлы чалыштыгыны далилдебейт.
• Герчек жамгырлуу сүрөтлерде неснел катары ен ийи гөрсел калитейи сторладыгыны гөстермемектедир.
• Йтормур гидерме ишлеминин объект аныктоо вейа үйүрш ишенимлигини артырдыгыны далилдебейт.
• Бийоложик гөрме системаинин ишлейишини догру бичимде йениден үреттигини гөстермемектедир.
• DiSA’нын бторымсыз салымыны кесин катары белирлемемектедир.
• Йатай йтормур, ленс дамласы, туман, кар вейа түн парламасында ошол эле башарыйы гаранти етмемектедир.

Изилдөөнүн Йөнтеми ве Булгулары

Изилдөө тасарымы

Изилдөө; йени бир импульстук нейрон тармагы мимариси гелиштирме, сентэтикалык ешленик сүрөттөрле денетимли окутуу, ЖНН–Трансформер–СНН салыштыруусы, герчек сүрөттөрде нител инжелеме, компонент чыкарма тажрыйбалари ве убакыт кадамы анализи ичерен эксперименттик бир билгисайарлы гөрү изилдөөсыдыр.

Модел гирдиси ве чыктжылуулук

Темел модулдар

• LIF нейрон табанлы Спикинг Жонволутион Унит
• Замана бторлы топлу нормализасйон
• Спикинг Ресидуал Бложк
• Gabor Спикинг Ресидуал Бложк
• Миxед Аттентион Унит
• FrequencyMixerBlock
• RainMaskHead
• RainMaskGate
• Еффижиент Жханнел Аттентион
• Дирежтион-Ынтегратед Скип Аттентион

Деней маалымат күмелери

Ана табылгалар

• BiSNet үч сентэтикалык маалымат күмесинде эң жогорку PSNR ве SSIM маанилерини вермиштир.
• Ен чоң СНН PSNR казанымы VLIF’е каршы Rain1200’де 1,87 дБ’дир.
• Rain1200’де ен йагымн генел ракибе каршы PSNR фаркы йалнызжа 0,02 дБ’дир.
• Чифт йол, пайдубал моделье 0,64 дБ PSNR казандырмыштыр.
• GaborSRB, ошол эле эки жол ве FMECA түзүмүна 0,24 дБ еклемиштир.
• FMECA, там түзүмда 0,49 дБ ек PSNR сторламыштыр.
• Там модель пайдубал модельден 1,42 дБ дагы йүксек PSNR вермиштир.
• Дөрт убакыт кадамы, алты адымдан йалнызжа 0,08 дБ дагы дүшүк натыйжа вермиштир.
• BiSNet, каршылаштырылан ЖНН модельлери үчүнде эң төмөн энергияли модельден болжол менен йүзде 22,2 дагы дүшүк рапорланан энергияйе сахиптир.
• VLIF ве ESDNet, BiSNet’тен дагы дүшүк энергия түкетмектедир.

Башары өлчүтлеринин йорум сынырлары

Сентэтикалык маалымат күмелеринде PSNR ве SSIM таза максат сүрөттөре ылайык эсептелген. Бу өлчүтлер ошол эле сыноо сүрөттөри үстүндө тек маани катары маалыматлмиштир. Гөрүнтү башына дторылымлар, ишеним аралыклары вейа текрарлар арасы дегишим пайлашылмамыштыр.

Герчек сүрөттөрде бута булунмадыгындан натыйжалар гөрсел үлгүлере дайанмактадыр. Изилдөөдө чыныгы дүйнө башаржылуулукны нижел катары дестеклейежек бторымсыз бир баалоо булунмамактадыр.

Текрарланабилирлик ачжылуулукндан ексик билгмененр

• Егитим ве валидация жоготуу фонксионлары
• Вечопо градиент ишлеви
• LIF чек, ресет ве заман сабитлери
• Спике кодлама айрынтылары
• Катман базлы импульс катышлары
• Енержи хесабынын теңдемеи ве донаным варсайымлары
• Растгеле тохумлар ве тажрыйба текрарлары
• Гөрүнтү артырма айарлары
• Чыкарым мөөнөтү ве эс түкетими
• Ракип модельлерин йениден окутуу проседүрлери
• Ширетүү коду ве модель торырлыклары

Герчек колдонмойа гечиш үчүн герекли адымлар

• Нөроморфик ишлемжиде герчек wатт ве жоуле өлчөөү
• Мобил ГПУ, ФПГА ве кенар ишлемжмененринде гежикме сыноои
• Геже, туман, фар парламасы ве рүзгâрлы йтормур маалымат күмелери
• Ленс үстүндөки дамлалар ве йтормур бирикмеси үчүн айры модельлеме
• Түркия’йе аит герчек йторыш сүрөттөрийле тышкы валидация
• Йтормур гидерме мурунси ве кийинсы объект аныктоо салыштыруусы
• Фарклы йтормур ачылары үчүн өндүрүмдүүлүк таблицасу
• Бирден фазала растгеле тохумла ишеним аралыклары
• DiSA’нын бторымсыз абляция тажрыйбасы
• Маске догрулугунун IoU ве F1 гиби өлчүтлерле маанилендирилмеси
• Герчек сүрөттөрде сокур адам баалоосу
• Код, торырлык ве окутуу түзүмландырмасынын пайлашылмасы

Булак жана метод эскертүүсү

Изилдөөнүн өзгүн ады: Био-инспиред Спикинг Неурал Нетwорк фор Сингле Ымаге Дераининг

Йазарлар: Йуwеи Жхен; Йуwеи Денг; Зхефеи Жаи; Тонг Зху; Бин Зхао; Йингле Фан.

Йазар тартипламасы: Йукарыдаки тартип изилдөөдөки өзгүн автор тартипсыны корумактадыр.

Еш салым билгиси: Изилдөөдө еш биринжи автор вейа еш салым бейаны йер алмамактадыр.

Сорумлу автор: Йингле Фан.

Йазар е-посталары:

• Йуwеи Жхен: yuweichen@hdu.edu.cn
• Йуwеи Денг: yuweideng@hdu.edu.cn
• Зхефеи Жаи: zfcai@cjlu.edu.cn
• Йингле Фан: fan@hdu.edu.cn

Дигер автор е-посталары: Тонг Зху ве Бин Зхао үчүн ана баш аталыш сайфасында е-поста адреси маалыматлмемиштир.

ORCID билгмененри:

• Йуwеи Жхен: 0009-0007-2123-2651
• Йингле Фан: 0000-0002-7478-9687

Курумлар:

• Сжхоол оф Аутоматион, Хангзхоу Дианзи Университй, Хангзхоу 310018, Чин.
• Жоллеге оф Ынформатион Енгинееринг, Жхина Жилианг Университй, Хангзхоу 310018, Чин.

DOI:10.2139/ssrn.7212892

Ресмî жарыялоо платформасы: SSRN.

Ресмî изилдөө шилтемесы:SSRN изилдөө сайфасы

SSRN йүклеме тарихи: 31 Теммуз 2026.

Йайын йылы: 2026.

Досйа узунлугу: SSRN кайдында 21 сайфа. Ана макаленин кенди сайфа нумараландырмасы 13 сайфадыр; йүкленен досйада ек там сайфа сүрөт гөрселлери булунмактадыр.

Дерги: Бу үйүрм үчүн белирли бир хакемли журнал ады вейа кабул карары йер алмамактадыр.

Йайын дуруму: Белгеде “Препринт субмиттед то Елсевиер” ифадеси булунмактадыр. Бу ифаде, изилдөөнүн бир Елсевиер журналсинже кабул едилдиги вейа хакем баалоосини гечтиги анламына гелмемектедир.

Ширетүү түрү: Атымлы нейрон тармагы мимариси, сентэтикалык бенжхмарк салыштыруулары, герчек сүрөттөрде нител баалоо ве абляция тажрыйбалари ичерен билгисайарлы гөрү препринт изилдөөсы.

Хакемлик дуруму: Изилдөө рецензиядан өткөн эмес. Досйанын хер сайфасында “Препринт нот пеер ревиеwед” уйаржылуулук булунмактадыр.

Финансман: Изилдөө, Зхежианг Провинжиал Апплиед Басиж Ресеаржх Програм капсамындаки Xинмиао Прожежт тарафындан 2026XMHD023 нумаралы дестекле финансе едилмиштир.

Йазар салымлары:

• Йуwеи Жхен: Каврамсаллаштырма, ыкма, йазылым, валидация, бичимсел анализ, изилдөө ве йазым.
• Йуwеи Денг: Йөнтем ве маалымат дүзенлеме.
• Зхефеи Жаи: Бичимсел анализ, ширетүүлар ве инжелеме.
• Тонг Зху: Йазылым ве гөрселлештирме.
• Бин Зхао: Ширетүүлар ве данышманлык.
• Йингле Фан: Каврамсаллаштырма, данышманлык ве инжелеме.

Чыкар чатышмасы: Ана текстде ачык бир кызыкчылыктар кагылышы бейаны йер алмамактадыр.

Вери еришими: Rain200L, Rain200H, Rain1200 ве RW-Data адлы мевжут маалымат күмелери колдонулган. Ана текстде бу маалымат күмелеринин догрудан индирме шилтемелары маалыматлмемиштир.

Код ве модель еришими: Ширетүү коду, егитилмиш торырлыклар, там түзүмландырма досйалары ве тажрыйба гүнлүклары үчүн ачык еришим шилтемесы сунулмамыштыр.

Енержи өлчөө ноту: Каршылаштырма таблицасунда µЖ жинсинден энергия маанилери маалыматлмиш; бирок физиксел өлчөө жихазы, энергия эсептөө формулаү, МАЖ ве АЖ катсайылары, импульс катышы вейа бута нейроморфтук донаным ачыкланмамыштыр. Бу неденле маанилер герчек саха кубат керектөөсү катары догруланамамактадыр.

Гөрсел ве ыкма тутарсызлыклары: Шечопо 8 ачыкламасында дүшүк, орта ве йүксек севийели айрыкчарден сөз едилмесине ртормен ики алт гөрсел ошол эле “Gabor Жонверге-Мид” этикалыкетийле сунулмуштур. Генел мимариде гөрүлен FRB кысалтмасынын ачык танымы да ана ыкма метнинде булунмамактадыр.

Бу Түркче ачыклама; йүкленен изилдөөнүн мимари шемалары, Gabor өзөк танымлары, FMECA ве DiSA теңдемелери, маалымат күмеси ачыкламалары, окутуу айарлары, PSNR–SSIM таблицасу, параметре–ФЛОП–энергия салыштыруусы, герчек сүрөт үлгүлөрү, йтормур маскалери, Gabor өзеллик гөрселлештирмелери, абляция таблицасу ве убакыт кадамы натыйжалары инжеленерек даярдалган. Билимсел натыйжалара изилдөө дышындан йени тажрыйба вейа өндүрүмдүүлүк маании екленмемиштир.

Изилдөө, бийоложик йөн сечижилигинден есинленен Gabor өнжүллери менен жыштык ве маска табанлы көңүл буруу меканизмаларынын атымлы сүрөттү калыбына келтирүүнда тактык артышы сторлайабмененжегини дестеклемектедир. Темел сыныр, бу башарыларын сентэтикалык маалымат күмелериндеки течопо өлчөөлөре ве ыкмасы ачыкланмайан энергия тахминлерине дайанмасыдыр. Модел герчек нейроморфтук донанымда, герчек заманлы бир сүрөтлеме системаинде вейа коопсуздук ачжылуулукндан критик бир билгисайарлы гөрү хаттында догруланмадан колдонмойа хазыр кабул едилмемелидир.