Модели пешниҳодшудаи ҳамгироии додаҳои бисёрнамо бо тафкики гибридӣ меъмории супер-тафкик дар асоси омӯзиши амиқ мебошад, ки бо истифода аз як тасвири марказии баландтафкик ва ҳашт намои канории пасттафкик ҳадаф дорад тасвирҳои металлии саноатиро ба тафкики фазоии ҳашт маротиба баландтар расонад. Система шохаи STF (Search and Transfer at Feature Levels)-ро, ки текстураҳои басомади баландро аз намои марказии баландтафкик интиқол медиҳад, бо шохаи SR2I, ки иттилои мукаммали фазоӣ ва кунҷиро байни намоҳои гуногуни пасттафкик коркард мекунад, дар миқёсҳои ×2, ×4 ва ×8 марҳила ба марҳила муттаҳид менамояд. Дар шаш саҳнаи санҷишии синтетикӣ усули пешниҳодшуда ба ҳисоби миёна 41,40 dB PSNR ва 0,930 SSIM, ва дар тасвирҳои воқеӣ 35,37 dB PSNR ва 0,848 SSIM ба даст овардааст. Бо вуҷуди ин, таҷрибаҳо ба тарҳи собити 3 × 3 намо ва сохтори гибридии бадастории LR/HR такя мекунанд; аз ин рӯ натиҷаҳоро мустақиман ба ҳамаи конфигуратсияҳои тасвирбардории саноатӣ умумӣ кардан мумкин нест.

Масъалае, ки таҳқиқот ҳадаф қарор медиҳад, махсусан барои қисмҳои кории металлӣ душвор аст. Инъикоснокии баланд, текстураи суст ё такроршавандаи сатҳ ва параллакси калон байни кунҷҳои гуногуни камера ҳам ҳамоҳангсозии анъанавии пикселӣ ва ҳам интиқоли дурусти ҷузъиёти басомади баландро ба мавқеи мувофиқ мушкил мекунанд. Дар муқобил, усулҳои супер-тафкик, ки танҳо аз як тасвир истифода мекунанд, наметавонанд иттилои мукаммалеро, ки дар намоҳои дигар мавҷуд аст, истифода баранд; усулҳое, ки танҳо намоҳои сершумори пасттафкикро истифода мекунанд, аз текстураи нозуке, ки як истиноди баландтафкик фароҳам меорад, баҳра бурда наметавонанд.

Равиши пешниҳодшуда ин ду манбаи иттилоотро ҷудогона истифода мекунад. Шохаи STF хусусиятҳои намои марказии баландтафкикро дар миқёсҳои ×1, ×2, ×4 ва ×8 хориҷ мекунад ва бо минтақаҳои намои канории пасттафкик мувофиқати монандии бар attention асосёфтаро анҷом медиҳад. Шохаи SR2I бошад, тасвирҳои бисёрнамоии LR-ро ҳамчун сохтори чорченакаи фазоӣ-кунҷӣ коркард карда, бо Spatial–Angular Separable convolutions иттилои дохили намо ва байни намоҳоиро якҷо мекунад. Дар ҳар марҳилаи калонкунӣ баромади ду шоха дар андозаи канал муттаҳид шуда, тавассути residual block fusion иҷро мешавад.

Дар додаҳои синтетикӣ PSNR-и миёна ба 41,40 dB расидааст; ин нишондиҳанда аз ERVSR 4,45 dB ва аз LFhybridSR 8,39 dB баландтар аст. Дар маҷмӯи додаҳои воқеӣ усули пешниҳодшуда бо PSNR-и миёнаи 35,37 dB натиҷаи 34,19 dB-и LFhybridSR-ро, ки дар байни усулҳои муқоисашаванда баландтарин PSNR дошт, ба андозаи 1,18 dB гузаштааст. Илова бар ин, дар таҷрибаи пешакии тасвирҳои воқеӣ бо истифода аз MiDaS-small, пешкоркарди супер-тафкик хатои умқи Abs Rel-ро аз 0,5349 то 0,1024 коҳиш додааст. Ин натиҷаи downstream нишон медиҳад, ки ҷузъиёти тасвир метавонад арзёбии умқро дастгирӣ кунад; аммо он далели мустақими дурустии ченкунии дақиқи саноатӣ нест.

Супер-Тафкики Тасвири Саноатии Бисёрнамо Чист?

Супер-тафкики тасвири саноатии бисёрнамо масъалаи тавлиди тасвирҳои дорои ҷузъиёти фазоии баландтар аз намоҳои пасттафкик бо роҳи муттаҳид кардани иттилои мукаммали фазоӣ ва кунҷӣ дар тасвирҳое мебошад, ки як қисми кориро аз кунҷҳои гуногуни камера нишон медиҳанд.

Дар супер-тафкик LR (Low Resolution) пасттафкик, HR (High Resolution) баландтафкик ва SR (Super-Resolved) тасвири баландтафкикеро ифода мекунад, ки аз ҷониби модел аз нав сохта шудааст.

Дар супер-тафкики яктасвирӣ, яъне SISR, модел танҳо ба як тасвири LR такя мекунад. Ин равиш наметавонад аз ҷузъиёте, ки дар камераҳои дигар намоёнанд, истифода барад ва махсусан дар таносубҳои калони калонкунӣ метавонад натиҷаҳои аз ҳад мулоим ба вуҷуд оварад.

MVISR (Multi-View Image Super-Resolution) бошад, тасвирҳои як саҳнаро, ки аз кунҷҳои гуногун гирифта шудаанд, якҷо истифода мекунад. Ҷузъиёте, ки дар як намо бо сабаби инъикос, кунҷ ё контрасти паст суст намоён аст, метавонад дар намои дигар равшантар бошад.

Таҳқиқот инчунин дар маркази ин тасвирҳои сершумори LR як намои истинодии HR ҷой медиҳад. Бо ин роҳ система на танҳо геометрияи бисёрнамо, балки текстураи басомади баландеро ҳам истифода мебарад, ки воқеан дар тасвири баландтафкик мавҷуд аст.

Фарқи байни тафкики фазоӣ ва тафкики кунҷӣ

Тафкики фазоӣ зичии пиксел ва сатҳи ҷузъиёти дохили як тасвир аст. Тафкики кунҷӣ бошад, нишон медиҳад, ки як саҳна аз чанд нуқтаи назари гуногун намунагирӣ шудааст ва ин намоҳо чӣ гуна тақсим шудаанд.

Ин таҳқиқот кӯшиш намекунад тафкики кунҷиро зиёд кунад. Тартиби намоҳои истифодашуда собити 3 × 3 мебошад. Ҳадафи таҳқиқот баланд бардоштани тафкики фазоии ҳамин нӯҳ намо аст.

Чаро сатҳҳои металлӣ душвортар мебошанд?

Дар сатҳи металлии дорои инъикоснокии баланд равшанӣ бо текстураи сатҳ як чиз нест. Вақте кунҷи камера ё рӯшноӣ тағйир меёбад, инъикоси спекулярӣ низ тағйир меёбад; аз ин рӯ ҳамон қисми физикии сатҳ метавонад дар намоҳои гуногун фарқиятҳои калони фотометрӣ нишон диҳад.

Масъалаи дувум камии текстура аст. Дар минтақаҳои ҳамвор ва дурахшони металлӣ мумкин аст намунаҳои маҳаллии фарқкунандае, ки patch matching истифода карда метавонад, кам бошанд. Масъалаи сеюм параллакси васеъкунҷ аст: камераи канорӣ ва камераи марказӣ ҳамон ҷузъиёти сатҳро дар минтақаҳои гуногуни тасвир ва дар намуди геометрии гуногун сабт мекунанд.

Аз ин сабаб таҳқиқот ба ҷойи мувофиқ кардани мустақими пикселҳои хом, ҷустуҷӯи монандиро дар feature space-и омӯхташуда ва ҳангоми паст будани эътимод коҳиш додани интиқол бо similarity score интихоб мекунад.

Чаро Вуруди Дорои Тафкики Гибридӣ Истифода Мешавад?

Вуруди дорои тафкики гибридӣ ҳадаф дорад, ки бе талаб кардани тавлиди тасвирҳои гаронбаҳои HR аз ҳамаи камераҳо, текстураи басомади баланди як намои марказии HR-ро бо иттилои геометрии бисёркунҷии ҳашт намои канории LR муттаҳид созад.

Дар системаи воқеӣ аз нӯҳ намои таҷрибавӣ ҳаштто пасттафкиканд; намои марказӣ баландтафкик аст. Ин тарҳ ба идеяи истифодаи иттилои истинодии баландтафкик бе бардоштани хароҷоти тасвирбардорӣ ва нигаҳдории ҳамаи намоҳо дар HR асос ёфтааст.

Модел ин ягона намои HR-ро мустақиман ба ҳамаи тасвирҳои канорӣ намечаспонад. Ба ҷойи ин аз тасвирҳои HR ва LR хусусиятҳои омӯхташуда гирифта мешаванд; барои ҳар минтақаи намои канорӣ feature patch-и аз ҳама монанд дар намои марказӣ ҷустуҷӯ мешавад ва танҳо вақте монандӣ кофӣ аст, текстураи басомади баланд бо вазни бештар интиқол меёбад.

Модули STF Текстураи Баландтафкикро Чӣ Гуна Интиқол Медиҳад?

Модули STF feature patch-ҳои намои канории пасттафкикро ҳамчун query ва feature patch-ҳои намои марказиро ҳамчун key истифода мебарад; аз рӯи монандии normализатсияшудаи patch минтақаи мувофиқтарини марказиро интихоб мекунад ва хусусиятҳои баландтафкики бисёрмиқёсии ҳамон мавқеъро ба намои канорӣ интиқол медиҳад.

Чаро ду encoder-и ҷудогона истифода мешавад?

Дар шохаи STF тасвирҳои LR ва HR вазнҳои як encoder-ро муштарак истифода намекунанд. Ду encoder якҷо омӯзонида мешаванд, аммо параметрҳояшон ҷудоанд.

Encoder-и тасвири марказии HR чор residual block дорад. Се block-и охирин бо истифода аз stride 2 андозаи feature map-ро марҳила ба марҳила коҳиш дода, аз намои марказӣ:

\[ F_{hr_c}^{1},\; F_{hr_c}^{2},\; F_{hr_c}^{4},\; F_{hr_c}^{8} \]

дар чор миқёс хусусият мегиранд.

Барои намоҳои сершумори LR танҳо feature extraction block-и аввал истифода мешавад ва:

\[ F_{lr}= \left\{ F_{lr}^{1}, F_{lr}^{2}, \dots, F_{lr}^{n} \right\} \]

дар миқёси ×1 хусусиятҳои намо ба даст оварда мешаванд.

Монандии patch чӣ гуна ҳисоб карда мешавад?

Feature map-и намои канории \(i\) ва feature map-и намои марказӣ ба patch-ҳо тақсим мешаванд. Монандӣ байни patch-и \(k\)-уми намои канорӣ ва patch-и \(j\)-уми намои марказӣ дар Муодилаи (1)-и манбаъ ҳамчун ҳосили дохилии normализатсияшуда дода шудааст:

\[ r_{k,j} = \left\langle \frac{P_{lr}^{k}}{\|P_{lr}^{k}\|}, \frac{P_{lr_c}^{j}}{\|P_{lr_c}^{j}\|} \right\rangle . \tag{1} \]

\(P_{lr}^{k}\) patch-и \(k\)-уми намои канорӣ; \(P_{lr_c}^{j}\) patch-и \(j\)-уми намои марказӣ; ва \(r_{k,j}\) холҳои монандии байни ин ду feature patch-и normализатсияшударо ифода мекунанд.

Аз нигоҳи математикӣ ин сохтор назар ба андозаи patch, монандии самти feature-ро бештар таъкид мекунад. \(r_{k,j}\)-и баланд нишон медиҳад, ки ду patch дар фазои хусусиятҳои омӯхташуда ба ҳам бештар монанданд.

Минтақаи аз ҳама монанд чӣ гуна интихоб мешавад?

Барои ҳар patch-и намои канорӣ баландтарин монандӣ:

\[ S_{lr}^{k} = \max_{j} r_{k,j} \tag{2} \]

ва ҷойи индекси patch-и намои марказӣ, ки ин қиматро медиҳад:

\[ N_{lr}^{k} = \arg\max_{j} r_{k,j} \tag{3} \]

ба даст оварда мешавад.

\(S_{lr}^{k}\) эътимоди мувофиқаткуниро; \(N_{lr}^{k}\) бошад, муайян мекунад, ки ҷузъиёти аз кадом мавқеъ дар тасвири марказии HR интиқол дода шавад.

Чаро similarity map мисли “soft gate” кор мекунад?

Вақте patch-и дуруст дар намои марказӣ ёфт мешавад, ҳамон индекс барои гирифтани иттилои текстура аз feature map-ҳои баландтафкики ×1, ×2, ×4 ва ×8 истифода мешавад.

Feature-ҳои текстураи интиқолшуда ба similarity map зарб карда мешаванд. Мувофиқатҳои қавӣ вазни баланд мегиранд, дар ҳоле ки минтақаҳое, ки аз сабаби инъикоси спекулярӣ ё набудани текстура ҳамтои боэътимод надоранд, бо вазнҳои хурд фурӯ нишонда мешаванд.

Ин механизм барои коҳиш додани хатари ҷойгиршавии қавии текстураи нодурусти намои марказӣ дар намои канорӣ пешбинӣ шудааст.

Чаро мувофиқаткунӣ дар миқёси аз ҳама дағал анҷом мешавад?

Манбаъ feature matching-ро дар миқёси дағал анҷом дода, индексҳои ёфтшударо дар ҳамаи миқёсҳои transfer дубора истифода мебарад. Азбаски як нуқтаи фазоии feature map-и дағал аз минтақаи васеътари тасвир иттилоъ ҷамъ мекунад, метавонад ба фарқиятҳои хурди ҳамоҳангсозие, ки параллакси васеъкунҷ ба вуҷуд меорад, камтар ҳассос бошад.

Шохаи SR2I Геометрияи Бисёрнаморо Чӣ Гуна Истифода Мекунад?

Шохаи SR2I гурӯҳи 3 × 3 намоҳои LR-ро ҳамчун tensor-и чорченака коркард мекунад, ки ҳам андозаҳои фазоии \((x,y)\) ва ҳам андозаҳои кунҷии \((u,v)\)-ро нигоҳ медорад, ва бо блокҳои Spatial–Angular Separable convolution сохтори дохили намо ва робитаи байни намоҳоиро ҷудогона хориҷ мекунад.

Вуруд:

\[ LR_{x,y,u,v} \]

тасаввур карда мешавад. Дар ин ҷо \(x,y\) координатаҳои фазоӣ дар дохили як тасвир ва \(u,v\) мавқеи кунҷии намои камераро ифода мекунанд.

Аввал spatial convolution сохтори маҳаллиро дар дохили ҳар намо хориҷ мекунад. Сипас angular convolution робитаи байни feature-ҳои намоҳои гуногунро ҳисоб мекунад. Қабати баъдии fusion ин ду намуди иттилоъро муттаҳид мекунад.

SR2I аввал тасвири LR-ро ду маротиба upsample мекунад. Аз feature-ҳои тавлидкардаи блокҳои SAS residual map, ки фарқи байни тасвири оддӣ upsample-шуда ва тасвири ҳадафии HR-ро ифода мекунад, пешбинӣ мешавад. Residual map ба тасвири upsample-шуда илова гардида, натиҷаи SR бо иттилои мукаммали бисёрнамо ҳосил мешавад.

Чаро STF ва SR2I ҷудо нигоҳ дошта мешаванд?

Ду шоха вазифаҳои илмии гуногун доранд. STF ба интиқоли текстураи басомади баланд аз истиноди марказии HR тамаркуз мекунад. SR2I бошад, бо истифода аз мутобиқати фазоӣ-кунҷӣ байни ҳашт намои канории LR ва сохтори марказии LR мекӯшад геометрияи объект ва сохтори басомади пастро ҳифз кунад.

Tensor-ҳои STF ва SR2I, ки дар як миқёс ҳосил мешаванд, дар андозаи канал муттаҳид шуда, тавассути convolutional residual block ба fusion-и мутобиқшаванда дохил мешаванд. Ин раванд дар марҳилаҳои ×2, ×4 ва ×8 такрор мешавад.

Иерархияи ×2, ×4 ва ×8

Дар меъмории асосии манбаъ ба ҷойи калонкунии мустақими ×8 дар як қадам, раванди марҳилавӣ истифода мешавад. Дар марҳилаи аввал натиҷаи ×2, дар дувум ×4 ва дар марҳилаи охир ×8 ба даст меояд.

Хусусиятҳои тасвири марказии HR дар миқёсҳои гуногун дар тарафи STF иттилои басомади баланди мувофиқро барои ҳар марҳила медиҳанд, дар ҳоле ки тарафи SR2I дар ҳар марҳила геометрияи бисёрнамоии LR-ро коркард мекунад.

Манбаъ мегӯяд, ки сохтори қаблии дарунсохтаи SR2I дар ×4 қобили қабул буд, аммо дар калонкунии ×8 коҳиши назарраси иҷроиш нишон дод; ҷудо кардани STF ва интиқоли feature-и бисёрмиқёсӣ аз ҳамин сабаб интихоб шудааст.

Чаро Функсияи Талафоти Charbonnier Дар Се Миқёс Ҳисоб Мешавад?

Азбаски модел дар миқёсҳои ×2, ×4 ва ×8 тасвирҳои мобайнии SR тавлид мекунад, талафоти омӯзиш на танҳо дар баромади ниҳоии ×8, балки ҳамчун ҷамъбасти талафоти Charbonnier, ки дар ҳамаи се миқёс ҳисоб шудаанд, муайян шудааст.

Муодилаи (4)-и манбаъ:

\[ L = L_{c\times2} + L_{c\times4} + L_{c\times8} \tag{4} \]

ва барои ҳар миқёс:

\[ L_{c\times s} = \sqrt{ \left(I_{sr}-I_{hr}\right)^2+\epsilon^2 }. \]

\(I_{sr}\) тасвири SR-и тавлидкардаи модел, \(I_{hr}\) тасвири ҳадафии баландтафкик дар ҳамон миқёс ва \(\epsilon\) собити хурдеро ифода мекунад, ки барои коҳиш додани ноустувории ададӣ дар ҳисобкунии решаи квадратӣ истифода мешавад.

Талафоти Charbonnier шакли ҳамворшудаи хатои мутлақ мебошад. Тибқи шарҳи манбаъ, он дар минтақаҳои хатои хурд рафтори ҳамвортари gradient медиҳад ва ба туфайли ҳади \(\epsilon\) нисбат ба талафоти L2 ба қиматҳои дур тобовартар аст.

Манбаъ қимати ададии \(\epsilon\)-ро гузориш намедиҳад; ин қимат аз ҷониби Verianla тахмин нашудааст.

Усул ва Натиҷаҳои Таҳқиқот

Маҷмӯи додаҳо ва тарҳи таҷрибавии тасвирбардорӣ

Дар таҷрибаҳо Sim-to-Real Dataset of Industrial Metal Objects, ки пештар барои 6D pose estimation нашр шуда буд, истифода шудааст. Маҷмӯи додаҳо ҳам тасвирҳои ҷаҳони воқеӣ ва ҳам тасвирҳои синтетикиро, ки дар шароити гуногуни рӯшноӣ сохта шудаанд, дар бар мегирад.

Манбаъ мегӯяд, ки шаш навъи объекти саноатӣ вуҷуд дорад ва онҳо ба объектҳои металлии дорои инъикоснокии баланд ва объектҳои сурхи камтар инъикоскунанда гурӯҳбандӣ шудаанд. Объектҳо дар рӯи интиқолдиҳандаҳои гуногун, ба монанди паллет, қуттӣ ва картон, бо тартибҳои гуногуни чидан тасвир шудаанд.

Дар системаи ҷамъоварии додаҳои воқеӣ камераҳои гуногун дар траекторияҳои даврашакли атрофи роботи саноатӣ ҷойгир шудаанд. Гарчанде ҳамагӣ 13 намо мавҷуд буд, тасвири марказӣ ва ҳашт тасвири ҳалқаи берунӣ барои таҷриба интихоб шудаанд; чор намои ҳалқаи дохилӣ бинобар фарқи масофа аз марказ истифода нашуданд.

Дар санҷиши таҷрибавии воқеӣ тасвирҳои Intel RealSense L515 RGB истифода шудаанд.

Додаҳои синтетикӣ дар муҳити Unity сохта шудаанд. HDRI environment map-ҳо рӯшноиҳои гуногунро ва texture synthesis ҷузъиёти сатҳӣ, аз қабили харошиданро тақлид мекунанд. Тасвирҳои воқеии истинодӣ барои тавлиди синтетикӣ бо камераи JAI GO-5000-PGE гирифта шудаанд.

Тафкики вуруд ва ҳадаф

Дар ҳар ду ҳолат таносуби канории HR/LR ×8 мебошад. Ҳангоми омӯзиш усулҳои афзоиши додаҳо cropping, rotation ва flipping истифода шудаанд.

Манбаъ шумораи умумии намунаҳои омӯзиш, валидатсия ва тест, optimizer, learning rate, batch size, шумораи epoch ва таҷҳизоти омӯзишро гузориш намедиҳад. Аз ин рӯ тартиби пурраи омӯзиши моделро танҳо аз PDF-и нашршуда айнан бозсозӣ кардан мумкин нест.

Таҳқиқоти аблятсионӣ

Манбаъ дар додаҳои ҷаҳони воқеӣ чор ҷузъи меъмориро алоҳида тағйир дода, онҳоро бо модели пурра муқоиса мекунад.

Яке аз коҳишҳои калонтарин дар Variant B, ки SAS block хориҷ шудааст, ва Variant C, ки fusion module хориҷ шудааст, дида мешавад. Variant A фоидаи хурд, вале устувори тарҳи encoder-ҳои мустақилро нишон медиҳад. Манбаъ ҳамчунин мегӯяд, ки encoder-ҳои мустақил шумораи параметрҳоро зиёд мекунанд ва барои системаҳои вақти воқеӣ мумкин аст тарҳҳои сабуктар лозим шаванд.

Ба модели пурра наздик, вале каме заифтар будани Variant D нишон медиҳад, ки талафоти Charbonnier дар бозсозии тасвир нисбат ба L1-и стандартӣ саҳми хурд дорад.

Натиҷаҳои PSNR, SSIM ва LPIPS-ро Чӣ Гуна Якҷо Хондан Лозим?

Азбаски PSNR ба хатои бозсозӣ дар сатҳи пиксел, SSIM ба монандии сохтор ва текстура, ва LPIPS ба монандии идрокӣ тавассути perceptual feature-ҳои омӯхташуда тамаркуз мекунад, ин метрикаҳо ҷанбаҳои гуногуни сифати як тасвирро чен мекунанд ва ҳеҷ кадоме танҳо сифати визуалиро пурра ифода намекунад.

Тасвирҳои синтетикӣ

Модели пешниҳодшуда дар ҳамаи шаш саҳнаи синтетикӣ баландтарин PSNR-ро додааст. PSNR-и миёна нисбат ба ERVSR 4,45 dB ва нисбат ба LFhybridSR 8,39 dB баландтар аст.

Scene 3 яке аз мисолҳои душвортарини синтетикӣ барои ҳамаи усулҳо мебошад. Дар ин саҳна якчанд блоки сурхи дорои навиштаҷот мавҷуд аст ва қиматҳои PSNR/SSIM-и ҳамаи усулҳо нисбат ба саҳнаҳои дигар паст мешаванд. PSNR-и усули пешниҳодшуда дар ин ҷо 39,68 dB мебошад.

Муқоисаи визуалии Scene 3

Барои намои канории Figure 6-и манбаъ, натиҷаи RGB-и усули пешниҳодшуда PSNR 35,59, SSIM 0,911 ва LPIPS 0,1502 мебошад. ERVSR 35,02 / 0,905 / 0,1652; LFhybridSR бошад 30,50 / 0,858 / 0,2564 додааст.

Дар минтақаҳои навиштаҷоти калон ва равшан, усулҳои ғайр аз Bicubic сохтори хонданиро беҳтар нигоҳ медоранд, аммо матни хурд дар минтақаҳои торик дар аксари усулҳо ношинос мегардад. Манбаъ мегӯяд, ки танҳо дар усули пешниҳодшуда баъзе канораҳои матни хурд ба таври суст намоён мемонанд.

Тасвирҳои ҷаҳони воқеӣ

Усули пешниҳодшуда дар ҳамаи шаш саҳнаи воқеӣ баландтарин қиматҳои PSNR ва SSIM-ро ба даст овардааст. Фарқи PSNR-и миёна нисбат ба LFhybridSR 1,18 dB, нисбат ба Bicubic 1,27 dB ва нисбат ба ERVSR 5,19 dB мебошад.

Бо вуҷуди ин, тартиби метрикаҳо ва идроки визуалӣ ҳамеша яксон нест. Манбаъ ошкоро муҳокима мекунад, ки ERVSR дар баъзе тасвирҳо нисбат ба Bicubic ҷузъиёти беҳтар медиҳад, гарчанде дар ҷадвали PSNR қиматҳои пасттар дорад.

Аз ин рӯ тафсири якандозае чун “PSNR баландтар → ҳамаи ҷанбаҳои тасвир ҳатман беҳтаранд” аз ҷониби таҳлилҳои визуалии худи ин таҳқиқот низ дастгирӣ намешавад.

Фарқи байни намои марказӣ ва намои канорӣ

Манбаъ дар Figure 7 мегӯяд, ки дар намоҳои марказӣ LFhybridSR ва усули пешниҳодшуда махсусан дар навиштаҷот ва текстураҳои сатҳи металлӣ натиҷаҳои тезтар медиҳанд. Ин қобили интизор аст, зеро намои марказӣ бо истиноди HR робитаи мустақими қавитарин дорад.

Дар Figure 8 намоҳои канорӣ душвортар мебошанд. Бо тағйир ёфтани кунҷи назар геометрияи байни истиноди марказӣ ва намои канорӣ фарқ мекунад ва инъикоси спекулярӣ тағйир меёбад.

Дар минтақаи матни хурди Scene 5 манбаъ мегӯяд, ки ҳеҷ усул матни равшан ва осоншинос ҳосил накардааст. LFhybridSR дар баъзе канораҳои объектҳои металлӣ намуди jagged ба вуҷуд меорад, дар ҳоле ки ERVSR метавонад дар намои канорӣ нисбат ба Bicubic натиҷаи визуалии беҳтар диҳад. Усули пешниҳодшуда бошад, ҳангоми арзёбии якҷояи намоҳои марказӣ ва канорӣ натиҷаи мутавозинтар нишон медиҳад.

Супер-Тафкик Арзёбии Умқро То Чӣ Андоза Беҳтар Кард?

Дар тасвирҳои воқеӣ истифодаи пешкоркарди SR пеш аз MiDaS-small дар таҷрибаи манбаъ қимати Abs Rel-ро аз 0,5349 то 0,1024 коҳиш дода, се меъёри дақиқии \(\delta\)-ро ба таври назаррас баланд кардааст; аммо ин натиҷа танҳо нишондиҳандаи вазифаи downstream барои додаҳои истифодашуда ва конфигуратсияи MiDaS мебошад.

Дар шарҳи манбаъ тақрибан %90, %94 ва %95 пикселҳои пешбинишуда дар тасвирҳои SR мутаносибан дар дохили ҳадҳои хатои нисбии 1,25; 1,56 ва 1,95 мемонанд.

Ин натиҷа дастгирӣ мекунад, ки иттилои канора ва текстураи бо SR барқароршуда метавонад барои monocular depth model вуруди муносибтар фароҳам орад.

Бо вуҷуди ин, таҳқиқот ягон дастгоҳи ченкунии дақиқ, профилометр ё системаи ченкунии координатиро пеш ва баъд аз SR муқоиса накардааст. Аз ин рӯ натиҷаро ба шакли “SR хатои ченкунии саноатиро аз 0,5 то 0,1 коҳиш дод” умумӣ кардан мумкин нест. Арзиши ченшуда хатои Abs Rel дар арзёбии умқи MiDaS мебошад.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

Таҷрибаҳои манбаъ дастгирӣ мекунанд, ки истифодаи якҷояи STF-based high-frequency texture transfer ва SR2I-based spatial–angular feature fusion дар тартиби гибридии HR/LR 3 × 3 бисёрнамо дар маҷмӯи додаҳои тасвирҳои металлӣ нисбат ба Bicubic, LFhybridSR ва ERVSR натиҷаҳои баландтари PSNR/SSIM додааст.

Таҳқиқоти аблятсионӣ нишон медиҳад, ки encoder-ҳои ҷудогона, SAS block, сохтори fusion байни ду шоха ва талафоти Charbonnier ба натиҷаҳои модели пурра саҳм мегузоранд.

Дар додаҳои синтетикӣ махсусан фоидаи баланди PSNR нишон медиҳад, ки модел метавонад текстураи истинодии баландсифатеро, ки ба таври назоратшаванда тавлид шудааст, самаранок истифода барад.

Дар додаҳои воқеӣ бартарии камтар, вале мусбати PSNR нишон медиҳад, ки иҷроиши усул танҳо ба муҳити синтетикӣ маҳдуд нест.

Таҷрибаи MiDaS нишон медиҳад, ки SR метавонад дар як вазифаи муайяни downstream monocular depth estimation ҳамчун тасвири вуруд муфид бошад.

Натиҷаҳое, ки таҳқиқот дастгирӣ намекунад

Таҳқиқот нишон намедиҳад, ки усул дар ҳамаи сатҳҳои металлӣ, ҳамаи геометрияҳои камера ё ҳамаи корхонаҳои саноатӣ ҳамон иҷроишро медиҳад. Тарҳи таҷриба ба сохтори собити 3 × 3 намо асос ёфтааст.

Модел ҳамчун системаи умумии MVISR, ки танҳо аз тасвирҳои LR кор мекунад, санҷида нашудааст. Дар таҷрибаи асосӣ як истиноди марказии HR мавҷуд аст.

Таҳқиқот дар хати истеҳсолии вақти воқеӣ benchmark-и throughput, latency, истифодаи GPU ё суръати максималии коркардро пешниҳод намекунад.

Азбаски манбаъ optimizer, learning rate, batch size, epoch ва ҷузъиёти hardware-и омӯзишро гузориш намедиҳад, бозтавлиди пурраи омӯзиш маҳдуд аст.

Барои натиҷаҳои PSNR/SSIM такрорҳо, хатҳои хато, фосилаҳои эътимод ё санҷишҳои аҳамияти оморӣ гузориш нашудаанд. Аз ин рӯ фарқиятҳои ҷадвал натиҷаҳои таҷрибавии мушоҳидашудаанд; онҳо набояд ҳамчун санҷиши бартарии оморӣ тафсир шаванд.

Натиҷаи MiDaS тасдиқи метрологияи дақиқи саноатӣ нест. Он танҳо иҷроиши monocular depth estimation-ро чен мекунад.

Манбаъ инчунин ҳамчун маҳдудият қайд мекунад, ки усули худро бо усулҳои муосири state-of-the-art reference-based SR дар benchmark-и мустақими васеи таҷрибавӣ муқоиса накардааст.

Самтҳои таҳқиқоти оянда

Муаллифон пеш аз ҳама гузариш ба меъморие, ки конфигуратсияҳои тағйирёбандаи angular resolution-ро дастгирӣ мекунад, пешниҳод менамоянд. Ин метавонад имкон диҳад, ки то чӣ андоза усул дар массивҳои камераи камёфт ё зичтар кор мекунад.

Самти дувум илова кардани differentiable rendering ё маҳдудиятҳои физика-асос барои беҳтар маҳдуд кардани texture transfer дар минтақаҳои металлии дорои инъикоснокии баланд мебошад.

Самти сеюм сохтани маҷмӯи махсуси додаҳои бисёрнамо мебошад, ки объектҳои гуногуни металлии саноатӣ ва тарҳҳои гуногуни наморо дар бар гирад.

Ниҳоят, муаллифон муттаҳидсозии зичтари реконструксияи SR бо вазифаҳои баъдӣ, ба монанди арзёбии умқ ё precision measurement, ҳамчун самти таҳқиқоти оянда зикр мекунанд.

Ёддошт оид ба Манбаъ ва Усул

Таҳқиқоти аслӣ: Multi-View Industrial Image Super-Resolution via Hierarchical Multi-Scale Data Fusion

Муаллифон: Wenqin Zhao; Carman Ka Man Lee; Da Li; Benny Chi Fai Cheung.

Муаллифи масъул: Carman Ka Man Lee.

Муассиса: State Key Laboratory of Ultra-Precision Machining Technology ва Department of Industrial and System Engineering, Hong Kong Polytechnic University, Hong Kong, Чин.

Маҷалла: AI.

Нашриёт: MDPI.

Навъи манбаъ: Мақолаи аслии таҳқиқотии рецензияшуда; таҳқиқоти супер-тафкики тасвири саноатӣ дар асоси омӯзиши амиқ.

Маълумоти нашр: AI 2026, ҷилди 7, шумораи 5, мақолаи 172.

DOI: 10.3390/ai7050172

Ирсол: 13 Март 2026.

Бозбинӣ: 25 Апрел 2026.

Қабул: 14 Май 2026.

Нашр: 16 Май 2026.

Рецензия / версия: Мақолаи рецензияшудаи маҷалла; дар бойгонии институтсионалии PolyU ҳамчун Version of Record сабт шудааст.

Иҷозатнома: Creative Commons Attribution (CC BY), дастрасии кушода.

Маҷмӯи додаҳо: Sim-to-Real Dataset of Industrial Metal Objects. Манбаъ мегӯяд, ки маҷмӯи додаҳо дастраси кушода аст ва тавассути таҳқиқоти Machines 2024, 12, 99 нашр шудааст.

Камераи тасвири воқеӣ: Intel RealSense L515 RGB.

Камераи асосии тасвири воқеӣ барои додаҳои синтетикӣ: JAI GO-5000-PGE.

Муҳити тавлиди синтетикӣ: Unity; истифодаи HDRI environment map ва texture synthesis дар манбаъ зикр шудааст.

Downstream model: Модели MiDaS-small monocular depth estimation.

Усулҳои муқоиса: Bicubic, LFhybridSR ва ERVSR.

Маблағгузорӣ: Research Impact Fund, Grant No. R5047–22.

Сипосгузорӣ: Research Grants Council of the Hong Kong Special Administrative Region, Department of Industrial and Systems Engineering ва State Key Laboratory of Ultra-Precision Machining Technology, The Hong Kong Polytechnic University.

Кумитаи институтсионалии этика: Татбиқ намешавад.

Ризоияти огоҳона: Татбиқ намешавад.

Дастрасии додаҳо: Манбаъ мегӯяд, ки додаҳо дастраси кушодаанд ва ба таҳқиқоти додаҳо дар DOI 10.3390/machines12020099 ишора мекунад.

Бархӯрди манфиатҳо: Муаллифон изҳор кардаанд, ки бархӯрди манфиатҳо вуҷуд надорад.

Саҳми муаллифон: Консептуализатсия Wenqin Zhao, Da Li ва Carman Ka Man Lee; методология ва нармафзор Wenqin Zhao; валидатсия Wenqin Zhao; таҳлили формалӣ ва таҳқиқот Wenqin Zhao ва Da Li; захираҳо Wenqin Zhao, Carman Ka Man Lee ва Benny Chi Fai Cheung; куратсияи додаҳо Wenqin Zhao; лоиҳаи аввал Wenqin Zhao; бозбинӣ ва таҳрир Carman Ka Man Lee; визуализатсия Wenqin Zhao; назорат Carman Ka Man Lee; идоракунии лоиҳа ва дарёфти маблағгузорӣ аз ҷониби Benny Chi Fai Cheung анҷом шудааст.

Ёддошт оид ба бозтавлидпазирӣ: PDF optimizer, learning rate, batch size, шумораи training epoch, training hardware ва шумораи дақиқи намунаҳои омӯзиш/валидатсия/test-ро гузориш намедиҳад. Ин параметрҳое, ки дар манбаъ нестанд, аз ҷониби Verianla пур карда нашудаанд.

Маҳдудиятҳои асосии методологӣ: Фарзи тарҳи гибридии HR/LR acquisition; angular resolution-и собити 3 × 3; санҷида нашудани view array-ҳои камёфт ё зичтар; набудани reflectance-и ошкор ё маҳдудиятҳои физика-асос; анҷом нашудани муқоисаи мустақими фарогир бо усулҳои state-of-the-art reference-based SR; гузориш нашудани ченкуниҳои deployment-и вақти воқеӣ.

Ёддошти усули Verianla: Ин мундариҷа тарҷумаи сатр ба сатри мақолаи манбаъ нест. Масъалаи таҳқиқот, тарҳи гибридии тасвирбардории бисёрнамо, меъмории STF ва SR2I, patch matching дар асоси attention, Муодилаҳои (1)–(4), маҷмӯи додаҳо ва тартиби камераҳо, аблятсияҳо, натиҷаҳои PSNR/SSIM/LPIPS, арзёбиҳои визуалӣ, арзёбии умқи MiDaS ва маҳдудиятҳо нигоҳ дошта шуда, сохтори мустақили омӯзиши илмӣ ба забони тоҷикӣ сохта шудааст. Таҷриба, нишондиҳандаи иҷроиш, параметри омӯзиш ё оморе, ки дар манбаъ нест, илова нашудааст.