Сунушталган гибриддик чечилишке ээ көп көрүнүштүү маалыматтарды бириктирүү модели бир жогорку чечилишке ээ борбордук сүрөттү жана сегиз төмөн чечилишке ээ айланма көрүнүштү колдонуп, өнөр жай металл сүрөттөрүн сегиз эсе жогору мейкиндиктик чечилишке жеткирүүнү максат кылган терең үйрөнүүгө негизделген супер-чечилиш архитектурасы болуп саналат. Система жогорку чечилишке ээ борбордук көрүнүштөн жогорку жыштыктагы текстураларды өткөрүүчү STF (Search and Transfer at Feature Levels) бутагын ар түрдүү төмөн чечилишке ээ көрүнүштөрдүн ортосундагы мейкиндиктик жана бурчтук толуктоочу маалыматты иштеткен SR2I бутагы менен ×2, ×4 жана ×8 масштабдарында этап-этабы менен бириктирет. Алты синтетикалык тесттик көрүнүштө сунушталган ыкма орточо 41,40 dB PSNR жана 0,930 SSIM; реалдуу сүрөттөрдө 35,37 dB PSNR жана 0,848 SSIM алган. Бирок эксперименттер туруктуу 3 × 3 көрүнүш тартибине жана гибриддик LR/HR алуу түзүлүшүнө негизделген; ошондуктан жыйынтыктарды бардык өнөр жайлык сүрөт тартуу конфигурацияларына түздөн-түз жалпылоого болбойт.

Изилдөө багытталган көйгөй өзгөчө металл тетиктерде татаал. Жогорку чагылтуучулук, начар же кайталануучу беттик текстура жана ар башка камера бурчтарынын ортосундагы чоң параллакс салттуу пикселдик тегиздөөнү да, жогорку жыштыктагы деталды туура жерге өткөрүүнү да кыйындатат. Ал эми бир гана сүрөт менен иштеген супер-чечилиш ыкмалары ар башка көрүнүштөрдө бар толуктоочу маалыматты колдоно албайт; төмөн чечилишке ээ бир нече көрүнүштү гана колдонгон ыкмалар болсо жогорку чечилишке ээ эталон берген майда текстурадан пайдалана албайт.

Сунушталган ыкма бул эки маалымат булагын өз-өзүнчө колдонот. STF бутагы жогорку чечилишке ээ борбордук көрүнүштүн ×1, ×2, ×4 жана ×8 масштабдарындагы белгилерин чыгарып, аларды төмөн чечилишке ээ каптал көрүнүш аймактары менен attention негизиндеги окшоштук дал келүүсү аркылуу салыштырат. SR2I бутагы болсо көп көрүнүштүү LR сүрөттөрдү төрт өлчөмдүү мейкиндиктик-бурчтук түзүлүш катары иштетип, Spatial–Angular Separable convolutions аркылуу көрүнүш ичиндеги жана көрүнүштөр арасындагы маалыматты бириктирет. Ар бир чоңойтуу этабында эки бутактын чыгышы канал өлчөмү боюнча бириктирилип, residual block аркылуу fusion аткарылат.

Синтетикалык маалыматта орточо PSNR 41,40 dBге жеткен; бул ERVSRден 4,45 dB жана LFhybridSRден 8,39 dB жогору. Реалдуу маалымат топтомунда сунушталган ыкма 35,37 dB орточо PSNR менен PSNR боюнча эң жогорку салыштыруу ыкмасы LFhybridSRдин 34,19 dB көрсөткүчүн 1,18 dBге ашырган. Мындан тышкары, реалдуу сүрөттөрдө MiDaS-small колдонулган алдын ала экспериментте супер-чечилиш алдын ала иштетүүсү Abs Rel тереңдик катасын 0,5349 маанисинен 0,1024 маанисине түшүргөн. Бул downstream жыйынтык сүрөттөгү деталь тереңдикти баалоону колдошу мүмкүн экенин көрсөтөт; бирок ал түздөн-түз так өнөр жай өлчөөсүнүн тууралыгынын далили эмес.

Көп Көрүнүштүү Өнөр Жай Сүрөтүнүн Супер-Чечилиши Деген Эмне?

Көп көрүнүштүү өнөр жай сүрөтүнүн супер-чечилиши — бир эле тетикти ар башка камера бурчтарынан көрсөткөн сүрөттөрдөгү толуктоочу мейкиндиктик жана бурчтук маалыматты бириктирип, төмөн чечилишке ээ көрүнүштөрдөн жогорку мейкиндиктик деталга ээ сүрөттөрдү алуу көйгөйү.

Супер-чечилиште LR (Low Resolution) төмөн чечилишти, HR (High Resolution) жогорку чечилишти, ал эми SR (Super-Resolved) модель тарабынан кайра түзүлгөн жогорку чечилишке ээ сүрөттү билдирет.

Бир сүрөттүү супер-чечилиште, башкача айтканда SISRда, модель бир гана LR сүрөткө таянат. Бул ыкма башка камераларда көрүнгөн деталдарды колдоно албайт жана өзгөчө чоң чоңойтуу коэффициенттеринде өтө жумшак жыйынтык чыгарышы мүмкүн.

MVISR (Multi-View Image Super-Resolution) болсо бир эле көрүнүштүн ар башка бурчтардан алынган сүрөттөрүн бирге колдонот. Белгилүү бир деталь бир көрүнүштө чагылуу, бурч же төмөн контраст себептүү начар көрүнсө, башка көрүнүштө аныгыраак болушу мүмкүн.

Изилдөө бул көп LR сүрөттөрдүн борборуна бир HR эталон көрүнүшүн да жайгаштырат. Ошентип система көп көрүнүштүү геометрияны гана эмес, чыныгы жогорку чечилишке ээ сүрөттө болгон жогорку жыштыктагы текстураны да колдоно алат.

Мейкиндиктик чечилиш менен бурчтук чечилиштин айырмасы

Мейкиндиктик чечилиш — бир сүрөттөгү пикселдин тыгыздыгы жана деталдын деңгээли. Бурчтук чечилиш болсо бир эле көрүнүш канча ар башка көз караштан үлгү алынганын жана бул көрүнүштөр кандай бөлүштүрүлгөнүн билдирет.

Бул изилдөө бурчтук чечилишти көбөйтүүгө аракет кылбайт. Колдонулган көрүнүш тартиби туруктуу 3 × 3. Изилдөөнүн максаты ушул тогуз көрүнүштүн мейкиндиктик чечилишин жогорулатуу.

Металл беттер эмне үчүн кыйыныраак?

Жогорку чагылтуучулукка ээ металл бетте жарыктык беттик текстура менен бирдей нерсе эмес. Камеранын бурчу же жарык өзгөргөндө спекулярдык чагылуу да өзгөрөт; ошондуктан бир эле физикалык бет бөлүгү ар башка көрүнүштөрдө чоң фотометриялык айырма көрсөтүшү мүмкүн.

Экинчи көйгөй — текстуранын аздыгы. Жылмакай жана жалтырак металл аймактарда patch дал келтирүү колдоно ала турган айырмалоочу жергиликтүү үлгү аз болушу мүмкүн. Үчүнчү көйгөй — кең бурчтуу параллакс: каптал камера менен борбордук камера бир эле бет деталын сүрөттүн ар башка аймагында жана башка геометриялык көрүнүштө кармайт.

Ошондуктан изилдөө чийки пикселдерди түз дал келтирүүнүн ордуна үйрөнүлгөн feature space ичинде окшоштукту издөө жана ишеним төмөн болгондо өткөрүүнү similarity score менен басаңдатуу жолун тандайт.

Гибриддик Чечилишке Ээ Киргизүү Эмне Үчүн Колдонулат?

Гибриддик чечилишке ээ киргизүү бардык камералардан кымбат HR сүрөттөрдү алууну талап кылбастан, борбордук HR көрүнүштүн жогорку жыштыктагы текстурасын сегиз айланма LR көрүнүштүн көп бурчтуу геометриялык маалыматы менен бириктирүүнү максат кылат.

Реалдуу системада тогуз эксперименттик көрүнүштүн сегизи төмөн чечилиште, борбордук көрүнүш болсо жогорку чечилиште. Бул дизайн бардык көрүнүштөрдү HR форматта алуунун сүрөт тартуу жана сактоо чыгымдарын көтөрбөстөн, жогорку чечилишке ээ эталон маалыматты пайдалануу идеясына негизделген.

Модель бул жалгыз HR көрүнүштү бардык каптал сүрөттөргө түз эле көчүрбөйт. Анын ордуна HR жана LR сүрөттөрдөн үйрөнүлгөн белгилер алынат; каптал көрүнүштөгү ар бир аймак үчүн борбордук көрүнүштөгү эң окшош feature patch изделет жана окшоштук жетиштүү болгондо гана жогорку жыштыктагы текстура чоңураак салмак менен өткөрүлөт.

STF Модулу Жогорку Чечилишке Ээ Текстураны Кантип Өткөрөт?

STF модулу төмөн чечилишке ээ каптал көрүнүш feature patchтерин query, борбордук көрүнүш feature patchтерин key катары колдонот; нормалдаштырылган patch окшоштугуна жараша эң ылайыктуу борбордук аймакты тандап, ошол жердин жогорку чечилишке ээ көп масштабдуу белгилерин каптал көрүнүшкө өткөрөт.

Эмне үчүн эки өзүнчө encoder колдонулат?

STF бутагында LR жана HR сүрөттөр бир encoder салмактарын бөлүшпөйт. Эки encoder бирге үйрөтүлөт, бирок алардын параметрлери өзүнчө.

Борбордук HR сүрөт encoderи төрт residual block камтыйт. Акыркы үч block stride 2 колдонуп feature map өлчөмүн акырындык менен кичирейтет жана борбордук көрүнүштөн:

\[ F_{hr_c}^{1},\; F_{hr_c}^{2},\; F_{hr_c}^{4},\; F_{hr_c}^{8} \]

түрүндө төрт масштабда белги чыгарат.

LR көп көрүнүштөр үчүн биринчи feature extraction block гана колдонулат жана:

\[ F_{lr}= \left\{ F_{lr}^{1}, F_{lr}^{2}, \dots, F_{lr}^{n} \right\} \]

түрүндө ×1 масштабдагы көрүнүш белгилери алынат.

Patch окшоштугу кантип эсептелет?

\(i\)-каптал көрүнүш feature mapи менен борбордук көрүнүш feature mapи patchтерге бөлүнөт. Каптал көрүнүштөгү \(k\)-patch менен борбордук көрүнүштөгү \(j\)-patch ортосундагы окшоштук булактын Теңдеме (1)инде нормалдаштырылган ички көбөйтүндү түрүндө берилет:

\[ r_{k,j} = \left\langle \frac{P_{lr}^{k}}{\|P_{lr}^{k}\|}, \frac{P_{lr_c}^{j}}{\|P_{lr_c}^{j}\|} \right\rangle . \tag{1} \]

\(P_{lr}^{k}\) каптал көрүнүштүн \(k\)-patchин; \(P_{lr_c}^{j}\) борбордук көрүнүштүн \(j\)-patchин; \(r_{k,j}\) болсо бул эки нормалдаштырылган feature patch арасындагы окшоштук упайын билдирет.

Математикалык жактан бул түзүлүш patch өлчөмүнө караганда feature багытындагы окшоштукту алдыга чыгарат. Жогорку \(r_{k,j}\) эки patch үйрөнүлгөн белги мейкиндигинде бири-бирине көбүрөөк окшош экенин билдирет.

Эң окшош аймак кантип тандалат?

Ар бир каптал-көрүнүш patchи үчүн эң жогорку окшоштук:

\[ S_{lr}^{k} = \max_{j} r_{k,j} \tag{2} \]

жана ошол маанини берген борбордук-көрүнүш patch индексинин орду:

\[ N_{lr}^{k} = \arg\max_{j} r_{k,j} \tag{3} \]

аркылуу алынат.

\(S_{lr}^{k}\) дал келүүнүн ишенимин; \(N_{lr}^{k}\) болсо борбордук HR сүрөттө кайсы жерден деталь көчүрүлөрүн аныктайт.

Similarity map эмне үчүн “soft gate” сыяктуу иштейт?

Борбордук көрүнүштөн туура patch табылганда ошол эле индекс ×1, ×2, ×4 жана ×8 жогорку чечилишке ээ feature mapтерден текстура маалымат алуу үчүн колдонулат.

Өткөрүлгөн текстура featureлары similarity map менен көбөйтүлөт. Күчтүү дал келүүлөр жогорку салмак алат, ал эми спекулярдык чагылуу же текстуранын жоктугу себептүү ишенимдүү дал келүүсү табылбаган аймактар кичине салмак менен басаңдатылат.

Бул механизм туура эмес борбордук-көрүнүш текстурасынын каптал көрүнүшкө күчтүү түрдө жайгашып калуу коркунучун азайтууга багытталган.

Дал келтирүү эмне үчүн эң орой масштабда жүргүзүлөт?

Булак feature matching процессин орой масштабда аткарып, табылган индекстерди бардык transfer масштабдарында кайра колдонот. Орой feature mapтеги бир мейкиндиктик чекит сүрөттүн кеңири аймагынан маалымат топтогондуктан, кең бурчтуу параллакс жараткан чакан тегиздөө айырмаларына азыраак сезимтал болушу мүмкүн.

SR2I Бутагы Көп Көрүнүштүү Геометрияны Кантип Колдонот?

SR2I бутагы 3 × 3 LR көрүнүш тобун мейкиндиктик \((x,y)\) жана бурчтук \((u,v)\) өлчөмдөрдү бирге алып жүргөн төрт өлчөмдүү tensor катары иштетет жана Spatial–Angular Separable convolution блоктору аркылуу көрүнүш ичиндеги түзүлүш менен көрүнүштөр арасындагы байланыштарды өз-өзүнчө чыгарат.

Киргизүү:

\[ LR_{x,y,u,v} \]

түрүндө каралат. Бул жерде \(x,y\) бир сүрөттүн ичиндеги мейкиндиктик координаттарды; \(u,v\) камера көрүнүшүнүн бурчтук ордун билдирет.

Адегенде spatial convolution ар бир көрүнүш ичиндеги жергиликтүү түзүлүштү чыгарат. Андан кийин angular convolution ар башка көрүнүштөрдөгү featureлардын ортосундагы байланышты эсептейт. Кийинки fusion катмары бул эки маалымат түрүн бириктирет.

SR2I адегенде LR сүрөттү эки эсеге upsample кылат. SAS блоктору чыгарган featureлардан жөнөкөй upsample кылынган сүрөт менен максат HR сүрөттүн ортосундагы айырманы билдирген residual map бааланат. Residual map upsample кылынган сүрөткө кошулуп, көп көрүнүштүү толуктоочу маалымат камтыган SR жыйынтыгы түзүлөт.

STF жана SR2I эмне үчүн өзүнчө сакталат?

Эки бутак ар башка илимий милдет аткарат. STF борбордук HR эталондон жогорку жыштыктагы текстураны өткөрүүгө багытталган. SR2I болсо сегиз LR айланма көрүнүш менен борбордук LR түзүлүштүн ортосундагы мейкиндиктик-бурчтук шайкештикти колдонуп, объекттин геометриясын жана төмөн жыштыктагы түзүлүшүн сактоого аракет кылат.

Бир масштабда алынган STF жана SR2I tensorлору канал өлчөмү боюнча бириктирилип, convolutional residual block аркылуу адаптивдүү fusionга берилет. Бул процесс ×2, ×4 жана ×8 этаптарында кайталанат.

×2, ×4 жана ×8 иерархиясы

Булактын негизги архитектурасында бир кадамда түз ×8 чоңойтуунун ордуна этаптык процесс колдонулат. Биринчи этапта ×2, экинчи этапта ×4 жана акыркы этапта ×8 жыйынтык алынат.

Борбордук HR сүрөттүн ар башка масштабдардагы белгилери STF тарабында ар бир этапка ылайык жогорку жыштыктагы маалыматты берет, ал эми SR2I тарабы ар бир этапта көп көрүнүштүү LR геометриясын иштетет.

Булак мурунку ичине камтылган SR2I түзүлүшү ×4 масштабында кабыл алына турган деңгээлде болгону менен, ×8 чоңойтууда олуттуу көрсөткүч жоготконун; ушул себептен STF өзүнчө бөлүнүп, көп масштабдуу feature өткөрүү тандалганын билдирет.

Charbonnier Жоготуу Функциясы Эмне Үчүн Үч Масштабда Эсептелет?

Модель ×2, ×4 жана ×8 масштабдарында аралык SR сүрөттөрдү чыгаргандыктан, окутуу жоготуусу акыркы ×8 чыгышта гана эмес, үч масштабдын баарында эсептелген Charbonnier жоготууларынын суммасы катары аныкталган.

Булак Теңдеме (4):

\[ L = L_{c\times2} + L_{c\times4} + L_{c\times8} \tag{4} \]

жана ар бир масштаб үчүн:

\[ L_{c\times s} = \sqrt{ \left(I_{sr}-I_{hr}\right)^2+\epsilon^2 }. \]

\(I_{sr}\) модель чыгарган SR сүрөттү, \(I_{hr}\) ошол эле масштабдагы максат жогорку чечилишке ээ сүрөттү, \(\epsilon\) болсо квадраттык тамыр эсептөөсүндөгү сандык туруксуздукту азайтуу үчүн колдонулган кичине туруктууну билдирет.

Charbonnier жоготуусу абсолюттук катанын жумшартылган формасы. Булактын түшүндүрмөсүнө ылайык ал чакан ката аймактарында жылмакайыраак gradient жүрүмүн берет жана \(\epsilon\) мүчөсүнүн аркасында чет маанилерге L2 жоготуусуна караганда туруктуураак.

Булак \(\epsilon\)дин сандык маанисин билдирбейт; бул маани Verianla тарабынан божомолдонгон эмес.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Маалымат топтому жана эксперименттик сүрөт тартуу тартиби

Эксперименттерде мурда 6D pose estimation максатында жарыяланган Sim-to-Real Dataset of Industrial Metal Objects колдонулган. Маалымат топтому реалдуу дүйнө сүрөттөрүн да, ар башка жарык шарттарында түзүлгөн синтетикалык сүрөттөрдү да камтыйт.

Булакта өнөр жай объекттеринин алты түрү бар экени жана алар жогорку чагылтуучулукка ээ металл объекттер менен азыраак чагылдыруучу кызыл объекттер катары топтолгону айтылат. Объекттер паллет, куту жана картон сыяктуу ар кандай ташуучулардын үстүндө ар башка тизүү тартибинде сүрөткө тартылган.

Реалдуу маалымат топтоо системасында ар башка камералар өнөр жай роботунун айланасындагы тегерек траекторияларга жайгаштырылган. Жалпысынан 13 көрүнүш болгону менен эксперимент үчүн борбордук сүрөт жана сырткы шакектеги сегиз сүрөт тандалган; ички шакектеги төрт көрүнүш борбордон ар башка аралыкта болгондуктан колдонулган эмес.

Реалдуу эксперименттик текшерүүдө Intel RealSense L515 RGB сүрөттөрү колдонулган.

Синтетикалык маалымат Unity чөйрөсүндө түзүлгөн. HDRI environment mapтер ар башка жарык шарттарын, texture synthesis болсо чийик сыяктуу беттик деталдарды окшоштурат. Синтетикалык өндүрүү үчүн эталон реалдуу сүрөттөр JAI GO-5000-PGE камерасы менен алынган.

Киргизүү жана максат чечилиштери

Эки учурда тең HR/LR кыр катышы ×8. Окутууда cropping, rotation жана flipping маалыматты көбөйтүү ыкмалары колдонулган.

Булак жалпы окутуу, текшерүү жана тест үлгүлөрүнүн санын, optimizerди, learning rateти, batch sizeды, epoch санын жана окутуу жабдуусун билдирбейт. Ошондуктан моделдин толук окутуу процедурасын жарыяланган PDF боюнча так кайра чыгаруу мүмкүн эмес.

Абляциялык изилдөө

Булак реалдуу дүйнө маалыматында төрт архитектура компонентин өзүнчө өзгөртүп, толук модель менен салыштырат.

Эң чоң начарлоолордун бири SAS block алынып салынган Variant Bде жана fusion module алынып салынган Variant Cде байкалат. Variant A өзүнчө encoder дизайнынын чакан, бирок туруктуу пайдасын көрсөтөт. Булак ошондой эле өзүнчө encoderлер параметрлердин санын көбөйтөрүн жана реалдуу убакыт системаларында жеңилирээк дизайндар керек болушу мүмкүн экенин белгилейт.

Variant D толук моделге жакын, бирок бир аз начарыраак болушу Charbonnier жоготуусу сүрөт реконструкциясында стандарттуу L1ге салыштырмалуу чакан салым кошорун көрсөтөт.

PSNR, SSIM жана LPIPS Жыйынтыктарын Бирге Кантип Окуу Керек?

PSNR пиксел деңгээлиндеги реконструкция катасына, SSIM түзүлүш жана текстура окшоштугуна, LPIPS болсо үйрөнүлгөн perceptual featureлар аркылуу кабыл алуу окшоштугуна көңүл бургандыктан, бул метрикалар бир эле сүрөттүн сапатынын ар башка жактарын өлчөйт жана алардын эч бири жалгыз өзү визуалдык сапатты толук чагылдырбайт.

Синтетикалык сүрөттөр

Сунушталган модель алты синтетикалык сахнанын баарында эң жогорку PSNR көрсөткөн. Орточо PSNR ERVSRге салыштырмалуу 4,45 dB жана LFhybridSRге салыштырмалуу 8,39 dB жогору.

Scene 3 бардык ыкмалар үчүн эң татаал синтетикалык мисалдардын бири. Бул сахнада жазуусу бар бир нече кызыл блок бар жана бардык ыкмалардын PSNR/SSIM көрсөткүчтөрү башка сахналарга салыштырмалуу төмөндөйт. Сунушталган ыкманын PSNRи бул жерде 39,68 dB.

Scene 3 визуалдык салыштыруу

Булактын Figure 6 дагы каптал көрүнүшү үчүн сунушталган ыкманын RGB жыйынтыгы PSNR 35,59, SSIM 0,911 жана LPIPS 0,1502. ERVSR 35,02 / 0,905 / 0,1652; LFhybridSR болсо 30,50 / 0,858 / 0,2564 көрсөткүчтөрүн берген.

Чоң жана ачык жазуулар бар аймактарда Bicubicтен башка ыкмалар окула турган түзүлүштү жакшыраак сактайт, бирок караңгы аймактардагы майда текст көпчүлүк ыкмаларда таанылгыс болуп калат. Булак майда тексттин айрым кырлары сунушталган ыкмада гана начар болсо да көрүнүп калганын билдирет.

Реалдуу дүйнө сүрөттөрү

Сунушталган ыкма алты реалдуу сахнанын баарында эң жогорку PSNR жана SSIM көрсөткүчтөрүн чыгарган. Орточо PSNR айырмасы LFhybridSRге салыштырмалуу 1,18 dB, Bicubicке салыштырмалуу 1,27 dB жана ERVSRге салыштырмалуу 5,19 dB.

Ошого карабастан, метрикалардагы ирет менен визуалдык кабыл алуу дайыма эле бирдей эмес. Булак ERVSR айрым сүрөттөрдө Bicubicке караганда жакшыраак деталь бергенине карабастан, PSNR таблицасында төмөнүрөөк көрсөткүчтөргө ээ экенин ачык талкуулайт.

Ошондуктан “PSNR жогору → сүрөттүн бардык жагы сөзсүз жакшы” деген бир өлчөмдүү түшүндүрмө бул изилдөөнүн өз визуалдык талдоолору менен да колдоого алынбайт.

Борбордук көрүнүш менен каптал көрүнүштүн айырмасы

Булак Figure 7 де борбордук көрүнүштөрдө LFhybridSR менен сунушталган ыкма өзгөчө жазуу жана металл бет текстураларында эң так жыйынтыктарды бергенин белгилейт. Бул күтүлгөн нерсе; анткени борбордук көрүнүш HR эталон менен эң күчтүү түз байланышка ээ.

Figure 8 де каптал көрүнүштөр кыйыныраак. Көрүү бурчу өзгөргөн сайын борбордук эталон менен каптал көрүнүштүн геометриясы айырмаланып, спекулярдык чагылуу өзгөрөт.

Scene 5 теги майда текст аймагында булак эч бир ыкма так жана оңой таанылуучу текст чыгарбаганын билдирет. LFhybridSR айрым металл объект кырларында jagged көрүнүш жаратышы мүмкүн, ERVSR болсо каптал көрүнүштө Bicubicке салыштырмалуу жакшыраак визуалдык жыйынтык бере алат. Сунушталган ыкма болсо борбордук жана каптал көрүнүштөр чогуу бааланганда тең салмактуу жыйынтык көрсөтөт.

Супер-Чечилиш Тереңдикти Баалоону Канчалык Жакшыртты?

Реалдуу сүрөттөрдө MiDaS-smallдын алдында SR алдын ала иштетүүсүн колдонуу булак экспериментинде Abs Rel маанисин 0,5349 маанисинен 0,1024 маанисине түшүрүп, үч \(\delta\) тактык өлчөмүн олуттуу жогорулаткан; бирок бул жыйынтык колдонулган маалымат жана MiDaS түзүлүшү үчүн гана downstream милдет көрсөткүчү.

Булактын түшүндүрмөсүндө SR сүрөттөрүндө бааланган пикселдердин болжол менен %90 бөлүгү, %94 бөлүгү жана %95 бөлүгү тиешелүүлүгүнө жараша 1,25; 1,56 жана 1,95 салыштырмалуу ката босоголорунун ичинде калган.

Бул жыйынтык SR аркылуу калыбына келтирилген кыр жана текстура маалыматы monocular depth моделине ылайыктуураак киргизүү бере аларын колдойт.

Бирок изилдөө реалдуу так өлчөөчү аспапты, профилометрди же координат өлчөө системасын SRге чейин жана кийин салыштырган эмес. Ошондуктан жыйынтыкты “SR өнөр жай өлчөө катасын 0,5 маанисинен 0,1 маанисине түшүрдү” деп жалпылоого болбойт. Өлчөнгөн көрсөткүч MiDaS тереңдик баалоосундагы Abs Rel катасы.

Изилдөө колдогон жыйынтыктар

Булак эксперименттери гибриддик HR/LR 3 × 3 көп көрүнүштүү киргизүү тартибинде STF негизиндеги жогорку жыштыктагы texture transfer менен SR2I негизиндеги spatial–angular feature fusionду бирге колдонуу изилденген металл сүрөт маалымат топтомунда Bicubic, LFhybridSR жана ERVSRге салыштырмалуу жогорку PSNR/SSIM жыйынтыктарын бергенин колдойт.

Абляциялык изилдөө өзүнчө encoderлер, SAS block, эки бутактын ортосундагы fusion түзүлүшү жана Charbonnier жоготуусу толук моделдин жыйынтыктарына салым кошорун көрсөтөт.

Синтетикалык маалыматта өзгөчө жогорку PSNR утушу модель көзөмөлдөнгөн түрдө түзүлгөн жогорку сапаттагы эталон текстураны натыйжалуу колдоно аларын көрсөтөт.

Реалдуу маалыматтагы азыраак, бирок оң PSNR артыкчылыгы ыкманын натыйжалуулугу синтетикалык чөйрө менен эле чектелбегенин көрсөтөт.

MiDaS эксперименти SR белгилүү бир downstream monocular depth estimation милдетинде киргизүү сүрөтү катары пайдалуу болушу мүмкүн экенин көрсөтөт.

Изилдөө колдобогон жыйынтыктар

Изилдөө ыкма бардык металл беттерде, бардык камера геометриясында же бардык өнөр жай ишканаларында бирдей натыйжа берет деп көрсөтпөйт. Эксперименттик түзүлүш туруктуу 3 × 3 көрүнүш схемасына негизделген.

Модель LR сүрөттөр менен гана иштеген жалпы MVISR системасы катары текшерилген эмес. Негизги экспериментте бир HR борбордук эталон бар.

Изилдөө реалдуу убакыт өндүрүш линиясында throughput, latency, GPU колдонуу же максималдуу иштетүү ылдамдыгы боюнча benchmark бербейт.

Булак окутуунун optimizer, learning rate, batch size, epoch жана hardware деталдарын билдирбегендиктен, толук окутууну кайра чыгаруу мүмкүнчүлүгү чектелүү.

PSNR/SSIM жыйынтыктары үчүн кайталоолор, ката тилкелери, ишеним интервалдары же статистикалык маанилүүлүк тесттери берилген эмес. Ошондуктан таблицадагы айырмалар байкалган эксперименттик жыйынтыктар; алар статистикалык артыкчылык тести катары чечмеленбеши керек.

MiDaS жыйынтыгы так өнөр жай метрологиясынын текшерүүсү эмес. Ал monocular depth estimation натыйжалуулугун гана өлчөйт.

Булак ошондой эле өз ыкмасын заманбап state-of-the-art reference-based SR ыкмалары менен түздөн-түз кеңири эксперименттик benchmark ичинде салыштырбаганын чектөө катары белгилейт.

Келечектеги изилдөө багыттары

Авторлор биринчи кезекте өзгөрмө angular resolution конфигурацияларын колдогон архитектурага өтүүнү сунушташат. Бул ыкманын сейрек же тыгыз камера массивдеринде канчалык иштей турганын текшерүүгө мүмкүндүк бериши мүмкүн.

Экинчи багыт — жогорку чагылтуучулукка ээ металл аймактарында texture transferди физикалык жактан жакшыраак чектөө үчүн differentiable rendering же физикага негизделген чектөөлөрдү кошуу.

Үчүнчү багыт — ар түрдүү өнөр жай металл объекттерин жана көрүнүш түзүлүштөрүн камтыган атайын көп көрүнүштүү маалымат топтомун түзүү.

Акырында авторлор SR реконструкциясын тереңдикти баалоо же precision measurement сыяктуу кийинки милдеттер менен тыгызыраак бириктирүүнү келечектеги изилдөө багыты катары белгилешет.

Булак жана Ыкма Жөнүндө Эскертүү

Түп нуска изилдөө: Multi-View Industrial Image Super-Resolution via Hierarchical Multi-Scale Data Fusion

Авторлор: Wenqin Zhao; Carman Ka Man Lee; Da Li; Benny Chi Fai Cheung.

Жооптуу автор: Carman Ka Man Lee.

Мекеме: State Key Laboratory of Ultra-Precision Machining Technology жана Department of Industrial and System Engineering, Hong Kong Polytechnic University, Hong Kong, Кытай.

Журнал: AI.

Басмакана: MDPI.

Булак түрү: Рецензияланган түп нуска изилдөө макаласы; терең үйрөнүүгө негизделген өнөр жай сүрөтүнүн супер-чечилиш изилдөөсү.

Жарыя маалыматы: AI 2026, том 7, сан 5, макала 172.

DOI: 10.3390/ai7050172

Тапшыруу: 13 Март 2026.

Ревизия: 25 Апрель 2026.

Кабыл алуу: 14 Май 2026.

Жарыялоо: 16 Май 2026.

Рецензия / версия: Рецензияланган журнал макаласы; PolyU институционалдык архивинде Version of Record катары катталган.

Лицензия: Creative Commons Attribution (CC BY), ачык жеткиликтүүлүк.

Маалымат топтому: Sim-to-Real Dataset of Industrial Metal Objects. Булак маалымат топтому ачык жеткиликтүү экенин жана Machines 2024, 12, 99 изилдөөсү аркылуу жарыяланганын билдирет.

Реалдуу сүрөт камерасы: Intel RealSense L515 RGB.

Синтетикалык маалымат үчүн негизги реалдуу сүрөт камерасы: JAI GO-5000-PGE.

Синтетикалык өндүрүү чөйрөсү: Unity; HDRI environment map жана texture synthesis колдонулганы булакта көрсөтүлгөн.

Downstream model: MiDaS-small monocular depth estimation модели.

Салыштыруу ыкмалары: Bicubic, LFhybridSR жана ERVSR.

Каржылоо: Research Impact Fund, Grant No. R5047–22.

Ыраазычылык: Research Grants Council of the Hong Kong Special Administrative Region, Department of Industrial and Systems Engineering жана State Key Laboratory of Ultra-Precision Machining Technology, The Hong Kong Polytechnic University.

Институционалдык этика кеңеши: Колдонулбайт.

Маалымдалган макулдук: Колдонулбайт.

Маалыматтын жеткиликтүүлүгү: Булак маалымат ачык жеткиликтүү экенин жана DOI 10.3390/machines12020099 дарегиндеги маалымат изилдөөсүнө шилтеме берет.

Кызыкчылыктардын кагылышы: Авторлор кызыкчылыктардын кагылышы жок экенин билдиришкен.

Авторлордун салымы: Концептуалдаштыруу Wenqin Zhao, Da Li жана Carman Ka Man Lee; методология жана программалык камсыздоо Wenqin Zhao; валидация Wenqin Zhao; формалдык анализ жана изилдөө Wenqin Zhao менен Da Li; ресурстар Wenqin Zhao, Carman Ka Man Lee жана Benny Chi Fai Cheung; маалыматтарды курациялоо Wenqin Zhao; алгачкы долбоор Wenqin Zhao; карап чыгуу жана редакциялоо Carman Ka Man Lee; визуалдаштыруу Wenqin Zhao; көзөмөл Carman Ka Man Lee; долбоорду башкаруу жана каржылоо алуу Benny Chi Fai Cheung тарабынан аткарылган.

Кайра чыгарылуучулук жөнүндө эскертүү: PDF optimizer, learning rate, batch size, training epoch саны, training hardware жана так окутуу/валидация/test үлгү сандарын билдирбейт. Булакта жок бул параметрлер Verianla тарабынан толукталган эмес.

Негизги методологиялык чектөөлөр: Гибриддик HR/LR acquisition түзүлүшү жөнүндө божомол; туруктуу 3 × 3 angular resolution; сейрек же тыгыз view arrayлардын текшерилбегени; ачык reflectance же физикага негизделген чектөөлөрдүн жоктугу; state-of-the-art reference-based SR ыкмалары менен түздөн-түз кеңири салыштыруу жасалбаганы; реалдуу убакыт deployment өлчөөлөрүнүн берилбегени.

Verianla ыкма эскертүүсү: Бул мазмун булак макаланын сап-сап котормосу эмес. Булактагы изилдөө көйгөйү, көп көрүнүштүү гибриддик сүрөт тартуу түзүлүшү, STF жана SR2I архитектурасы, attention негизиндеги patch дал келтирүү, Теңдеме (1)–(4), маалымат топтому жана камера тартиби, абляциялар, PSNR/SSIM/LPIPS жыйынтыктары, визуалдык баалоолор, MiDaS тереңдик баалоосу жана чектөөлөр сакталып, өз алдынча кыргызча илимий окутуу түзүлүшү түзүлгөн. Булакта жок эксперимент, көрсөткүч, окутуу параметри же статистика кошулган эмес.