Ин таҳқиқот барои ёфтани мувофиқатҳои боэътимод байни ду тасвире, ки аз кунҷҳо, шароити рӯшноӣ ё муҳитҳои гуногун гирифта шудаанд, модели сабуки нимзичи мувофиқсозии хусусиятҳо бо номи GamMa таҳия кардааст. Модел ба ҷойи он ки ҳамаи хусусиятҳои тасвирро яксон коркард кунад, пеш аз моделсозии пайдарпайии бар Mamba асосёфта минтақаҳоеро интихоб мекунад, ки аз нигоҳи мувофиқсозӣ боэътимодтар ба назар мерасанд. Барои ин меъмории Gated Deformable Mamba истифода шудааст, ки аз ҷузъҳои Gated Deformable Scanning, Joint Mamba ва Gated Deformable Merge иборат аст. GamMa дар санҷиши MegaDepth дар ҳадҳои 5°, 10° ва 20° мутаносибан ба арзишҳои AUC-и 65,2, 78,1 ва 87,0 расидааст; бо 5,7 миллион параметр, 202,5 GFLOP ва вақти кори ченшудаи 37,9 ms дар байни усулҳои нимзич натиҷаи баландтаринро нишон додааст. Модел инчунин, гарчанде танҳо дар MegaDepth омӯзонида шудааст, ҳангоми интиқол ба HPatches ва ScanNet бе fine-tuning нисбат ба модели асосии JamMa натиҷаҳои баландтар додааст. Бо вуҷуди ин, таҳқиқот аз баррасии ҳамсолон нагузаштааст; рӯйхати манбаъҳояш нопурра аст, баъзе фарқҳои ададӣ байни матн ва ҷадвалҳо мувофиқат намекунанд ва дар таҷрибаҳо инҳирофи стандартӣ ё фосилаи эътимоди марбут ба такрорҳои сершумори омӯзиш пешниҳод нашудааст.

Ғояи асосии GamMa ин аст, ки ҳамаи ҳуҷайраҳои тасвир аз нигоҳи мувофиқсозӣ арзиши якхела надоранд. Гӯшаҳои бино, марзҳои объектҳо ва текстураҳои фарқкунанда нишонаҳои геометрии боэътимод медиҳанд, дар ҳоле ки осмон, деворҳои холӣ, нақшҳои такроршаванда ё минтақаҳои норавшан метавонанд таъсири мутақобилаи нодурустро ба вуҷуд оранд. Gated Index Network пеш аз мувофиқсозӣ ҷойгоҳҳои хусусиятҳоро ба таври омӯзишшаванда тартиб медиҳад ва дар танзими пешфарз нисфи онҳоро интихоб мекунад. Хусусиятҳои интихобшуда бо блокҳои Mamba моделсозӣ шуда, баъд ба харитаҳои аслии дученакаи хусусиятҳо бозҷойгир карда мешаванд. Canny edge loss бошад махсусан дар муҳитҳои дохилии дорои текстураи заиф мувофиқатҳоро ба сохторҳои геометрии устувортар, ба монанди буриши деворҳо, марзҳои объектҳо ва гӯшаҳо, равона карданро ҳадаф мегирад.

Арзёбӣ аз нуқтаи назари Туркия: Равиши GamMa метавонад дар Туркия барои харитасозӣ бо ҳавопаймоҳои бесарнишин, ҷойгиркунии роботҳои автономӣ, воқеияти афзуда, ҳуҷҷатгузории сеченакаи мероси фарҳангӣ, мувофиқсозии тасвирҳои моҳвораӣ ва ҳавоӣ, муқоисаи иншоот пас аз офат ва системаҳои санҷиши визуалии саноатӣ таҳқиқ шавад. Пеш аз истифодаи амалӣ, модел бояд дар матоъҳои шаҳрии хоси Туркия, минтақаҳои деҳот, муҳитҳои дохилии камрӯшноӣ, биноҳои осебдидаи пас аз заминларза, фасадҳои такроршаванда ва намудҳои гуногуни камера аз нав санҷида шавад. Барои истифодаи вақти воқеӣ вақти кор ва истеъмоли хотира дар GPU-и дарунсохт, протсессори мобилӣ ва дастгоҳҳои канории камқувват низ бояд алоҳида чен карда шаванд. Азбаски таҳқиқот маҷмӯи додаҳои дар Туркия ҷамъшуда, системаи автономии маҳаллӣ, озмоиши саҳроии амалиётӣ ё сертификатсияи бехатариро пешниҳод намекунад, сатҳи муваффақият ё боэътимодии саҳроии махсуси Туркияро мустақиман баровардан мумкин нест.

Мувофиқсозии хусусиятҳои маҳаллӣ чист?

Мувофиқсозии хусусиятҳои маҳаллӣ масъалаи ёфтани мувофиқи як нуқтаи ҷисмонӣ ё сохтор дар ду тасвири гуногун мебошад. Гӯшаи бино, канори тиреза, хатти роҳ ё марзи объект ҳатто агар дар ду тасвир бо миқёс, кунҷ ва рӯшноии гуногун намоён бошад, системаи дурусти мувофиқсозӣ бояд байни ин нуқтаҳо робита барқарор карда тавонад.

Ин мувофиқатҳо дар татбиқҳои зерин вуруди асосӣ мебошанд:

• Ҷойгиркунии визуалӣ ва ҳисоб кардани позаи камера,
• Ҷойгиркунӣ ва харитасозии ҳамзамон (SLAM),
• Тавлиди модели сеченака бо Structure-from-Motion,
• Бозсозии бисёртасвирӣ,
• Ҳамворсозии тасвирҳо ва баҳодиҳии гомография,
• Пайгирии ҳаракат дар робототехника ва системаҳои автономӣ.

Танҳо тавлиди шумораи зиёди мувофиқатҳо байни ду тасвир кофӣ нест. Мувофиқатҳои нодуруст метавонанд гардиш, ҷойивазкунӣ ва баҳодиҳии геометрияи сеченакаи камераро вайрон кунанд. Аз ин рӯ, миқдори мувофиқат, дақиқии геометрӣ, устуворӣ ва хароҷоти ҳисоббарорӣ бояд якҷоя арзёбӣ шаванд.

Фарқи байни мувофиқсозии пароканда, нимзич ва зич

Усулҳои пароканда аввал гӯша ё нуқтаи таваҷҷуҳро муайян мекунанд ва баъд дескрипторҳои марбут ба ин нуқтаҳоро муқоиса мекунанд. Хароҷоти ҳисоббарории онҳо нисбатан паст аст; аммо дар минтақаҳое чун деворҳои бетекстура ё нақшҳои такроршаванда онҳо метавонанд нуқтаҳои калидии кофӣ ва устувор тавлид накунанд.

Усулҳои зич тақрибан барои ҳар пиксел ё минтақаи хурди тасвир мувофиқатро баҳогузорӣ мекунанд. Ин усулҳо метавонанд дар тағйироти калони намоиш қавӣ бошанд, вале параметр, хотира ва ҳисоббарории бештар талаб мекунанд.

Усулҳои нимзич мекӯшанд байни устувории мувофиқсозии зич ва самаранокии ҳисоббарории мувофиқсозии пароканда мувозинат барқарор кунанд. GamMa ба ҳамин синф дохил мешавад.

Чаро ба ҷойи Transformer Mamba истифода шудааст?

Мувофиқсозҳои бар Transformer асосёфта метавонанд муносибатҳои дурмасофаро байни минтақаҳои гуногуни тасвир тавассути механизми self-attention моделсозӣ кунанд. Аммо хароҷоти ҳисоббарории self-attention-и классикӣ бо квадрати шумораи токенҳои коркардшаванда меафзояд. Азбаски дар харитаҳои хусусиятҳои нимзич шумораи токенҳо зиёд аст, ин хароҷот метавонад назаррас бошад.

Меъмориҳои Mamba пайдарпайиҳои дарозро бо моделсозии фазо-ҳолат, ки тақрибан хаттӣ миқёспазир аст, коркард карда, алтернативаи камхарҷтар пешниҳод мекунанд. Усули пешина бо номи JamMa Mamba-ро ба мувофиқсозии хусусиятҳои нимзич мутобиқ кардааст. Нуқтаи оғози таҳқиқот ин аст, ки JamMa ҳамаи ҷойгоҳҳои хусусиятҳоро бо тартиби собити сканкунӣ яксон коркард мекунад.

Мушкилоти равиши сканкунии собит чист?

Ҳар минтақаи тасвир нишонаи боэътимоди мувофиқсозӣ надорад. Минтақаҳои зерин махсусан метавонанд мушкил эҷод кунанд:

• Сатҳҳои ҳамвор ва бетекстура,
• Қаторҳои ба ҳам монанди тиреза ё хишт,
• Осмон ва заминаҳои якранг,
• Минтақаҳои дорои хирашавии ҳаракат,
• Майдонҳое, ки байни ду тасвир ҳампӯшӣ надоранд,
• Сатҳҳое, ки намуди онҳо вобаста ба кунҷи дид сахт тағйир меёбад.

Дар сканкунии собит ин минтақаҳо низ мисли гӯшаҳо ва марзҳои боэътимод ба моделсозии пайдарпайӣ дохил мешаванд. Ҳамин тавр, хусусиятҳои номуайян метавонанд бо минтақаҳои дур таъсири мутақобила карда, ба сигнали мувофиқсозӣ шов илова кунанд. Дар Шакли 1 намунаҳое нишон дода шудаанд, ки JamMa дар муҳитҳои дохилии ScanNet шумораи зиёди мувофиқатҳои нодуруст тавлид кардааст. Хатҳои сабз мувофиқатҳои мусбат ва хатҳои сурх мувофиқатҳои манфиро ифода мекунанд.

Меъмории умумии GamMa

Меъморӣ дар Шакли 2 аз чор марҳилаи асосӣ иборат аст:

1. Баровардани хусусиятҳои маҳаллӣ,
2. Интихоб ва моделсозии хусусиятҳои миқёси дағал бо Gated Deformable Mamba,
3. Мувофиқсозии дақиқ дар равзанаҳои маҳаллӣ,
4. Омӯзиши ҷойгоҳҳои хусусият бо назорати канори Canny.

Ба сифати вуруд ду тасвир \(I_A\) ва \(I_B\) гирифта мешаванд. Сутунмӯҳраи ConvNeXtV2-N дар ду ҳалнома хусусиятҳо тавлид мекунад:

• Хусусиятҳои дағали 256-каналӣ дар \(1/8\)-и ҳалномаи вуруд,
• Хусусиятҳои дақиқи 64-каналӣ дар \(1/2\)-и ҳалномаи вуруд.

Сутунмӯҳраи ConvNeXtV2 тақрибан 0,65 миллион параметр дорад. Модели пурраи GamMa бошад дар ҷадвал ҳамчун дорои 5,7 миллион параметр дода шудааст.

Хусусияти иттилоотӣ чӣ гуна таъриф шудааст?

Таҳқиқот иттилоотнокии як ҷойгоҳи хусусиятро бо се ҷузъи мафҳумӣ ифода мекунад:

\[ S_i = \alpha S_i^{struct} + \beta S_i^{distinct} + \gamma S_i^{consistency}. \]

Дар ин ҷо:

• \(S_i^{struct}\), барҷастагии сохторӣ ба монанди канор, гӯша ё текстураро;
• \(S_i^{distinct}\), фарқшавандагии хусусиятро аз минтақаҳои атроф;
• \(S_i^{consistency}\), устувории ҷавоби мувофиқсозиро байни ду тасвир

ифода мекунад.

Ин се арзиш дар амал алоҳида ҳисоб карда намешаванд. Gated Index Network таҳти назорати аз matching loss омада ба таври end-to-end меомӯзад, ки кадом минтақаҳо муфиданд. Муодила чорчӯбаи назариявиест, ки мафҳуми иттилоотнокии ҳадафгирифтаи моделро шарҳ медиҳад.

Gated Deformable Scanning чӣ гуна кор мекунад?

Харитаҳои хусусиятҳои дағал:

\[ \mathbf{x}\in\mathbb{R}^{2\times H\times W\times C} \]

шакл доранд. Андозаи аввал ҷуфти тасвир, \(H\) ва \(W\) андозаҳои фазоӣ ва \(C\) шумораи каналҳоро нишон медиҳанд.

Дар сканкунии стандартӣ ҳуҷайраҳои тасвир аз боло-чап то поён-рост бо тартиби собити raster ҷойгир мешаванд. GamMa бошад барои ҳар ҷойгоҳ offset-и омӯзишшаванда тавлид мекунад:

\[ \Delta t\in\mathbb{R}^{2\times H\times W\times1}. \]

Индекси ибтидоии сканкунӣ \(t_i\), ба фосилаи \([-1,1]\) нормализатсия мешавад. Offset-и пешгӯикардаи шабака низ бо функсияи `tanh` ба ҳамин фосила маҳдуд мешавад:

\[ t_D=t_i+\Delta t. \]

Ҷойгоҳҳо аз рӯйи арзишҳои \(t_D\) тартиб дода мешаванд ва танҳо \(K\) хусусияти дорои рутбаи баландтарин нигоҳ дошта мешавад. Дар танзими пешфарз:

\[ K=\frac{H\times W}{2}. \]

Ба ибораи дигар, нисфи ҷойгоҳҳои хусусиятҳои дағал ба моделсозии пайдарпайии Mamba дохил карда мешаванд. Ҳадаф танҳо интихоб кардани минтақаҳои дорои фаъолшавии баланд нест, балки фурӯ нишондани минтақаҳои байни ду тасвир номувофиқ, такроршаванда ё аз ҷиҳати геометрӣ номуайян мебошад.

Сохтори Gated Index Network

Gated Index Network хусусиятҳоро аз ду шохаи параллелии depthwise-separable convolution мегузаронад. Як шоха ҷавоби сохтории маҳаллиро мустақиман тавлид мекунад, шохаи дигар бошад бо истифодаи GroupNorm ва GELU модулятсияи мутобиқшаванда месозад.

Баромадҳои ду шоха ба таври элементӣ зарб мешаванд:

\[ F_g=F_1\odot GELU(GN(F_2)). \]

Дар ин амали gating ҳадаф ин аст, ки ҷавобҳои аз ҳар ду шоха дастгиришуда қавитар ва ҷавобҳои заиф ё номувофиқ фурӯ нишонда шаванд. Offset-и ниҳоӣ бо convolution-и \(1\times1\) тавлид мешавад:

\[ \Delta t=Conv_{1\times1}(F_g). \]

Ҷойгоҳҳои интихобшуда дар Шакли 9 дар фасадҳои бино, марзҳои гунбаз ва сохторҳои муфассали меъморӣ зич мешаванд, дар минтақаҳои якхела ба монанди осмон бошад кам мешаванд. Аммо сарлавҳаи Шакли 9 иштибоҳан аз муқоисаи Canny loss сухан мегӯяд.

Мушкилоти ҳосила дар амали тартибдиҳӣ

Тартиб додани хусусиятҳо дар шакли классикӣ дифференсиалшаванда нест. Аз ин рӯ, градиенте, ки аз тартибдиҳӣ мегузарад, наметавонад бевосита ба индекси деформатсия интиқол дода шавад.

Муҳаққиқон градиентҳои андозаи пайдарпайии ниҳоии тасвирро миёна карда, онҳоро ба индекси деформатсия бозпаҳн карда, аз градиенти тақрибӣ истифода бурдаанд. Ин равиш омӯзишро имконпазир мекунад; аммо ҳосилаи воқеии амали тартибдиҳӣ нест. Муқоисаи ин равиш бо усулҳои дигари арзёбии градиент ё таҳлили хато пешниҳод нашудааст.

Joint Mamba ва бозякҷоякунии хусусиятҳо

Хусусиятҳои интихобшуда ба пайдарпайиҳои фишурдаи якченака табдил дода мешаванд. Joint Mamba муносибатҳои дурмасофаро байни хусусиятҳои аз ду тасвир омада моделсозӣ мекунад. Дар татбиқ пайдарпайии чорсамта ва чор блоки Mamba-и рӯйи ҳам истифода мешаванд.

Gated Deformable Merge хусусиятҳои коркардшударо бо ёрии индексҳои баръакс ба ҷойгоҳҳои аслии ҳалномаи \(1/8\) бармегардонад. Аз Mamba танҳо гузаштани хусусиятҳои интихобшуда метавонад таъсири мутақобилаи мустақимро байни минтақаҳои интихобнашуда ё пайдарпайиҳои гуногун маҳдуд кунад. Барои кам кардани ин норасоӣ воҳиди иловагии gated merge, ки аз convolution-ҳои стандартӣ иборат аст, истифода шудааст:

\[ \sigma=GELU(Conv_3(F_{in})), \]

\[ F_{out}=Conv_3\left(\sigma\cdot Conv_3(F_{in})\right). \]

Мувофиқсозии сатҳи дақиқ

Пас аз мувофиқатҳои дағал, аз атрофи ҷойгоҳҳои пешгӯишуда равзанаҳои хусусиятҳои ҳалномаи баландтар бурида мешаванд. Дар ин равзанаҳо мувофиқсозии дақиқ дар сатҳи зерпикселӣ анҷом дода мешавад.

Марҳилаи дағал мувофиқатҳои эҳтимолиро дар саросари тасвир меёбад, марҳилаи дақиқ бошад ҷойгоҳро дар равзанаи хурди маҳаллӣ дақиқтар мекунад. Ҳамин тавр кӯшиш мешавад, ки бе коркарди зичи ҳалномаи баланд дар тамоми тасвир дақиқии ҷойгоҳ зиёд карда шавад.

Чаро Canny edge loss илова шудааст?

Дар саҳнаҳои камтекстура майдонҳои васеъ ба монанди сатҳи девор ё миз иттилооти визуалии фарқкунанда надоранд. Баръакс, марзҳои объектҳо, пайвастҳои девор ва гӯшаҳо ҳатто ҳангоми тағйири кунҷи дид метавонанд сохторҳои геометрии устувортар пешниҳод кунанд.

Ҷараёни омӯзиши Canny edge loss чунин аст:

1. Тасвири вуруд бо интерполятсияи bilinear то ҳалномаи мувофиқсозии дақиқ хурд карда мешавад.
2. Ба тасвири хурдшуда ошкорсозии канори Canny татбиқ мешавад.
3. Аз атрофи ҷойгоҳи мувофиқсозии дағал равзанаи канор бурида мешавад.
4. Ҷойгоҳи канор дар равзана бо амали дученакаи `argmax` интихоб мешавад.
5. Фарқи L1 байни ҷойгоҳи дақиқи пешгӯишуда ва ҷойгоҳи ҳадафи бар канор асосёфта ҳисоб карда мешавад.

\[ L_{canny}= \frac{1}{N} \sum_{i=1}^{N} \left\| p_{idx}^{(i)}-p_{idx}^{gt,(i)} \right\|_1. \]

Ин loss исбот намекунад, ки нуқтаи мувофиқати воқеӣ ҳатман рӯйи канор қарор дорад. Он як regularizer-и ёрирасон аст, ки ҳангоми омӯзиш мувофиқатҳоро ба сохторҳое равона мекунад, ки аз ҷиҳати геометрӣ устувор дониста мешаванд.

Loss-и умумии омӯзиш

Модел бо чор ҷузъи loss омӯзонида шудааст:

• Focal loss-и мувофиқсозии дағал \(L_c\),
• Focal loss-и мувофиқсозии дақиқ \(L_f\),
• Canny edge loss \(L_{canny}\),
• Loss-и геометрияи эпиполярии зерпикселӣ \(L_s\).

Loss-и зерпикселӣ ба ҷойи матритсаи фундаменталӣ масофаи симметрии эпиполяриро тавассути ду нуқтаи нормализатсияшудаи тасвир ва матритсаи essential \(E\) истифода мебарад:

\[ L_s= \frac{1}{|M_f|} \sum_{(x,y)\in M_f} \frac{(x^{\top}Ey)^2} {(Ey)_1^2+(Ey)_2^2+(E^{\top}x)_1^2+(E^{\top}x)_2^2}. \]

Loss-и умумӣ:

\[ L_{total} = \lambda_cL_c+ \lambda_fL_f+ \lambda_{canny}L_{canny}+ \lambda_sL_s \]

таъриф шудааст. Коэффисиентҳо:

• \(\lambda_c=1\),
• \(\lambda_f=1\),
• \(\lambda_{canny}=0{,}5\),
• \(\lambda_s=10^4\)

мебошанд. Шарҳ дода шудааст, ки азбаски арзиши хоми loss-и зерпикселӣ тақрибан \(10^{-4}\) ё хурдтар аст, вазни калон истифода шудааст.

Танзими омӯзиш

Натиҷаҳои MegaDepth

MegaDepth аз тасвирҳои муҳити берунае иборат аст, ки тағйироти васеи кунҷи дид, рӯшноӣ ва нақшҳои такроршавандаи меъмориро дар бар мегиранд. Таҳқиқот 1.500 ҷуфти тасвирро аз саҳнаҳои Sacré-Cœur ва St. Peter’s Square санҷида, позаи камераро бо LO-RANSAC ҳисоб кардааст.

GamMa нисбат ба JamMa бо ҳамон шумораи параметрҳо ва хароҷоти ҳисоббарории монанд 1,1, 0,7 ва 0,5 нуқтаи AUC ба даст овардааст. Вақти кор аз JamMa 0,7 ms дарозтар аст; бинобар ин наметавон гуфт, ки GamMa аз JamMa тезтар аст. Бартарии он таъмин кардани дақиқии баландтар бо суръат ва андозаи монанд мебошад.

Мувофиқсозҳои зич AUC-и баландтар тавлид кардаанд. Бо вуҷуди ин, DKM тақрибан 7,7 маротиба ва RoMa тақрибан 10,5 маротиба вақти кори ченшудаи дарозтар ва параметрҳои хеле бештар доранд.

Бозсозии бисёрнамоии Aachen

Aachen v1.1 маҷмӯи додаҳои ҷойгиркунии визуалии муҳити беруна мебошад, ки тағйироти рӯз-шаб ва кунҷи дидро дар бар мегирад. Дар таҳқиқот се меъёр истифода шудааст:

• mtl: Дарозии миёнаи пайгирии хусусият; баланд буданаш матлуб аст.
• mre: Хатои миёнаи бозпроексия; паст буданаш матлуб аст.
• mopi: Шумораи миёнаи мушоҳидаҳо барои ҳар тасвир; миқдори мувофиқатро нишон медиҳад.

GamMa дарозтарин пайгирии миёна ва пасттарин хатои бозпроексияро тавлид кардааст. Шумораи мувофиқатҳо барои ҳар тасвир аз LoFTR ва ASpanFormer камтар аст. Тафсири таҳқиқот ин аст, ки модел ба ҷойи шумораи зиёди мувофиқатҳо миқдори камтар, вале аз ҷиҳати геометрӣ устувортарро нигоҳ медорад.

Хориҷ кардани Canny loss арзиши mtl-ро аз 5,16 то 4,43 паст кардааст. Ин натиҷа нишон медиҳад, ки назорати канор метавонад ба пайвастагии пайгирӣ дар бисёр тасвирҳо саҳм гузорад.

Муқоисаи сканкунии собит ва деформатсияшаванда

Сканкунии gated deformable нисбат ба сканкунии собит дар ҳадҳои 5°, 10° ва 20° мутаносибан 2,6, 1,9 ва 0,9 нуқта афзоиш додааст. Гарчанде дар параграфи мақола фарқи охирин 1,9 гуфта шудааст, ҷадвал 0,9-ро нишон медиҳад.

Дар Шакли 7 сканкунии деформатсияшаванда дар марзҳои бино ҷавоби равшантар ва дар замина ҷавоби пасттари шабоҳат тавлид кардааст. Ҷавобҳои сканкунии собит парокандатар ба назар мерасанд. Ин бозёфти визуалӣ тафсиреро дастгирӣ мекунад, ки механизми интихобӣ пешзамина ва марзҳои сохториро таъкид мекунад; аммо харитаҳои шабоҳат худ аз худ далели сабабӣ нестанд.

Чанд хусусият бояд интихоб шавад?

Коркарди ҳамаи хусусиятҳо баландтарин дақиқиро таъмин накардааст. Интихоби нисфи хусусиятҳо ҳам AUC-ро 0,6 нуқта зиёд ва ҳам вақтро 2,6 ms кам кардааст. Баръакс, филтркунии шадидтар боиси аз даст рафтани далелҳои муҳими мувофиқсозӣ шудааст. K = 1/8 дар ивази танҳо 2 ms суръати иловагӣ нисбат ба K = 1/2 4,1 нуқтаи AUC аз даст додааст.

Таъсири Canny edge loss

Дар натиҷаҳои MegaDepth таъсири Canny loss маҳдуд аст:

Дар ҳади 5° афзоиши 0,1 нуқта, дар 10° тағйир нест ва дар 20° коҳиши 0,1 нуқта вуҷуд дорад. Аз ин рӯ, ҷадвали MegaDepth нишон намедиҳад, ки Canny loss дақиқии умумиро ба таври назаррас афзоиш медиҳад.

Дар муҳитҳои дохилии камтекстураи ScanNet натиҷа равшантар аст:

Афзоишҳо мутаносибан 0,9, 0,5 ва 0,4 нуқтаанд. Дар Шакли 8 дида мешавад, ки мувофиқатҳои бо Canny назоратшуда дар буриши деворҳои дохилӣ ва марзҳои объектҳо муназзамтар ҷамъ мешаванд.

Натиҷаи умумисозии байнидомении HPatches

Дар таҷрибаи HPatches ҳамаи моделҳо дар MegaDepth омӯзонида шудаанд ва барои HPatches fine-tuning нашудаанд. Барои ҳар усул 1.000 мувофиқати дорои баландтарин хол истифода шудааст.

GamMa аз JamMa 3,7, 3,9 ва 3,1 нуқта пеш гузаштааст. Матни манбаъ дар ҳади миёна 4,9 нуқта менависад; мувофиқи ҷадвал фарқи дурусти арифметикӣ 3,9 аст.

GamMa аз LoFTR, ASpanFormer ва ELoFTR-и бар Transformer асосёфта каме ақиб мондааст. Аз ин рӯ, натиҷаи HPatches на даъвои умумии беҳтарин усул, балки беҳтар шудани интиқоли байнидомениро нисбат ба JamMa дастгирӣ мекунад.

Натиҷаи умумисозии байнидомении ScanNet

Дар ScanNet моделҳо танҳо дар MegaDepth омӯзонида шуда, бевосита дар 1.500 ҷуфти тасвири муҳити дохилӣ санҷида шудаанд.

GamMa нисбат ба JamMa 2,5, 2,8 ва 3,1 нуқта ба даст овардааст. Дар Шакли 10 дида мешавад, ки GamMa мувофиқатҳои мусбати бештар тавлид мекунад, вале шумораи мувофиқатҳои нодуруст низ меафзояд. Яъне устувории байнидомении модел баланд шудааст, аммо хато пурра аз байн нарафтааст.

Интихоби шабакаи сутунмӯҳра

Натиҷаҳо нишон медиҳанд, ки се сутунмӯҳраи омӯзишшаванда ба ҳам хеле наздиканд. GELAN дар ҳадҳои 5° ва 20° бартарии хеле хурд медиҳад, ConvNeXtV2 бошад дар 10° баландтарин натиҷаро нишон медиҳад. Муҳаққиқон ConvNeXtV2-и сабукро бо 0,65 миллион параметр бо сабаби самаранокӣ интихоб кардаанд.

Ҷиҳатҳои қавии таҳқиқот

• Интихоби хусусият пеш аз моделсозии пайдарпайӣ ҳамчун ҷузъи равшани меъморӣ баррасӣ шудааст.
• Модел бо ҳамон шумораи параметрҳо нисбат ба JamMa натиҷаи баландтари MegaDepth додааст.
• Таносуби хусусиятҳои интихобшуда аз ҷиҳати дақиқӣ ва вақти кор алоҳида таҳқиқ шудааст.
• Сканкунии собит ва деформатсияшаванда ҳам ададӣ ва ҳам визуалӣ муқоиса шудаанд.
• Таъсири Canny loss дар маҷмӯи додаҳои сертекстура ва камтекстура ҷудо карда шудааст.
• Ғайр аз MegaDepth, дар HPatches, ScanNet ва Aachen санҷиши байнидоменӣ гузаронида шудааст.
• Параметр, GFLOP ва вақти кор дар баробари меъёрҳои дақиқӣ дода шудаанд.
• Мувозинати mopi–mtl–mre байни миқдори дода ва сифати мувофиқат муҳокима шудааст.
• Ба таври равшан нишон дода шудааст, ки модел нисбат ба мувофиқсозҳои зич ҳисоббарории камтар истифода мекунад.

Маҳдудиятҳои таҳқиқот

• Таҳқиқот аз баррасии ҳамсолон нагузаштааст.
• Иқтибосҳои дохили матн ба шакли `[?]` ҳастанд ва рӯйхати манбаъҳо вуҷуд надорад.
• Баъзе фарқҳо дар HPatches ва аблятсияи сканкунӣ нодуруст ҳисоб шудаанд.
• Натиҷаҳо ба як ё шумораи номуайяни омӯзишҳо асос ёфтаанд; инҳирофи стандартӣ ва фосилаи эътимод дода нашудааст.
• Протоколи ченкунии вақти кор, даври warm-up, андозаи batch ва истифодаи хотира шарҳ дода нашудааст.
• Градиенти тақрибии барои амали тартибдиҳӣ истифодашуда бо усулҳои алтернативӣ муқоиса нашудааст.
• Муносибати минтақаҳои интихобкардаи Gated Index Network бо дақиқии воқеии геометрӣ тавассути таҷрибаи бевосита тамғагузоришудаи боэътимодӣ чен нашудааст.
• Canny loss дар MegaDepth беҳбудии пайваста таъмин накардааст.
• Дар ScanNet дар баробари зиёд шудани мувофиқатҳои мусбат шумораи мувофиқатҳои нодуруст низ афзудааст.
• Дар HPatches аз баъзе усулҳои нимзичи бар Transformer асосёфта ақиб мондааст.
• Усулҳои зичи DKM ва RoMa дар MegaDepth дақиқии баландтар додаанд.
• Барои хирашавии ҳаракат, пӯшиши сахт ва тағйири хеле калони кунҷи дид таҷрибаи алоҳидаи назоратшаванда дода нашудааст.
• Санҷиши мобилӣ, дарунсохт ё сахтафзори камқувват анҷом нашудааст.
• Гуфта шудааст, ки код нашр мешавад, аммо дар ин версия бастаи такроркунӣ пешниҳод нашудааст.
• Муаллифон гуфтаанд, ки иҷозаи мубодилаи додаҳои истифодашударо надоранд.

Таҳқиқот чиро дастгирӣ мекунад?

• Коркарди яксони ҳамаи хусусиятҳои дағал метавонад беҳтарин мувозинати дақиқӣ–суръатро таъмин накунад.
• Интихоби омӯзишшавандаи нисфи хусусиятҳо метавонад нисбат ба коркарди ҳамаи хусусиятҳо натиҷаи беҳтар диҳад.
• Gated Deformable Scanning метавонад иҷрои MegaDepth-ро нисбат ба сканкунии собит беҳтар кунад.
• Хусусиятҳои интихобшуда дар марзҳои меъморӣ ва минтақаҳои пешзаминаи сертекстура зич мешаванд.
• Назорати иловагии бар Canny асосёфта метавонад устувории мувофиқсозиро дар муҳитҳои дохилии камтекстура афзоиш диҳад.
• GamMa нисбат ба JamMa дар HPatches ва ScanNet интиқоли zero-shot-и қавитар нишон медиҳад.
• GamMa метавонад бо хароҷоти ҳисоббарории камтар аз мувофиқсозҳои зич дақиқии рақобатпазир таъмин кунад.

Таҳқиқот чиро исбот намекунад?

• Исбот намекунад, ки GamMa аз ҳамаи усулҳои мувофиқсозии хусусиятҳои маҳаллӣ дақиқтар аст.
• Нишон намедиҳад, ки аз JamMa тезтар аст.
• Исбот намекунад, ки канорҳои Canny дар ҳар саҳна дурусттарин ҷойгоҳҳо барои мувофиқсозӣ ҳастанд.
• Нишон намедиҳад, ки таносуби интихобшудаи 50 фоиз барои ҳамаи маҷмӯи додаҳо ва ҳалномаҳо универсалӣ беҳтарин аст.
• Иҷрои вақти воқеиро дар системаҳои мобилӣ ё дарунсохт тасдиқ намекунад.
• Дар робот, воситаи нақлиёт ё ҳавопаймои бесарнишин муваффақияти end-to-end-и саҳроиро пешниҳод намекунад.
• Боэътимодиро дар пӯшиши сахт ва тағйироти хеле калони кунҷи дид қатъӣ намекунад.
• Нишон намедиҳад, ки мувофиқатҳои тавлидшуда барои системаҳои автономии аз нигоҳи бехатарӣ муҳим худ аз худ кофӣ ҳастанд.
• Барои тасвирҳо ё системаҳои маҳаллии Туркия сатҳи муваффақияти тасдиқшуда намедиҳад.

Дар оянда кадом таҳқиқот лозим аст?

• Омӯзиш бо чанд тухми тасодуфӣ гузаронида шуда, миёна ва инҳирофи стандартӣ гузориш дода шаванд.
• Вақти кор, хотира ва истеъмоли энергия дар GPU, CPU ва дастгоҳҳои канории гуногун чен карда шаванд.
• Калибровкаи интихоби хусусият ва боэътимодии воқеии мувофиқсозии нуқтаҳои интихобшуда таҳқиқ шавад.
• Тартибдиҳии дифференсиалшаванда ё усулҳои гуногуни баҳодиҳии top-K муқоиса шаванд.
• Барои кунҷи калони дид, пӯшиш, хирашавии ҳаракат ва тағйири мавсим санҷишҳои алоҳида гузаронида шаванд.
• Дар роботҳои мобилӣ, воситаҳои нақлиёт ва ҳавопаймоҳои бесарнишин таҷрибаҳои real-time SLAM гузаронида шаванд.
• Тағйироти домении маҳаллӣ ба монанди шаҳрҳои Туркия, иншооти таърихӣ ва тасвирҳои пас аз офат санҷида шаванд.
• Коди манбаъ, конфигуратсияи омӯзиш, вазнҳои модел ва скриптҳои такроркунӣ нашр шаванд.
• Рӯйхати нопурраи манбаъҳо ва номувофиқиҳои ададии матн–ҷадвал дар версияи баррасишуда ислоҳ шаванд.

Усул ва натиҷаҳои таҳқиқот

Хулосаи техникии усул

Натиҷаҳои асосии муқоисавӣ

Механизмҳои асосие, ки аблятсияҳо нишон медиҳанд

• Иваз кардани сканкунии собит бо gated deformable scanning яке аз қавитарин афзоишҳои ҷузъи ягона буд.
• Ҳангоми хориҷ кардани Gated Index Network, AUC@5° аз 65,2 то 63,2 паст шуд.
• Интихоби нисфи хусусиятҳо ба ҷойи ҳама ҳам дақиқӣ ва ҳам вақти корро беҳтар кард.
• Нигоҳ доштани танҳо чоряк ё ҳаштяки хусусиятҳо боиси талафоти хурд дар вақти ҳисоб ва талафоти калонтар дар дақиқӣ гардид.
• Canny loss дар MegaDepth-и сертекстура саҳми маҳдуд, дар ScanNet-и камтекстура ва санҷиши бисёрнамоии Aachen саҳми равшантар нишон дод.
• Таъсири интихоби сутунмӯҳра ба андозаи интихоби омӯзишшавандаи хусусият калон набуд.

Маънои илмии визуалҳо

Ҷузъиёти муҳим барои такроркунӣ

• Тасвирҳо ҳангоми омӯзиш бояд ба андозаи 832 × 832 оварда шаванд.
• Каналҳои хусусиятҳои дағал ва дақиқ мутаносибан 256 ва 64 мебошанд.
• Чор блоки Mamba ва конфигуратсияи K = 1/2 истифода мешаванд.
• Ҳадҳои паст ва баланди Canny 0,1 ва 0,2 мебошанд.
• Барои Focal loss α = 0,25 ва γ = 2 мебошанд.
• Loss-и зерпикселӣ бо коэффисиенти 10⁴ вазнгузорӣ шудааст.
• Омӯзиш 60 давр бо AdamW, суръати ибтидоии омӯзиши 2 × 10⁻⁴ ва андозаи batch-и 8 анҷом шудааст.
• Дар муқоисаи HPatches барои ҳар усул танҳо 1.000 мувофиқати баландтарин истифода шудааст.
• Дар санҷишҳои MegaDepth ва ScanNet 1.500 ҷуфти тасвир арзёбӣ шудаанд.
• Барои такрор кардани натиҷаҳо рӯйхати нопурраи манбаъҳо, код, вазнҳои модел ва тухмҳои тасодуфӣ лозиманд.

Тафсири техникии натиҷаҳо

Натиҷаҳои GamMa нишон медиҳанд, ки дар мувофиқсозии нимзичи тасвир сифати иттилоот метавонад аз миқдори иттилоот муҳимтар бошад. Ворид кардани ҳамаи хусусиятҳои дағал ба пайдарпайӣ ҳам вақтро дароз ва ҳам дақиқиро паст кардааст. Интихоби нисфи хусусиятҳо таъсирҳои мутақобилаи пуршовро кам карда, қисми зиёди далелҳои зарурии геометриро нигоҳ доштааст.

Дастоварди асосии модел беҳтар кардани устувории байнидомении JamMa бе афзоиши назарраси шумораи параметрҳо ё сарбории ҳисоббарорӣ мебошад. Дар ҳоле ки афзоиши MegaDepth нисбатан хурд аст, калонтар будани фарқҳо дар HPatches ва ScanNet нишон медиҳад, ки сканкунии интихобӣ метавонад ҳангоми фарқ кардани доменҳои омӯзиш ва санҷиш арзишмандтар бошад.

Фоидаи Canny edge loss ба саҳна вобаста аст. Дар муҳити берунии сертекстура саҳм хеле маҳдуд буд, дар муҳитҳои дохилӣ бошад марзҳои геометрӣ иттилооти иловагӣ доданд. Ин ҳолат нишон медиҳад, ки regularizer-ҳои бар канор асосёфта воситаҳои универсалӣ не, балки вобаста ба шароит мебошанд.

Ёддошт оид ба манбаъ ва усул

Номи пурраи аслии таҳқиқот: GamMa: Selecting Informative Features for Fast and Robust Local Feature Matching

Муаллифон: Jianhao Xu, Xiangtao Fan, Hongdeng Jian, Chen Xu, Weijia Bei, Qifeng Ge ва Ruijie Han.

Тартиби муаллифон: Дар шакле, ки дар манбаъ дода шудааст, нигоҳ дошта шудааст.

Ҳаммуаллифи якум: Изҳороти саҳми баробар ё ҳаммуаллифии якум мавҷуд нест.

Муаллифи масъул: Hongdeng Jian.

Почтаи электронии муаллифи масъул: jianhd@radi.ac.cn

Суроғаҳои дигари тамос: xujianhao22@mails.ucas.ac.cn; fanxt@radi.ac.cn; xuchen@aircas.ac.cn; beiweijia21@mails.ucas.ac.cn; geqifeng21@mails.ucas.ac.cn; hanruijie23@mails.ucas.ac.cn.

Муассисаи 1: Key Laboratory of Digital Earth Science, Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100094, Чин.

Муассисаи 2: International Research Center of Big Data for Sustainable Development Goals, Beijing 100094, Чин.

Муассисаи 3: University of Chinese Academy of Sciences, Beijing 100094, Чин.

DOI:10.2139/ssrn.6996789

Пайванди расмии манбаъ:Саҳифаи расмии сабти SSRN

Платформаи нашр: SSRN.

Соли нашр: 2026.

Санаи дар матн додашуда: 25 Июн 2026.

Маҷаллаи ҳадаф: Версияи боршуда ибораи “Preprint submitted to Pattern Recognition”-ро дорад.

Ҳолати маҷалла ва ношир: Дар ин манбаъ маълумоте нест, ки нишон диҳад таҳқиқот аз ҷониби Pattern Recognition қабул шудааст ё версияи маҷаллавии баррасишуда нашр шудааст. Аз ин рӯ, онро ҳамчун нашри маҷаллавии баррасишуда пешниҳод кардан мумкин нест.

Навъи манбаъ: Мақолаи тадқиқотии preprint, ки барои мувофиқсозии нимзичи хусусиятҳои маҳаллӣ дар биниши компютерӣ меъмории нави шабакаи нейронӣ таҳия ва онро дар чор маҷмӯи дода санҷидааст.

Ҳолати баррасӣ: Таҳқиқот аз баррасии ҳамсолон нагузаштааст.

Саҳмҳои Jianhao Xu: Консептуализатсия, усул, таҳлили формалӣ, танзими додаҳо, навиштани тарҳи аслӣ ва таҳқиқот.

Саҳмҳои Xiangtao Fan: Консептуализатсия, роҳбарӣ, баррасӣ ва таҳрир, тасдиқ ва дарёфти маблағгузорӣ.

Саҳмҳои Hongdeng Jian: Тасдиқ, баррасӣ ва таҳрир ва усул.

Саҳмҳои Chen Xu: Таъмини захираҳо, баррасӣ ва таҳрир ва дарёфти маблағгузорӣ.

Саҳмҳои Weijia Bei: Усул.

Саҳмҳои Qifeng Ge: Нармафзор ва визуализатсия.

Саҳмҳои Ruijie Han: Танзими додаҳо.

Маблағгузорӣ: Provincial Special Funding for the Construction of Chenzhou National Sustainable Development Agenda Innovation Demonstration Zone, No. 2023sfq69.

Бархӯрди манфиатҳо: Муаллифон изҳор кардаанд, ки манфиати молиявии маълум ё муносибати шахсие вуҷуд надорад, ки метавонад ба таҳқиқот таъсир расонад.

Дастрасӣ ба додаҳо: Муаллифон изҳор кардаанд, ки иҷозаи мубодилаи додаҳоро надоранд.

Дастрасӣ ба код: Матн мегӯяд, ки код дар репозиторияи GitHub нашр хоҳад шуд. Дар версияи боршуда версияи басташудаи нармафзор, вазни модел ё бастаи такроркунӣ пешниҳод нашудааст.

Мушкилоти рӯйхати манбаъҳо: Иқтибосҳои матн ба шакли `[?]` ҳастанд ва бахши рӯйхати манбаъҳо вуҷуд надорад. Ин ҳолат санҷиши манбаъҳои аслии усулҳои пешина, маҷмӯи додаҳо ва нармафзори истифодашударо пешгирӣ мекунад.

Огоҳии мутобиқати ададӣ: Дар HPatches афзоиши ҳади миёна дар ҷадвал 3,9 аст, вале дар матн 4,9 навишта шудааст. Афзоиши AUC@20°-и Gated Deformable Scanning дар ҷадвал 0,9 аст, вале дар матн 1,9 дода шудааст.

Огоҳии мутобиқати визуалӣ: Шарҳи Шакли 9 мегӯяд, ки тақсимоти хусусият бо ва бе Canny loss муқоиса мешавад; аммо визуал танҳо K ҷойгоҳеро нишон медиҳад, ки Gated Index Network интихоб кардааст.

Ҳадди тафсир: GamMa дар MegaDepth дар байни усулҳои нимзич натиҷаи баландтаринро додааст, вале нисбат ба DKM ва RoMa-и зич AUC-и пасттар тавлид кардааст. Дар HPatches аз LoFTR, ASpanFormer ва ELoFTR каме ақиб мондааст. Аз ин рӯ, таҳқиқот бартарии умумӣ ва бечунучарои беҳтарин мувофиқсозро исбот намекунад.

Ин мундариҷаи туркӣ танҳо бар асоси матн, муодилаҳо, ҷадвалҳо, схемаҳои меъморӣ, визуалҳои мувофиқсозӣ ва натиҷаҳои таҷрибавии таҳқиқоти боршуда омода шудааст. Ягон даъвои муваффақияти саҳроӣ, иҷрои маҳсулоти тиҷоратӣ, бехатарии системаи автономӣ ё дақиқии махсуси Туркия, ки дар таҳқиқот вуҷуд надорад, илова нашудааст.