Бул изилдөө, farklı açılardan, ışık koşullarından veya ortamlardan alınmış iki сүрөт arasında güvenilir шайкештиктер bulmak için GamMa adlı hafif bir жарым-жыш белги дал келтирүү modeli иштеп чыккан. Model, bütün сүрөт касиеттериni eşit biçimde işlemek yerine, дал келтирүү açжылуулукndan daha güvenilir görünen bölgeleri Mamba tabanlı dizi modellemesinden önce seçmektedir. Bu amaçla Gated Deformable Scanning, Joint Mamba ve Gated Deformable Merge bileşenlerinden oluşan bir Gated Deformable Mamba mimarisi колдонулган. GamMa, MegaDepth testinde 5°, 10° ve 20° eşiklerinde sırasıyla 65,2, 78,1 ve 87,0 AUC мааниlerine ulaşmış; 5,7 milyon параметр, 202,5 GFLOP ve 37,9 ms ölçülen иштөө убактысыyle жарым-жыш ыкмаler arasında en yüksek sonucu vermiştir. Model ayrıca yalnızca MegaDepth üzerinde eğitildiği hâlde HPatches ve ScanNet’e майда жөндөө yapılmadan aktarıldığında temel JamMa modelinden daha yüksek жыйынтыктар üretmiştir. Bununla birlikte изилдөө рецензиядан өткөн эмес; булакçası eksiktir, bazı sayısal farklar metinle таблицаlar arasında uyuşmamaktadır ve тажрыйбаларde çoklu окутуу tekrarlarına ait standart sapma veya güven aralığı sunulmamıştır.

GamMa’nın temel düşüncesi, сүрөтdeki bütün hücrelerin дал келтирүү açжылуулукndan aynı мааниe sahip olmadığıdır. Bina бурчleri, nesne sınırları ve ayırt edici текстураlar güvenilir geoметрика ipuçları sunarken асман, boş duvarlar, tekrarlanan desenler veya бүдөмүк bölgeler yanlış etkileşimler oluşturabilir. Gated Index Network, дал келтирүү öncesinde белги konumlarını öğrenilebilir biçimde sıralamakta ve varsayılan ayarda bunların yarжылуулукnı seçmektedir. Seçilen белгилер Mamba bloklarıyla modellenmekte, daha sonra özgün iki boyutlu белги haritalarına geri yerleştirilmektedir. Canny кыр kaybı ise белгиle текстураsu zayıf iç mekânlarda дал келүүлөрin duvar kesişimleri, nesne sınırları ve бурчler gibi daha kararlı geoметрика yapılara yönelmesini максат кылат.

Түркия жагынан баалоо: GamMa yaklaşımı; insansız аба araçlarıyla haritalama, otonom robot konumlama, artırılmış gerçeklik, kültürel mirasın üç boyutlu belgelenmesi, uydu ve аба сүрөтlerinin eşleştirilmesi, afet sonrası yapı karşılaştırması ve endüstriyel görsel denetim sistemlerinde Türkiye’de araştırılabilir. Uygulamaya geçmeden önce modelin Türkiye’ye özgü kent текстураları, kırsal аянтlar, düşük ışıklı iç mekânlar, deprem sonrası зыянlı yapılar, tekrarlayan cepheler ve farklı kamera türleri üzerinde yeniden sınanması gerekir. Gerçek zamanlı kullanım için gömülü GPU, mobil işlemci ve düşük güçlü uç түзмөкlarda иштөө убактысы ile bellek tüketimi ayrıca ölçülmelidir. Изилдөө Türkiye’de toplanmış bir маалымат топтому, yerli bir otonom sistem, operasyonel saha тажрыйбаi veya güvenlik sertifikasyonu sunmadığından Türkiye’ye özgü başarı катышы ya da saha güvenilirliği doğrudan çıkarılamaz.

Жергиликтүү белги дал келтирүү деген эмне?

Yerel белги дал келтирүү, aynı fiziksel noktanın veya yapının iki farklı сүрөтdeki karşılığını bulma problemidir. Bir binanın бурчsi, pencere кырı, yol çizgisi veya nesne sınırı iki сүрөтde farklı ölçek, açı ve aydınlatmayla görünse bile doğru дал келтирүү sistemi bu noktalar arasında шилтеме kurabilmelidir.

Bu шайкештиктер aşağıdaki uygulamalarda temel girdidir:

• Görsel konumlama ve камера позасыnun hesaplanması,
• Eşzamanlı konumlama ve haritalama (SLAM),
• Structure-from-Motion ile üç boyutlu model üretimi,
• Çok сүрөтlü кайра куруу,
• Görüntü hizalama ve гомография tahmini,
• Robotik ve otonom sistemlerde кыймыл takibi.

İki сүрөт arasında çok sayıda дал келүү üretmek tek başına yeterli değildir. Yanlış дал келүүлөр kamera dönüşü, öteleme ve üç boyutlu geometri tahminini bozabilir. Bu nedenle дал келүү miktarı, geoметрика тууралык, туруктууlık ve hesaplama maliyeti birlikte мааниlendirilmelidir.

Сейрек, жарым-жыш жана жыш дал келтирүүнүн айырмасы

Seyrek ыкмаler önce бурч veya ilgi noktası tespit eder, daha sonra bu noktalara ait tanımlayıcıları karşılaştırır. Hesaplama maliyetleri görece düşüktür; ancak текстураsuz duvarlar veya tekrarlanan desenler gibi bölgelerde yeterli ve kararlı ачкыч чекит üretmeyebilirler.

Yoğun ыкмаler hemen hemen her piksel veya küçük сүрөт bölgesi için шайкештик tahmin eder. Bu ыкмаler büyük görünüm değişimlerinde güçlü olabilir, fakat daha fazla параметр, bellek ve hesaplama gerektirir.

Yarı жыш ыкмаler, жыш дал келтирүүnin туруктууlığı ile сейрек дал келтирүүnin hesaplama натыйжалууliği arasında denge kurmayı amaçlar. GamMa bu sınıfa girmektedir.

Transformer ордуна Mamba эмне үчүн колдонулган?

Transformer tabanlı eşleştiriciler, сүрөтnün farklı bölgeleri arasındaki uzun menzilli ilişkileri öz dikkat mekanizmasıyla modelleyebilir. Ancak классикалык öz dikkatin hesaplama maliyeti işlenen белгич sayжылуулукnın karesiyle büyür. Yarı жыш белги haritalarında белгич sayжылуулук yüksek olduğundan bu maliyet önemli olabilir.

Mamba mimarileri, uzun dizileri yaklaşık doğrusal ölçeklenen durum-uzayı modellemesiyle işleyerek daha düşük maliyetli bir alternatif sunar. JamMa adlı önceki ыкма, Mamba’yı жарым-жыш белги дал келтирүүye uyarlamıştır. Изилдөөnın çıkış noktası, JamMa’nın bütün белги konumlarını sabit bir скандоо düzeninde eşit biçimde işlemesidir.

Туруктуу скандоо ыкмасындагы маселе эмне?

Görüntüdeki her bölge güvenilir bir дал келтирүү işareti taşımaz. Aşağıdaki bölgeler белгиle sorun oluşturabilir:

• Düz ve текстураsuz yüzeyler,
• Birbirine benzeyen pencere veya tuğla dizileri,
• Gökyüzü ve tek renkli arka planlar,
• Hareket бүдөмүкlığı bulunan bölgeler,
• İki сүрөт arasında дал келбеген аянтlar,
• Bагым açжылуулукna göre görünümü güçlü biçimde değişen yüzeyler.

Sabit скандооda bu bölgeler de güvenilir бурчler ve sınırlar kadar dizi modellemesine katılır. Böylece belirsiz белгилер uzak bölgelerle etkileşime girerek дал келтирүү sinyaline gürültü ekleyebilir. Şekil 1’de JamMa’nın ScanNet iç mekânlarında çok sayıda туура эмес дал келүү ürettiği örnekler gösterilmiştir. Yeşil çizgiler olumlu, kırmızı çizgiler olumsuz дал келүүлөрi temsil etmektedir.

GamMaнын жалпы архитектурасы

Şekil 2’deki mimari dört ana aşamadan oluşmaktadır:

1. Yerel касиеттериn çıkarılması,
2. Gated Deformable Mamba ile kaba ölçekli касиеттериn seçilmesi ve modellenmesi,
3. Yerel pencerelerde ince дал келтирүү,
4. Canny кыр denetimiyle белги konumlarının eğitilmesi.

Girdi olarak iki сүрөт \(I_A\) ve \(I_B\) alınmaktadır. ConvNeXtV2-N негизги тармакsı iki çözünürlükte белги üretmektedir:

• Girdi çözünürlüğünün \(1/8\)’inde 256 kanallı одоно белгиler,
• Girdi çözünürlüğünün \(1/2\)’sinde 64 kanallı майда белгиler.

ConvNeXtV2 негизги тармакsının yaklaşık 0,65 milyon параметрsi bulunmaktadır. GamMa modelinin tamamı ise таблицаda 5,7 milyon параметр olarak verilmiştir.

Маалыматтуу белги кантип аныкталган?

Изилдөө, bir белги konumunun маалыматтууliğini üç kavramsal bileşenle ifade etmektedir:

\[ S_i = \alpha S_i^{struct} + \beta S_i^{distinct} + \gamma S_i^{consistency}. \]

Burada:

• \(S_i^{struct}\), кыр, бурч veya текстура gibi yapısal belirginliği;
• \(S_i^{distinct}\), özelliğin çevresindeki bölgelerden ayırt edilebilirliğini;
• \(S_i^{consistency}\), iki сүрөт arasında дал келүү cevabının kararlılığını

temsil eder.

Bu üç маани uygulamada ayrı ayrı hesaplanmamaktadır. Gated Index Network, дал келүү kaybından gelen denetim altında hangi bölgelerin yararlı olduğunu uçtan uca öğrenmektedir. Denklem, modelin hedeflediği маалыматтууlik kavramını açıklayan teorik bir çerçevedir.

Gated Deformable Scanning кантип иштейт?

Kaba белги haritaları:

\[ \mathbf{x}\in\mathbb{R}^{2\times H\times W\times C} \]

biçimindedir. İlk boyut сүрөт çiftini, \(H\) ve \(W\) uzaysal boyutları, \(C\) ise kanal sayжылуулукnı gösterir.

Standart скандооda сүрөт hücreleri sol üstten sağ alta sabit raster sırasıyla dizilir. GamMa ise her konum için öğrenilebilir bir ofset üretmektedir:

\[ \Delta t\in\mathbb{R}^{2\times H\times W\times1}. \]

Başlangıç скандоо indeksi \(t_i\), \([-1,1]\) aralığına normalize edilir. Ağın tahmin ettiği ofset de `tanh` fonksiyonuyla aynı aralığa sınırlandırılır:

\[ t_D=t_i+\Delta t. \]

Konumlar \(t_D\) мааниlerine göre sırаянтır ve yalnızca en yüksek sıradaki \(K\) белги korunur. Varsayılan ayarda:

\[ K=\frac{H\times W}{2}. \]

Başka bir ifadeyle одоно белги konumlarının yarжылуулук Mamba dizi modellemesine alınmaktadır. Amaç yalnızca en yüksek aktivasyonlu bölgeleri seçmek değil, iki сүрөт arasında tutarlı olmayan, tekrarlayan veya geoметрика olarak belirsiz bölgeleri bastırmaktır.

Gated Index Network түзүмү

Gated Index Network, касиеттери iki paralel derinlik-ayrılabilir evrişim kolundan geçirmektedir. Bir kol doğrudan жергиликтүү yapısal cevap üretirken diğer kol GroupNorm ve GELU kullanarak uyarlamalı modülasyon oluşturmaktadır.

İki kolun çıktжылуулук eleman bazında çarpılmaktadır:

\[ F_g=F_1\odot GELU(GN(F_2)). \]

Bu kapılama işleminde her iki koldan da destek аянт cevaplar güçlenirken zayıf veya tutarsız cevapların bastırılması amaçlanmaktadır. Son ofset bir \(1\times1\) evrişimle üretilir:

\[ \Delta t=Conv_{1\times1}(F_g). \]

Şekil 9’daki seçili konumlar bina cepheleri, kubbe sınırları ve ayrıntılı mimari yapılarda жышlaşırken асман gibi homojen bölgelerde сейрекleşmektedir. Ancak Şekil 9’un başlığı yanlışlıkla Canny kaybı karşılaştırmasından söz etmektedir.

Иреттөө операциясынын туунду маселеси

Özelliklerin sırаянтması классикалык biçimiyle türevlenebilir değildir. Bu nedenle sıralamadan geçen gradyanın doğrudan деформация indeksine aktarılması mümkün değildir.

Изилдөөчүлөр, son сүрөт dizisi boyutundaki gradyanları ortalayıp деформация indeksine geri yayarak yaklaşık bir gradyan kullanmıştır. Bu yaklaşım окутууi mümkün kılmaktadır; ancak sıralama işleminin gerçek türevi değildir. Yaklaşımın başka gradyan kestirim ыкмаleriyle karşılaştırması veya hata analizi verilmemiştir.

Joint Mamba жана белгилерди кайра бириктирүү

Seçilen белгилер kompakt tek boyutlu dizilere dönüştürülür. Joint Mamba, iki сүрөтden gelen белгилер arasında uzun menzilli ilişkileri modellemektedir. Uygulamada dört yönlü dizi ve üst üste yerleştirilmiş dört Mamba bloğu kullanılmaktadır.

Gated Deformable Merge, işlenen касиеттери ters indeksler yardımıyla özgün \(1/8\) çözünürlüklü konumlarına geri yerleştirir. Yalnızca seçilen касиеттериn Mamba işleminden geçmesi, seçili olmayan bölgeler veya farklı diziler arasındaki doğrudan etkileşimi sınırlayabilir. Bu eksikliği azaltmak için standart evrişimlerden oluşan ek bir kapılı birleştirme birimi колдонулган:

\[ \sigma=GELU(Conv_3(F_{in})), \]

\[ F_{out}=Conv_3\left(\sigma\cdot Conv_3(F_{in})\right). \]

Майда деңгээлдеги дал келтирүү

Kaba дал келтирүүlerin ardından, tahmin edilen konumların çevresinden daha yüksek çözünürlüklü белги pencereleri kesilmektedir. Bu pencerelerde alt piksel düzeyinde ince дал келтирүү gerçekleştirilir.

Kaba aşama сүрөтnün genelinde olası шайкештиктерı bulurken ince aşama konumu küçük bir жергиликтүү pencere içinde daha kesin hâle getirir. Böylece bütün сүрөт üzerinde yüksek çözünürlüklü жыш işlem yapılmadan konum hassasiyeti artırılmaya çalışılır.

Canny кыр жоготуусу эмне үчүн кошулган?

Zayıf текстураlu sahnelerde duvar veya masa yüzeyi gibi geniş аянтlar ayırt edici görsel bilgi taşımaz. Buna шайкештик nesne sınırları, duvar birleşimleri ve бурчler bагым açжылуулук değişse bile daha kararlı geoметрика yapılar sağlayabilir.

Canny кыр kaybının окутуу агымı şöyledir:

1. Girdi сүрөтsü ince дал келтирүү çözünürlüğüne bilineer interpolasyonla küçültülür.
2. Küçültülen сүрөтye Canny кыр algılama uygulanır.
3. Kaba дал келтирүү konumu çevresinden bir кыр penceresi kesilir.
4. Penceredeki кыр konumu iki boyutlu `argmax` işlemiyle seçilir.
5. Tahmin edilen ince konum ile кыр tabanlı hedef konum arasındaki L1 farkı hesaplanır.

\[ L_{canny}= \frac{1}{N} \sum_{i=1}^{N} \left\| p_{idx}^{(i)}-p_{idx}^{gt,(i)} \right\|_1. \]

Bu жоготуу, gerçek дал келүү noktasının mutlaka bir кыр üzerinde olduğunu kanıtlamaz. Eğitim sırasında дал келүүлөрi geoметрика açıdan kararlı kabul edilen yapılara yönlendiren yardımcı bir düzenleyicidir.

Жалпы окутуу жоготуусу

Model dört жоготуу bileşeniyle eğitilmiştir:

• Kaba дал келтирүү odak kaybı \(L_c\),
• İnce дал келтирүү odak kaybı \(L_f\),
• Canny кыр kaybı \(L_{canny}\),
• Alt piksel epipolar geometri kaybı \(L_s\).

Alt piksel kaybı, temel матрица yerine iki normalize сүрөт noktası ve öz матрица \(E\) üzerinden siметрика epipolar uzaklığı kullanmaktadır:

\[ L_s= \frac{1}{|M_f|} \sum_{(x,y)\in M_f} \frac{(x^{\top}Ey)^2} {(Ey)_1^2+(Ey)_2^2+(E^{\top}x)_1^2+(E^{\top}x)_2^2}. \]

Toplam жоготуу:

\[ L_{total} = \lambda_cL_c+ \lambda_fL_f+ \lambda_{canny}L_{canny}+ \lambda_sL_s \]

olarak tanımlanmıştır. Katsayılar:

• \(\lambda_c=1\),
• \(\lambda_f=1\),
• \(\lambda_{canny}=0{,}5\),
• \(\lambda_s=10^4\)

şeklindedir. Alt piksel kaybının ham мааниi yaklaşık \(10^{-4}\) veya daha küçük olduğu için büyük bir ağırlık kullanıldığı açıklanmıştır.

Окутуу жөндөөсү

MegaDepth жыйынтыктары

MegaDepth, geniş bагым açжылуулук, ışık değişimi ve tekrarlayan mimari desenler içeren dış mekân сүрөтlerinden oluşmaktadır. Изилдөө, Sacré-Cœur ve St. Peter’s Square sahnelerinden 1.500 сүрөт çiftini test etmiş ve камера позасыnu LO-RANSAC ile hesaplamıştır.

GamMa, JamMa’ya göre aynı параметр sayжылуулук ve benzer hesaplama maliyetiyle 1,1, 0,7 ve 0,5 AUC puanı kazanmıştır. Изилдөө мөөнөтsi JamMa’dan 0,7 ms daha uzundur; bu nedenle GamMa’nın JamMa’dan daha ылдамдыкlı olduğu söylenemez. Avantajı, benzer ылдамдык ve boyutta daha yüksek тууралык sağlamasıdır.

Yoğun eşleştiriciler daha yüksek AUC üretmiştir. Bununla birlikte DKM yaklaşık 7,7 kat, RoMa yaklaşık 10,5 kat daha uzun ölçülen иштөө убактысыne ve çok daha fazla параметрye sahiptir.

Aachen көп көрүнүштүү кайра куруу

Aachen v1.1, gündüz-gece ve bагым açжылуулук değişimleri içeren dış mekân визуалдык жайгаштыруу маалымат топтомуdir. Изилдөөda üç ölçüt колдонулган:

• mtl: Ortalama белги izi uzunluğu; yüksek olması istenir.
• mre: Ortalama кайра проекция hatası; düşük olması istenir.
• mopi: Görüntü başına орточо gözlem sayжылуулук; дал келүү miktarını gösterir.

GamMa en uzun орточо izi ve en düşük кайра проекция hatasını üretmiştir. Görüntü başına дал келүү sayжылуулук LoFTR ve ASpanFormer’dan daha düşüktür. Изилдөөnın yorumu, modelin çok sayıda дал келүү yerine daha az fakat geoметрика açıdan daha kararlı дал келүү koruduğudur.

Canny kaybının kaldırılması mtl мааниini 5,16’dan 4,43’e düşürmüştür. Bu жыйынтык, кыр denetiminin çoklu сүрөтler boyunca iz үзгүлтүксүзliğine katkı sağladığını düşündürmektedir.

Туруктуу жана деформациялануучу скандоону салыштыруу

Kapılı деформациялануучу скандоо туруктуу скандооya göre 5°, 10° ve 20° eşiklerinde sırasıyla 2,6, 1,9 ve 0,9 puan kazandırmıştır. Makale paragrafında son fark 1,9 olarak verilmiş olsa da таблица 0,9 көрсөтөт.

Şekil 7’de деформациялануучу скандоо, bina sınırlarında daha belirgin ve arka planda daha düşük benzerlik cevabı üretmiştir. Sabit скандооnın cevapları daha dağınık görünmektedir. Bu görsel bulgu, seçici mekanizmanın ön plan ve yapısal sınırları vurguladığı yorumunu колдойт; ancak benzerlik haritaları tek başına nedensel bir kanıt değildir.

Канча белги тандалышы керек?

Bütün касиеттериn işlenmesi en yüksek doğruluğu sağlamamıştır. Özelliklerin yarжылуулукnın seçilmesi hem AUC’yi 0,6 puan artırmış hem de мөөнөтyi 2,6 ms азайткан. Buna шайкештик daha agresif filtreleme önemli дал келүү kanıtlarını kaybettirmiştir. K = 1/8, yalnızca 2 ms ek ылдамдык kazancı karşılığında K = 1/2’ye göre 4,1 AUC puanı kaybetmiştir.

Canny кыр жоготуусунун таасири

MegaDepth жыйынтыктарыnda Canny kaybının etkisi sınırlıdır:

5° eşiğinde 0,1 puan artış, 10°’de değişim yok ve 20°’de 0,1 puan düşüş bulunmaktadır. Dolayжылуулукyla MegaDepth таблицаsu Canny kaybının genel doğruluğu belirgin biçimde artırdığını göstermemektedir.

ScanNet’in zayıf текстураlu iç mekânlarında жыйынтык daha belirgindir:

Kazançlar sırasıyla 0,9, 0,5 ve 0,4 puandır. Şekil 8’de Canny denetimli дал келүүлөрin iç mekân duvar kesişimleri ve nesne sınırlarında daha düzenli toplandığı görülmektedir.

HPatches домендер аралык жалпылоо жыйынтыгы

HPatches тажрыйбаinde bütün modeller MegaDepth üzerinde eğitilmiş ve HPatches’e майда жөндөө yapılmamıştır. Her ыкма için en yüksek puanlı 1.000 дал келүү колдонулган.

GamMa, JamMa’yı 3,7, 3,9 ve 3,1 puan geçmiştir. Kaynak metin orta eşikte 4,9 puan yazmaktadır; таблицаya göre doğru aritmetik fark 3,9’dur.

GamMa, Transformer tabanlı LoFTR, ASpanFormer ve ELoFTR’ın biraz gerisinde kalmıştır. Bu nedenle HPatches sonucu genel bir en iyi ыкма iddiasını değil, JamMa’ya göre домендер аралык aktarımın iyileştiğini колдойт.

ScanNet домендер аралык жалпылоо жыйынтыгы

ScanNet’te modeller yalnızca MegaDepth üzerinde eğitilmiş ve 1.500 iç mekân сүрөт çiftinde doğrudan test edilmiştir.

GamMa, JamMa’ya göre 2,5, 2,8 ve 3,1 puan kazanmıştır. Şekil 10’da GamMa daha fazla оң дал келүү üretirken туура эмес дал келүү sayжылуулукnın da arttığı görülmektedir. Yani modelin домендер аралык туруктууlığı yükselmiş, fakat hata tamamen ortadan kalkmamıştır.

Негизги тармакты тандоо

Sonuçlar üç eğitilebilir негизги тармакnın birbirine çok yагымn olduğunu көрсөтөт. GELAN 5° ve 20° eşiklerinde çok küçük bir üstünlük sağlarken ConvNeXtV2 10°’de en yüksek sonucu vermiştir. Изилдөөчүлөр, 0,65 milyon параметрli hafif ConvNeXtV2’yi натыйжалуулук nedeniyle seçmiştir.

Изилдөөнүн күчтүү жактары

• Özellik seçimi, dizi modellemesinden önce açık bir mimari bileşen olarak ele alınmıştır.
• Model, aynı параметр sayжылуулукyla JamMa’dan daha yüksek MegaDepth sonucu üretmiştir.
• Seçilen белги катышы тууралык ve иштөө убактысы açжылуулукndan ayrıca изилденген.
• Sabit ve деформациялануучу скандоо nicel ve görsel olarak karşılaştırılmıştır.
• Canny kaybının zengin текстураlu ve zayıf текстураlu маалымат топтомдоруndeki etkisi ayrıştırılmıştır.
• MegaDepth dışında HPatches, ScanNet ve Aachen üzerinde домендер аралык test yapılmıştır.
• Parametre, GFLOP ve иштөө убактысы тууралык ölçütleriyle birlikte verilmiştir.
• Veri miktarı ile дал келүү kalitesi arasındaki mopi–mtl–mre dengesi tartışılmıştır.
• Modelin жыш eşleştiricilerden daha az hesaplama kullandığı açık biçimde gösterilmiştir.

Изилдөөnın чектөөлөрı

• Изилдөө рецензиядан өткөн эмес.
• Metin içi atıflar `[?]` biçimindedir ve булакça bulunmamaktadır.
• HPatches ve скандоо ablasyonundaki bazı farklar yanlış hesaplanmıştır.
• Sonuçlar tek veya belirsiz sayıda окутуу изилдөөsına dayanmaktadır; standart sapma ve güven aralığı verilmemiştir.
• Изилдөө мөөнөтsinin ölçüm protokolü, жылуулукnma turu, parti boyutu ve bellek kullanımı түшүндүрүлгөн эмес.
• Sıralama işlemi için kullanılan yaklaşık gradyanın alternatif ыкмаlerle karşılaştırması yoktur.
• Gated Index Network’ün seçtiği bölgelerin gerçek geoметрика тууралыкla ilişkisi doğrudan энбелгиlenmiş bir güvenilirlik тажрыйбаiyle ölçülmemiştir.
• Canny kaybı MegaDepth’te tutarlı iyileşme sağlamamıştır.
• ScanNet’te оң дал келүү sayжылуулукyla birlikte туура эмес дал келүү sayжылуулук da арткан.
• HPatches’te bazı Transformer tabanlı жарым-жыш ыкмаlerin gerisinde kalmıştır.
• Yoğun DKM ve RoMa ыкмаleri MegaDepth’te daha yüksek тууралык sağlamıştır.
• Hareket бүдөмүкlığı, ağır örtülme ve çok büyük bагым açжылуулук değişimleri için ayrı kontrollü тажрыйба verilmemiştir.
• Mobil, gömülü veya düşük güçlü donanım testi yapılmamıştır.
• Kodun yayımlanacağı belirtilmiş, ancak bu sürümde yeniden üretim пакетi sunulmamıştır.
• Yazarlar kullanılan verileri paylaşma izinlerinin bulunmadığını bildirmiştir.

Изилдөө neyi колдойт?

• Bütün одоно белгиlerin eşit biçimde işlenmesi en iyi тууралык–ылдамдык dengesini sağlamayabilir.
• Özelliklerin yarжылуулукnın öğrenilebilir biçimde seçilmesi, bütün касиеттериn işlenmesinden daha iyi жыйынтык verebilir.
• Gated Deformable Scanning, туруктуу скандооya göre MegaDepth performansını artırabilir.
• Seçilen белгилер mimari sınırlar ve текстура açжылуулукndan zengin ön plan bölgelerinde жышlaşmaktadır.
• Canny tabanlı ek denetim zayıf текстураlu iç mekânlarda дал келүү kararlılığını artırabilir.
• GamMa, JamMa’ya göre HPatches ve ScanNet’te daha güçlü sıfır майда жөндөөlı aktarım көрсөтөт.
• GamMa жыш eşleştiricilerden daha düşük hesaplama maliyetiyle rekabetçi тууралык sağlayabilir.

Изилдөө neyi далилдебейт?

• GamMa’nın bütün жергиликтүү белги дал келтирүү ыкмаlerinden daha doğru olduğunu далилдебейт.
• JamMa’dan daha ылдамдыкlı olduğunu göstermemektedir.
• Canny кырlarının her sahnede дал келүү için en doğru konumlar olduğunu далилдебейт.
• Seçilen yüzde 50 катышыnın bütün маалымат топтомдору ve çözünürlükler için evrensel olarak en iyi olduğunu göstermemektedir.
• Gerçek zamanlı mobil veya gömülü sistem performansını doğrulamamaktadır.
• Robot, araç veya insansız аба aracı üzerinde uçtan uca saha başarжылуулук sunmamaktadır.
• Şiddetli örtülme ve çok büyük bагым açжылуулук değişimlerinde güvenilirliği kesinleştirmemektedir.
• Üretilen дал келүүлөрin güvenlik açжылуулукndan критикалык otonom sistemlerde tek başına yeterli olduğunu göstermemektedir.
• Türkiye’deki сүрөтler veya yerli sistemler için doğrulanmış başarı катышы vermemektedir.

Gelecekte hangi изилдөөlar gereklidir?

• Birden fazla кокус tohumla окутуу yapılıp орточо ve standart sapma raporlanmalıdır.
• Изилдөө мөөнөтsi, bellek ve энергия tüketimi farklı GPU, CPU ve uç түзмөкlarda ölçülmelidir.
• Özellik seçiminin kalibrasyonu ve seçilen noktaların gerçek дал келүү güvenilirliği incelenmelidir.
• Türevlenebilir sıralama veya farklı top-K kestirim ыкмаleri karşılaştırılmalıdır.
• Büyük bагым açжылуулук, örtülme, кыймыл бүдөмүкlığı ve mevsim değişimi için ayrı testler yapılmalıdır.
• Mobil robot, araç ve insansız аба aracı üzerinde реалдуу убакыттагы SLAM тажрыйбаларi gerçekleştirilmelidir.
• Türk kentleri, tarihi yapılar ve afet sonrası сүрөтler gibi жергиликтүү аянт kaymaları sınanmalıdır.
• Kaynak kodu, окутуу yapılandırması, model ağırlıkları ve yeniden üretim betikleri yayımlanmalıdır.
• Eksik булакça ve metin–таблица sayısal tutarsızlıkları рецензентli sürümde düzeltilmelidir.

Изилдөөнүн ыкмасы жана табылгалары

Техникалык ыкма кыскача мазмуну

Негизги салыштырма табылгалар

Аblation көрсөткөн негизги механизмдер

• Sabit скандооnın kapılı деформациялануучу скандооyla değiştirilmesi en güçlü tek bileşen kazançlarından birini sağlamıştır.
• Gated Index Network kaldırıldığında AUC@5° 65,2’den 63,2’ye төмөндөгөн.
• Bütün белгилер yerine yarжылуулукnın seçilmesi hem тууралык hem иштөө убактысыni iyileştirmiştir.
• Özelliklerin yalnız dörtte veya sekizde birini korumak эсептөө убактысыnde küçük, тууралыкta daha büyük жоготуу oluşturmuştur.
• Canny kaybı zengin текстураlu MegaDepth’te sınırlı, zayıf текстураlu ScanNet ve çoklu görünüm Aachen testinde daha belirgin katkı sağlamıştır.
• Omurga seçiminin etkisi öğrenilebilir белги seçimi kadar büyük olmamıştır.

Сүрөттөрдүн илимий мааниси

Кайра өндүрүү үчүн маанилүү деталдар

• Görüntüler окутууde 832 × 832 boyutuna getirilmelidir.
• Kaba ve майда белги kanalları sırasıyla 256 ve 64’tür.
• Dört Mamba bloğu ve K = 1/2 yapılandırması kullanılmaktadır.
• Canny düşük ve yüksek eşikleri 0,1 ve 0,2’dir.
• Focal loss için α = 0,25 ve γ = 2’dir.
• Alt piksel kaybı 10⁴ katsayжылуулукyla ağırlıklandırılmıştır.
• Eğitim 60 dönem, AdamW, 2 × 10⁻⁴ баштапкы öğrenme катышы ve toplu iş boyutu 8 ile yapılmıştır.
• HPatches karşılaştırmasında ыкма başına yalnız en yüksek 1.000 дал келүү колдонулган.
• MegaDepth ve ScanNet testlerinde 1.500 сүрөт çifti мааниlendirilmiştir.
• Sonuçları yeniden üretmek için eksik булакça, kod, model ağırlıkları ve кокус tohumlar gereklidir.

Жыйынтыктардын техникалык чечмелениши

GamMa’nın жыйынтыктарı, жарым-жыш сүрөт дал келтирүүde bilgi miktarından çok bilgi kalitesinin belirleyici olabileceğini көрсөтөт. Bütün одоно белгиleri diziye aktarmak hem мөөнөтyi uzatmış hem de doğruluğu азайткан. Özelliklerin yarжылуулукnı seçmek gürültülü etkileşimleri azaltırken gerekli geoметрика kanıtın büyük bölümünü korumuştur.

Modelin esas kazancı параметр sayжылуулукnı veya hesaplama yükünü önemli ölçüde artırmadan JamMa’nın домендер аралык туруктууlığını geliştirmesidir. MegaDepth kazancı görece küçükken HPatches ve ScanNet farklarının daha büyük olması, seçici скандооnın окутуу ve test аянтı farklılaştığında daha мааниli olabileceğine işaret etmektedir.

Canny кыр kaybının yararı sahneye bağımlıdır. Zengin текстураlu dış mekânda katkı çok sınırlı kalırken iç mekânlarda geoметрика sınırlar ek bilgi sağlamıştır. Bu durum, кыр tabanlı düzenleyicilerin evrensel değil koşula bağlı araçlar olduğunu көрсөтөт.

Булак жана метод эскертүүсү

Изилдөөnın tam özgün adı: GamMa: Selecting Informative Features for Fast and Robust Local Feature Matching

Yazarlar: Jianhao Xu, Xiangtao Fan, Hongdeng Jian, Chen Xu, Weijia Bei, Qifeng Ge ve Ruijie Han.

Yazar sıralaması: Kaynakta verildiği biçimde korunmuştur.

Eş birinci yazar: Eşit katkı veya eş birinci yazarlık beyanı yer almamaktadır.

Sorumlu yazar: Hongdeng Jian.

Sorumlu yazar e-posta adresi: jianhd@radi.ac.cn

Diğer iletişim adresleri: xujianhao22@mails.ucas.ac.cn; fanxt@radi.ac.cn; xuchen@aircas.ac.cn; beiweijia21@mails.ucas.ac.cn; geqifeng21@mails.ucas.ac.cn; hanruijie23@mails.ucas.ac.cn.

Kurum 1: Key Laboratory of Digital Earth Science, Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100094, Çin.

Kurum 2: International Research Center of Big Data for Sustainable Development Goals, Beijing 100094, Çin.

Kurum 3: University of Chinese Academy of Sciences, Beijing 100094, Çin.

DOI:10.2139/ssrn.6996789

Resmî булак шилтемеsı:SSRN расмий kayıt sayfası

Yayın platformu: SSRN.

Yayın yılı: 2026.

Metinde verilen tarih: 25 Haziran 2026.

Hedef dergi: Yüklenen sürüm “Preprint submitted to Pattern Recognition” ibaresini taşımaktadır.

Dergi ve yayınevi durumu: Изилдөөnın Pattern Recognition tarafından kabul edildiğini veya рецензентli dergi sürümünün yayımlandığını gösteren bilgi bu булакta bulunmamaktadır. Bu nedenle рецензентli dergi yayını olarak sunulamaz.

Kaynak türü: Bilgisayarlı görüde жарым-жыш жергиликтүү белги дал келтирүү için yeni bir sinir ağı mimarisi geliştiren ve dört маалымат топтомуnde sınayan препринт araştırma makalesi.

Hakemlik durumu: Изилдөө рецензиядан өткөн эмес.

Jianhao Xu’nun katkıları: Kavramsallaştırma, ыкма, biçimsel analiz, veri düzenleme, özgün taslak yazımı ve araştırma.

Xiangtao Fan’ın katkıları: Kavramsallaştırma, danışmanlık, inceleme ve düzenleme, doğrulama ve finansman temini.

Hongdeng Jian’ın katkıları: Doğrulama, inceleme ve düzenleme ile ыкма.

Chen Xu’nun katkıları: Kaynak sağlama, inceleme ve düzenleme ile finansman temini.

Weijia Bei’nin katkıları: Yöntem.

Qifeng Ge’nin katkıları: Yazılım ve görselleştirme.

Ruijie Han’ın katkıları: Veri düzenleme.

Finansman: Provincial Special Funding for the Construction of Chenzhou National Sustainable Development Agenda Innovation Demonstration Zone, No. 2023sfq69.

Çıkar çatışması: Yazarlar изилдөөyı etkileyebilecek bilinen bir mali çıkar veya kişisel ilişki bulunmadığını beyan etmiştir.

Veri жетүүi: Yazarlar verileri paylaşma izinlerinin bulunmadığını belirtmiştir.

Kod жетүүi: Metin, kodun GitHub deposunda yayımlanacağını bildirmektedir. Yüklenen sürümde sabitlenmiş bir yazılım sürümü, model ağırlığı veya yeniden üretim пакетi sunulmamıştır.

Kaynakça sorunu: Metindeki atıflar `[?]` biçiminde görünmekte ve булакça bölümü bulunmamaktadır. Bu durum önceki ыкмаlerin, маалымат топтомдоруnin ve kullanılan yazılımların özgün булакlarının doğrulanmasını engellemektedir.

Sayısal tutarlılık uyarжылуулук: HPatches’te orta eşik kazancı таблицаda 3,9 iken metinde 4,9 yazılmıştır. Gated Deformable Scanning’in AUC@20° kazancı таблицаda 0,9 iken metinde 1,9 olarak verilmiştir.

Görsel tutarlılık uyarжылуулук: Şekil 9’un açıklaması Canny kaybıyla ve жоготууsız белги dağılımını karşılaştırdığını söylemektedir; ancak görsel yalnızca Gated Index Network tarafından seçilen K konumlarını көрсөтөт.

Yorum sınırı: GamMa MegaDepth’te жарым-жыш ыкмаler içinde en yüksek sonucu vermiş, ancak жыш DKM ve RoMa’dan düşük AUC üretmiştir. HPatches’te LoFTR, ASpanFormer ve ELoFTR’ın biraz gerisinde kalmıştır. Bu nedenle изилдөө, genel ve koşulsuz bir en iyi eşleştirici üstünlüğü далилдебейт.

Bu Türkçe içerik yalnızca yüklenen изилдөөnın metni, denklemleri, таблицаları, mimari şemaları, дал келүү görselleri ve тажрыйба жыйынтыктарı temel alınarak hazırlanmıştır. Изилдөөda bulunmayan bir saha başarжылуулук, ticari ürün performansı, otonom sistem güvenliği veya Türkiye’ye özgü тууралык iddiası eklenmemiştir.