Модели беназорати ошкорсозии монокулярии 3D — UM3D (Unsupervised Monocular 3D Detection) — чаҳорчӯбаи мутобиқсозии беназорати домен аст, ки барои интиқол додани донишҳои ошкорсозии сеандоза, ки дар домени манбаи тамғагузоришуда омӯхта шудаанд, ба домени ҳадаф бе ниёз ба тамғаҳои қуттии 3D, баҳодиҳии худназоратии умқ, тавлиди Pseudo-LiDAR, тамғагузории псевдои ҳассос ба сифат ва ҳамҷоясозии тасвир–абри нуқтаро дар як занҷири омӯзиши сар-то-сар муттаҳид мекунад. Таҳқиқот дар маҷмӯаҳои додаҳои KITTI, Waymo Open Dataset (WOD), nuScenes ва Lyft арзёбӣ шудааст. UM3D махсусан барои беҳтар кардани самаранокии ошкорсозии монокулярии 3D, ки бинобар тағйирёбии домен дар байни муҳитҳои гуногун коҳиш меёбад, пешбинӣ шудааст. Дар марҳилаи хулосабарорӣ LiDAR-и воқеӣ талаб намешавад; муаррифии Pseudo-LiDAR дар дохили система аз умқи баҳогузоришудаи ҳамон тасвири монокулярӣ сохта мешавад. Бо вуҷуди ин, самаранокӣ, махсусан барои объектҳои дур, бо дақиқии баҳодиҳии умқ маҳдуд аст ва диққати асосии озмоишҳо ба синфи автомобил равона шудааст.

Усул ду дахолати асосӣ дорад. Аввал, масштабкунии тасодуфӣ дар сатҳи объект кӯшиш мекунад таъсири фарқияти андозаи воситаҳои нақлиёт байни доменҳои манбаъ ва ҳадафро ба вайроншавии тамғаҳои псевдои ибтидоӣ кам кунад. Дуюм, бонки хотираи сефосилае, ки баҳогузории сифатро бар асоси IoU истифода мебарад, ба ҷойи қабули тамғаҳои псевдо танҳо бо як холҳои эътимод онҳоро бо пешгӯиҳои таърихӣ мувофиқ ва нав мекунад. Ин сохтор бо ҳамҷоясозии тасвир–абри нуқта дар асоси LoGoNet ва қабати дифференсиатсияшавандаи Change of Representation (CoR) якҷо карда шуда, имкон медиҳад хатои ошкорсозӣ то шабакаи умқ баръакс паҳн шавад.

Дар мутобиқсозии домени абри нуқтаи WOD → KITTI, UM3D-и асосёфта ба LoGoNet дар қиматҳои AP_BEV/AP_3D ба 85,71/67,44 расидааст. Бахшҳои хулоса ва натиҷаи мақолаи манбаъ таъкид мекунанд, ки барои WOD → KITTI %76,81 фарқи домении AP_BEV баста шудааст; аммо дар Ҷадвали 2-и ҳамон таҳқиқот барои UM3D-и асосёфта ба SECOND %97,89 AP_BEV Closed Gap гузориш шудааст. Аз ин рӯ, қимати %76,81 бояд на ҳамчун ҳадди мутлақи ҳамаи конфигуратсияҳои мақола, балки ҳамчун натиҷаи гузоришшуда дар конфигуратсияи LoGoNet арзёбӣ шавад.

UM3D чист ва кадом мушкилро ҳал мекунад?

UM3D чаҳорчӯбаи мутобиқсозии беназорати домени сар-то-сар аст, ки ҳадаф дорад талафоти самаранокии ошкорсозии монокулярии объектҳои 3D-ро, ки аз тағйирёбии тақсимот байни маҷмӯаҳои дода ва муҳитҳои гуногуни ронандагӣ ба вуҷуд меояд, бе такя ба тамғаҳои воқеии қуттии 3D дар домени ҳадаф кам кунад. Система аз як тасвир умқро хориҷ мекунад, ин умқро ба абри нуқтаи Pseudo-LiDAR табдил медиҳад, бо тамғаҳои псевдои назоратшуда аз рӯи сифат ба домени ҳадаф мутобиқ мешавад ва хусусиятҳои тасвирро бо хусусиятҳои геометрии сеандоза якҷоя коркард мекунад.

Мушкилоти асосӣ: чаро аз як камера баровардани умқ душвор аст?

Дар камераи монокулярӣ як проексияи дуандозаи тасвир метавонад бо геометрияҳои гуногуни сеандозаи саҳна мувофиқ бошад. Ба ибораи дигар, тасвир умқро мустақим чен намекунад. Дар ҳоле ки LiDAR ченкунии физикии масофаро таъмин мекунад, системаи монокулярӣ маҷбур аст умқро аз нишонаҳои тасвир баҳогузорӣ кунад. Аз ин рӯ, хатои умқ метавонад мавқеи нуқтаи Pseudo-LiDAR-ро дар фазо ва баъдан ҷой, андоза ё самти қуттии 3D-ро вайрон кунад.

Мушкилии дуюм тағйирёбии домен аст. Вақте детектор дар як маҷмӯаи дода омӯзонида мешавад, геометрияи камера, муҳити ҷуғрофӣ, зичии сенсор, тақсимоти андозаи воситаҳои нақлиёт ва протоколҳои аннотатсия дар маҷмӯаи дигари дода метавонанд фарқ кунанд. Бинобар ин, модели қавӣ дар домени манбаъ метавонад дар домени ҳадаф ҳамон самаранокиро нишон надиҳад.

Меъмории илмии UM3D

1. Баҳодиҳии худназоратии умқи мутлақ: Бо истифода аз RSANet аз тасвири монокулярӣ харитаи умқ дар масштаби мутлақ сохта мешавад.
2. Табдилдиҳии Pseudo-LiDAR: Координатаҳои пиксел ва умқ бо геометрияи камераи pinhole ба нуқтаҳои сеандоза табдил дода мешаванд.
3. Намунагирии фосилавӣ бар асоси зичӣ: Кӯшиш мешавад минтақаҳои камзич ва зичи абри Pseudo-LiDAR-и зич мувозинат карда шаванд.
4. Тамғагузории псевдои ҳассос ба сифат: Масштабкунии тасодуфӣ дар сатҳи объект ва бонки хотираи сефосила бар асоси IoU истифода мешаванд.
5. Ҳамҷоясозии чандмодалӣ: Хусусиятҳои тасвир ва геометрияи Pseudo-LiDAR бо ҳамҷоясозии думарҳилагии асосёфта ба LoGoNet ва вазнгузории худдиққат муттаҳид карда мешаванд.
6. Оптимизатсияи муштараки сар-то-сар: Ба шарофати қабати дифференсиатсияшавандаи CoR, градиенти талафоти ошкорсозии 3D то шабакаи баҳодиҳии умқ бармегардад.

Pseudo-LiDAR дар ин таҳқиқот чӣ гуна сохта мешавад?

Pseudo-LiDAR бо проексияи баръакси ҳар пиксел дар харитаи умқи мутлақи барои тасвири монокулярӣ баҳогузоришуда ба координатаи сеандоза бо истифода аз параметрҳои дохилии камера сохта мешавад; сипас UM3D системаи координатаро ба меҳварҳои воситаи нақлиёт–LiDAR табдил медиҳад, намунагирии кунҷиро барои тақлид кардани гирифтани маълумоти LiDAR-и 64-хат истифода мебарад ва абри нуқтаи зичии баландро бо намунагирии фосилавии бар асоси зичӣ камзич мекунад.

Табдил аз ҳамвории тасвир ба нуқтаи сеандоза

Дар Муодилаи (1)-и таҳқиқоти манбаъ мавқеи (i, j) дар тасвир, қимати умқи мутлақ D(i,j) ва параметрҳои дохилии камера истифода мешаванд:

\[ x=\frac{(i-c_i)D(i,j)}{f_x},\qquad y=\frac{(j-c_j)D(i,j)}{f_y},\qquad z=D(i,j) \tag{1} \]

Дар ин ҷо \(f_x\) ва \(f_y\) масофаҳои фокусии уфуқӣ ва амудиро; \(c_i\) ва \(c_j\) координатаҳои нуқтаи асосиро нишон медиҳанд. \(i\), \(j\), \(f_x\), \(f_y\), \(c_i\) ва \(c_j\) дар системаи координатаҳои тасвир/пиксел мебошанд. Агар \(D\) дар ягон масштаби дарозӣ ифода шавад, координатаҳои ҳосилшудаи \(x\), \(y\) ва \(z\) ҳамон масштаби физикиро нигоҳ медоранд.

Табдили координатаҳои камера ба системаи координатаҳои LiDAR дар воситаи нақлиёт дар манбаъ бо мувофиқати зерини меҳварҳо дода шудааст:

\[ x=-z,\qquad y=-x,\qquad z=y \tag{2} \]

Барои тақлид кардани гирифтани маълумоти LiDAR-и 64-хат, кунҷи амудӣ ва масофаи ҳар нуқта то сенсор ҳисоб карда мешавад:

\[ \vartheta(n)= \arctan\left( \frac{z(n)} {\sqrt{x^2(n)+y^2(n)}} \right), \qquad l(n)=\sqrt{x^2(n)+y^2(n)+z^2(n)} \tag{3} \]

Нуқтаҳо мувофиқи кунҷи амудӣ ба хатҳои скан таъин мешаванд, дар дохили хат аз рӯи масофа тартиб дода мешаванд ва ба ҳуҷайраҳои азимутӣ ҷудо мегарданд. Нигоҳ доштани нуқтаи ба сенсор наздиктарин дар ҳар ҳуҷайраи хат–азимут ченкунии LiDAR-и якбозгаштро ба таври схемавӣ тақлид мекунад. Дар таҳқиқот гуфта мешавад, ки нуқтаҳои дар 1 m болотар аз нуқтаи ибтидоии сенсор ҷойгиршуда хориҷ ва шиддати инъикосҳо ба 1 гузошта шудаанд.

Намунагирии фосилавӣ бар асоси зичӣ

Pseudo-LiDAR-и аз харитаи умқи баландсифат ҳосилшуда метавонад хеле зич бошад. UM3D фазоро ба \(n\) минтақаи мукааб ҷудо мекунад:

\[ \Omega=\{\omega_1,\omega_2,\ldots,\omega_n\} \tag{4} \]

Барои шумораи нуқтаҳои \(\omega_i\) дар ҳар минтақаи \(m_i\), вазни баръакси зичӣ чунин муайян мешавад:

\[ k_i=\frac{1}{m_i+\sigma} \tag{5} \]

\(\sigma\) қимати хурди мусбатест, ки тақсим ба сифрро пешгирӣ мекунад. Азбаски қимати \(k_i\) дар минтақаҳои камзич баландтар аст, саҳми нисбии онҳо дар намунагирӣ зиёд мешавад. Маҷмӯи намунаҳои аз ҳар минтақа гирифташуда:

\[ P_i=\{p_{i1},p_{i2},\ldots,p_{ij}\} \tag{6} \]

ва абри ниҳоии намунагирифташуда:

\[ \Gamma=\bigcup_{i=1}^{n}P_i \tag{7} \]

ба ҳамин шакл сохта мешаванд. Манбаъ қимати ададии \(\sigma\), андозаҳои дақиқи геометрии фосилаҳои мукааб ё қоидаи дақиқеро, ки бо он шумораи намунаҳои \(j\) аз \(k_i\) ҳосил мешавад, муфассал гузориш намекунад; ин қиматҳо аз ҷониби Verianla пурра карда нашудаанд.

Чаро масштабкунии тасодуфӣ дар сатҳи объект истифода мешавад?

Агар тақсимоти андозаи физикии воситаҳои нақлиёт дар домени манбаъ аз домени ҳадаф фарқ кунад, детектори 3D, ки дар манбаъ омӯзонида шудааст, метавонад қуттиҳоро дар домени ҳадаф ба таври системавӣ нодуруст андозагирӣ кунад. Ҷузъи Object-Level Random Scaling Strategy (ORSS)-и UM3D барои коҳиш додани ин ғараз объектҳои тамғагузоришудаи домени манбаъро дар системаи координатаҳои маҳаллии қуттӣ масштаб мекунад.

Нуқта дар қуттӣ бо андозаи \((l,w,h)\), маркази \((u,v,d)\) ва самти \(\omega\) аввал ба координатаи маҳаллӣ табдил дода мешавад:

\[ (p_{il},p_{iw},p_{ih})= (p_{ix}-u,p_{iy}-v,p_{iz}-d) \begin{bmatrix} \cos\omega & -\sin\omega & 0\\ \sin\omega & \cos\omega & 0\\ 0 & 0 & 1 \end{bmatrix} \tag{8} \]

Сипас коэффисиентҳои бемиқёси \(f_l\), \(f_w\), \(f_h\) истифода шуда, нуқта дубора ба координатаи глобалӣ гузаронда мешавад:

\[ (p_{ix},p_{iy},p_{iz})= (p_{il}f_l,p_{iw}f_w,p_{ih}f_h) \begin{bmatrix} \cos\omega & \sin\omega & 0\\ -\sin\omega & \cos\omega & 0\\ 0 & 0 & 1 \end{bmatrix} +(u,v,d) \tag{9} \]

Мақолаи манбаъ фосилаҳои намунагирии тасодуфии истифодашударо барои \(f_l\), \(f_w\) ва \(f_h\) ба таври ададӣ намедиҳад. Аз ин рӯ, тақсимот ё ҳудудҳои ин параметрҳо дар ин ҷо фарз карда нашудаанд.

Сифати тамғаҳои псевдо чӣ гуна назорат мешавад?

UM3D бо сарлавҳаи регрессияи IoU, ки ба детектор илова шудааст, холҳои сифати қуттии 3D-и пешгӯишударо меомӯзад. Дар манбаъ талафоти сифат дар шакли энтропияи салибии дуӣ дода шудааст:

\[ L_{\mathrm{quality}} =-(1-\hat{s})\log(1-s)-\hat{s}\log(s) \tag{10} \]

\(s\) қимати сифати IoU-ро, ки модел барои қуттӣ пешгӯӣ мекунад, ифода мекунад; \(\hat{s}\) бошад қимати IoU-и қуттии пешгӯиро, ки бо қуттии воқеӣ ё тамғаи псевдо ҳисоб шудааст, нишон медиҳад.

Дар амал ҳадди мусбат \(Thr_p=0.5\), ҳадди манфӣ \(Thr_n=0.2\) дода шудааст. Қуттиҳои \(s_i>Thr_p\) ҳамчун намунаҳои мусбат ба хотира ворид мешаванд; қуттиҳои дар фосилаи \(Thr_n<s_i<Thr_p\) барои нишон додани минтақаҳое, ки ҳангоми омӯзиш нодида гирифта мешаванд, дар хотира нигоҳ дошта мешаванд; қуттиҳои \(s_i<Thr_n\) партофта мешаванд.

Барои маҷмӯи таърихии тамғаҳои псевдо \(H\) ва маҷмӯи ҷорӣ \(C\), 3D IoU:

\[ \mathrm{IoU}(H,C)= \frac{\cap_{H,C}}{\cup_{H,C}} \tag{11} \]

ҳисоб карда мешавад ва барои ҳар қуттии таърихӣ қавитарин мувофиқати ҷорӣ интихоб мешавад:

\[ \mathrm{optimum}(H,C) = \underset{C}{\arg\max}\, |\mathrm{IoU}(H,C)| \tag{12} \]

Барои қуттиҳои таърихии номувофиқ механизми ҳисобкунак истифода мешавад:

\[ \mathrm{state}= \begin{cases} 1, & \mathrm{counter}(H)\lt Thr_i\\ 0, & Thr_i\leq \mathrm{counter}(H)\lt Thr_r\\ -1, & \mathrm{counter}(H)\geq Thr_r \end{cases} \tag{13} \]

\(\mathrm{state}=1\) нигоҳ доштан дар хотира, \(\mathrm{state}=0\) нодида гирифтан ва \(\mathrm{state}=-1\) ҳазф карданро ифода мекунад. Манбаъ ҳадҳои \(Thr_i\) ва \(Thr_r\)-ро ба таври консептуалӣ муайян мекунад, аммо дар тафсилоти татбиқ қиматҳои ададии онҳоро гузориш намекунад. Баръакс, ҳадди IoU, ки дар мувофиқкунии тамғаҳои псевдои ҷорӣ–таърихӣ истифода шудааст, 0,1 нишон дода шудааст.

Хусусиятҳои тасвир ва Pseudo-LiDAR чӣ гуна муттаҳид мешаванд?

Детектори чандмодалии UM3D ба меъмории LoGoNet асос ёфтааст. Абри нуқта ба сохтори voxel табдил дода шуда, аз ҷониби 3D backbone ва Region Proposal Network (RPN) коркард мешавад. Ҳамзамон детектори 2D-и пешакӣ омӯзонидашуда аз тасвири монокулярӣ хусусиятҳои тасвирро хориҷ мекунад.

Ду марҳилаи ҳамҷоясозии LoGoNet нигоҳ дошта мешаванд. Ҳамҷоясозии берун аз минтақаи пешниҳодшуда марказҳои voxel-ро ба ҳамвории тасвир проекция карда, сохтори глобалии геометриро пайваст мекунад. Ҳамҷоясозии дохили минтақаи пешниҳодшуда бошад тафсилоти маҳаллиро дар ҳар пешниҳод бо cross-attention коркард мекунад. Қисме, ки таҳқиқот тағйир додааст, ба ҷойи танҳо пайваст кардани ин ду баромад, ҷамъоварии вазндодашудаи хусусиятҳо бар асоси self-attention мебошад.

\[ F=[F_{\mathrm{out}};F_{\mathrm{in}}], \qquad Q=W_QF,\quad K=W_KF,\quad V=W_VF \tag{14} \]

Дар ин ҷо \(F_{\mathrm{out}}\) хусусияти ҳамҷоясозии берун аз минтақа, \(F_{\mathrm{in}}\) хусусияти ҳамҷоясозии дохили минтақа аст. \(W_Q\), \(W_K\) ва \(W_V\) матритсаҳои проексияи омӯхташаванда мебошанд. Диққати ҳосили скалярии масштабшуда:

\[ \mathrm{Attention}(Q,K,V) = \mathrm{softmax} \left( \frac{QK^\top}{\sqrt{d_k}} \right)V \tag{15} \]

чунин аст. \(d_k\) андозаи векторҳои калидӣ мебошад. Аз ҷиҳати математикӣ, механизм робитаи ҳар мавқеи хусусиятро бо мавқеъҳои дигари хусусият вазнгузорӣ карда, барои тасниф ва регрессияи қуттӣ муаррифии якҷояи интихобитар месозад.

Чаро CoR-и дифференсиатсияшаванда муҳим аст?

Voxelizatsiya-и классикӣ будан ё набудани нуқтаро дар дохили ҳуҷайра бо 0 ё 1 ифода мекунад. Азбаски ин қарори тез нисбат ба тағйироти хурди координатҳо канда мебошад, метавонад градиентеро, ки бояд ба шабакаи умқ баръакс паҳн шавад, қатъ кунад. UM3D равиши Change of Representation (CoR)-ро аз E2E-PL якҷо бо намунагирии бар асоси зичӣ истифода мебарад ва пуршавии voxel-ро бо вазнҳои нарми RBF ифода мекунад.

Барои нуқтаҳои \(u\) дар як ҳуҷайраи \(P_u\):

\[ W(u) = \frac{1}{|P_u|} \sum_{p\in P_u} e^{-\|p-p_c\|_2^2/\delta^2} \tag{16} \]

ва ҳангоми ба ҳисоб гирифтани ҳуҷайраҳои ҳамсояи \(\Upsilon_u\):

\[ T_{\mathrm{softquantization}}(u) = W(u)+ \frac{1}{|\Upsilon_u|} \sum_{\bar{u}\in\Upsilon_u} W(\bar{u}) \tag{17} \]

ба даст меояд. \(p_c\) маркази voxel аст; \(\delta\) бо паҳнои банди RBF алоқаманд аст. Дар танзимоти озмоиш \(\delta^2=0.01\) ва ядрои ҳамворсозии 3×3×3 бо 26 ҳамсоя истифода шудааст. Вазифаи асосии алгоритмии ин муаррифии нарм он аст, ки хатои ошкорсозӣ тавассути муаррифии нуқта ба шабакаи умқ баръакс паҳн шуда тавонад.

Ҳадафи умумии омӯзиш

Талафоти умумии сар-то-сар:

\[ L=\alpha L_{\mathrm{depth}}+\beta L_{\mathrm{detection}} \tag{18} \]

чунин аст. Дар озмоишҳо \(\alpha=1\) ва \(\beta=0.01\) истифода шудаанд.

Дар манбаъ талафоти умқ бо Муодилаи (19) ба шакли зерин гузориш шудааст:

\[ L_{\mathrm{depth}} = \min_{t'} p_e(I_t,I_{t'\rightarrow t})L_p +\mu L_{\mathrm{smooth}} \tag{19} \]

Ҷузъи фотометрӣ ва ҷузъи ҳамворӣ:

\[ L_p=\sum_{t'}\ell(I_t,I_{t'\rightarrow t}) \tag{20} \]

\[ L_{\mathrm{smooth}} = |\nabla_x d_t^*|e^{-|\nabla_x I_t|} + |\nabla_y d_t^*|e^{-|\nabla_y I_t|} \tag{21} \]

мебошанд. \(d_t^*\) умқи баръакси нормалишударо, \(\nabla_x\) ва \(\nabla_y\) градиентҳои уфуқӣ ва амудиро нишон медиҳанд. Вазни ҳамворӣ дар озмоишҳо \(\mu=0.001\) аст.

Талафоти ошкорсозӣ:

\[ L_{\mathrm{detection}} = L_{\mathrm{RPN}} + L_{\mathrm{conf}} + \lambda L_{\mathrm{reg}} \tag{22} \]

дода шудааст. \(L_{\mathrm{RPN}}\) талафоти шабакаи пешниҳоди минтақа, \(L_{\mathrm{conf}}\) талафоти эътимод/пешгӯӣ ва \(L_{\mathrm{reg}}\) талафоти регрессияи қуттӣ мебошад. Дар озмоишҳо \(\lambda=2.0\) истифода шудааст.

Мантиқи омӯзиши семарҳилагӣ

1. Омӯзиши пешакии домени манбаъ: Детектори дорои сарлавҳаи IoU бо маълумоти воқеии тамғагузоришудаи абри нуқтаи домени манбаъ бо истифода аз ORSS пешакӣ омӯзонида мешавад.
2. Худомӯзии домени ҳадаф: Дар домени ҳадаф қуттиҳои пешгӯӣ ва холҳои сифати IoU сохта мешаванд; бонки хотираи сефосила нав карда шуда, омӯзиш бо тамғаҳои псевдо идома меёбад.
3. Оптимизатсияи муштараки монокулярии сар-то-сар: Аз тасвир умқ сохта мешавад, бо CoR-и дифференсиатсияшаванда Pseudo-LiDAR ҳосил мешавад, тамғаҳои псевдо нав карда мешаванд ва занҷири умқ → CoR → ошкорсозии чандмодалӣ зери як талафоти умумӣ якҷо оптимизатсия мешавад.

Усул ва Натиҷаҳои Таҳқиқот

Тафсилоти татбиқ

Маҷмӯаҳои дода ва доираи арзёбӣ

Барои ҳамаи маҷмӯаҳои дода минтақаи ошкорсозӣ \(X/Y\in[-75.2,75.2]\) m ва \(Z\in[-2,4]\) m муқаррар шудааст. Барои SECOND ва LoGoNet андозаи voxel \((0.1,0.1,0.15)\) m аст. Афзоиши додаҳо масштабкунии тасодуфии глобалӣ, гардиш, ҷойивазкунӣ ва масштабкунӣ/гардиш барои ҳар объектро дар бар мегирад.

Метрикаи Closed Gap чӣ маъно дорад?

Closed Gap бо фоиз нишон медиҳад, ки усули мутобиқсозии домен чӣ қадар аз фарқи самаранокӣ байни модели дар домени манбаъ омӯзонидашуда ва мустақиман ба домени ҳадаф татбиқшуда ва Oracle-и бо назорати пурра дар домени ҳадаф омӯзонидашударо бастааст; ҳар қадар қимат баланд бошад, модели мутобиқшуда ба самаранокии Oracle наздиктар мешавад, аммо ин таносуб аз истинодҳои Source Only ва Oracle-и истифодашуда вобаста аст ва набояд байни тарҳҳои гуногуни озмоиш берун аз контекст муқоиса шавад.

Муодилаи истифодашуда дар манбаъ:

\[ \mathrm{Closed\ Gap} = \frac{AP_{\mathrm{model}}-AP_{\mathrm{sourceonly}}} {AP_{\mathrm{oracle}}-AP_{\mathrm{sourceonly}}} \times100\% \tag{23} \]

Натиҷаҳои UDA-и абри нуқта

Ҷадвали зер қиматҳои воқеии Tables 2–4-и манбаъро дар тарҳи нави ҷадвал барои Verianla якҷо мекунад. Тартиб дар сутунҳои AP чунин аст: AP_BEV/AP_3D.

Натиҷаҳоро набояд ба иддаои бартарии мутлақ дар як ҷуфти модель/интиқол коҳиш дод. Масалан, дар конфигуратсияи WOD → Lyft SECOND қимати AP_BEV-и ST3D 76,32 аст, дар ҳоле ки UM3D 76,14; ҳамзамон қимати AP_3D-и UM3D 59,19 ва қимати ST3D 59,24 аст. Яъне дар ин конфигуратсия фарқиятҳо хеле хурданд ва UM3D дар ҳар ҳуҷайра натиҷаи баландтарин намедиҳад.

Натиҷаҳои монокулярии WOD/nuScenes/Lyft → KITTI

Дар домени ҳадафи KITTI қиматҳои Source Only дар таҳқиқот барои ҳамаи ҳуҷайраҳои Easy/Moderate/Hard AP_BEV ва AP_3D 0 гузориш шудаанд. Ҷадвали зер натиҷаҳои STMono3D, UM3D ва Oracle-ро нишон медиҳад.

Дар баъзе ҳуҷайраҳои монокулярӣ аз Oracle гузаштани UM3D бояд бо эҳтиёт шарҳ дода шавад. Oracle дар мақола FCOS3D-и асосёфта ба тасвир аст, ки дар домени ҳадаф бо назорати пурра омӯзонида шудааст. UM3D бошад, бо вуҷуди хулосабарорӣ аз як камера, геометрияи Pseudo-LiDAR-и аз ҳамон тасвир ҳосилшударо бо хусусиятҳои тасвир муттаҳид мекунад ва аз омӯзиши пешакии васеътари домени манбаъ истифода мебарад. Аз ин рӯ, сохторҳои муаррифии ин ду система яксон нестанд. Ин натиҷа маънои онро надорад, ки «омӯзиши беназорат умуман аз омӯзиши пурра назоратшаванда беҳтар аст».

Натиҷаҳои монокулярӣ дар домени ҳадафи nuScenes

Барои mAP қимати баландтар дақиқии беҳтари ошкорсозиро ифода мекунад, дар ҳоле ки mATE, mASE ва mAOE метрикаҳои хато мебошанд; аз ин рӯ, барои онҳо қимати пасттар афзал аст. Дар интиқоли WOD → nuScenes, UM3D нисбат ба STMono3D mAP-ро аз 23,5 ба 25,7 зиёд карда, mATE-ро аз 0,843 ба 0,820, mASE-ро аз 0,171 ба 0,168 ва mAOE-ро аз 0,349 ба 0,311 кам кардааст.

Аблятсияи ORSS ва PLGM

Дар заминаи LoGoNet, илова кардани танҳо ORSS нисбат ба Source Only AP_BEV/AP_3D-ро аз 69,12/31,59 ба 79,46/56,08 мебарад. Танҳо PLGM ба 83,25/61,91 мерасад. Истифодаи якҷояи ду ҷузъ баландтарин натиҷаи 85,71/67,44-ро медиҳад. Ин ҷадвал далели асосии аблятсионӣ аст, ки хотираи тамғаҳои псевдо ва дахолати масштабкунии объект дар таҳқиқот як вазифаро такрор намекунанд, балки таъсирҳои ҳамдигарро пурракунанда доранд.

Аблятсияи омӯзиши муштараки сар-то-сар

Moderate AP_BEV дар омӯзиши муштараки RCNN + RPN 23,42 аст, аммо вақте шабакаи умқ низ ба оптимизатсияи муштарак дохил мешавад, ба 27,67 мерасад. Муаллифони манбаъ ин фарқи 4,25-холаро ба аҳамияти бозгашти градиенти ошкорсозӣ ба баҳодиҳии умқ нисбат медиҳанд. Сохтори пурраи се шабака дар панҷ аз шаш ҳуҷайраи AP қимати баландтаринро ба даст меорад; танҳо истисно Easy AP_3D аст. Дар ин ҷо Depth + RCNN 29,32 ва сохтори пурра 29,08 медиҳад.

Афзоиши нисбии %19,30 AP_BEV, ки дар хулосаи таҳқиқот зикр шудааст, низ ба муқоисаи 30,26 дар сатри танҳо Depth бо 36,10 дар сатри пурраи Depth + RCNN + RPN дар шароити Easy мувофиқ аст.

Натиҷаҳои сифатӣ чиро нишон медиҳанд?

Дар Расми 5-и манбаъ мутобиқсозии абри нуқтаи WOD → KITTI визуалӣ нишон дода мешавад. Дида мешавад, ки модели Source Only бинобар номувофиқии геометрии байни доменҳо баъзе қуттиҳои автомобилро ба таври назаррас хурд месозад; ST3D инро беҳтар мекунад; UM3D бошад ҷой ва андозаи қуттиҳоро бештар ба Oracle наздик мекунад.

Дар Расми 6-и манбаъ ҳамон интиқол бо намуди монокулярии 3D ва BEV муқоиса мешавад. Гузориш мешавад, ки модели Source Only, бо вуҷуди ёфтани объектҳои 2D, бинобар хатои бузурги баҳодиҳии умқ AP-и 3D-ро қариб ба сифр мерасонад; STMono3D хатои умқро кам мекунад; пешгӯиҳои UM3D бошанд дар бисёр намунаҳо ба Oracle бештар наздик мешаванд. Ин расмҳо ҷои ҷадвалҳои миқдориро намегиранд; онҳо танҳо таъсири мутобиқсозии доменро ба геометрияи қуттӣ ба таври визуалӣ дастгирӣ мекунанд.

Арзиши ҳисоббарорӣ

Дар як NVIDIA RTX 3080 хулосабарории як кадр тақрибан 127 ms, яъне 7,9 FPS чен шудааст. Аз ин тақрибан 15,5 ms ба шабакаи умқи RSANet бо 14,5 миллион параметр, 8,1 ms ба CoR ва тавлиди Pseudo-LiDAR бар асоси зичӣ ва 103,7 ms ба детектори чандмодалӣ рост меояд. Модели умумӣ тақрибан 60,5 миллион параметр дорад. Бинобар ин, дар татбиқи ҷорӣ маҳдудкунандаи асосӣ баҳодиҳии умқ нест, балки қабати ошкорсозист, ки 3D voxel backbone, RPN, истихроҷгари хусусиятҳои 2D ва ҳамҷоясозии думарҳилагии cross-modal-ро дар бар мегирад.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

• UM3D дар бисёр интиқолҳои манбаъ→ҳадафи баррасишуда нисбат ба Source Only ва усулҳои муқоисашудаи UDA афзоиши самаранокӣ медиҳад.
• Вақте ORSS ва PLGM якҷо истифода мешаванд, дар аблятсияи WOD → KITTI барои ҳар ду детектор баландтарин натиҷаи якҷоя ба даст меояд.
• Оптимизатсияи баҳодиҳии умқ якҷо бо ҳадафи ошкорсозӣ нисбат ба омӯзиши муштараки танҳо зерсистемаҳои ошкорсозӣ афзоиши назарраси AP_BEV медиҳад.
• Ҳамҷоясозии тасвир ва Pseudo-LiDAR бартарии марказии тарҳи таҳқиқоти манбаъ нисбат ба мутобиқсозии домен бар асоси танҳо як модалият мебошад.
• Азбаски дар марҳилаи хулосабарорӣ Pseudo-LiDAR аз ҳамон тасвири монокулярӣ сохта мешавад, сенсори иловагии LiDAR талаб намешавад.

Умумисозиҳо ва маҳдудиятҳое, ки таҳқиқот дастгирӣ намекунад

• Натиҷаҳо муваффақияти баробарро барои ҳамаи синфҳои объект исбот намекунанд; таҳқиқот асосан ба синфи автомобил равона шудааст.
• Ошкорсозӣ дар масофаи дур бо дақиқии баҳодиҳии худназоратии умқ маҳдуд аст.
• Татбиқи гузоришшудаи 7,9 FPS дар RTX 3080 маънои тасдиқ шудани системаи истеҳсолии пурраи вақти воқеӣ дар дохили воситаи нақлиётро надорад; муаллифон фишурдани модел ва тезонидани хулосабарориро ҳамчун кори оянда зикр мекунанд.
• Муваффақият дар benchmark-и KITTI ё nuScenes ҳамон самаранокиро барои геометрияҳои дигари камера, шароити обу ҳаво, кишварҳо ё воситаҳои нақлиёти истеҳсолӣ кафолат намедиҳад.
• Дар баъзе озмоишҳои монокулярӣ аз Oracle гузаштан нишон намедиҳад, ки омӯзиши беназорат дар маҷмӯъ аз омӯзиши пурра назоратшаванда беҳтар аст; бояд ба назар гирифта шавад, ки Oracle-и муқоисашуда FCOS3D-и асосёфта ба тасвир аст ва UM3D бо геометрияи Pseudo-LiDAR муаррифии хусусиятҳои дигарро истифода мебарад.
• Азбаски манбаъ фосилаҳои масштаби \(f_l,f_w,f_h\), қимати ададии \(\sigma\) ва қиматҳои ададии ҳадҳои \(Thr_i\), \(Thr_r\)-ро дар бонки хотира гузориш намекунад, танҳо аз рӯи матни мақола таҷдиди пурраи ҳар як ҷузъиёт имконпазир нест.

Ёддошт оид ба Манбаъ ва Усул

Таҳқиқоти аслӣ: Unsupervised Domain Adaptation with Multimodal Fusion for Monocular 3D Object Detection

Муаллифон: Jin Jiang; Jidong Dai; Wei Li; Yuquan Zhou; Maozhang Ye; Jianhuan Zhang; Chentao Zhang.

Муаллифи масъул: Chentao Zhang.

Муассисаҳо: Xiamen King Long United Automotive Industry Co., Ltd., Xiamen, Чин; Pen-Tung Sah Institute of Micro-Nano Science and Technology, Xiamen University, Xiamen, Чин; School of Artificial Intelligence, Quanzhou Vocational College of Economics and Business, Quanzhou, Чин.

Маҷалла: Vehicles.

Ношир: MDPI, Basel, Switzerland.

Сабти библиографӣ: Vehicles 2026, 8(5), 98.

DOI: 10.3390/vehicles8050098

Пайванди расмии DOI: https://doi.org/10.3390/vehicles8050098

Таърих: Ирсол 7 марти 2026; бознигарӣ 22 апрели 2026; қабул 25 апрели 2026; нашр 1 майи 2026.

Навъи манбаъ: Мақолаи таҳқиқотии академии нашршуда.

Иҷозатнома: Creative Commons Attribution (CC BY). Ин матни Verianla, сарфи назар аз мавҷудияти иҷозатнома, ба ҷойи бознашри сохтори ҷумла, абзац ё расми мақолаи аслӣ, ҳамчун сохтори мустақили таълимӣ бар асоси далелҳои илмӣ, усулҳо, робитаҳои математикӣ ва додаҳои гузоришшуда омода шудааст.

Маблағгузорӣ: Major Science and Technology Special Project of Fujian Province, Grant No. 2024HZ022013; Applied Technology Engineering Center of Fujian Provincial Higher Education for Visual Perception and Intelligent Analysis, Grant No. SJGZ202501.

Дастрасии додаҳо: Муаллифон зикр мекунанд, ки саҳмҳои аслӣ дар дохили мақола мавҷуданд ва саволҳои иловагӣ метавонанд ба муаллифи масъул ирсол шаванд.

Изҳороти ахлоқӣ: Соҳаҳои Institutional Review Board ва informed consent барои ин таҳқиқот татбиқ намешаванд.

Бархӯрди манфиатҳо: Jin Jiang ва Wei Li кормандони Xiamen King Long United Automotive Industry Co., Ltd. мебошанд. Муаллифони дигар изҳор кардаанд, ки таҳқиқот бе муносибатҳои тиҷоратӣ ё молиявие анҷом дода шудааст, ки метавонанд ҳамчун бархӯрди эҳтимолии манфиатҳо шарҳ дода шаванд.

Саҳмҳои муаллифон: Консептуализатсия Jin Jiang ва Chentao Zhang; усул Jin Jiang ва Wei Li; нармафзор Jidong Dai; санҷиш Jidong Dai ва Yuquan Zhou; таҳлили формалӣ Jidong Dai ва Jianhuan Zhang; таҳқиқот Jin Jiang, Wei Li ва Maozhang Ye; захираҳо Wei Li ва Maozhang Ye; куратсияи додаҳо Jidong Dai ва Yuquan Zhou; тарҳи аввал Jin Jiang; баррасӣ/таҳрир Jianhuan Zhang ва Chentao Zhang; визуализатсия Jidong Dai ва Yuquan Zhou; назорат Jin Jiang, Jianhuan Zhang ва Chentao Zhang; идоракунии лоиҳа Chentao Zhang; дарёфти маблағгузорӣ Jin Jiang ва Chentao Zhang анҷом додаанд.

Ёддошти гузоришдиҳӣ дар дохили манбаъ: Бахши хулоса ва натиҷа мегӯяд, ки барои WOD → KITTI фарқи домении AP_BEV то %76,81 баста шудааст, дар ҳоле ки сатри SECOND-и Ҷадвали 2 %97,89 AP_BEV Closed Gap гузориш мекунад. Азбаски манбаъ ин фарқро алоҳида шарҳ намедиҳад, ҳар ду қимат бояд бо контексти таҷрибавии худ нигоҳ дошта шаванд.

Ҳадди методологӣ: Таҳқиқот дар маҷмӯаҳои гуногуни додаҳои benchmark санҷиши алгоритмии байнидомениро пешниҳод мекунад. Ин далел маънои амнияти дарозмуддати саҳроӣ дар воситаи нақлиёти воқеии истеҳсолӣ, қобилияти умумисозӣ дар ҳамаи синфҳои объект ё ҳамон сатҳи муваффақият дар ҳар як таркиби нави сенсор/ҷуғрофияро надорад.