ROAD-DETR, gözlənilməz yol təhlükələrini müxtəlif miqyaslarda, zəif vizual sərhədlərdə və pis görüntü şəraitində lokallaşdırmaq üçün hazırlanmış çətinlik-həssas Transformer əsaslı obyekt aşkarlama çərçivəsidir. Tədqiqat eyni zamanda ROAD-6-Det adlı, altı gözlənilməz yol təhlükəsini oxlara paralel bounding box annotasiyaları ilə əhatə edən 33.784 görüntülük benchmark verilənlər toplusunu təqdim edir. ROAD-DETR; Hazard-Aware Multi-Scale Fusion Module (HMSFM), Difficulty-Aware Feature Enhancement Module (DAFEM) və Hazard Query Refinement Module (HQRM) adlı üç tapşırıq-xüsusi modulu, həmçinin proqnoz etibarlılığını lokallaşdırma keyfiyyətinə əsasən öyrənən confidence branch-i bir araya gətirir.

ROAD-6-Det üzərindəki ümumi test bölməsində ROAD-DETR; 94.2% mAP@50, 72.1% mAP@50:95, 93.2% precision, 91.1% recall və 93.5% ümumi F1 əldə etmişdir. Ən güclü baza modeli RF-DETR-M-in mAP@50 göstəricisi 85.7%, mAP@50:95 göstəricisi 63.7%-dir. Model həmçinin ağır zəif işıqda 90.6%, sıx dumanda 90.8%, şiddətli yağışda 90.4%, ağır bulanıqlıqda 88.6% və ən çətin kiçik-təhlükə qrupunda 90.1% performans bildirmişdir.

Bu nəticələr ROAD-6-Det-in test şəraiti və tədqiqatda yaradılmış nəzarətli görüntü pozuntuları üçün keçərlidir. Tədqiqat real avtonom avtomobilin açıq yolda təhlükəsiz sürüş həyata keçirdiyini, bütün ölkələrdə və ya əvvəllər görülməmiş verilənlər toplularında eyni performansı qoruduğunu, yaxud ROAD-DETR-in təhlükəsizlik-kritik sürüş üçün təkbaşına kifayət etdiyini göstərmir.

Tədqiqat problemi

Ənənəvi avtonom sürüş verilənlər topluları əsasən avtomobil, piyada, velosipedçi, yol nişanı və yol zolağı kimi müntəzəm yol hərəkəti obyektlərinə yönəlir. Gözlənilməz yol təhlükələri isə obyekt aşkarlama sistemləri baxımından fərqli problem yaradır. Aşmış ağac və ya qəzaya uğramış avtomobil böyük və strukturlaşdırılmış obyekt ola bildiyi halda, yağ dağılması, səth suyu və ya buzlu yol ətraf yol teksturası ilə zəif sərhədlər yaradan geniş və amorf səth sahələridir. Yol tullantıları isə görüntünün çox kiçik hissəsini tuta bilər.

Mənbə Transformer əsaslı detektorlar üçün üç əsas çətinlik müəyyənləşdirir: təhlükələrin məkan miqyasının böyük dərəcədə dəyişməsi, pis hava və ya aşağı kontrast səbəbindən aralıq xüsusiyyətlərin fərqləndiriciliyinin zəifləməsi və standart öyrənilə bilən object query-lərin seyrək və ya qeyri-müəyyən təhlükələri yetərincə təmsil edə bilməməsi. ROAD-DETR-in üç modulu bu üç problemə cavab verəcək şəkildə hazırlanmışdır.

ROAD-6-Det nədir?

ROAD-6-Det əvvəllər görüntü-səviyyəli təsnifat üçün hazırlanmış ROAD-6-nı obyekt-səviyyəli lokallaşdırmaya genişləndirən və altı gözlənilməz yol təhlükəsi üçün bounding box annotasiyaları təqdim edən 33.784 görüntülük obyekt aşkarlama benchmarkıdır.

Altı təhlükə sinfi

• Accident Vehicle — Qəzaya qarışmış avtomobil: Yol hərəkəti axınını pozan və ya təhlükəli sürüş vəziyyəti yaradan qəzaya uğramış avtomobil.
• Fallen Tree — Aşmış ağac: Yolun bir hissəsini və ya hamısını bağlayan ağac və iri budaqlar.
• Road Debris — Yol tullantısı/dağıntısı: Şin, avtomobil hissəsi, tikinti materialı və ya digər gözlənilməz yolüstü obyektlər.
• Oil Spill — Yağ dağılması: Şin-yol tutuşmasını azalda biləcək maye çirklənməsi.
• Surface Water — Səth suyu: Yağıntı, daşqın və ya drenaj problemləri nəticəsində yaranan su yığılması.
• Icy Road — Buzlu yol: Sürüşmə və avtomobil idarəetməsinin itirilməsi riskini artıra biləcək buzla örtülmüş yol səthi.

Verilənlər toplusu necə yaradıldı?

ROAD-6-Det, ROAD-6-nın eyni altı sinfini və görüntü kompozisiyasını qoruyaraq bütün görünən təhlükə nümunələrinə oxlara paralel bounding box əlavə edir. Görüntülər ilkin ROAD-6 tədqiqatında açıq onlayn mənbələrdən, yol səhnəsi verilənlər bazalarından və real sürüş görüntülərindən toplanmışdır. Verilənlər toplusu həm orijinal, həm də augmentasiya ilə törədilmiş görüntülərdən ibarətdir.

Verilənlər sızmasını azaltmaq üçün orijinal görüntü ilə ondan törədilmiş augmentasiya nümunələri eyni verilənlər bölməsində saxlanmışdır. Beləliklə, təlimdəki orijinal görüntünün augmentasiya variantının doğrulama və ya test bölməsinə keçməsinin qarşısı alınmışdır. Təlim, doğrulama və test topluları bir-birindən ayrıdır.

Annotasiya keyfiyyəti necə yoxlanıldı?

Bounding box-lar kompüter görməsi və obyekt aşkarlanması təcrübəsi olan tədqiqatçılar tərəfindən əl ilə hazırlanmışdır. Annotator-lardan təhlükənin görünən məkan əhatəsini mümkün qədər sıx çərçivələmələri və əlaqəsiz arxa fonu qutuya daxil etməmələri istənmişdir. İlkin annotasiyadan sonra bütün görüntülər Roboflow interfeysindən istifadə etməklə əl ilə keyfiyyət nəzarətindən keçirilmiş; çatışmayan təhlükələr, səhv əhatə, boş və ya yanlış yerləşdirilmiş qutular yenidən nəzərdən keçirilmişdir. Kiçik, qismən örtülü və sərhədləri qeyri-müəyyən səth təhlükələrinə xüsusi diqqət yetirilmişdir.

ROAD-6-Det digər verilənlər toplularından nə ilə fərqlənir?

ROAD-DETR gözlənilməz yol təhlükələrini necə aşkarlayır?

ROAD-DETR əvvəlcə RF-DETR backbone-dan aşağı, orta və yüksək səviyyəli xüsusiyyət xəritələri çıxarır; HMSFM bunları ortaq çox-miqyaslı təhlükə təmsilinə çevirir, DAFEM kanal və məkan attention vasitəsilə çətin vizual bölgələri gücləndirir, HQRM isə Transformer decoder-a daxil olmamışdan əvvəl object query-ləri səhnəyə xas təhlükə konteksti ilə yenidən çəkiləndirir.

Tənlik (1): İyerarxik backbone xüsusiyyətləri

\[ F=\{F_1,F_2,F_3\}. \tag{1} \]

Giriş görüntüsü \(I\in\mathbb{R}^{H\times W\times3}\) şəklindədir. Backbone üç fərqli semantik səviyyədə \(F_1\), \(F_2\) və \(F_3\) xüsusiyyət xəritələri yaradır. Hər xüsusiyyət xəritəsi:

\[ F_i\in\mathbb{R}^{C_i\times H_i\times W_i} \]

şəklindədir. \(C_i\) kanal sayını, \(H_i\) və \(W_i\) məkan ölçülərini təmsil edir. Aşağı səviyyələr daha çox incə mövqe təfərrüatı daşıyarkən yüksək səviyyələr daha güclü semantik kontekst daşıyır.

Tənlik (2): HMSFM ilə çox-miqyaslı füzyon

\[ F_m=\Phi_{\mathrm{HMSFM}}(F_1,F_2,F_3). \tag{2} \]

\(\Phi_{\mathrm{HMSFM}}\), üç xüsusiyyət səviyyəsini vahid ortaq təhlükə təmsilinə çevirən öyrənilə bilən əməliyyatlar toplusudur. \(F_m\in\mathbb{R}^{C\times H_m\times W_m}\) birləşdirilmiş çox-miqyaslı xüsusiyyət xəritəsidir. Bu formulun əsas məqsədi kiçik yol tullantılarındakı məkan ipuclarını böyük qəza avtomobilləri və ya aşmış ağaclardakı yüksək səviyyəli semantik məlumatla eyni xüsusiyyət fəzasında saxlamaqdır.

Tənlik (3): DAFEM xüsusiyyət gücləndirilməsi

\[ F_d=\Phi_{\mathrm{DAFEM}}(F_m). \tag{3} \]

\(F_d\), pis hava, zəif işıq, zəif obyekt-arxa fon kontrastı və ya qeyri-müəyyən sərhədlər səbəbindən çətin aşkarlanan təhlükə bölgələrinin xüsusiyyətlərini gücləndirməyi hədəfləyən təkmilləşdirilmiş təmsildir. DAFEM görüntünü fiziki olaraq “təmizləmir”; xüsusiyyət fəzasında informativ kanal və mövqeləri yenidən çəkiləndirir.

Tənlik (4): Təhlükə-həssas query təkmilləşdirilməsi

\[ Q_h=\Phi_{\mathrm{HQRM}}(Q,F_d). \tag{4} \]

\(Q\in\mathbb{R}^{N_q\times C}\), Transformer-in öyrənilə bilən object query dəstidir. \(N_q\) query sayıdır. HQRM sabit öyrənilmiş query-ləri səhnədə mövcud təhlükə xüsusiyyətləri ilə əlaqələndirərək \(Q_h\) şəklində yenidən təşkil edir.

Tənlik (5): Transformer decoder çıxışı

\[ Z=\operatorname{Decoder}(F_d,Q_h). \tag{5} \]

\(Z\), təsnifat və bounding-box reqressiya başlıqlarının istifadə edəcəyi decoder embedding-ləridir. Beləliklə modelin son proqnozu həm təkmilləşdirilmiş görüntü xüsusiyyətlərinə \(F_d\), həm də səhnəyə görə uyğunlaşdırılmış təhlükə query-lərinə \(Q_h\) əsaslanır.

HMSFM-in daxili quruluşu

Tənlik (6): Ortaq embedding fəzasına proyeksiya

\[ \hat F_i=\psi_i(F_i). \tag{6} \]

\(\psi_i\), hər backbone səviyyəsinə aid öyrənilə bilən 1×1 convolution proyeksiyasıdır. Müxtəlif kanal saylarına malik \(F_i\) xəritələrini ortaq embedding ölçüsünə gətirir. 1×1 convolution məkan qonşuluğunu genişləndirmədən kanal kombinasiyası yaradır.

Tənlik (7): Çox-miqyaslı xüsusiyyətlərin birləşdirilməsi

\[ F_c=\operatorname{Concat}(\hat F_1,\hat F_2,\hat F_3). \tag{7} \]

Əvvəlcə proyeksiya edilmiş xüsusiyyət xəritələri ortaq məkan həllinə yenidən ölçüləndirilir; sonra kanal istiqamətində birləşdirilir. \(F_c\), eyni səhnənin incə məkan təfərrüatlarını və yüksək səviyyəli semantikasını birlikdə daşıyır.

Tənlik (8): Konvolyusion füzyon

\[ F_m=\sigma(W_f*F_c+b_f). \tag{8} \]

\(*\) convolution əməliyyatını, \(W_f\) öyrənilə bilən filtrləri, \(b_f\) bias-ı və \(\sigma\) qeyri-xətti aktivləşdirməni göstərir. Bu addım xüsusiyyətləri sadəcə yan-yana qoymur; birləşdirilmiş məlumatdan yeni çox-miqyaslı təhlükə xüsusiyyətləri öyrənir.

Çətin görüntü şəraiti DAFEM daxilində necə işlənir?

Mənbə duman və ya yağış kimi atmosfer pozulmasını izah etmək üçün nömrələnməmiş klassik görüntü formalaşması modelini verir:

\[ I(x)=J(x)t(x)+A(1-t(x)). \]

\(I(x)\) müşahidə olunan görüntü, \(J(x)\) altdakı real səhnə şüalanması, \(t(x)\) ötürmə əmsalı və \(A\) atmosfer işığıdır. \(t(x)\) azaldıqca kontrast və fərqləndirici görüntü strukturu zəifləyir. ROAD-DETR bu tənliyi tərsinə həll edib dehazing etmir; DAFEM qalan informativ xüsusiyyətləri attention ilə gücləndirir.

Tənlik (9): Yerli xüsusiyyət çıxarılması

\[ F_l=\phi_l(F_m). \tag{9} \]

\(\phi_l\), birləşdirilmiş xüsusiyyət xəritəsi üzərində işləyən yerli convolution əsaslı xüsusiyyət çıxarma operatorudur. Çıxış \(F_l\), kanal və məkan attention hesablamalarının əsas girişidir.

Tənlik (10): Kanal attention

\[ A_c= \sigma\left( W_c(\operatorname{GAP}(F_l)) \right). \tag{10} \]

GAP Global Average Pooling əməliyyatıdır. Hər kanalın məkan məlumatını vahid xülasə dəyərində toplayır. \(W_c\) bu xülasəni öyrənilə bilən formada çevirir və sigmoid \(\sigma\) attention çəkilərini məhdud intervala keçirir. Məqsəd təhlükə aşkarlanması baxımından daha informativ feature channel-lara daha güclü töhfə verməkdir.

Tənlik (11): Məkan attention

\[ A_s=\sigma(W_s*F_l). \tag{11} \]

\(W_s\) öyrənilə bilən məkan convolution nüvəsidir. \(A_s\), görüntünün hansı məkan bölgələrinin təhlükə baxımından daha vacib olduğunu müəyyən edən attention xəritəsidir.

Tənlik (12): Residual çətinlik-həssas xüsusiyyət

\[ F_d=F_l\odot A_c\odot A_s+F_m. \tag{12} \]

\(\odot\) element-element vurmadır. Əvvəlcə \(F_l\), kanal və məkan attention ilə yenidən çəkiləndirilir; sonra orijinal \(F_m\) residual bağlantı ilə əlavə olunur. Residual termini vacibdir: attention çox zəif olsa belə əsas çox-miqyaslı xüsusiyyət itmir.

HQRM-in daxili quruluşu

Tənlik (13): Qlobal təhlükə konteksti

\[ C_h=\operatorname{GAP}(F_d). \tag{13} \]

\(C_h\), təkmilləşdirilmiş xüsusiyyət xəritəsinin yığcam qlobal kontekst vektorudur. Mənbə daha ağır deformable-attention tipli struktur əvəzinə aşağı əlavə hesablama xərcinə görə global pooling seçir.

Tənlik (14): Query fəzasına kontekst proyeksiyası

\[ G_h=\delta(W_hC_h). \tag{14} \]

\(W_h\) öyrənilə bilən proyeksiya parametrləri, \(\delta\) isə qeyri-xətti aktivləşdirmədir. \(G_h\), səhnə kontekstini object query-lərlə uyğun embedding ölçüsünə çevirir.

Tənlik (15): Residual query gating

\[ Q_h=Q+G_h\odot Q. \tag{15} \]

Hər query-nin əsas öyrənilmiş mənası \(Q\) qorunur; \(G_h\odot Q\) isə səhnəyə xas təhlükə kontekstini əlavə edir. Bu formul:

\[ Q_h=(1+G_h)\odot Q \]

şəklində də düşünülə bilər. Mənbə \(G_h\in(0,1)\) qəbulundan çıxış edərək query koordinatlarının 1 ilə 2 arasında miqyaslandığını bildirir; query işarəsi tərsinə çevrilmir və ya sıfıra basdırılmır.

Tənlik (16): Decoder embedding dəsti

\[ Z=\{z_1,z_2,\ldots,z_{N_q}\}. \tag{16} \]

Hər \(z_i\), bir object query ilə əlaqəli decoder embedding-dir və növbəti üç proqnoz başlığı üçün ortaq təmsil rolunu oynayır.

Tənlik (17): Təsnifat başlığı

\[ P_i=\operatorname{Softmax}(W_{\mathrm{cls}}z_i). \tag{17} \]

\(P_i\), \(i\)-ci query-nin təhlükə siniflərinə dair ehtimal paylanmasıdır. Softmax sinif skorlarını normallaşdırır.

Tənlik (18): Bounding-box reqressiyası

\[ B_i=\sigma(W_{\mathrm{box}}z_i). \tag{18} \]

\[ B_i=(x_i,y_i,w_i,h_i). \]

\(x_i,y_i\) qutunun mövqeyini, \(w_i,h_i\) en və hündürlüyünü təmsil edir. Sigmoid normallaşdırılmış qutu çıxışını məhdud intervalda saxlayır.

Tənlik (19): Ayrı etibarlılıq proqnozu

\[ S_i=\sigma(W_{\mathrm{conf}}z_i). \tag{19} \]

\(S_i\in(0,1)\), proqnozun etibarlılığına dair scalar confidence dəyəridir. Bu dəyər \(P_i\) sinif ehtimalı ilə eyni deyil. Sinif branch-i “hansı təhlükə?” sualına, confidence branch-i isə “bu obyekt proqnozu lokallaşdırma baxımından nə qədər etibarlıdır?” sualına yaxınlaşır.

ROAD-DETR necə öyrədilir?

Tənlik (20): Ümumi çox-tapşırıqlı itki

\[ L_{\mathrm{total}} = L_{\mathrm{cls}} +\lambda_1L_{L1} +\lambda_2L_{\mathrm{GIoU}} +\lambda_{\mathrm{conf}}L_{\mathrm{conf}}. \tag{20} \]

\(L_{\mathrm{cls}}\) təsnifat, \(L_{L1}\) qutu koordinatı, \(L_{\mathrm{GIoU}}\) həndəsi qutu örtüşməsi və \(L_{\mathrm{conf}}\) confidence proqnozu itkisidir. \(\lambda_1\), \(\lambda_2\) və \(\lambda_{\mathrm{conf}}\) bu tapşırıqların optimallaşdırmadakı nisbi çəkilərini idarə edir. Mənbə \(\lambda_{\mathrm{conf}}=1.0\) dəyərini bütün təcrübələrdə sabit istifadə etmişdir.

Mənbə-daxili hesabat qeydi: Tənlik (20) ümumi məqsəd funksiyasını bu dörd itki komponenti ilə müəyyən edir. Buna qarşılıq mənbə Şəkil 3-də təlim və doğrulama qrafikləri arasında əlavə olaraq DFL loss əyriləri mövcuddur. Məqalə bu DFL əyrilərinin Tənlik (20) ilə dəqiq əlaqəsini ayrıca izah etmir; buna görə burada yeni itki termini əlavə edilməmişdir.

Tənlik (21): Focal classification loss

\[ L_{\mathrm{cls}} = -\alpha_t(1-p_t)^{\gamma}\log(p_t). \tag{21} \]

\(p_t\) doğru sinfə verilən ehtimalı; \(\alpha_t\) sinif balanslaşdırma çəkisini; \(\gamma\) isə asan nümunələrin itkiyə töhfəsini azaldan focusing parametrini təmsil edir. \(p_t\) 1-ə yaxınlaşdıqca \((1-p_t)^\gamma\) kiçilir və artıq asan təsnif edilən nümunənin itkiyə təsiri azalır.

Tənlik (22): Confidence üçün lokallaşdırma-keyfiyyəti hədəfi

\[ q_i= \begin{cases} \operatorname{IoU}(B_i,B_i^{gt}), & i\in\mathcal{M},\\ 0, & i\notin\mathcal{M}. \end{cases} \tag{22} \]

\(\mathcal M\), bipartite matching nəticəsində real obyektlərlə uyğunlaşdırılan query dəstidir. Uyğunlaşdırılmış query-nin confidence hədəfi yalnız 1/0 deyil; proqnoz qutusu ilə real qutu arasındakı IoU dəyəridir. Uyğunlaşdırılmayan query üçün hədəf sıfırdır. Beləliklə confidence score sinif dəqiqliyindən ayrıca lokallaşdırma keyfiyyətini öyrənir.

Tənlik (23): Confidence itkisi

\[ L_{\mathrm{conf}} = -\frac{1}{N_q} \sum_{i=1}^{N_q} \left[ q_i\log(S_i) + (1-q_i)\log(1-S_i) \right]. \tag{23} \]

Bu, query səviyyəsində binary cross-entropy formasında itkidir; lakin hədəf \(q_i\), uyğunlaşdırılmış query-lərdə IoU üzərindən davamlı dəyər ala bilər. \(S_i\) ilə real lokallaşdırma keyfiyyəti arasındakı uyğunluğu artırmaq məqsədi daşıyır.

Hesablama mürəkkəbliyi

HMSFM-in 1×1 proyeksiyalarının mürəkkəbliyi:

\[ O\left( \sum_{i=1}^{3}C_iCH_iW_i \right) \]

və birləşdirilmiş xüsusiyyət üzərindəki \(k\times k\) convolution füzyonunun mürəkkəbliyi:

\[ O(3k^2C^2H_mW_m) \]

olaraq verilir. Bu xərc məkan həlli ilə xətti miqyaslanır.

DAFEM daxilində yerli refinement:

\[ O(k^2C^2H_mW_m), \]

məkan attention:

\[ O(k^2CH_mW_m), \]

kanal attention isə:

\[ O(CH_mW_m+C^2) \]

xərcinə malikdir. Dominant termin yerli convolution qoludur.

HQRM-in xərci:

\[ O(CH_mW_m+C^2+N_qC) \]

olaraq verilir. Buna qarşılıq Transformer encoder self-attention-ın məkan xərci:

\[ O\left((H_mW_m)^2C\right) \]

miqyasındadır. Müəlliflərin nəzəri arqumenti yeni üç modulun encoder–decoder nüvəsinə nisbətən daha aşağı mərtəbəli əlavə yük gətirməsidir. Bu, parametr sayındakı 33.7 M → 34.6 M artımı ilə də uyğundur.

Residual gating üçün üç nəzəri xüsusiyyət

1. Identity preservation: Tənlik (12)-də \(A_c\odot A_s\rightarrow0\) olduqda:

\[ F_d\rightarrow F_m. \]

Yəni attention branch faydasız hala gəlsə belə əsas birləşdirilmiş xüsusiyyət residual yol vasitəsilə qorunur.

2. Bounded query modulation: Mənbəyə görə \(G_h\in(0,1)\) olduqda:

\[ \|Q\|_2 \leq \|Q_h\|_2 \leq 2\|Q\|_2 \]

sərhədini verir. Beləliklə refinement query-ləri məhdud şəkildə böyüdür; pretrained query mənasını tərsinə çevirən və ya tamamilə boğan modulyasiya deyil.

3. Gradient propagation: DAFEM üçün:

\[ \frac{\partial F_d}{\partial F_m} = I+ \frac{\partial(F_l\odot A_c\odot A_s)} {\partial F_m}. \]

Residual qoldan gələn \(I\) identity operatoru attention çəkiləri kiçik olsa belə qradientin əvvəlki qatlara birbaşa ötürülə biləcəyi yol təmin edir. Mənbə oxşar identity terminin HQRM query törəməsində də olduğunu bildirir.

Tədqiqatın Metodu və Nəticələri

Təlim və qiymətləndirmə quruluşu

Nəzarətli çətinlik səviyyələri necə yaradıldı?

Tənlik (24): Precision

\[ \operatorname{Precision} = \frac{TP}{TP+FP}. \tag{24} \]

\(TP\) doğru müsbət, \(FP\) yanlış müsbət proqnozların sayıdır. Precision modelin “təhlükə var” dediyi aşkarlamaların nə qədərinin həqiqətən doğru olduğunu ölçür. Yüksək precision lazımsız yanlış həyəcanların daha az olduğunu göstərir.

Tənlik (25): Recall

\[ \operatorname{Recall} = \frac{TP}{TP+FN}. \tag{25} \]

\(FN\), real təhlükə olduğu halda modelin qaçırdığı nümunələrin sayıdır. Təhlükəsizlik-kritik təhlükə aşkarlanmasında yüksək recall xüsusilə vacibdir; çünki recall azaldıqca qaçırılmış təhlükələrin nisbəti artır.

Tənlik (26): F1 skoru

\[ F1 = 2 \frac{ \operatorname{Precision}\times\operatorname{Recall} }{ \operatorname{Precision}+\operatorname{Recall} }. \tag{26} \]

F1, precision və recall-un harmonik ortasıdır. İki metrikdən biri çox aşağıdırsa F1 də nəzərəçarpacaq dərəcədə azalır. Buna görə yalnız yanlış həyəcanı və ya yalnız qaçırma nisbətini deyil, iki davranışın balansını ümumiləşdirir.

Tənlik (27): Intersection over Union

\[ \operatorname{IoU} = \frac{B^p\cap B^{gt}} {B^p\cup B^{gt}}. \tag{27} \]

\(B^p\) proqnoz edilən, \(B^{gt}\) real bounding box-dır. Surətdə iki qutunun kəsişmə sahəsi, məxrəcdə birləşmə sahəsi verilir. IoU 1-ə yaxınlaşdıqca proqnoz edilən qutu real qutu ilə daha yaxşı örtüşür.

Tənlik (28): Average Precision

\[ AP= \int_0^1P(R)\,dR. \tag{28} \]

\(P(R)\), recall səviyyəsindən asılı precision əyrisidir. AP Precision–Recall əyrisinin altındakı sahəni ümumiləşdirir və müəyyən sinfin müxtəlif confidence hədlərində ümumi aşkarlama keyfiyyətini ölçür.

Tənlik (29): Mean Average Precision

\[ mAP= \frac{1}{N} \sum_{i=1}^{N}AP_i. \tag{29} \]

\(N\) sinif sayıdır; ROAD-6-Det üçün altı sinif var. mAP@50 IoU=0.50 həddindəki AP-lərin ortasıdır. mAP@50:95 isə IoU 0.50-dan 0.95-ə qədər 0.05 addımlarla hesablanan daha sərt lokallaşdırma qiymətləndirməsidir. Buna görə mAP@50:95-in yüksək olması qutunun yalnız obyekti tapmadığını, daha dəqiq yerləşdirildiyini də göstərir.

Ən müasir model müqayisəsi

ROAD-DETR ən güclü baseline RF-DETR-M ilə müqayisədə mAP@50-ni 85.7%-dən 94.2%-ə, mAP@50:95-i 63.7%-dən 72.1%-ə yüksəltmişdir. Precision 86.7%-dən 93.2%-ə, recall 82.0%-dən 91.1%-ə və ümumi F1 84.3%-dən 93.5%-ə qalxmışdır. Xüsusilə mAP@50:95 artımı modelin yalnız təhlükə sinfini tapmaqda deyil, daha sərt bounding-box örtüşmə şərtlərində lokallaşdırmada da yaxşılaşdığını göstərir.

Hesablama xərci və təhlükəsizlik yönümlü göstəricilər

ROAD-DETR, RF-DETR-M ilə müqayisədə parametr sayını təxminən %2.7 və hesablama xərcini təxminən %8.5 artırarkən test edilmiş RTX PRO A6000 sistemində təxminən 10.1 ms/görüntü və 99 FPS təmin etmişdir. Mənbədəki FPR, klassik true-negative əsaslı false-positive rate deyil; ümumi proqnozlar içində yanlış müsbət aşkarlamaların nisbətidir. FNR isə real təhlükələr içində qaçırılmış təhlükələrin nisbətidir.

ROAD-DETR müxtəlif avadanlıqlarda nə qədər sürətli işləyib?

Bu nəticələr avadanlıq kontekstinin kritik olduğunu göstərir. RTX PRO A6000 çox yüksək throughput təqdim edərkən Jetson Orin daha aşağı FPS-ə baxmayaraq mənbədə ən yüksək FPS/W dəyərini vermişdir. Raspberry Pi 5 üzərində isə 0.80 FPS real vaxt video aşkarlanması üçün nəzərəçarpacaq dərəcədə məhduddur. Buna görə “ROAD-DETR 99 FPS işləyir” ifadəsi avadanlıqdan asılı olmayan xüsusiyyət deyil.

Confidence branch nə qazandırdı?

Mənbə Şəkil 6-dakı reliability diagram tam ROAD-DETR-in predicted confidence ilə empirik dəqiqlik arasındakı əlaqəsinin RF-DETR-M-dən və confidence branch-i çıxarılmış ROAD-DETR-dən daha yaxşı kalibrasiya olunduğunu göstərir. Mənbə bu qrafikdən ayrıca ECE sayı bildirmədiyi üçün burada qrafikdən yeni kalibrasiya metriyi çıxarılmamışdır.

ROAD-DETR pis hava və kiçik təhlükələrdə performansını qoruyurmu?

ROAD-6-Det üzərində yaradılmış nəzarətli zəif işıq, duman, yağış, blur və kiçik-təhlükə şəraitində ROAD-DETR müqayisə edilən Transformer modellərindən daha yüksək performans göstərmişdir; lakin bu təcrübələr sərhədsiz real dünya hava şəraitində cross-domain doğrulama deyil, ümumi test görüntülərinə nəzarətli çətinlik tətbiq edilərək aparılan robustness qiymətləndirməsidir.

Sinif üzrə hansı təhlükələr daha çətindir?

Ən yüksək AP@50 qəza avtomobillərində 97.8% və aşmış ağaclarda 96.9%-dir. Yağ dağılması 91.2% və səth suyu 92.0% ilə daha çətin siniflərdir. Mənbə bunu zəif sərhədlər və əks etdirici/amorf görünüşlərlə əlaqələndirir. Confusion matrix-lərdə ən tez-tez rast gəlinən qarışıqlıqlardan biri Oil Spill ilə Surface Water arasındadır.

F1 hesabat qeydi: Əsas benchmark cədvəlində precision 93.2% və recall 91.1%-dən hesablanan ümumi F1 93.5% kimi verilmişdir. Sinif üzrə F1 dəyərlərinin Cədvəl 6-dakı “Mean” sətri isə 92.1%-dir. Bu iki dəyər fərqli aqreqasiya formalarını təmsil etdiyindən biri digərinin yerinə istifadə edilməməlidir.

Kumulyativ ablasiya: Hər modul nə qədər töhfə verdi?

HMSFM təkbaşına baseline ilə müqayisədə mAP@50-də 2.7, mAP@50:95-də 2.5 faiz bəndi artım təmin etmişdir. DAFEM əlavə ediləndə dəyərlər 90.6 və 68.7-yə; HQRM ilə 92.3 və 70.5-ə; confidence branch ilə 94.2 və 72.1-ə yüksəlmişdir. Bu kumulyativ təcrübə hər əlavə komponentin tam pipeline daxilində müsbət töhfə verdiyini göstərir.

Müstəqil ablasiya: Modullar hansı çətinlik növündə daha təsirlidir?

HMSFM-in ən böyük müstəqil töhfəsi kiçik təhlükələrdə görülmüş və baseline 79.8%-dən 83.2%-ə yüksəlmişdir. DAFEM yağış/duman şəraitində 82.6 → 86.0, zəif işıqda 81.4 → 85.2 artım yaratmışdır. HQRM bütün şəraitlərdə artım təmin edərkən xüsusilə zəif işıq və kiçik təhlükə şəraitində fayda göstərmişdir. Tam model bütün dörd qrupda tək-modullu variantlardan nəzərəçarpacaq dərəcədə yüksək nəticə vermişdir.

Tədqiqatın dəstəklədiyi nəticələr

• ROAD-6-Det, ROAD-6-nı görüntü-səviyyəli tanımadan bounding-box əsaslı obyekt lokallaşdırılmasına genişləndirmişdir.
• ROAD-DETR, ROAD-6-Det-in ümumi test bölməsində müqayisə edilən YOLO və Transformer modellərindən daha yüksək bildirilmiş ümumi performans əldə etmişdir.
• mAP@50:95 artımı daha sərt IoU hədlərində də lokallaşdırma dəqiqliyində yaxşılaşma olduğunu göstərir.
• HMSFM kiçik təhlükələr üçün, DAFEM pis görünürlük şəraiti üçün xüsusilə faydalı müstəqil töhfələr göstərmişdir.
• HQRM səhnə kontekstinə görə object query-ləri təkmilləşdirərək baseline ilə müqayisədə ardıcıl performans artımı təmin etmişdir.
• Confidence branch-in əlavə edilməsi həm detection performansını artırmış, həm də reliability diagram-da confidence kalibrasiyasını yaxşılaşdırmışdır.
• RTX PRO A6000 üzərində model 99 FPS; Jetson Orin üzərində 26 FPS ölçülmüşdür.

Tədqiqatın dəstəkləmədiyi ümumiləşdirmələr və məhdudiyyətlər

• Qiymətləndirmə əsasən ROAD-6-Det üzərində aparılmışdır; nəticələr sərhədsiz cross-domain ümumiləşdirmənin sübutu deyil.
• Mövcud digər verilənlər toplularının sinif və annotasiya strukturları fərqli olduğuna görə birbaşa altı sinifli cross-dataset benchmark aparılmamışdır.
• Robustness testlərindəki zəif işıq, duman, yağış və blur şəraitinin bir hissəsi nəzarətli görüntü pozuntusu ilə yaradılmışdır; bunlar bütün real meteoroloji şəraitin yerini tutmur.
• ROAD-DETR yalnız RGB görüntüdən istifadə edir; dərinlik, geometriya və hərəkət məlumatı verən LiDAR və ya radar bu modeldə istifadə olunmamışdır.
• Oil Spill, Surface Water və Icy Road kimi amorf səth təhlükələri oxlara paralel bounding box ilə yalnız təxmini şəkildə təmsil edilə bilər.
• Modelin yüksək benchmark performansı təkbaşına avtonom avtomobil təhlükəsizliyi və ya real sürüş təhlükəsizlik sertifikatlaşdırması demək deyil.
• Raspberry Pi 5 üzərindəki 0.80 FPS nəticəsi resurs-məhdud CPU platformalarında real vaxt istifadəsinin hazırkı formada məhdud olduğunu göstərir.

Gələcək tədqiqat

Müəlliflər gələcəkdə müxtəlif yol və mühit şəraitində kateqoriyaya uyğun avtomobil-əsaslı verilənlər toplayaraq müstəqil zero-shot qiymətləndirmə aparmağı, RGB-ni LiDAR geometriyası/dərinliyi, radar məsafə-hərəkət məlumatı və V2X konteksti ilə birləşdirən multimodal hazard perception strukturları hazırlamağı və amorf yol təhlükələri üçün bounding box-dan daha həssas shape-aware təmsil üsullarını araşdırmağı planlaşdırırlar.

Mənbə və Metod Qeydi

Orijinal başlıq: Learning to Expect the Unexpected: Benchmarking and Detecting Unexpected Road Hazards

Müəlliflər: Temirova Zubayda Okmirzaevna; Shehzad Ali; Rafał Scherer; Arslan Munir; Khan Muhammad.

Məsul müəlliflər: Arslan Munir; Khan Muhammad.

Qurumlar: Visual Analytics for Knowledge Laboratory (VIS2KNOW Lab), Department of Applied Artificial Intelligence, College of Computing and Informatics, Sungkyunkwan University, Seoul, Republic of Korea; Department of Artificial Intelligence, Częstochowa University of Technology, Częstochowa, Poland; Intelligent Systems, Computer Architecture, Analytics, and Security Laboratory (ISCAAS Lab), Department of Electrical Engineering and Computer Science, Florida Atlantic University, Boca Raton, USA.

Jurnal: Mathematics.

Nəşriyyat: MDPI.

Biblioqrafik qeyd: Mathematics 2026, 14(19), 3543.

DOI: 10.3390/math14193543

Göndərilmə: 30 iyul 2026. Reviziya: 15 sentyabr 2026. Qəbul: 24 sentyabr 2026. Nəşr: 29 sentyabr 2026.

Mənbə növü: Resenziyalı tədqiqat məqaləsi; kompüter görməsi, obyekt aşkarlanması, benchmark verilənlər toplusunun hazırlanması və eksperimental dərin öyrənmə model qiymətləndirilməsi.

Lisenziya: Creative Commons Attribution (CC BY).

Academic Editor: Lukun Wang.

Maliyyələşdirmə bəyanatı: Məqalənin Funding bölməsində “This research received no external funding” ifadəsi yer alır.

Acknowledgments bəyanatı: Ayrı Acknowledgments bölməsində tədqiqatın ANCHOR vasitəsilə Seoul ANCHOR Center tərəfindən dəstəkləndiyi və proqramın Ministry of Education ilə Seoul Metropolitan Government tərəfindən maliyyələşdirildiyi, layihə nömrəsinin 2026-ANCHOR-01-018-01 olduğu bildirilir. Bu iki mənbə bəyanatı burada bir-birinə çevrilmədən ayrıca saxlanılmışdır.

Verilənlər və kod əlçatanlığı: Məqalə ROAD-6-Det verilənlər toplusu ilə mənbə kodunun GitHub-dakı ROAD-6-Det deposunda açıq olduğunu və müvafiq mənbəyə 23 sentyabr 2026 tarixində giriş edildiyini bildirir.

Maraqlar toqquşması: Müəlliflər maraqlar toqquşmasının olmadığını bildirmişlər.

Müəllif töhfələri: Konseptuallaşdırma və metodologiya bütün müəlliflər; proqram təminatı Temirova Zubayda Okmirzaevna və Shehzad Ali; doğrulama Rafał Scherer, Arslan Munir və Khan Muhammad; formal analiz və tədqiqat bütün müəlliflər; resurslar Temirova Zubayda Okmirzaevna, Shehzad Ali və Khan Muhammad; verilənlərin kurasiyası Temirova Zubayda Okmirzaevna; ilkin layihə Temirova Zubayda Okmirzaevna, Shehzad Ali və Khan Muhammad; nəzərdən keçirmə/redaktə bütün müəlliflər; vizuallaşdırma Temirova Zubayda Okmirzaevna, Shehzad Ali və Khan Muhammad; rəhbərlik və layihə idarəçiliyi Arslan Munir və Khan Muhammad; maliyyələşdirmənin əldə edilməsi Khan Muhammad tərəfindən həyata keçirilmişdir.

Mənbə-daxili hesabat qeydləri: HMSFM əsas metod bölməsində “Hazard-Aware Multi-Scale Fusion Module” adlandırılmış, Cədvəl 7 izahında isə “Hierarchical Multi-Scale Fusion” kimi açılmışdır. Tənlik (20) dörd itki komponenti müəyyən edərkən Şəkil 3-də əlavə olaraq DFL loss əyriləri mövcuddur və mənbə bu fərqi açıq şəkildə uzlaşdırmır. Ümumi F1 skoru 93.5% olduğu halda sinif üzrə F1 dəyərlərinin Cədvəl 6 ortalaması 92.1%-dir; iki nəticə fərqli aqreqasiya səviyyələrində qorunmuşdur.

Əsas şərh sərhədi: ROAD-DETR-in bildirilmiş nəticələri ROAD-6-Det test bölməsinə və tədqiqatda müəyyən edilmiş robustness təcrübələrinə aiddir. Tədqiqat müstəqil altı sinifli cross-dataset zero-shot qiymətləndirmə, real avtomobil üzərində açıq yol təhlükəsizlik doğrulaması və ya bütün hava/coğrafiya şəraitində performans zəmanəti təqdim etmir.