MEC-Patch (Material Emissivity Controlled Patch), görünür ışık (RGB) ve uzun dalga kızılötesi (Long-Wave Infrared, LWIR) görüntülerini birlikte kullanan çok-modlu nesne algılama sistemlerinin adversarial dayanıklılığını değerlendirmek için malzemelerin emisivite, yani ısıl yayınım katsayısı gibi içsel fiziksel özelliklerini kullanan fizik-kısıtlı bir çapraz-modal adversarial saldırı çerçevesidir. Çalışma, kızılötesi perturbation'ı yalnız yapay piksel yoğunluğu veya değişken yüzey sıcaklığı üzerinden modellemek yerine Stefan–Boltzmann Yasası ile malzeme emisivitesini termal radyasyona bağlar; konum, biçim ve ayrık malzeme seçimlerini bir genotype içinde kodlar; bu ayrık ve doğrusal olmayan arama uzayını NSGA-II ile optimize eder ve farklı çevre koşullarında genellenebilirliği artırmak için Dynamic Adversarial Resampling (DAR) stratejisini kullanır. Sonuçlar DroneVehicle, LLVIP ve VisDrone veri kümeleri üzerinde çok sayıda görünür–kızılötesi detector ile güçlü ASR değerleri göstermektedir; ancak değerlendirme fiziksel olarak kısıtlanmış yüksek doğruluklu simülasyonlara dayanmaktadır ve gerçek trafik ortamında üretilmiş patch'lerle kapsamlı saha doğrulaması yapılmamıştır.
Çalışmanın çıkış noktası, görünür ve kızılötesi sensörlerin aynı fiziksel nesneyi farklı elektromanyetik mekanizmalarla görüntülemesidir. RGB kamera yüzeyin görünür ışığı nasıl yansıttığına ve ortam aydınlatmasına güçlü biçimde bağlıdır. LWIR kamera ise nesnenin termal radyasyonunu algılar; bu radyasyon yüzey sıcaklığının yanında malzemenin emisivitesi \(\epsilon\) tarafından belirlenir. Önceki bazı çapraz-modal adversarial çalışmalar kızılötesi görünümü ısıtma, soğutma veya geçici sıcaklık dağılımlarıyla değiştirmeye çalışırken MEC-Patch, sıcaklık gibi çevresel etkilerden kolayca değişebilen bir durum değişkeni yerine malzemenin daha içsel bir özelliği olan emisiviteyi kullanmayı amaçlamaktadır.
Çalışmanın kullandığı temel fizik:
\[ j=\epsilon\sigma T^4 \]
Stefan–Boltzmann bağıntısıdır. Burada \(j\) yüzeyden yayılan toplam radyant gücün birim alan başına miktarı, \(\epsilon\) boyutsuz emisivite, \(\sigma\approx5.67\times10^{-8}\,\mathrm{W/(m^2K^4)}\) Stefan–Boltzmann sabiti ve \(T\) Kelvin cinsinden mutlak sıcaklıktır. Kaynağın varsayımı altında aynı sıcaklık değişimi belirli bir emisivite dağılımındaki bütün bölgelerin termal sinyalini ortak biçimde ölçeklerken farklı emisivite değerlerinin göreli kontrastı korunabilir. MEC-Patch bu göreli kontrastın çevresel sıcaklık değişimlerine karşı geçici sıcaklık tabanlı perturbation'lardan daha kararlı olabileceği fikrinden yararlanır.
Bu fiziksel ilişki tek başına saldırı patch'ini belirlemez. Patch'in hedef üzerindeki konumu, dış geometrisi ve içindeki malzeme dağılımı birlikte optimize edilir. Araştırmacılar bu parametreleri \(g=[g_{\mathrm{pos}},g_{\mathrm{sha}},g_{\mathrm{mat}}]\) biçiminde birleşik bir genotype ile temsil eder. \(g_{\mathrm{pos}}\) patch merkezinin hedef bounding box içindeki normalize edilmiş konumunu, \(g_{\mathrm{sha}}\) geometrik biçimi ve \(g_{\mathrm{mat}}\) ayrık malzeme kimliklerini temsil eder.
Malzeme seçimi ayrık olduğu ve görünür/kızılötesi rendering işlemi güçlü biçimde doğrusal olmayan bir yapı oluşturduğu için çalışma klasik gradient descent yerine Non-dominated Sorting Genetic Algorithm II (NSGA-II) kullanmaktadır. Aynı anda üç hedef değerlendirilir: saldırı başarısı, görsel gizlilik ve patch alanı. DAR mekanizması ise kolay ve zor çevreleri sabit olasılıkla örneklemek yerine detector'ın hâlen yüksek güvenle çalıştığı zor sahnelere zamanla daha fazla ağırlık verir.
Ana deneylerde MEC-Patch, DroneVehicle üzerinde YOLOv3, YOLOv5, YOLOv8, YOLOv11 ve Faster R-CNN için sırasıyla %72,5, %77,7, %81,7, %73,7 ve %64,1 ASR raporlamaktadır. ViSDrone üzerinde karşılık gelen değerler %72,4, %72,0, %69,8, %69,0 ve %77,2; LLVIP üzerinde ise %80,3, %86,1, %80,8, %72,2 ve %77,1'dir.
Çapraz-model deneyleri, bir detector üzerinde optimize edilen patch'in başka bir mimariye kısmen aktarılabildiğini göstermektedir. Örneğin YOLOv11 kaynak modeli üzerinde optimize edilen patch Faster R-CNN üzerinde %59,9 ASR elde etmektedir. Çok-sahneli simülasyonlarda ise MEC-Patch'in beş detector üzerindeki ASR değerleri %53,5 ile %59,0 arasında kalmıştır; RandomPatch değerleri yaklaşık %0,4–1,4, UNIAP değerleri ise %15,2–21,4 aralığındadır.
Ablasyon sonuçları yöntemin üç bileşeninin de önemli olduğunu göstermektedir. YOLOv5 için tam MEC-Patch görünür/kızılötesi modalitelerde %64,2 / %76,8 ASR verirken malzeme genotype'u kaldırıldığında bu değer %36,3 / %17,4'e düşmektedir. YOLOv11'de tam yöntem %61,0 / %78,4 iken malzeme genotype'u çıkarıldığında %33,6 / %15,8 elde edilmektedir. Özellikle kızılötesi dalda görülen büyük düşüş, kaynak çalışmanın emisivite modellemesini çapraz-modal fiziksel tutarlılığın merkezi bileşeni olarak yorumlamasının temel dayanağıdır.
Bu sonuçlar gerçek araçların görünmez hale getirildiğini veya gerçek otonom sürüş sistemlerinin sahada güvenilir biçimde devre dışı bırakıldığını göstermez. Kaynak, çalışmayı çok-modlu algılama sistemlerindeki güvenlik açıklarını ortaya çıkarmaya yönelik akademik bir güvenlik değerlendirmesi olarak konumlandırmaktadır. Yazarlar üretim hassasiyeti, sınırlı malzeme kütüphanesi ve 2B fiziksel yaklaşımı açık sınırlılıklar olarak bildirmektedir.
MEC-Patch Nedir ve Önceki Çapraz-Modal Saldırılardan Nasıl Ayrılır?
MEC-Patch, görünür ve LWIR algılama dallarını aynı fiziksel patch üzerinden birlikte etkilemek amacıyla patch'in görünür renk/yansıma özellikleri ile kızılötesi emisivite özelliklerini ortak bir malzeme genotype'u içinde modelleyen ve bu genotype'u fizik-kısıtlı çok-amaçlı evrimsel optimizasyonla arayan bir güvenlik değerlendirme yöntemidir.
Neden yalnız RGB saldırısı yeterli değil?
Bir visible-infrared fusion detector aynı nesneyi iki farklı sensörden görür. RGB görüntüdeki adversarial desen yalnız görünür kamerayı yanıltıyor fakat LWIR görüntüde nesnenin termal imzası normal görünüyorsa fusion ağı ikinci modaliteden gelen bilgiyi kullanarak nesneyi yine algılayabilir. Bu nedenle tek-modal perturbation, çapraz-modal consistency kontrolünün sağladığı yedek bilgiyi aşamayabilir.
MEC-Patch'in araştırdığı güvenlik problemi budur: aynı fiziksel yüzey değişikliğinin hem görünür görüntüde hem de kızılötesi görüntüde detector'ın ortak feature fusion sürecini bozabilecek bir imza oluşturup oluşturamayacağı.
Neden yalnız sıcaklık kontrolü de sorun yaratabilir?
Sıcaklık \(T\), malzemenin değişmez kimliği değildir. Güneş ışığı, rüzgâr, atmosfer koşulları, hedefin kendi çalışma durumu ve çevre sıcaklığı yüzey sıcaklığını değiştirebilir. Bu nedenle belirli bir ısıtma veya soğutma düzeniyle oluşturulan termal kontrast başka bir çevrede aynı biçimde kalmayabilir.
Kaynak bu nedenle saldırı modelinin merkezini sıcaklıktan emisiviteye kaydırmaktadır. Emisivite, bir yüzeyin aynı sıcaklıktaki ideal siyah cisme kıyasla ne kadar termal radyasyon yaydığını belirten boyutsuz bir malzeme özelliğidir.
Emisivite Neden MEC-Patch'in Fiziksel Temelidir?
Kaynağın modelinde emisivite \(\epsilon\), LWIR görüntüdeki göreli termal kontrastın malzeme kimliğiyle ilişkilendirilebilmesini sağlar; sabit bir emisivite dağılımında sıcaklığın ortak biçimde değişmesi radyasyon seviyesini ölçeklese de farklı malzemelerin göreli emisivite farkları korunabildiğinden patch'in kızılötesi uzamsal deseni sıcaklık-temelli geçici perturbation'lardan daha kararlı modellenebilir.
Stefan–Boltzmann Yasası
Kaynak Denklem (2):
\[ j=\epsilon\cdot\sigma\cdot T^4 \tag{2} \]
Formül neyi hesaplar? İdealize edilmiş modelde bir yüzeyin birim alan başına toplam termal radyasyon gücünü.
\(j\): yayılan radyant güç yoğunluğu; birimi \(\mathrm{W/m^2}\).
\(\epsilon\): emisivite; boyutsuzdur.
\(\sigma\): Stefan–Boltzmann sabiti:
\[ \sigma\approx5.67\times10^{-8}\, \mathrm{W/(m^2K^4)} \]
\(T\): mutlak sıcaklık; Kelvin birimindedir.
Birim kontrolü:
\[ 1\times \frac{\mathrm{W}}{\mathrm{m^2K^4}} \times \mathrm{K^4} = \frac{\mathrm{W}}{\mathrm{m^2}} \]
olduğundan denklem boyutsal olarak tutarlıdır.
Denklemde sıcaklığın dördüncü kuvvetle bulunması, mutlak sıcaklığın termal radyasyon üzerinde güçlü doğrusal olmayan etkisi olduğunu gösterir. Ancak MEC-Patch'in vurguladığı nokta, belirli bir anda farklı patch hücrelerinin benzer termal ortamı paylaşması halinde emisivite farklarının göreli radyasyon kontrastını belirlemeye devam edebilmesidir.
Bu açıklama tam bir atmosfer/yüzey radyatif transfer modeli değildir. Kaynak da çevresel ve güneş kaynaklı yansımaların tam radyatif transferde bulunduğunu açıkça belirtir. Kullanılan model, tipik sürüş koşullarında \(T_{\mathrm{obj}}>T_{\mathrm{env}}\) olduğunda self-emission'ın baskın olduğunu varsayar.
LWIR görüntü yoğunluğuna geçiş
Kaynak termal radyasyonun sensör gri-seviye görüntüsüne aktarılmasını:
\[ I=M\left(\epsilon_i\sigma T^4\right) \tag{4} \]
ile tanımlar.
Burada \(I\), kızılötesi görüntüdeki dijital piksel yoğunluğu; \(\epsilon_i\), \(i\). malzemenin emisivitesi; \(M(\cdot)\) ise fiziksel termal radyasyon değerini sensörün dijital grayscale aralığına dönüştüren mapping fonksiyonudur.
Kaynak \(M(\cdot)\)'nin ayrıntılı sensör transfer fonksiyonunu ayrıca vermemektedir. Bu nedenle Verianla metni \(M\)'yi belirli bir kamera kalibrasyon eğrisiymiş gibi uydurmamaktadır.
Yerel termal denge varsayımı
Rendering modeli local thermal equilibrium varsayımını kullanır. Kaynak bu varsayım altında Fresnel denklemleri ve Kirchhoff yasası bağlamında malzeme emisivitesinin sıcaklığa yalnız zayıf bağımlılık gösterdiğini ve modelin \(-20^\circ\mathrm{C}\) ile \(50^\circ\mathrm{C}\) aralığında kararlı kontrast varsaydığını belirtmektedir.
Bu aralık gerçek hayattaki bütün malzemelerin emisivitesinin kesinlikle değişmez olduğu anlamına gelmez; modelin kullandığı fiziksel çalışma varsayımıdır.
Malzeme kütüphanesinin amacı nedir?
Malzeme kütüphanesi görünür renk/yansıma ile LWIR emisiviteyi birbirinden kısmen ayırabilen malzeme seçenekleri sağlamaktadır. Kaynak, görünür spektrumda benzer veya ayarlanabilir görünüme sahip yüzeylerin kızılötesi emisivite açısından önemli ölçüde farklı olabileceğini kullanır.
| Malzeme | Kaynak emisivite \(\epsilon\) | Kaynak IR sınıflandırması |
|---|---|---|
| Alüminyum folyo | 0,04 | Very cold |
| Parlatılmış oksitlenmemiş pirinç | 0,06 | Very cold |
| Paslanmaz çelik | 0,15 | Cold |
| Doğal anodize Al, 5 µm | 0,25 | Cold |
| Siyah anodize Al, 15 µm | 0,55 | Medium-warm |
| Derin siyah sert anodize Al, 50 µm | 0,82 | Hot |
| Seramik | 0,84–0,86 | Hot |
| Kauçuk | 0,90 | Very hot |
Kaynak içi sayı farkı: Ana deney bölümünde malzeme kütüphanesi \(N\), “örneğin 20” temsilî endüstriyel malzeme olarak tanımlanmaktadır. Supplementary Table 5 ise deneylerde kullanılan 26 endüstriyel malzemeyi listelediğini belirtir. Bu iki ifade kaynakta birlikte bulunduğu için Verianla bunlardan birini sessizce diğerinin yerine geçirmemektedir.
Multimodal object detection problemi nasıl formüle ediliyor?
Önceden eğitilmiş çok-modlu detector:
\[ f(\cdot) \]
iki kayıtlı görüntüyü giriş olarak alır:
\[ X_{\mathrm{vis}}\in\mathbb{R}^{H\times W\times3} \]
ve:
\[ X_{\mathrm{ir}}\in\mathbb{R}^{H\times W}. \]
İlk tensör RGB görüntünün \(H\times W\) piksel ve üç renk kanalına sahip olduğunu, ikinci tensör ise LWIR görüntünün tek yoğunluk kanalıyla temsil edildiğini ifade eder.
Kaynağın Denklem (1)'deki optimizasyon hedefi:
\[ \min_G \mathbb{E}_{s\in S} \left[ f\left( X_{\mathrm{vis}}\oplus P(G), X_{\mathrm{ir}}\oplus P(G) \right) \right] \tag{1} \]
biçimindedir.
\(G\), patch'in geometrik, topolojik ve malzeme parametrelerini içeren genotype; \(P(G)\), genotype'tan üretilen patch; \(S\), sahneler dağılımı; \(\oplus\), patch'in görüntüye uzamsal projection ve blending işlemini gösterir.
Optimizasyonun amacı hedef sınıfa ilişkin detector confidence'ını farklı sahneler boyunca azaltmaktır.
Genotype neden üç parçaya ayrılıyor?
Birleşik genotype:
\[ g= [g_{\mathrm{pos}},g_{\mathrm{sha}},g_{\mathrm{mat}}] \]
olarak tanımlanır.
\(g_{\mathrm{pos}}\): konum geni.
\[ g_{\mathrm{pos}}=[x_{\mathrm{rel}},y_{\mathrm{rel}}] \]
normalize edilmiş relatif koordinatlar patch merkezini hedef aracın bounding box'ı içinde tanımlar. Bu nedenle konum mutlak piksel koordinatından doğrudan bağımlı değildir ve nesne görüntüde büyüyüp küçüldüğünde semantik konumun korunması amaçlanır.
\(g_{\mathrm{sha}}\): biçim geni. Patch'in makroskopik dış geometrisini kontrol eder.
\(g_{\mathrm{mat}}\): malzeme geni. Dartboard hücrelerine hangi ayrık fiziksel malzemenin atanacağını kodlar.
Kaynak Denklem (3) biçimi
Kaynak patch konturu için:
\[ r(\theta)= \sqrt{ (a\cos\theta)^2+ (b\sin\theta)^2 } \tag{3} \]
ifadesini verir.
\(a\) ve \(b\), kaynak tarafından semi-axis parameters olarak tanımlanır ve dairesel biçimlerden oransal elips benzeri konturlara geçişi kontrol etmek için kullanılır.
Kaynak sadakati notu: Verianla bu denklemi makalede yazıldığı biçimde korumaktadır. İfade, matematik kitaplarında sık kullanılan standart elipsin merkezden sınırına polar yarıçap formülüyle aynı değildir. Kaynak farklı bir parametrik/yarıçapsal tanım kullanmış olabilir; açık bir düzeltme beyanı bulunmadığı için formül sessizce değiştirilmemiştir.
Dartboard topolojisi nedir?
Patch'in iç bölgesi açısal sektörlere \(N_\theta\) ve radyal halkalara \(N_r\) ayrılır. Her hücre ayrı bir malzeme kimliği taşıyabilir.
Araştırmacılar bu yapıyı iki nedenle kullanır: ayrık malzemelerin evrimsel algoritmayla aranabileceği düzenli bir topology sağlamak ve çok karmaşık serbest biçimli kenarlar yerine daha üretilebilir modüler bölgeler oluşturmak.
NSGA-II ve DAR Neden Birlikte Kullanılıyor?
NSGA-II konum, biçim ve ayrık malzeme seçimlerinin oluşturduğu doğrusal olmayan ve türevlenemeyen arama uzayında saldırı başarısı, gizlilik ve alan hedefleri arasında Pareto-uygun çözümler ararken; DAR değerlendirme sırasında zor çevrelere giderek daha yüksek örnekleme ağırlığı vererek optimizasyonun tek bir sahne dağılımına aşırı uyum göstermesini azaltmayı amaçlar.
Neden gradient tabanlı optimizasyon yerine NSGA-II?
\(g_{\mathrm{mat}}\) sürekli bir reel sayı vektörü değil, ayrık malzeme kimlikleri içerir. Bir malzemenin diğerine değiştirilmesi sürekli ve differentiable bir görüntü dönüşümü oluşturmak zorunda değildir.
Kaynak bu nedenle NSGA-II kullanır. Her evolutionary iteration'da candidate genotype population:
\[ P_t=\{g_1,\ldots,g_N\} \]
üzerinde tournament selection, simulated binary crossover ve polynomial mutation uygulanır. Non-dominated sorting ve crowding distance, birbirleriyle çelişebilecek hedefler arasında tek bir scalar optimum yerine Pareto-optimal candidate çeşitliliğini korumayı amaçlar.
Üç amaçlı fitness fonksiyonu
Kaynak:
\[ \Phi(g)= \left[ f_{\mathrm{atk}}(g), f_{\mathrm{stealth}}(g), f_{\mathrm{area}}(g) \right]^T \tag{5} \]
ifadesini kullanır.
\(f_{\mathrm{atk}}\): görünür ve kızılötesi dallardaki attack objective.
\(f_{\mathrm{stealth}}\): patch renk dağılımını arka plana yaklaştırmaya çalışan stealth objective.
\(f_{\mathrm{area}}\): aşırı büyük patch alanını cezalandıran area objective.
İki modalite saldırı objective'i
Kaynağın Denklem (6)'sı:
\[ f_{\mathrm{atk}}(g) = \mathbb{E}_{s\in S} \left[ \lambda_{\mathrm{vis}} L\left( f(R_{\mathrm{vis}}(g,s)),y \right) + \lambda_{\mathrm{ir}} L\left( f(R_{\mathrm{ir}}(g,s)),y \right) \right] \tag{6} \]
biçimindedir.
\(L\), prediction loss; \(R_{\mathrm{vis}}\), görünür rendering operator; \(R_{\mathrm{ir}}\), kızılötesi rendering operator; \(s\), DAR tarafından örneklenen scene state; \(y\), hedef ground-truth sınıfı; \(\lambda_{\mathrm{vis}}\) ve \(\lambda_{\mathrm{ir}}\) iki modalitenin loss ağırlıklarıdır.
Kaynak \(\lambda_{\mathrm{vis}}\) ve \(\lambda_{\mathrm{ir}}\) için burada ayrı sayısal değer raporlamamaktadır. Bunların eşit olduğu varsayılmamıştır.
DAR saldırılması zor sahneyi nasıl belirliyor?
Bir sahne için attack error:
\[ e_s^t = 1- \frac{1}{M} \sum_{j=1}^{M} \operatorname{conf} (x_j\oplus P) \tag{7} \]
ile hesaplanır.
\(\operatorname{conf}(\cdot)\), detector'ın hedef sınıfa verdiği confidence score'dur. Kaynağın tanımında düşük \(e_s^t\), detector'ın hedefi hâlâ yüksek confidence ile algıladığı ve dolayısıyla saldırı açısından daha zor bir sahne anlamına gelir.
Scene weight güncellemesi:
\[ w_s^{t+1} = \alpha w_s^t + (1-\alpha) \frac{ \exp(1-e_s^t) }{ \sum_{i=1}^{S} \exp(1-e_i^t) } \tag{8} \]
biçimindedir.
\(\alpha\) momentum smoothing factor'dür ve deneyde:
\[ \alpha=0.9 \]
kullanılmıştır.
Düşük attack error için \(1-e_s^t\) büyür; exponential terim büyüdüğü için ilgili scene weight yükselir. Bu nedenle sonraki nesillerde optimizer detector'ın hâlen iyi çalıştığı zor sahnelere daha sık maruz kalır.
DAR convergence sonucu
Supplementary analiz, uniform sampling'in erken dönemde plateau'ya yaklaştığını, DAR population'ının başlangıçta zor örneklere yoğunlaştığı için daha düşük ASR gösterebildiğini fakat ilerleyen nesillerde late-stage breakthrough oluşturarak global ASR'yi yaklaşık 15 yüzde puanı artırdığını raporlamaktadır.
Kaynak Figure 7'nin bütün ham generation–ASR koordinatlarını tablo olarak vermediğinden Verianla bu curve'ü sayısallaştırıp sahte kesinlikte yeniden çizmemektedir.
Çalışmanın Yöntemi ve Bulguları
ASR Sonuçları Gerçek Fiziksel Saha Başarısı Anlamına Geliyor mu?
Hayır; çalışmada yüksek ASR değerleri fiziksel malzeme özellikleriyle kısıtlanmış ve çok-sahneli biçimde oluşturulmuş simülasyon ortamlarında elde edilmiştir, ancak gerçek üretim toleransları, gerçek araç yüzeyi, tam çevresel radyatif transfer ve uzun süreli açık saha koşullarını içeren kapsamlı fiziksel deployment deneyi sunulmamaktadır.
Veri kümeleri
DroneVehicle: kaynak, gündüzden geceye koşulları kapsayan ve sıkı biçimde registered edilmiş 28.439 UAV-view görünür–kızılötesi görüntü çifti içerdiğini belirtmektedir.
LLVIP: düşük ışık altında pedestrian detection üzerine odaklanan ve görünür/LWIR görüntüler arasında hassas spatial alignment sağlayan bir veri kümesidir.
VisDrone: karmaşık arka planlar ve farklı ölçekte nesneler içeren büyük ölçekli UAV benchmark'ıdır. Kaynak deney ayarlarını önceki CDUPatch çalışmasını izleyerek kurduğunu belirtmektedir.
Victim detector'lar
- YOLOv3
- YOLOv5
- YOLOv8
- YOLOv11
- Faster R-CNN
İlk dört model one-stage detector sınıfında; Faster R-CNN ise two-stage detector olarak ele alınmıştır. Kaynak, benign araç görüntülerinde modellerin yaklaşık 0,9 confidence'a ulaşacak biçimde initialized ve fine-tuned edildiğini belirtmektedir.
Karşılaştırma yöntemleri
Ana karşılaştırmaya dört baseline alınmıştır:
- RandomPatch: konum ve texture'ın optimize edilmediği rastgele başlangıç baseline'ı.
- TOUAP: pixel-level joint loss kullanan dual-modal unified attack.
- UNIAP: spatial constraint ve cross-modal consistency loss kullanan universal patch yöntemi.
- CDUPatch: renk-temelli visible-infrared universal adversarial patch yaklaşımı.
Kaynak Hot-Cold yönteminin insan termal imzalarına yönelik olması, MoXAttack'in faithful reproduction için yeterli implementation ayrıntısı sağlamaması ve PAIP'in UNIAP'ın öncülü olması nedeniyle ana karşılaştırmayı yukarıdaki dört yöntemle sınırladığını belirtmektedir.
Uygulama parametreleri
| Parametre | Kaynak değeri |
|---|---|
| Framework | PyTorch |
| Detector inference çözünürlüğü | 640 × 640 piksel |
| NSGA-II population size | 60 |
| Maksimum generation | 80 |
| DAR momentum \(\alpha\) | 0,9 |
| Her iterasyonda seçilen sahne \(K\) | 5 |
| Sahne başına uzamsal konfigürasyon \(N\) | 3 |
| Maksimum patch coverage | Hedef bounding box'ın %30'u |
| Hesaplama donanımı | NVIDIA GeForce RTX 4090 |
ASR nedir?
Attack Success Rate (ASR), kaynakta detector'ın doğru kategoriyi başarılı biçimde tahmin edemediği ve bounding-box Intersection over Union (IoU) değerinin kullanılan eşiğin altında kaldığı durumların oranı olarak tanımlanmaktadır.
IoU, tahmin edilen bounding box ile ground-truth bounding box'ın kesişim alanının birleşim alanına oranıdır:
\[ \mathrm{IoU} = \frac{ \text{kesişim alanı} }{ \text{birleşim alanı} } \]
Bu IoU denklemi kavramsal açıklamadır; kaynak ASR tanımında IoU eşik değerinin sayısal değerini ana yöntem metninde ayrıca belirtmemektedir. Bu nedenle eşik uydurulmamıştır.
DroneVehicle sonuçları
| Yöntem | YOLOv3 | YOLOv5 | YOLOv8 | YOLOv11 | Faster R-CNN |
|---|---|---|---|---|---|
| RandomPatch | 11,2 | 8,8 | 2,4 | 1,9 | 8,3 |
| TOUAP | 31,6 | 28,2 | 21,0 | — | 25,7 |
| UNIAP | 46,9 | 41,6 | 33,7 | 30,6 | 38,8 |
| CDUPatch | 70,4 | 66,7 | 57,5 | — | 63,2 |
| MEC-Patch | 72,5 | 77,7 | 81,7 | 73,7 | 64,1 |
ViSDrone sonuçları
| Yöntem | YOLOv3 | YOLOv5 | YOLOv8 | YOLOv11 | Faster R-CNN |
|---|---|---|---|---|---|
| RandomPatch | 13,7 | 10,5 | 5,6 | 4,7 | 11,1 |
| TOUAP | 34,8 | 31,0 | 24,2 | — | 29,3 |
| UNIAP | 49,2 | 44,9 | 37,5 | 32,9 | 42,6 |
| CDUPatch | 71,8 | 68,5 | 60,3 | — | 65,6 |
| MEC-Patch | 72,4 | 72,0 | 69,8 | 69,0 | 77,2 |
LLVIP sonuçları
| Yöntem | YOLOv3 | YOLOv5 | YOLOv8 | YOLOv11 | Faster R-CNN |
|---|---|---|---|---|---|
| RandomPatch | 16,5 | 13,9 | 9,3 | 7,4 | 14,7 |
| TOUAP | 38,6 | 33,7 | 27,5 | — | 32,8 |
| UNIAP | 52,0 | 47,3 | 40,3 | 38,7 | 45,2 |
| CDUPatch | 73,2 | 73,1 | 63,0 | — | 68,0 |
| MEC-Patch | 80,3 | 86,1 | 80,8 | 72,2 | 77,1 |
SSIM ve LPIPS ne anlatıyor?
Kaynak yalnız attack success değil, perturbation'ın görünür doğal görünümünü değerlendirmek için SSIM ve LPIPS ölçütlerini de kullanır.
SSIM (Structural Similarity Index Measure) yapısal benzerliği ölçer; genel yorumda daha yüksek değer daha fazla benzerliğe işaret eder.
LPIPS (Learned Perceptual Image Patch Similarity) öğrenilmiş feature uzayında perceptual farkı ölçer; genel yorumda daha düşük değer daha yüksek görsel benzerliğe işaret eder.
| Koşul | MEC-Patch SSIM | UNIAP SSIM | MEC-Patch LPIPS | UNIAP LPIPS |
|---|---|---|---|---|
| DroneVehicle-Far | 0,970 | 0,952 | 0,051 | 0,068 |
| LLVIP-Near | 0,712 | 0,615 | 0,203 | 0,284 |
Bu metrikler patch'in gerçek bir insan gözlemci tarafından “fark edilmez” olduğunu kanıtlamaz. Görüntü-benzerliği metrikleri ile gerçek fiziksel fark edilmezlik aynı kavram değildir.
Çapraz-model transferability
| Optimize edilen kaynak model | YOLOv3 | YOLOv5 | YOLOv8 | YOLOv11 | RCNN |
|---|---|---|---|---|---|
| YOLOv3 | 72,5 | 62,0 | 60,6 | 40,6 | 52,0 |
| YOLOv5 | 59,9 | 77,6 | 62,7 | 38,9 | 55,6 |
| YOLOv8 | 50,7 | 60,3 | 81,7 | 36,3 | 49,4 |
| YOLOv11 | 52,9 | 62,2 | 57,1 | 73,6 | 59,9 |
| Fast-RCNN | 58,8 | 56,7 | 62,7 | 37,8 | 64,1 |
Notasyon notu: Kaynak ana metni modeli “Faster R-CNN (RCNN)” olarak adlandırırken Table 2 satır etiketi “Fast-RCNN” biçimindedir. Tablo etiketi kaynakta bulunduğu biçimiyle korunmuştur.
Diagonal değerler optimizer'ın aynı model üzerinde değerlendirildiği duruma; diagonal dışı değerler ise farklı detector'a transfer durumuna karşılık gelir. Örneğin YOLOv11 üzerinde optimize edilen patch'in RCNN üzerinde %59,9 ASR üretmesi kaynak tarafından black-box transferability göstergelerinden biri olarak yorumlanmaktadır.
Çok-sahneli performans
| Yöntem | YOLOv3 | YOLOv5 | YOLOv8 | YOLOv11 | RCNN |
|---|---|---|---|---|---|
| RandomPatch | 1,2 | 0,8 | 0,4 | 1,0 | 1,4 |
| UNIAP | 21,4 | 18,6 | 15,2 | 17,8 | 19,4 |
| MEC-Patch | 56,5 | 59,0 | 58,5 | 53,5 | 55,5 |
Kaynak bu değerlendirmede snowy field, desert ve urban nightscape gibi farklı simüle edilmiş çevreler kullandığını belirtmektedir. MEC-Patch'in beş detector üzerindeki değerleri %53,5–59,0 aralığında kalmıştır.
Yazarlar bu kararlılığı intrinsic material emissivity modellemesi ve DAR'ın zor çevrelere ağırlık vermesiyle ilişkilendirmektedir. Bu bir mekanizma yorumudur; gerçek hava koşullarında üretilmiş fiziksel patch'in aynı aralıkta ASR vereceğine ilişkin doğrudan saha ölçümü değildir.
Ablasyon: konum, biçim ve malzeme genleri ne kadar önemli?
| Victim | Yöntem | Visible ASR | Infrared ASR |
|---|---|---|---|
| YOLOv5 | MEC-Patch w/o \(g_{\mathrm{pos}}\) | 32,4 | 18,5 |
| YOLOv5 | MEC-Patch w/o \(g_{\mathrm{shp}}\) | 45,8 | 42,1 |
| YOLOv5 | MEC-Patch w/o \(g_{\mathrm{mat}}\) | 36,3 | 17,4 |
| YOLOv5 | MEC-Patch | 64,2 | 76,8 |
| YOLOv11 | MEC-Patch w/o \(g_{\mathrm{pos}}\) | 28,7 | 15,2 |
| YOLOv11 | MEC-Patch w/o \(g_{\mathrm{shp}}\) | 41,5 | 38,6 |
| YOLOv11 | MEC-Patch w/o \(g_{\mathrm{mat}}\) | 33,6 | 15,8 |
| YOLOv11 | MEC-Patch | 61,0 | 78,4 |
Konum geni: \(g_{\mathrm{pos}}\) kaldırıldığında özellikle infrared ASR YOLOv5'te %18,5, YOLOv11'de %15,2'ye düşmektedir. Kaynak bunu patch'in aracın semantik açıdan kritik bölgelerine göre konumunun önemli olduğuna dair kanıt olarak yorumlamaktadır.
Biçim/topoloji geni: Kaynağın “Dartboard” polar partition yapısı, sabit rectangular geometry karşılaştırmasına göre yaklaşık 20–30 yüzde puan ASR kazancı sağladığını bildirmektedir.
Malzeme geni: \(g_{\mathrm{mat}}\) kaldırılıp kızılötesi görünüm heuristic intensity fitting ile modellendiğinde infrared ASR her iki detector için de %18'in altına inmektedir. Bu, kaynak yazarların emisivite-temelli fiziksel modellemeyi yöntemin merkezine yerleştirmesinin en güçlü ablasyon dayanaklarından biridir.
Kaynak içi ifade farkı: Ana ablasyon paragrafı bir yerde “peak dual-modal ASR of 64.2% and 76.8%” ifadesini kullanmaktadır. Ancak aynı Table 4, YOLOv11 için tam MEC-Patch değerlerini %61,0 / %78,4 olarak vermektedir. Verianla model bazındaki değerlerde tabloyu aynen aktarmış ve metin–tablo farkını sessizce düzeltmemiştir.
Patch alanına duyarlılık
Supplementary Figure 8 patch-to-vehicle area ratio'yu %10 ile %50 arasında incelemektedir. Kaynak:
- %10 alanın yetersiz adversarial etki sağladığını,
- %30 civarında bütün veri kümelerinde ASR'nin %70'i aştığı belirgin bir yükseliş görüldüğünü,
- %50'ye giderken ASR'nin doygunluğa yaklaştığını ve LLVIP'te yaklaşık %100'e yaklaştığını
bildirmektedir.
Ancak ana deney düzeninde patch alanı hedef bounding box'ın en fazla %30'u ile sınırlandırılmıştır. Supplementary sensitivity analizi ile ana deney constraint'i birbirine karıştırılmamalıdır.
Confidence threshold duyarlılığı
Supplementary Figure 9, detection threshold \(\tau\) değiştiğinde ASR'yi inceler. Kaynak, \(\tau=0.3\) gibi sıkı bir threshold altında dahi yüksek ASR'nin korunduğunu ve attack sonrasında target response'un çoğunlukla yaklaşık 0,15–0,20 altına bastırıldığını belirtmektedir.
Bu threshold, ana ASR tanımındaki IoU threshold ile aynı parametre olarak varsayılmamalıdır; kaynak bunları farklı değerlendirme bağlamlarında kullanmaktadır.
Kaynağın Algorithm 1 işlem sırası
- Konum, biçim ve malzeme genlerinden başlangıç population'ı oluşturulur.
- Dartboard hücreleri ayrık malzeme kimlikleriyle kodlanır.
- DAR mevcut scene weights kullanarak \(K\) sahne seçer.
- Her genotype için visible ve infrared rendering gerçekleştirilir.
- ASR, stealth ve area objective'leri değerlendirilir.
- DAR scene attack error'larına göre sahne ağırlıklarını günceller.
- NSGA-II non-dominated sorting, tournament selection, SBX crossover ve mutation uygular.
- Offspring ile mevcut population birleştirilir.
- Crowding distance üzerinden sonraki \(N\) candidate seçilir.
- Belirlenen generation sayısı sonunda attack objective açısından seçilen genotype final patch rendering'ine dönüştürülür.
Not: Ana yöntem metni convergence sonunda “candidate with the highest fitness” ifadesini kullanırken supplementary Algorithm 1 final seçimi \(g^*=\arg\min f_{\mathrm{atk}}(g)\) biçiminde yazar. Objective'lerin cost/loss olarak kurulması nedeniyle ikinci ifade matematiksel akışla uyumludur; ancak Verianla kaynakta bulunan terminoloji farkını gizlememektedir.
Çalışmanın desteklediği sonuçlar
- Emisivite-temelli görünür–LWIR rendering, incelenen simülasyon koşullarında güçlü çapraz-modal ASR üretmiştir.
- MEC-Patch bütün üç veri kümesinde ve bütün test edilen detector'larda RandomPatch ve UNIAP'tan belirgin biçimde yüksek ASR elde etmiştir.
- Birçok Table 1 koşulunda MEC-Patch CDUPatch'ten de daha yüksek ASR üretmiştir.
- Patch'lerin farklı detector mimarilerine aktarılabilen adversarial etkisi gözlenmiştir.
- DAR, uniform sampling karşılaştırmasına göre supplementary convergence analizinde yaklaşık 15 yüzde puan global ASR artışıyla ilişkilendirilmiştir.
- Konum, biçim ve malzeme genlerinin her biri ablasyonda performansa katkı sağlamıştır.
- Özellikle malzeme/emisivite bileşeninin çıkarılması kızılötesi ASR'de büyük düşüş oluşturmuştur.
- Kaynak, görünür görünüm ile LWIR emisivite cevabının malzeme düzeyinde kısmen ayrıştırılmasının multimodal feature alignment'ı bozabildiğini göstermektedir.
Çalışmanın desteklemediği sonuçlar
- Gerçek trafikte çalışan otonom araçların aynı oranlarla yanıltılabildiği gösterilmemiştir.
- Gerçek bir otomobile üretilip monte edilmiş 26 malzemeli patch'in bütün deneyleri tamamlanmış değildir.
- Simülasyon ASR'si doğrudan gerçek dünya saldırı başarı olasılığı değildir.
- Stefan–Boltzmann bağıntısının tek başına gerçek LWIR sensöründeki bütün radiative-transfer etkilerini eksiksiz modellediği gösterilmemiştir.
- Emisivitenin bütün malzemelerde ve bütün sıcaklık/çevre koşullarında değişmez olduğu iddia edilmemektedir.
- VisDrone, DroneVehicle veya LLVIP sonuçlarının başka veri kümelerine aynı sayılarla genelleneceği gösterilmemiştir.
- YOLO ve Faster R-CNN dışında bütün multimodal detector mimarilerine karşı aynı transferability garanti edilmemektedir.
- Yöntemin üretim toleranslarına tamamen duyarsız olduğu gösterilmemiştir.
- Patch alanının büyütülmesinin sınırsız yarar sağladığı gösterilmemiştir; supplementary analizde doygunluk görülmektedir.
- Bu araştırma gerçek sistemleri sabote etmek amacıyla sunulmamıştır; kaynak çalışmayı akademik güvenlik değerlendirmesi ve security-by-design geliştirmesi bağlamında sınırlar.
Sınırlılıklar
Üretim hassasiyeti: Yüksek frekanslı Dartboard desenlerinin kesme ve birleştirme hassasiyeti gerçek üretim toleranslarından etkilenebilir.
Malzeme kütüphanesi: Supplementary bölüm mevcut 26 malzemeli kütüphanenin proof-of-concept için yeterli ancak exhaustive olmadığını belirtir.
2B yaklaşım: Çalışma planar patch approximation kullanmaktadır. Gerçek araç yüzeylerinin karmaşık curvature'ı daha ayrıntılı 3B model gerektirir.
Radyatif model: Model local thermal equilibrium ve self-emission dominance gibi fiziksel varsayımlar kullanır. Tam güneş/çevre reflection ve karmaşık radiative transfer bütün ayrıntılarıyla modellenmemiştir.
Simülasyon–fiziksel deployment farkı: Kaynak fiziksel olarak tutarlı rendering ve üretilebilir malzeme kısıtları kullanmasına rağmen sonuçların önemli kısmı yüksek doğruluklu simülasyon ortamındadır.
Gelecek çalışma önerileri
Yazarlar malzeme kütüphanesini yeni endüstriyel coatings, fabrics ve paints ile genişletmeyi; 2B planar approximation'dan gerçek yüzey curvature'ını hesaba alan yüksek doğruluklu 3B adversarial modellemeye geçmeyi; parametric mesh deformation ile fizik tabanlı rendering motorlarını birleştirerek daha gerçekçi deployment senaryoları oluşturmayı önermektedir.
Kaynak ve Yöntem Notu
Özgün başlık: MEC-Patch: Visible-Infrared Cross-Modal Adversarial Attack Driven by Intrinsic Material Emissivity Laws
Yazarlar ve sıra: Zhixiang Huang; Xinbo Nie; Wenxuan Wang; Lu Yang; Xin Li; Xuelin Qian; Peng Wang.
Eşit katkı: Kaynakta açık bir equal-contribution / co-first-author beyanı tespit edilmemiştir.
Yazar işaretleri: PDF'nin yazar alanında Wenxuan Wang yanında “*”, Xuelin Qian yanında “†” işareti bulunur. İncelenen PDF metninde bu iki sembolün anlamını açıkça tanımlayan footnote tespit edilemediği için corresponding-author veya başka bir rol varsayılmamıştır.
Afiliasyon — Zhixiang Huang: Northwestern Polytechnical University, Xi’an, China.
Afiliasyon — Xinbo Nie: Northwestern Polytechnical University, Xi’an, China.
Afiliasyon — Wenxuan Wang: Northwestern Polytechnical University, Xi’an, China; Shenzhen Research Institute of Northwestern Polytechnical University, Shenzhen, China.
Afiliasyon — Lu Yang: Raytron Technology Co., Ltd, Xi’an, China.
Afiliasyon — Xin Li: City University of Hong Kong, Hong Kong, China.
Afiliasyon — Xuelin Qian: Northwestern Polytechnical University, Xi’an, China; Shenzhen Research Institute of Northwestern Polytechnical University, Shenzhen, China.
Afiliasyon — Peng Wang: Northwestern Polytechnical University, Xi’an, China.
ArXiv: arXiv:2608.05634v1 [cs.MM].
ArXiv gönderim tarihi: 6 Ağustos 2026.
Yayın türü: ACM Multimedia konferans araştırma bildirisi / proceedings paper.
Konferans: 34th ACM International Conference on Multimedia (MM ’26).
Konferans tarihleri: 10–14 Kasım 2026.
Konferans yeri: Rio de Janeiro, Brazil.
Yayınevi: Association for Computing Machinery (ACM).
DOI: 10.1145/3767308.3835147.
ISBN: 979-8-4007-2213-4/2026/11.
Hakemlik durumu: Çalışma ACM Multimedia 2026 proceedings içinde yayımlanmış konferans makalesidir. ACM Multimedia 2026 resmî yönergeleri konferans makaleleri için peer-review ve double-blind review süreci uygulandığını belirtmektedir.
Lisans: Creative Commons Attribution 4.0 International License (CC BY 4.0).
Alan: Multimodal computer vision, object detection, adversarial robustness, security and privacy.
Veri kümeleri: DroneVehicle, LLVIP, VisDrone.
Victim modeller: YOLOv3, YOLOv5, YOLOv8, YOLOv11 ve Faster R-CNN.
Karşılaştırma yöntemleri: RandomPatch, TOUAP, UNIAP ve CDUPatch.
Ana optimizasyon: Physics-constrained NSGA-II + Dynamic Adversarial Resampling (DAR).
Rendering yaklaşımı: Visible branch için malzeme RGB/reflectivity özellikleri; infrared branch için emisivite-temelli Stefan–Boltzmann thermal-radiation mapping; hedef üzerine TPS projection ve alpha blending.
Ana deney parametreleri: 640 × 640 inference; population 60; 80 generation; DAR \(\alpha=0.9\); \(K=5\) scene; scene başına \(N=3\) spatial configuration; maksimum patch coverage %30; NVIDIA GeForce RTX 4090.
Finansman: National Natural Science Foundation of China (No. 62502387 ve 62406252); China Postdoctoral Science Foundation (No. BX20250486 ve 2025M784419); Natural Science Basic Research Program of Shaanxi (No. 2025JC-YBQN-861); Guangdong Basic and Applied Basic Research Foundation (No. 2025A1515011465 ve 2025A1515010158); Postdoctoral Science Foundation of Shaanxi Province (No. 2025BSHSDZZ105).
Veri erişilebilirliği: İncelenen PDF'de ayrı bir Data Availability Statement tespit edilmemiştir.
Çıkar çatışması: İncelenen PDF'de ayrı bir Conflict of Interest / Competing Interests beyanı tespit edilmemiştir.
Yazar katkıları: İncelenen PDF'de CRediT veya ayrı Author Contributions bölümü tespit edilmemiştir; katkı rolleri tahmin edilmemiştir.
Kaynak içi malzeme sayısı farkı: Ana deney metni malzeme kütüphanesini \(N\) “örneğin 20” temsilî malzeme şeklinde tanımlarken supplementary Table 5 26 endüstriyel malzeme kullanıldığını belirtmektedir. Bu iki ifade kaynakta bulunduğu biçimde korunmuştur.
Kaynak içi shape-genotype notasyonu: Ana yöntemde \(g_{\mathrm{sha}}\), ablasyon bölümünde \(g_{\mathrm{shp}}\) notasyonu kullanılmaktadır. Metinde kavram “shape genotype” olarak tek anlamda açıklanmıştır; kaynak notasyon farkı gizlenmemiştir.
Denklem (3) notu: \(r(\theta)=\sqrt{(a\cos\theta)^2+(b\sin\theta)^2}\) kaynakta verildiği biçimde korunmuştur; standart elips polar formülüyle sessizce değiştirilmemiştir.
Ablasyon metin–tablo notu: Kaynak anlatımında bir yerde “64.2% and 76.8% peak dual-modal ASR” ifadesi bulunurken Table 4'te YOLOv11 tam MEC-Patch değerleri %61,0 / %78,4'tür. Model bazındaki değerler tabloda verildiği biçimde aktarılmıştır.
Bilimsel yorum sınırı: Kaynak, MEC-Patch'i gerçek dünya güvenlik açıklarını teşhis etmeye yönelik fizik-tabanlı bir değerlendirme çerçevesi olarak sunmaktadır; ana nicel sonuçlar yüksek doğruluklu fiziksel-kısıtlı simülasyonlardan gelmektedir. Kapsamlı fiziksel araç/gerçek trafik saha doğrulaması yapılmamıştır.
Etik/kullanım sınırı: Kaynak supplementary discussion bölümünde çalışmanın yalnız akademik araştırma amacıyla, multimodal perception sistemlerindeki potansiyel güvenlik açıklarını belirlemek için yürütüldüğünü ve ticari kullanım için uygulanmayacağını açıkça belirtmektedir.
Gelecek çalışma: Daha geniş malzeme/coating/fabric/paint kütüphanesi ve gerçek geometrik curvature'ı hesaba alan yüksek doğruluklu 3B adversarial modeling.
Bir yorum bırakın
E-posta adresiniz yayınlanmayacaktır. Gerekli alanlar * ile işaretlenmiştir