QuPAINT (Physics-Aware Instruction Tuning), ikiölçülü kvant materiallarının optik mikroskop təsvirlərini fiziki optika öncülləri ilə multimodal süni intellekti birlikdə istifadə etməklə xarakterizə etməyi hədəfləyən multimodal model çərçivəsidir. Tədqiqat bir-biri ilə əlaqəli dörd komponent qurur: Synthia, nazik təbəqə interferensiyasını Transfer Matrix Method (TMM) ilə modelləşdirərək fiziki əsaslandırılmış sintetik flake təsvirləri yaradır; QMat-Instruct, bu təsvirləri fizika-məlumatlı sual–cavab cütləri ilə birləşdirir; Physics-Informed Attention (PIA), mikroskop təsvirindəki flake–substrat rəng kontrastını CIELAB məkanında ölçərək vizual tokenləri fiziki baxımdan yenidən çəkiləndirir; QF-Bench isə modeli müxtəlif ikiölçülü materiallar və görüntüləmə şərtləri üzrə qiymətləndirmək üçün annotasiyalı benchmark təqdim edir.
Buradakı “kvant materialı” ifadəsi metodun kvant kompüterində işlədiyi mənasına gəlmir. İstifadə olunan öyrənmə arxitekturası klassik süni intellekt və kompüter görməsi modelidir. “Kvant” xüsusiyyəti qrafen, MoS2, WTe2, h-BN və buna bənzər atomik naziklikdə materialların elektron, optik və kvant xüsusiyyətlərinin təbəqə sayından güclü şəkildə asılı olmasından irəli gəlir. Tədqiqatın məqsədi yeni kvant zərrəciyi və ya yeni material sintez etmək deyil; mövcud ikiölçülü flake-ləri optik mikroskop təsvirlərindən daha etibarlı şəkildə tapmaq, yerləşdirmək və təbəqə sinifləri ilə əlaqələndirməkdir.
Mənbə real laboratoriya iş axınındakı əsas problemi belə müəyyən edir: optik mikroskopiya çox sayda flake-in sürətlə görüntülənməsinə imkan verir, lakin qalınlığı birbaşa və dəqiq şəkildə təmin etmir; Atomic Force Microscopy (AFM) isə nanometr miqyasında qalınlıq ölçümü təmin edə bilər, lakin yavaşdır, fiziki nümunənin köçürülməsini tələb edir və böyük məlumat toplamada miqyaslanması çətindir. Bundan əlavə, mono-, bi- və bir neçə təbəqəli flake-lər arasındakı vizual kontrast fərqləri işıqlandırma, kamera, substrat qalınlığı və ağ balansından qaynaqlanan dəyişikliklərdən daha kiçik ola bilər. Buna görə yalnız RGB görünüşünə əsaslanan ümumi obyekt aşkarlama modelləri fərqli laboratoriyalara köçürülərkən çətinlik çəkə bilər.
QMat-Instruct təlim məlumatı səkkiz material üçün hər material üzrə 50.000 nümunə olmaqla cəmi 400.000 nümunə ehtiva edir. Mənbə real və fizika əsaslı sintetik təsvirlərdən birlikdə istifadə edir. Təlimdə mikroskop təsvirləri 448×448 ölçüsünə gətirilir və üst-üstə düşməyən 14×14 patch-lərə bölünür. Vizual tərəf InternViT tətbiqindən istifadə edir; text encoder Qwen3-dən başladılır. AdamW optimizer, \(2\times10^{-5}\) learning rate, \(1\times10^{-4}\) weight decay, batch size 4 və 2 epoch istifadə edilmiş; təlim 16 A100 GPU üzərində aparılmışdır.
QF-Bench cədvəlində BN, Graphene, MoS2, MoSe2, MoWSe2, WS2, WSe2 və WTe2 olmaqla səkkiz material üzrə cəmi 280.526 flake annotasiyası bildirilir. Bunların 2.546-sı Mono, 3.417-si Few və 274.563-ü Thick kateqoriyasındadır. Bu bölgü nazik və xüsusən tək təbəqəli flake siniflərinin benchmark daxilində çox daha az təmsil olunduğunu açıq göstərir.
Instruction grounding qiymətləndirməsində QuPAINT-2B, Acc@50 = 51,4 və Acc@75 = 39,5 əldə edərək eyni cədvəldə verilən InternVL-2B və Qwen3VL-2B modellərindən daha yüksək nəticə göstərmişdir. Ümumi flake aşkarlanmasında QuPAINT-8B 45,6 AP, 60,5 AP50 və 47,9 AP75; mono-layer aşkarlanmasında isə 37,3 AP, 52,8 AP50 və 39,9 AP75 bildirir. Bu rəqəmlər tədqiqatın QF-Bench qiymətləndirməsinə aiddir; fərqli mikroskoplar, substratlar və ya doğrulanmamış material sistemlərində eyni performansın təmin olunduğu mənasına gəlmir.
Tədqiqat həmçinin iki əsas məhdudiyyət bildirir. Synthia real mikroskoplarda görülən bütün flake qüsurlarını və bütün görüntüləmə müxtəlifliyini yenidən yarada bilmədiyindən yeni laboratoriyalarda domain gap qala bilər. QuPAINT-ın ikinci əsas məhdudiyyəti multimodal modelin maksimum token uzunluğudur; həddindən artıq sıx flake olan təsvirlər çox sayda vizual token yaratsa, model bütün səhnəni emal etməkdə çətinlik çəkə bilər.
QuPAINT Kvant Kompüterindən İstifadə Edirmi?
Xeyr. QuPAINT klassik GPU-larda təlim görən kompüter görməsi və multimodal böyük dil modeli çərçivəsidir; “quantum” sözü hesablama avadanlığını deyil, təhlil edilən ikiölçülü kvant materiallarını ifadə edir. Fiziki optika modeli TMM ilə nazik təbəqə interferensiyasını hesablayır, PIA optik kontrastı vizual attention öncülünə çevirir və multimodal model bu məlumatı təsvir və mətnlə birlikdə emal edir.
İkiölçülü kvant materiallarında təbəqə sayı niyə bu qədər vacibdir?
Atomik naziklikdə ikiölçülü materiallarda cəmi bir neçə atomik təbəqənin əlavə edilməsi və ya çıxarılması elektron zolaq quruluşunu, optik cavabı və digər kvant xüsusiyyətlərini dəyişə bilər. Buna görə flake-in yalnız “orada olub-olmadığını” tapmaq kifayət deyil; onun monolayer, bilayer və ya daha qalın bölgə olub-olmaması da elmi baxımdan vacibdir.
Mənbə nümunə kimi graphene, MoS2 və WTe2 kimi sistemləri verir. Lakin tədqiqatın özü bu materialların elektron zolaq quruluşlarını hesablamır. Araşdırmanın birbaşa vəzifəsi təbəqə sayı ilə əlaqəli optik kontrastı təsvir emalı və multimodal öyrənmə üçün istifadə edilə bilən hala gətirməkdir.
Optik mikroskop ilə AFM arasındakı fərq
| Metod | Üstünlük | Məhdudiyyət | Tədqiqatdakı rolu |
|---|---|---|---|
| Optik mikroskopiya | Minlərlə flake-i sürətlə görüntüləyə bilər. | Təbəqə qalınlığını təkbaşına dəqiq vermir; rəng işıqlandırma və substratdan təsirlənir. | QuPAINT-ın əsas təsvir girişini təşkil edir. |
| Atomic Force Microscopy (AFM) | Nanometr miqyasında fiziki qalınlıq ölçümü təmin edir. | Yavaşdır; flake-in yenidən tapılması, nümunənin köçürülməsi və ayrı-ayrı ölçmələr tələb olunur. | Optik görünüşdən avtomatik proqnoz ehtiyacının motivasiyasını yaradır. |
QuPAINT-ın məqsədi AFM-in fiziki ölçmə imkanını aradan qaldırdığını sübut etmək deyil. Model optik təsvir əsasında namizəd flake və təbəqə sinfi çıxarışı aparır. Kritik fiziki xarakterizasiya tələb edən təcrübələrdə AFM, Raman spektroskopiyası və ya digər müstəqil ölçmə üsullarının artıq gərəksiz olduğu nəticəsini bu tədqiqat dəstəkləmir.
Synthia İkiölçülü Kvant Materialı Təsvirlərini Necə Yaradır?
Synthia real mikroskop fonları üzərinə yerləşdiriləcək sintetik ikiölçülü flake-lərin rənglərini təsadüfi seçmək əvəzinə, hava–flake–SiO2–Si təbəqə sisteminin nazik təbəqə interferensiyasını Transfer Matrix Method ilə hesablayan, nəticəni CIE rəng məkanına çevirən və daha sonra real təsvirin ağ balansı ilə təmiz substrat bölgələrinə uyğunlaşdıran fizika əsaslı sintetik məlumat istehsal çərçivəsidir.
Transfer Matrix Method niyə lazımdır?
İkiölçülü flake optik mikroskopda yalnız öz “təbii rəngi” səbəbindən görünmür. Flake, SiO2 və Si kimi təbəqələrin sərhədlərində işıq təkrar-təkrar əks olunur və ötürülür. Müxtəlif optik yollar arasında yaranan faza fərqi müəyyən dalğa uzunluqlarını gücləndirib digərlərini zəiflədə bilər. Bu hadisə nazik təbəqə interferensiyasıdır.
Synthia hər təbəqəni kompleks sınma əmsalı:
və fiziki qalınlıq \(d_l\) ilə müəyyən edir. \(n_l\) sınma əmsalının həqiqi hissəsini, \(k_l\) udulma ilə əlaqəli sönmə hissəsini, \(\lambda\) işığın dalğa uzunluğunu göstərir. Sınma əmsalları ölçüsüzdür; \(\lambda\) və \(d_l\) eyni uzunluq vahidində götürülməlidir.
Tənlik (1): Təbəqə sərhədində Fresnel əmsalları
\(r_{l,l+1}\), \(l\)-ci təbəqədən \(l+1\)-ci təbəqəyə keçiddə əksolunma amplitud əmsalını; \(t_{l,l+1}\), ötürülmə amplitud əmsalını təmsil edir. Bunlar birbaşa işıq intensivliyi deyil; elektrik sahəsi amplitudları arasındakı nisbətlərdir və ölçüsüzdür.
Təbəqə daxilində işığın irəliləməsi faza gecikməsi yaradır. Mənbə bu əlaqəni:
şəklində istifadə edir və hər təbəqədə yayılmanı bir \(P_l\) propagation matrix ilə təmsil edir. Fiziki məna aydındır: eyni qalınlıqda daha böyük sınma əmsalı optik yolu artırır; eyni materialda daha böyük dalğa uzunluğu isə vahid qalınlıq başına faza yığılmasını azaldır.
Tənlik (2): Bütün təbəqələrin transfer-matrix zənciri
\(u_0=1\), daxil olan elektrik sahəsi amplitudunun normallaşdırılmasıdır. \(v\), ümumi əks olunmuş sahə amplitudu; \(u\), substrata ötürülən sahə amplitududur. \(M_{l,l+1}\), interfeys transfer matrix-ni; \(P_l\), \(l\)-ci təbəqədəki propagation matrix-ni təmsil edir.
Əksolunma:
ilə hesablanır. \(R(\lambda)\) ölçüsüz intensivlik nisbətidir və işığın dalğa uzunluğundan asılıdır.
Mənbə sintetik flake istehsalında görünən spektri:
intervalında \(D\) diskret dalğa uzunluğunda nümunələyir.
Tənlik (3): Əksolunma spektri RGB rənginə necə çevrilir?
\(\mathbf{S}(\lambda)\in\mathbb{R}^{3\times1}\), CIE 1931 rəng uyğunlaşdırma funksiyalarının üç rəng komponentini; \(I(\lambda)\), standart işıqlandırıcının spektrini; \(R(\lambda)\), hesablanmış reflectance dəyərini təmsil edir. Nəticə \(\mathbf{x}\), RGB rəng komponentləri ilə əlaqələndirilən üçkomponentli rəng vektorudur.
Mənbə eyni ifadəni matrix şəklində:
kimi də yazır. \(\circ\), element-wise product, yəni eyni dalğa uzunluğundakı işıqlandırma ilə əksolunma dəyərlərinin elementlər üzrə hasilidir.
Optik model Python-dakı tmm paketi ilə tətbiq edilmişdir. Synthia, məsələn graphene, MoS2, WSe2 və h-BN üçün dalğa uzunluğundan asılı \(n(\lambda)\) və \(k(\lambda)\) funksiyalarından istifadə edərək müxtəlif qalınlıqlardakı reflectance spektrlərini hesablayır.
Synthia-nın əvvəlki sintetik istehsala əlavə etdiyi komponentlər
| Xüsusiyyət | MaskTerial | Synthia |
|---|---|---|
| Birdən çox material mənbəyindən flake formaları | Var | Var |
| Fizika əsaslı optik simulyasiya (TMM) | Var | Var |
| Fərdiləşdirilmiş rəng kalibrlənməsi | Yox | Var |
| CIE standartının istifadəsi | Yox | Var |
| Mövcud flake-lərlə üst-üstə düşmənin qarşısının alınması | Yox | Var |
White-Balance-Aware modulu niyə lazımdır?
Real mikroskop təsvirlərində istifadəçi və ya cihaz RGB kanallarına fərqli gain dəyərləri tətbiq edə bilər. Eyni material və substrat belə müxtəlif laboratoriyalarda fərqli rənglərdə görünə bilər. Synthia bu fərqi fizika modelini tərk etməklə deyil, fizika modelindən yaranan rəngə real istinad təsvirindən çıxarılan kanal qazanclarını tətbiq etməklə nəzərə alır.
Substrate-Aware modul niyə lazımdır?
Sintetik flake təsadüfi hər hansı pikselə yerləşdirilərsə real flake-lərin, çirklərin və ya başqa strukturların üzərinə düşə bilər. Bu, fiziki baxımdan real olmayan compositing artefact-ları yarada bilər. Synthia PIA əsaslı attention xəritəsindən aşağı attention-a malik təmiz substrat bölgələrini seçərək sintetik flake-i yalnız uyğun bölgələrə yerləşdirməyi hədəfləyir.
Synthia Algorithm 1-in əməliyyat ardıcıllığı
| Mərhələ | Əməliyyat | Məqsəd |
|---|---|---|
| 1 | İstinad substratın median rəngi çıxarılır. | Real təsvirin rəng kalibrlənməsini təmsil etmək. |
| 2 | Hava–SiO2–Si substratının TMM reflectance spektri hesablanır. | Fizika modelinin gözlədiyi substrat rəngini tapmaq. |
| 3 | CIE proyeksiyası ilə fiziki substrat rəngi hesablanır. | Spektri təsvir rəng məkanına daşımaq. |
| 4 | Real və model substrat rəngləri arasından kanal əsaslı gain \(g\) çıxarılır. | White-balance fərqini modelləşdirmək. |
| 5 | PIA xəritəsi yaradılıb normallaşdırılır. | Təmiz substrat bölgələrini müəyyən etmək. |
| 6 | 90. percentil həddinə görə substrat maskası əldə edilir. | Yüksək kontrastlı mövcud flake/tekstura bölgələrini kənarlaşdırmaq. |
| 7 | Random flake mask və materiala uyğun thickness nümunələnir. | Sintetik flake geometriyasını və fiziki qalınlığını seçmək. |
| 8 | Mövcud strukturlarla üst-üstə düşməyən koordinat seçilir. | Fiziki baxımdan mənasız overlap-ın qarşısını almaq. |
| 9 | Hava–flake–SiO2–Si yığını üçün reflectance hesablanır. | Təbəqə sayından asılı optik görünüş yaratmaq. |
| 10 | Reflectance CIE ilə rəngə çevrilir və white-balance gain tətbiq olunur. | Real mikroskop təsvirinə daha uyğun rəng yaratmaq. |
| 11 | Sintetik flake real substrat bölgəsinə maska ilə kompozisiya edilir. | Son sintetik mikroskop təsvirini yaratmaq. |
QMat-Instruct nədir?
QMat-Instruct müəlliflərin kvant materiallarının xarakterizasiyası üçün hazırladığı multimodal physics-aware instruction məlumat dəstidir. Hər nümunə yalnız mikroskop təsviri və ya bounding box etiketi deyil; təsvirə bağlı təbii dil sualı və fiziki görünüşü izah edən cavab ehtiva edir.
Mənbə nümunə tapşırıqları üç əsas sinifdə verir: flake sayma, flake yerləşdirmə və müəyyən təbəqə sinfinin olub-olmadığını doğrulama. İzahatlarda kontrast, rəng sürüşməsi və kənar şəffaflığı kimi nazik təbəqə interferensiyası ilə əlaqəli vizual ipucları var.
Mənbə təlim dəstində səkkiz materialdan istifadə edir:
BN, Graphene, MoS2, MoSe2, MoWSe2, WS2, WSe2 və WTe2.
Hər material üçün 50.000 sample yaradıldığı və ümumi təlim nümunəsinin:
olduğu mənbədə açıq şəkildə göstərilir.
Physics-Informed Attention (PIA) Nəyi Ölçür?
Physics-Informed Attention (PIA), hər təsvir patch-inin CIELAB rəng məkanındakı median rənginin təsvirin median substrat rəngindən Evklid məsafəsini hesablayaraq flake–substrat optik kontrastını təmsil edən attention öncülü yaradır; QuPAINT bu fizika əsaslı skoru öyrənilə bilən affine düzəlişdən keçirib vizual tokenləri çəkiləndirmək üçün istifadə edir.
Vision encoder: Tənlik (4)
\(I\in\mathbb{R}^{H\times W\times C}\), mikroskop təsviridir. \(H\) təsvirin hündürlüyü, \(W\) eni, \(C\) kanal sayıdır. \(Enc_v\) vision encoder; \(v_i\), \(i\)-ci patch üçün \(d\)-ölçülü vizual embedding; \(k\), ümumi patch/token sayıdır.
PIA hər patch üçün:
physics-based contrast score yaradır.
Fizika skoru niyə birbaşa istifadə edilmir?
Saf fizika modeli laboratoriyanın real kamera spectral response-unu, white-balance seçimlərini və bütün illumination fərqlərini tam bilməyə bilər. Buna görə QuPAINT fiziki öncülü sabit saxlamaq əvəzinə yalnız miqyas və bias-ı öyrənən kiçik kalibrləmə əlavə edir.
Tənlik (5): Öyrənilə bilən PIA düzəlişi
\(\sigma\), logistic sigmoid funksiyasıdır. \(\alpha_i\), xam fizika əsaslı attention score; \(w\) və \(b\), təlim zamanı öyrənilən birölçülü miqyas və sürüşdürmə parametrləridir. \(\beta_i\), vizual token üzərində tətbiq ediləcək düzəldilmiş attention çəkisidir.
Tənlik (6): Vizual tokenlərin fiziki çəkiləndirilməsi
\(\beta_i\) kiçikdirsə uyğun patch embedding-in modelə töhfəsi basdırılır; böyükdürsə vizual token daha güclü daşınır. Lakin bu, fiziki olaraq “bu patch mütləq flake-dir” demək deyil. \(\beta_i\), multimodal model daxilində istifadə olunan attention çəkisidir.
Tənlik (7): Mətn encoder
\(T=\{T_1,\ldots,T_L\}\), istifadəçi təlimatı və ya fizika-məlumatlı sual ardıcıllığıdır. \(Enc_t\), text encoder; \(t_j\), hər mətn tokeninin embedding-idir.
Tənlik (8): Multimodal çıxış
Fizika ilə çəkiləndirilmiş vizual tokenlər və mətn tokenləri multimodal decoder-a verilir. \(Y\), modelin yaratdığı cavab token ardıcıllığıdır; \(M\), çıxış uzunluğudur.
Tənlik (9): Autoregressive dil-modeli itkisi
\[ \mathcal{L}_{LM} = -\frac{1}{M} \sum_{j=1}^{M} \log P_\theta \left( y_j \mid y_{
Bu loss düzgün növbəti tokenə verilən ehtimalı artırmağa çalışır. \(y_{
PIA üçün ayrıca müstəqil birbaşa supervision loss tətbiq edilmir. \(w\) və \(b\), dil-modeli loss-dan gələn backpropagation yolu ilə dolayı şəkildə optimallaşdırılır. Beləliklə fiziki attention tam sərbəst neural attention-a çevrilmədən kiçik öyrənilə bilən kalibrləmə qazanır.
CIELAB niyə RGB əvəzinə istifadə olunur?
RGB dəyərləri birbaşa kamera spectral response-u, exposure və white-balance əməliyyatlarından təsirlənə bilər. CIELAB isə luminance \(L^\ast\) ilə iki chromatic coordinate olan \(a^\ast\) və \(b^\ast\)-ni ayıran perceptual rəng məkanıdır. Mənbə flake ilə substrat arasındakı CIELAB məsafəsini thin-film interference mənşəli reflectance fərqinə daha davamlı image-space proxy kimi istifadə edir.
Tənlik (10): CIELAB perceptual contrast
\(\Phi\), RGB-dən CIELAB-a nonlinear çevrilmə; \(I(x)\), araşdırılan pixel/patch rəngi; \(I_{bg}\), substrat fon rəngi; \(\|\cdot\|_2\), Evklid normudur.
\(\Delta E\) fiziki uzunluq, enerji və ya elektrik sahəsi vahidinə malik deyil. CIELAB koordinatları arasındakı qavrayış rəng fərqini təmsil edən ölçüsüz contrast skorudur.
Tənlik (11): Patch-level PIA skoru
\(\hat I_k\), \(k\)-cı patch-in median rəngidir. \(I_{bg}\), bütün təsvir və ya seçilmiş region-of-interest daxilində median fon rəngidir.
Əlavə material: ΔE ilə optik reflectance arasındakı birinci dərəcəli əlaqə
Supplementary material, CIELAB contrast-ın fiziki optika modeli ilə əlaqəsini first-order Taylor approximation vasitəsilə izah edir. Flake-in substrata nisbətən spectral reflectance fərqi:
kimi müəyyən edilir. Mono- və few-layer flakes üçün \(\|\Delta R\|_\infty\)-nin kiçik olduğu fərziyyəsi altında RGB→LAB çevrilməsi substrat rəngi ətrafında xəttiləşdirilir:
\(J_\Phi(I_{bg})\), RGB→LAB çevrilməsinin \(I_{bg}\) nöqtəsindəki Jacobian matrix-dir. \(E(\lambda)\), illumination spectrum; \(S(\lambda)\), kamera/rəng matching spectral response; \(\Delta R(\lambda)\), flake-in substrata nisbətən reflectance fərqidir.
Mənbə daha sonra müəyyən müsbət \(c\) sabiti üçün:
əlaqəsini verir.
Bu sübutun şərh sərhədi vacibdir: mənbə \(\Delta E\)-ni təbəqə sayı ilə yerli olaraq monotonic proxy kimi əsaslandırır. Bu, bütün materiallarda, bütün thickness intervallarında və bütün optik quruluşlarda qlobal olaraq təkqiymətli “ΔE → təbəqə sayı” çevrilməsinin sübut edildiyi mənasına gəlmir.
Supplementary White-Balance tənlikləri
Real istinad substratın kanal əsaslı orta rəngi:
Burada \(M_{sub}\), təmiz substrat piksellərini seçən binary mask-dır.
Fizika modelindən hesablanan white-balance-dan əvvəlki substrat rəngi:
Mənbə diagonal channel-gain yanaşması ilə:
ifadəsini verir. \(\oslash\), element-wise division-dır.
Bu gain sintetik təsvirin hər RGB kanalına:
şəklində tətbiq edilir və nəticə \([0,1]\) intervalına clip edilir.
Supplementary Substrate-Aware yerləşdirmə tənlikləri
LAB attention xəritəsi:
yaradıldıqdan sonra:
ilə normallaşdırılır.
Təmiz substrat maskası:
kimi müəyyən edilir. Yüksək-attention bölgələri flake və ya yüksək teksturalı sahə qəbul edilərək kənarda saxlanılır.
Sintetik flake maskası \(M_i\), seçilmiş koordinatda təmiz substratla uyğun olmalıdır:
\(\odot\), element-wise multiplication-dır. Nəticənin sıfır olması sintetik flake maskasının mövcud qadağan olunmuş bölgə ilə kəsişməməli olduğunu ifadə edir.
Seçilmiş material \(s\), layer stack \(S=\{\mathrm{air},s,\mathrm{SiO_2},\mathrm{Si}\}\) və thickness \(t_i\) üçün:
reflectance spectrum hesablanır.
Bu spectrum CIE rəng proyeksiyası ilə:
RGB rənginə çevrilir.
Son compositing:
ilə aparılır. \(M_i=1\) olan flake piksellərində sintetik rəng istifadə olunur; \(M_i=0\) olan piksellərdə real substrat təsviri qorunur.
Tədqiqatın Metodu və Nəticələri
QF-Bench Nəyi Ölçür və Niyə Vacibdir?
QF-Bench, QuPAINT və digər modellərin müxtəlif ikiölçülü materiallarda flake aşkarlanması və təbəqə sinfinə həssas localization uğurunu ortaq protokolla müqayisə etmək üçün yaradılmış annotasiyalı benchmark-dır; mənbə səkkiz material üzrə 280.526 flake annotasiyası bildirir və model performansını ümumi flake, mono-layer flake və instruction-grounding tapşırıqlarında ölçür.
Model təlimi və inference parametrləri
| Parametr | Dəyər | Rol |
|---|---|---|
| Vizual tətbiq | InternViT | Vision encoder infrastrukturu |
| Təsvir ölçüsü | 448×448 | Model girişi |
| Patch | 14×14, üst-üstə düşməyən | Vision token istehsalı |
| Text encoder initialization | Qwen3 | Təlimat embedding-ləri |
| Optimizer | AdamW | Parametr optimallaşdırması |
| Learning rate | \(2\times10^{-5}\) | Optimizer addım ölçüsü |
| Weight decay | \(1\times10^{-4}\) | Regularization |
| Batch size | 4 | Mini-batch ölçüsü |
| Epoch | 2 | Təlim dövrü |
| GPU | 16 × A100 | Təlim avadanlığı |
| Augmentation | Random crop, horizontal flip, CIELAB color jitter | Illumination və white-balance robustness |
| Inference temperature | \(T=0.2\) | İstehsal sampling parametri |
QF-Bench flake bölgüsü
| Material | Mono | Few | Thick | Cəmi |
|---|---|---|---|---|
| Cəmi | 2.546 | 3.417 | 274.563 | 280.526 |
| BN | 13 | 111 | 10.100 | 10.224 |
| Graphene | 1.856 | 2.081 | 4.270 | 8.207 |
| MoS2 | 246 | 536 | 108.352 | 109.134 |
| MoSe2 | 24 | 32 | 1.327 | 1.383 |
| MoWSe2 | 9 | 35 | 293 | 337 |
| WS2 | 43 | 5 | 2.144 | 2.192 |
| WSe2 | 207 | 35 | 6.195 | 6.437 |
| WTe2 | 148 | 582 | 141.882 | 142.612 |
Mənbə daxilində kateqoriya sərhədi qeydi: əsas mətn QF-Bench üçün “mono-layer, few-layer (2–5 layers) və thick (5+ layers)” ifadəsini istifadə edir. Bu yazılış 5 təbəqəli nümunəni hər iki sərhədə daxil edir kimi görünür. Verianla bunu səssizcə 2–4 formasına dəyişdirməmişdir. Table 2 yalnız Mono/Few/Thick sayımlarını verdiyi üçün 5-layer nümunələrin faktiki olaraq hansı kateqoriyada kodlandığını bu PDF-dən dəqiq müəyyən etmək mümkün deyil.
AP, AP50 və AP75 nəyi ölçür?
Mənbə standart object-detection metrikləri olan AP, AP50 və AP75-dən istifadə edir. Əsas localization ölçüsü Intersection over Union (IoU)-dur. Aşağıdakı IoU formulu bu metrikləri izah etmək üçün verilən standart kompüter görməsi fon məlumatıdır; tədqiqatın yeni nəticəsi deyil:
\(B_{\mathrm{pred}}\), modelin proqnozlaşdırdığı bounding box; \(B_{\mathrm{gt}}\), ground-truth qutusudur. IoU 1-ə yaxınlaşdıqca iki qutu daha güclü üst-üstə düşür.
AP50, 0,50 IoU həddində precision–recall performansını; AP75, daha sərt 0,75 IoU həddindəki performansı təmsil edir. AP75-in yüksək olması yalnız flake-in təxmini bölgəsinin tapılmasının deyil, bounding box-ın daha dəqiq yerləşdirilməsinin də yaxşı olduğuna işarə edir.
Instruction grounding nəticələri
| Model | Acc@50 | Acc@75 |
|---|---|---|
| InternVL-2B | 43,3 | 30,8 |
| Qwen3VL-2B | 45,8 | 32,1 |
| QuPAINT-2B | 51,4 | 39,5 |
Instruction grounding modelin yalnız təbii dil cavabı yaratmasını deyil, təlimatla əlaqəli flake bölgəsini düzgün təsvir mövqeyinə bağlaya bilməsini qiymətləndirir. Mənbə RefCOCO qiymətləndirmə protokolunu izlədiyini bildirir.
Ümumi və mono-layer flake aşkarlanması
| Model | Ümumi Flake Detection | Mono Flake Detection | Parametr | FLOPs | ||||
|---|---|---|---|---|---|---|---|---|
| AP | AP50 | AP75 | AP | AP50 | AP75 | |||
| MaskRCNN-R50 | 18,7 | 36,5 | 17,8 | 9,8 | 28,9 | 9,0 | 44M | 134,4B |
| MaskRCNN-R101 | 20,3 | 38,1 | 18,9 | 11,1 | 30,6 | 10,3 | 63M | 334,8B |
| ViTDet (base) | 17,4 | 35,2 | 16,5 | 8,7 | 27,6 | 7,8 | 86M | 1,3T |
| ViTDet (large) | 18,9 | 37,0 | 17,3 | 9,9 | 29,8 | 8,5 | 300M | 4,1T |
| YOLOv11-m | 24,8 | 41,9 | 21,1 | 17,0 | 27,2 | 16,4 | 20M | 68,0B |
| YOLOv11-l | 26,9 | 43,0 | 23,5 | 18,9 | 29,8 | 17,3 | 25M | 86,9B |
| YOLOv11-x | 29,6 | 44,5 | 24,6 | 19,8 | 31,3 | 18,7 | 57M | 194,9B |
| Co-DETR | 22,7 | 35,9 | 23,3 | 12,2 | 25,3 | 11,4 | 304M | 119,4B |
| RT-DETRv2 | 27,5 | 37,2 | 27,0 | 17,5 | 37,8 | 14,7 | 76M | 259,0B |
| MaskTerial | 23,8 | 41,0 | 25,4 | 16,8 | 35,5 | 17,2 | 45M | 150,7B |
| φ-Adapt | 30,3 | 49,1 | 27,4 | 24,1 | 38,2 | 23,4 | 91M | 368,3B |
| QuPAINT-1B | 36,9 | 50,7 | 38,6 | 28,0 | 42,9 | 29,5 | 1,1B | 1,5T |
| QuPAINT-2B | 38,7 | 53,6 | 41,2 | 30,2 | 45,5 | 32,0 | 2,3B | 3,4T |
| QuPAINT-4B | 42,4 | 58,2 | 46,8 | 34,1 | 50,2 | 38,0 | 4,7B | 7,9T |
| QuPAINT-8B | 45,6 | 60,5 | 47,9 | 37,3 | 52,8 | 39,9 | 8,5B | 14,5T |
Cədvəl eyni anda iki meyli göstərir. Birincisi, mənbə benchmark-ında QuPAINT variantları müqayisə olunan baseline modellərdən daha yüksək nəticə verir. İkincisi, QuPAINT daxilində model ölçüsü 1B-dən 8B-yə böyüdükcə AP dəyərləri yüksəlir, eyni zamanda parametr və FLOP xərci də əhəmiyyətli dərəcədə artır. Buna görə nəticə yalnız “daha yaxşı accuracy” deyil, həm də daha yüksək computational cost ehtiva edən scaling trade-off göstərir.
Mənbə daxilində YOLO adlandırma uyğunsuzluğu: Table 4-də YOLOv11-m/l/x dəyərləri görünür. Buna baxmayaraq nəticə mətninin bəzi cümlələrində “YOLOv8-x” və Table 4 ilə uyğun gəlməyən 28,3/19,0 AP dəyərləri yazılıb. Verianla kəmiyyət müqayisəsində görünən Table 4 dəyərlərini source-of-truth kimi ötürmüş; mətndəki fərqi ayrıca görünən saxlamışdır.
PAD və PIA ablasiyası
| PAD | PIA | AP | AP50 | AP75 |
|---|---|---|---|---|
| Yox | Yox | 28,1 | 42,7 | 30,3 |
| Yox | Var | 30,6 | 44,8 | 32,6 |
| Var | Yox | 31,7 | 46,5 | 33,4 |
| Var | Var | 34,1 | 50,2 | 38,0 |
Baseline quruluş 28,1 AP olduğu halda yalnız PIA 30,6 AP-yə, yalnız PAD 31,7 AP-yə və iki komponent birlikdə istifadə edildikdə 34,1 AP-yə çatır. Mənbə bunu iki fizika-məlumatlı komponentin tamamlayıcı təsiri kimi şərh edir.
Lakin “ablation yaxşılaşdı, deməli fiziki mexanizm sübut olundu” nəticəsi çıxarılmamalıdır. Ablasiya bu iki model komponentinin benchmark performansına töhfə verdiyini göstərir; model attention çəkilərinin real material fizikasının bütün səbəb–nəticə quruluşunu təmsil etdiyini sübut etmir.
Mənbə daxilində terminologiya qeydi: metodun əsas adı bütün məqalə boyu Physics-Informed Attention (PIA) olduğu halda bölmə 6.3-də bir yerdə “Physical Interaction Attention” yazılmışdır. Eyni bölmə PAD üçün “Physics-Aware Description” ifadəsini istifadə edir, Table 5 caption-ında isə fərqli açılış görünür. Verianla PIA-nı məqalənin metod bölməsindəki canonical adı ilə qoruyur və digər yazılışları ayrıca yeni modul kimi qiymətləndirmir.
Supplementary QMat-Instruct nümunələri nə göstərir?
Supplementary Figure 6–15 sintetik optik mikroskop təsvirləri ilə model arasındakı sual–cavab nümunələrini göstərir. Mənbə output-u üç vizual bölməyə ayırır: flake candidate enumeration, physics-informed reasoning və structured final conclusion. Bu nümunələr modelin yalnız sinif etiketi yaratmaq əvəzinə əvvəlcə namizəd bölgələri müəyyən etməyi, sonra optik görünüş barədə əsaslandırma yaratmağı və sonda strukturlaşdırılmış nəticə verməyi hədəflədiyini göstərir.
Bu supplementary nümunələrdəki bounding-box koordinatları bu Verianla məqaləsinə daşınmayıb; çünki hər nümunənin xam təsviri və coordinate output-u oxucu üçün əsas elmi nəticəni anlamaqda zəruri deyil və mənbə təsvirlərini yenidən yayımlamaq əvəzinə metod məntiqini izah etmək daha təhlükəsizdir.
QF-Bench-in hamısı yayımlanıbmı?
Supplementary material, məlumat həcminə görə QF-Bench-in həmin versiyada yalnız 50 nümunəsinin yayımlandığını bildirir. Release quruluşu COCO JSON formatındadır və `images`, `annotations` və `categories` kimi yuxarı səviyyəli sahələrdən istifadə edir. Hər flake üçün bounding-box annotasiyası mövcuddur.
QuPAINT Nəticələri Necə Şərh Edilməlidir?
QuPAINT nəticələri fizika əsaslı sintetik istehsal ilə fizika-məlumatlı multimodal representation-ın tədqiqatın QF-Bench və instruction-grounding testlərində güclü performans verdiyini göstərir; lakin bu nəticələr optik təsvir əsasında edilən proqnozların AFM, Raman və ya başqa fiziki ölçmələri bütün şərtlərdə əvəz edə biləcəyini, yeni laboratoriyada eyni AP dəyərlərinin qorunacağını və ya modelin yeni kvant materialları kəşf etdiyini sübut etmir.
Tədqiqatın güclü tərəfləri
Tədqiqat məlumat çatışmazlığı probleminə yalnız “daha böyük süni intellekt modeli” ilə yanaşmır. Məlumat istehsalında TMM əsaslı nazik təbəqə fizikasından, white-balance uyğunlaşdırmasından və substrate-aware yerləşdirmədən istifadə edərək synthetic data-nın fiziki realizmini artırmağa çalışır.
PIA full optical modelin hər inference patch-də yenidən işlədilməsini tələb etmədən CIELAB contrast-ı fiziki proxy kimi istifadə edir. Bu yanaşma tam data-driven attention ilə tam sabit fizika modeli arasında hibrid quruluş yaradır.
Mənbə yalnız ümumi flake detection-a deyil, daha aşağı kontrastlı mono-layer detection-a da ayrıca baxır. Beləliklə asan siniflərin orta performansı daha çətin tək-təbəqə problemindəki səhvləri gizlədə bilmir.
Model scaling, instruction grounding və PAD/PIA ablasiyası ayrıca bildirilmişdir. Bu sayədə hansı komponentin nə qədər töhfə verdiyi ən azı benchmark səviyyəsində araşdırıla bilər.
Tədqiqatın əsas məhdudiyyətləri
Synthetic-to-real domain gap: Synthia fizika əsaslı olsa belə bütün mikroskop, kamera, illumination, contamination, qırıq/çatlaq flake və digər real qüsur müxtəlifliklərini yenidən yarada bilmir.
Token həddi: Çox sıx təsvirlərdə flake sayı və vizual token miqdarı mövcud multimodal modellərin context/token tutumunu aşa bilər.
Məlumat balanssızlığı: QF-Bench cədvəlində Thick kateqoriyası Mono və Few siniflərindən say baxımından çox daha böyükdür. Mənbə bu balanssızlığı cədvəllə görünən edir, lakin bütün mümkün class-imbalance təsirlərini ayrıca statistik analizlə həll etmir.
Fiziki doğrulama sərhədi: QuPAINT-ın çıxışı optik təsvirə əsaslanır. Modelin bounding box və ya layer şərhini birbaşa fiziki qalınlıq ölçümü kimi qəbul etmək uyğun deyil.
Statistik hesabat: Mənbə AP, Acc@50 və Acc@75 kimi benchmark metriklərini bildirir; əsas performans cədvəllərində confidence interval, p-value və ya run-to-run standard deviation verilmir. Buna görə Verianla nəticələrə mənbədə olmayan statistik əhəmiyyət iddiası əlavə etmir.
Kateqoriya tərifi: QF-Bench əsas mətnindəki “Few = 2–5” və “Thick = 5+” sərhədləri 5 təbəqədə üst-üstə düşür və mənbə bu PDF daxilində həmin sərhədi açıq şəkildə həll etmir.
Tədqiqatın dəstəklədiyi nəticələr
Synthia-nın TMM, CIE rəng çevrilməsi, white-balance correction və substrate-aware placement komponentlərini birləşdirən physics-based synthetic generation yanaşması təmin etdiyi mənbədə açıq göstərilir.
QMat-Instruct-ın səkkiz material üzrə cəmi 400.000 physics-aware multimodal training sample yaratdığı bildirilir.
PIA-nın CIELAB \(\Delta E\) əsaslı kontrast skorunu öyrənilə bilən affine calibration ilə visual embeddings-ə tətbiq etdiyi metod tənlikləri ilə göstərilir.
QuPAINT variantlarının mənbə Table 4-də müqayisə edilən detector-lara nisbətən daha yüksək ümumi və mono-layer AP dəyərləri verdiyi bildirilir.
PAD və PIA-nın birlikdə istifadəsi ablasiya cədvəlində hər iki komponentin təkbaşına istifadə edildiyi konfiqurasiyalardan daha yüksək AP dəyərləri verir.
Tədqiqatın dəstəkləmədiyi ümumiləşdirmələr
Tədqiqat kvant kompüteri və ya kvant alqoritmi istifadə edərək təsvir analizi aparmır.
Tədqiqat modelin optik təsvir əsasında atomik təbəqə sayını bütün materiallar və bütün mikroskop şərtlərində səhvsiz müəyyən etdiyini göstərmir.
Tədqiqat AFM və ya digər müstəqil material xarakterizasiya metodlarının artıq gərəksiz olduğunu göstərmir.
Tədqiqat Table 4-dəki AP dəyərlərinin müxtəlif laboratoriyalarda eyni qalacağını təmin etmir.
Tədqiqat physics-informed attention-ın həqiqətən bütün fiziki mexanizmi öyrəndiyini sübut etmir; benchmark performansına töhfəsini göstərir.
Tədqiqat yeni kvant materialı sintez etdiyini və ya yeni fiziki faza kəşf etdiyini bildirmir.
Mənbə və Metod Qeydi
Özgün başlıq: QuPAINT: Physics-Aware Instruction Tuning Approach to Quantum Material Discovery
Müəlliflər: Xuan-Bac Nguyen, Hoang-Quan Nguyen, Sankalp Pandey, Tim Faltermeier, Nicholas Borys, Hugh Churchill, Khoa Luu.
Müəllif sırası: Mənbədə verildiyi formada qorunmuşdur.
Bərabər töhfə: Yüklənmiş PDF-də bərabər töhfə/bərabər birinci müəllif bəyanı açıq şəkildə işarələnməyib.
Corresponding author: Yüklənmiş PDF bir neçə e-poçt ünvanı verir, lakin tək corresponding author-u ulduz və ya ayrıca izahla açıq şəkildə müəyyən etmir; buna görə qarşılıq uydurulmayıb.
Qurum 1: CVIU Lab, University of Arkansas, USA.
Qurum 2: University of Utah, USA.
Qurum 3: Department of Physics, University of Arkansas, USA.
Yüklənmiş mənbə növü: arXiv preprint, v1.
arXiv: arXiv:2602.17478v1 [cs.CV].
arXiv ilk təqdimetmə tarixi: 19 Şubat 2026.
arXiv-issued DOI: 10.48550/arXiv.2602.17478.
Cari nəşr statusu: Tədqiqat daha sonra IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Findings 2026 proceedings daxilində rəyli konfrans məqaləsi kimi yayımlanmışdır.
CVPR nəşr ili: 2026.
CVPR nəşr ayı: Haziran 2026.
Proceedings səhifə aralığı: 8684–8694.
CVPR proceedings DOI: Etibarlı rəsmi qeyddə doğrulanmadığı üçün verilməyib.
Rəsmi CVF nəşr səhifəsi: https://openaccess.thecvf.com/content/CVPR2026F/html/Nguyen_QuPAINT_Physics-Aware_Instruction_Tuning_Approach_to_Quantum_Material_Discovery_CVPRF_2026_paper.html
Layihə səhifəsi: https://uark-cviu.github.io/projects/qupaint/
Rəy statusu: Yüklənmiş arXiv v1 özlüyündə preprint-dir; tədqiqat daha sonra CVPR 2026 Findings-də yayımlandığı üçün əsərin cari statusu rəyli konfrans nəşridir.
Elmi sahə: Computer vision, multimodal machine learning, two-dimensional quantum materials və optical microscopy.
Tədqiqat növü: Physics-informed machine-learning metodunun hazırlanması + sintetik məlumat istehsalı + real/sintetik mikroskopiya məlumat benchmark qiymətləndirməsi.
Kvant kompüterindən istifadə: Yox. “Quantum” tədqiq olunan material sinfini ifadə edir.
Synthia: Transfer Matrix Method əsaslı thin-film interference simulation, CIE 1931 color conversion, personalized white-balance correction və substrate-aware synthetic placement istifadə edir.
QMat-Instruct: Mənbədə sahədə ilk genişmiqyaslı physics-aware instruction dataset kimi təqdim olunur. Səkkiz material üçün hər biri 50.000 sample, cəmi 400.000 sample bildirilir.
QuPAINT: Vision Transformer vizual embedding-lərini Physics-Informed Attention skorları ilə kalibrləyib mətn embedding-ləri ilə MLLM decoder-da birləşdirən multimodal çərçivədir.
PIA: CIELAB məkanında flake/patch median rəngi ilə substrat median rəngi arasındakı \(\Delta E\) məsafəsini physics-aware proxy kimi istifadə edir.
QF-Bench: Mənbə Table 2-də səkkiz material üzrə 280.526 annotasiyalı flake bildirilir.
QF-Bench release statusu: Supplementary material məlumat həcminə görə həmin versiyada 50 nümunənin yayımlandığını və formatın COCO JSON olduğunu bildirir.
Təlim təsvir ölçüsü: 448×448.
Patch: Üst-üstə düşməyən 14×14 patch-lər.
Vision implementation: InternViT.
Text encoder initialization: Qwen3.
Optimizer: AdamW.
Learning rate: \(2\times10^{-5}\).
Weight decay: \(1\times10^{-4}\).
Batch size: 4.
Epoch: 2.
Təlim avadanlığı: 16 A100 GPU.
Data augmentation: Random cropping, horizontal flipping və CIELAB color jitter.
Inference temperature: \(T=0.2\).
Ən yüksək Table 4 ümumi detection nəticəsi: QuPAINT-8B üçün 45,6 AP, 60,5 AP50 və 47,9 AP75.
Ən yüksək Table 4 mono detection nəticəsi: QuPAINT-8B üçün 37,3 AP, 52,8 AP50 və 39,9 AP75.
Instruction grounding: QuPAINT-2B üçün Acc@50 = 51,4 və Acc@75 = 39,5.
Ablasiya: PAD + PIA birlikdə 34,1 AP, 50,2 AP50 və 38,0 AP75 verir.
Mənbə daxilində YOLO uyğunsuzluğu: Table 4 YOLOv11-x və 29,6/19,8 AP dəyərlərini verdiyi halda əsas nəticə mətninin bəzi cümlələrində YOLOv8-x və 28,3/19,0 dəyərləri görünür. Verianla cədvəlin görünən kəmiyyət dəyərlərini qorumuşdur.
Mənbə daxilində PIA/PAD terminologiya uyğunsuzluğu: Metod boyu canonical ad Physics-Informed Attention olduğu halda bölmə 6.3-də bir yerdə fərqli açılış istifadə olunmuşdur. PAD adı da mətn və caption arasında tam uyğun deyil.
Mənbə daxilində layer-category sərhədi: Əsas mətndə Few = 2–5 və Thick = 5+ yazıldığı üçün 5-layer sərhədi qeyri-müəyyəndir. Səssiz düzəliş edilməyib.
Maliyyələşdirmə: Mənbə MonArk NSF Quantum Foundry-nin National Science Foundation QAMASE-i proqramı çərçivəsində NSF Award No. DMR-1906383 dəstəyini bildirir.
Hesablama infrastrukturu dəstəyi: Arkansas High-Performance Computing Center GPU resursları.
Data Availability: PDF-də ayrıca formal Data Availability başlığı yoxdur; supplementary material QF-Bench-dən 50 nümunənin COCO JSON formatında yayımlandığını bildirir.
Code Availability: Yüklənmiş PDF-də ayrıca formal Code Availability statement yoxdur; layihə URL-i verilib.
Maraqlar toqquşması: Yüklənmiş PDF-də ayrıca conflict-of-interest / competing-interest statement müəyyən edilməyib; buna görə “maraqlar toqquşması yoxdur” fərziyyəsi edilməyib.
Müəllif töhfələri: Yüklənmiş PDF-də ayrıca CRediT və ya author-contribution statement müəyyən edilməyib.
Lisenziya: Yüklənmiş PDF və doğrulanmış CVF landing page üzərində Verianla baxımından fiqurun birbaşa yenidən istifadəsini etibarlı əsaslandıra biləcəyimiz açıq Creative Commons lisenziyası doğrulanmayıb. Açıq giriş avtomatik olaraq məhdudiyyətsiz yenidən istifadə icazəsi kimi qəbul edilməyib.
Əsas şərh sərhədi: Tədqiqat optik mikroskop təsvirlərində physics-aware AI xarakterizasiyasının benchmark performansını göstərir; müstəqil fiziki qalınlıq ölçmə üsullarının şərtsiz əvəzlənməsi, bütün laboratoriyalara eyni performansla ümumiləşdirmə və ya yeni kvant materialının kəşfinin sübutu deyil.
Şərh yazın
E-poçt ünvanınız yayımlanmayacaq. Məcburi sahələr * ilə işarələnib