TimeSenCLIP модели сабуки тасвир–забон аст, ки қатори замонии бисёрспектраи моҳвораи Sentinel-2-ро бо муаррифии семантикии CLIP-и аксҳои сатҳи замин, ки нишонаи ҷуғрофӣ доранд, тавассути омӯзиши контрастивии cross-view ҳамоҳанг мекунад. Хусусияти фарқкунандаи модел дар он аст, ки дар бахши моҳвора бидуни ниёз ба patch-ҳои бузурги тасвир ё caption-ҳои матнӣ ҳангоми омӯзиш метавонад танҳо аз тағйироти спектралӣ–замонии як пиксели Sentinel-2 муаррифии семантикӣ омӯзад.

TimeSenCLIP бо истифода аз тасвирҳои сатҳи замини LUCAS 2018 ва қаторҳои замонии Sentinel-2-и Sen4Map омӯзонида шуда, дар таснифи zero-shot-и пӯшиши замин, истифодаи замин, habitat, навъи зироат ва минтақаи биогеографӣ, cross-modal retrieval ва пешгӯии scenicness арзёбӣ шудааст. Модели асосии 12-моҳа, як-пикселӣ ва бисёрспектраи TimeSenCLIP-P1 бо descriptive promptҳо дар дақиқии умумии zero-shot Top-1 ба %47,35 ± 0,18 расидааст. Барои ҳамин модел бо қатори замонии моҳона Recall@1-и умумии cross-modal дар самти Ground-to-Satellite 0,446 ва дар самти Satellite-to-Ground 0,535 мебошад.

Хулосаи асосии таҳқиқот ин аст, ки дар маълумоти зондкунии фосилавӣ бо тафриқаи миёна, ба мисли Sentinel-2, динамикаи замонӣ ва спектралӣ метавонад барои бисёр вазифаҳо қисми муҳими контексти васеи фазоиро ҷуброн кунад. Бо вуҷуди ин, ин натиҷа маънои онро надорад, ки дар ҳамаи вазифаҳо “як пиксел ҳамеша кофист”: дар масъалаҳое ба монанди таснифи habitat ва scenicness, ки сохтори фазоӣ, текстура ва геометрияи релеф муҳиманд, patch-ҳои калонтар метавонанд бартарӣ диҳанд. Илова бар ин, модел танҳо бо Sentinel-2 ва маълумоти LUCAS-и мутамарказ ба Аврупо арзёбӣ шудааст; дар сенсорҳо, иқлимҳо ва минтақаҳои ҷуғрофии дигар чунин муваффақият ҳанӯз нишон дода нашудааст.

Масъалаи таҳқиқот

Бисёр vision–language model (VLM), ки барои зондкунии фосилавӣ таҳия шудаанд, меъмориҳои монанди CLIP-ро, ки барои тасвирҳои табиӣ сохта шудаанд, ба тасвирҳои моҳвораӣ мутобиқ мекунанд. Ин равиш се мушкили асосӣ ба вуҷуд меорад. Якум, омӯзиш аксаран ба ҷуфтҳои тасвири моҳвораӣ–caption-и матнӣ ниёз дорад; чунин тавсифҳо ҳам гаронанд ва ҳам метавонанд бо луғати истифодашуда маҳдуд шаванд. Дуюм, моделҳо одатан ба patch-ҳои калони фазоӣ бо паҳнои садҳо пиксел такя мекунанд. Дар сенсорҳои дорои тафриқаи миёна ба мисли Sentinel-2, patch-и калон метавонад минтақаҳои аз ҳам фарқкунандаи мозаикаи гетерогении кишоварзӣ ё экосистемаро дар як вуруд омехта кунад. Сеюм, равиши классикии асосёфта ба RGB мавсимият, фенология ва хусусиятҳои инъикосро дар дарозии мавҷҳои гуногун ба қадри кофӣ истифода намебарад.

TimeSenCLIP масъалаеро аз ҷониби дигар мегузорад: Оё қатори замонии бисёрспектраи як пиксели Sentinel-2, ки дар давоми сол тағйир меёбад, барои омӯхтани семантикаи замин ва экосистема бидуни patch-и бузурги тасвири фазоӣ маълумоти кофӣ дорад?

Равиши таҳқиқот махсусан барои синфҳои кишоварзӣ ва экологӣ маъно дорад. Масалан, гандум, ҷуворимакка ё низомҳои гуногуни рустанипӯшӣ метавонанд дар тасвирҳои як сана ба ҳам монанд бошанд; аммо тағйироти инъикос дар ҷараёни кишт, рушд, пухтарасӣ ва ҷамъоварии ҳосил имзоҳои гуногуни замонӣ ба вуҷуд меоранд.

TimeSenCLIP Чӣ Гуна Аз Як Пиксели Sentinel-2 Маълумоти Семантикиро Меомӯзад?

TimeSenCLIP қатори спектралӣ–замонии Sentinel-2 ва аксҳои сатҳи замини як мавқеи ҷуғрофиро дар фазои умумии embedding ба ҳам наздик карда меомӯзад; маълумоти семантикӣ аз encoder-и тасвири CLIP-и яхкардашудаи аксҳои сатҳи замин ба қатори замонии моҳвора интиқол дода мешавад ва баъд аз анҷоми омӯзиш танҳо encoder-и моҳвора ва CLIP text encoder барои пешгӯии zero-shot дар синфҳои нави матнӣ истифода мешаванд.

Дар омӯзиш ду намоиш вуҷуд дорад

Намоиши сатҳи замин: Аксҳои дорои нишонаи ҷуғрофӣ, ки дар нуқтаҳои LUCAS ба чор самти асосӣ гирифта шудаанд, аз encoder-и тасвири яхкардашудаи CLIP ViT-B/32 гузаронда мешаванд. Азбаски CLIP аллакай фазои семантикиеро байни тасвирҳои табиӣ ва забон омӯхтааст, ин аксҳо барои TimeSenCLIP ҳамчун ҳадафи семантикии бо матн ҳамоҳангшуда хизмат мекунанд.

Намоиши моҳвора: Қатори замонии Sentinel-2-и ҳамон мавқеъ аз ҷониби Transformer encoder-и алоҳида коркард мешавад. Encoder-и моҳвора аз сифр омӯзонида мешавад ва наздик шудан ба embedding-и тасвири заминиро меомӯзад.

Ёддошти номгузорӣ дар дохили манбаъ: дар хулосаи умумии усул гуфта мешавад, ки якчанд тасвири сатҳи замин бо “attention pooling” муттаҳид мешаванд. Аммо дар тавсифи муфассали меъморӣ ва Appendix A.4.3 “average pooling” истифода мешавад. Азбаски манбаъ ин ду ифодаро алоҳида мувофиқ накардааст, дар ин ҷо онҳо хомӯшона ба як ифода иваз карда нашудаанд.

Муодилаи (1): Нормализатсияи L2-и embedding-ҳои CLIP

\[ \mathbf{v}_i= \frac{f_{\mathrm{img}}(I_i)} {\left\|f_{\mathrm{img}}(I_i)\right\|_2}, \qquad \mathbf{t}_i= \frac{f_{\mathrm{text}}(T_i)} {\left\|f_{\mathrm{text}}(T_i)\right\|_2}. \tag{1} \]

Формула чиро ҳисоб мекунад? Векторҳои embedding-ро, ки encoder-и тасвир ва text encoder истеҳсол мекунанд, ба дарозии воҳидӣ меорад.

Тағйирёбандаҳо: \(I_i\), тасвири \(i\); \(T_i\), матни мувофиқи он; \(f_{\mathrm{img}}\) encoder-и тасвир; \(f_{\mathrm{text}}\) text encoder; \(\|\cdot\|_2\) нормаи Евклид/L2 мебошад.

Нақши математикӣ: Пас аз нормализатсия дарозии embedding-ҳо 1 мешавад. Ҳамин тавр dot product байни ду муаррифӣ бевосита ба cosine similarity мувофиқ меояд:

\[ \operatorname{sim}(\mathbf{v}_i,\mathbf{t}_j) = \mathbf{v}_i\cdot\mathbf{t}_j. \]

Қиматҳои embedding воҳиди ченаки физикӣ надоранд; онҳо ададҳои беандоза дар фазои муаррифӣ мебошанд.

Муодилаи (2): Зиёни InfoNCE

\[ \mathcal{L}_{\mathrm{InfoNCE}} (\mathbf{x},\mathbf{x}^{+},\{\mathbf{x}_{j}^{-}\}) = -\log \frac{ \exp(\mathbf{x}\cdot\mathbf{x}^{+}/\tau) }{ \exp(\mathbf{x}\cdot\mathbf{x}^{+}/\tau) + \sum_{j=1}^{J} \exp(\mathbf{x}\cdot\mathbf{x}_{j}^{-}/\tau) }. \tag{2} \]

Чиро ҳисоб мекунад? Бо як зиёни контрастивӣ чен мекунад, ки anchor embedding бо ҷуфти дуруст то чӣ андоза монандии қавӣ ва бо ҷуфтҳои нодуруст то чӣ андоза монандии заиф дорад.

\(\mathbf{x}\) намунаи anchor, \(\mathbf{x}^{+}\) ҷуфти мусбати дуруст, \(\mathbf{x}_{j}^{-}\) намунаҳои манфӣ ва \(\tau\) параметри омӯхташавандаи temperature мебошад. Азбаски ҳамаи бузургиҳо дар фазои embedding ҳастанд, воҳиди физикӣ надоранд.

Вақте cosine similarity-и ҷуфти мусбат зиёд мешавад, сурат калон ва зиён кам мешавад. Вақте монандии намунаи манфӣ зиёд мешавад, махраҷ калон ва зиён зиёд мешавад. Ҳамин тавр модел меомӯзад, ки ду намоиши гуногуни як нуқтаи ҷуғрофиро ба ҳам наздик ва мавқеъҳои дигарро дур кунад.

Муодилаи (3): Табдили қадами замонии Sentinel-2 ба embedding

\[ \mathbf{r}_t= \operatorname{Linear} \left( \operatorname{Flatten}(\mathbf{R}_t) \right), \qquad t=1,\ldots,T. \tag{3} \]

Вуруди пурраи моҳвора:

\[ \mathbf{R}\in \mathbb{R}^{T\times C\times H\times W} \]

шакл дорад. \(T\) шумораи қадамҳои замонӣ, \(C\) шумораи бандҳои спектралӣ, \(H\times W\) андозаи фазоӣ мебошад. Дар конфигуратсияи асосии TimeSenCLIP-P1 \(H=W=1\), \(C=10\) ва дар истифодаи моҳона \(T=12\) аст.

Ҳар як буриши замонии \(\mathbf{R}_t\) аввал flatten мешавад, сипас бо linear projection-и омӯхташаванда ба андозаи embedding, ки Transformer истифода бурда метавонад, табдил меёбад. Бандҳои Sentinel-2 пеш аз омӯзиш бо нормализатсияи min–max аз рӯйи банд ба фосилаи \([0,1]\) миқёсбандӣ шудаанд.

Муодилаи (4): Сохтани қатори token-ҳои замонӣ

\[ \mathbf{Z} = [ \mathbf{p}_{\mathrm{cls}}; \mathbf{r}_1+\mathbf{p}_1; \ldots; \mathbf{r}_T+\mathbf{p}_T ]. \tag{4} \]

\(\mathbf{p}_{\mathrm{cls}}\) CLS token-и омӯхташавандаест, ки барои ҷамъбасти тамоми қатори замонӣ пешбинӣ шудааст. \(\mathbf{p}_t\) temporal position embedding-и омӯхташаванда мебошад, ки мавқеи қадами замонии \(t\)-ро дар қатор рамзгузорӣ мекунад.

Чаро ин сохтор лозим аст? Як қимати инъикос, агар дар моҳи март дида шавад ё дар моҳи август, метавонад аз ҷиҳати экологӣ як маъно надошта бошад. Position embedding ба модел кӯмак мекунад, ки маълумоти “кадом мушоҳида дар кадом мавқеи моҳ/вақт аст?”-ро нигоҳ дорад.

Муодилаи (5): Encoder-и Transformer барои қатори замонӣ

\[ \hat{\mathbf{s}} = f_S(\mathbf{Z}). \tag{5} \]

\(f_S\) encoder-и омӯзонидашавандаи Transformer-и моҳвораи TimeSenCLIP мебошад. Дар манбаъ ин encoder 6 қабати Transformer, 8 attention head, 256 hidden dimension ва 512 latent dimension истифода мебарад. Фаъолсозиҳои GELU ва LayerNorm татбиқ мешаванд. Хуруҷи ниҳоии CLS аз MLP projection head-и сабуки дуқабата мегузарад.

Муодилаи (6): Нормализатсияи embedding-ҳои моҳвора ва замин

\[ \mathbf{s} = \frac{\hat{\mathbf{s}}}{\|\hat{\mathbf{s}}\|_2}, \qquad \mathbf{g} = \frac{\hat{\mathbf{g}}}{\|\hat{\mathbf{g}}\|_2}. \tag{6} \]

\(\hat{\mathbf{s}}\) хуруҷи хоми encoder-и моҳвора, \(\hat{\mathbf{g}}\) муаррифии CLIP-и сатҳи замин мебошад. Пас аз нормализатсия \(\mathbf{s}\) ва \(\mathbf{g}\) дар фазои умумии latent-и 512-андоза муқоиса мешаванд.

Муодилаи (7): Зиёни воқеии омӯзиши TimeSenCLIP

\[ \mathcal{L}_{\mathrm{TimeSenCLIP}} ( \{\mathbf{s}_i\}, \{\mathbf{g}_i\}, \mathcal{Q} ) = \sum_i \mathcal{L}_{\mathrm{InfoNCE}} \left( \mathbf{s}_i, \mathbf{g}_i^{+}, \{\mathbf{g}_{j}^{-}\}_i \cup \mathcal{Q} \right). \tag{7} \]

\(\mathbf{g}_i^{+}\) муаррифии тасвири заминӣ аз ҳамон нуқтаи ҷуғрофиест, ки намунаи моҳвораӣ ба он тааллуқ дорад. \(\mathbf{g}_{j}^{-}\) намунаҳои манфӣ аз мавқеъҳои дигари дохили batch мебошанд. \(\mathcal{Q}\) memory queue-и навъи MoCo аст, ки embedding-ҳои заминиро аз batch-ҳои қаблӣ нигоҳ медорад.

Андозаи Queue дар манбаъ \(K=2048\) аст. Ҳадаф ин аст, ки намунаи моҳвораӣ бидуни ниёз ба batch-ҳои хеле калон дар муқобили шумораи зиёди мавқеъҳои манфӣ омӯзад.

Чаро augmentatsiya-и замонӣ истифода мешавад?

Дар қаторҳои замонии воқеии Sentinel-2 абр, acquisition-и нопурра ё холигиҳои мавсимии маълумот ба вуҷуд омада метавонанд. TimeSenCLIP ҳангоми омӯзиш барои ҳар batch бо эҳтимоли %50 яке аз се perturbation-и замониро татбиқ мекунад:

• Median Pooling: ҳамаи қадамҳои замониро ба як вектори спектралии median кам мекунад.
• Random Quarter Mask: қисми пайдарпайи тақрибан семоҳаро mask мекунад.
• Random Temporal Mask: 1–11 қадами замониро тасодуфан mask мекунад; ҳадди ақал як мушоҳида нигоҳ дошта мешавад.

Ин augmentatsiyaҳо танҳо ҳангоми омӯзиш истифода мешаванд. Дар inference модел метавонад бо вуруди моҳонаи \(T=12\), семоҳаи \(T=4\) ё як-замонии \(T=1\), ки median-и тамоми солро истифода мебарад, кор кунад.

Prompt-ҳои матнӣ чӣ гуна сохта шуданд?

Дар арзёбии zero-shot се шакли prompt муқоиса шуд:

1. Class-name: танҳо номи синф.
2. Generic: қолаби умумӣ ба монанди “a centered satellite image of {class name}”.
3. Description: ҷумлаҳои забони табиӣ, ки намуди синф ё хусусиятҳои экологии онро тавсиф мекунанд.

Барои ҳар синф панҷ варианти descriptive бо истифода аз GPT-4 ба усули монанд ба SenCLIP сохта шуд. Ин prompt-ҳо caption-и омӯзишӣ нестанд; онҳо тавсифҳои синфанд, ки ҳангоми арзёбии zero-shot ба CLIP text encoder дода мешаванд. Text embedding-ҳо барои descriptive promptҳо бо late prompt ensembling муттаҳид шудаанд.

Оё Маълумоти Замонӣ Метавонад Ҷойи Patch-ҳои Калони Моҳвораиро Гирад?

Мувофиқи натиҷаҳои таҳқиқот, дар бисёр вазифаҳои замин, зироат ва bioregion қатори дарози замонии Sentinel-2 метавонад ба вуруди як-пикселӣ имкон диҳад, ки бо patch-ҳои калонтари фазоӣ рақобат кунад ё аз онҳо пеш гузарад; аммо дар вазифаҳое ба монанди habitat ва scenicness, ки текстура, геометрия ва сохтори васеи фазоӣ талаб мекунанд, patch-ҳои калонтар ҳанӯз фоида доранд.

Усул ва Натиҷаҳои Таҳқиқот

Сохтори маълумоти LUCAS ва Sen4Map

Вазифаҳои арзёбӣ

Ёддошти манбаъ оид ба Crop-class: матни асосии усул мегӯяд, ки LUCAS Level-1 дорои 38 specific crop type аст, аммо Ҷадвали 2 арзиши “Crops — 40 classes”-ро медиҳад. Ин фарқияти манбаъ дар ин ҷо бетағйир нигоҳ дошта шудааст.

Гиперпараметрҳои омӯзиш

Натиҷаи асосӣ дар таснифи zero-shot

Модели моҳонаи як-пикселии бисёрспектра аз рӯйи вазифа чӣ натиҷа дод?

Гарчанде descriptive promptҳо дар ҳисоби миёна натиҷаи баландтарин доданд, барои ҳар вазифа як навъи prompt беҳтарин нест. Масалан, барои Bioregion танҳо номи синф дақиқии %49,87, descriptive prompt бошад %34,42 додааст. Ин нишон медиҳад, ки хулосаи “prompt-и дарозтар ҳамеша беҳтар аст” дастгирӣ намешавад.

Натиҷаҳои cross-modal retrieval

Дар арзёбии Retrieval Recall@1 истифода мешавад. Агар намунае, ки дар ҷойи аввал барои пурсиш баргардонида мешавад, ба ҳамон синфе тааллуқ дошта бошад, ки пурсиш дорад, натиҷа муваффақ ҳисоб мешавад.

Модели моҳонаи як-пикселӣ махсусан дар самти S2G қавӣ аст. Аз рӯйи вазифаҳо S2G Recall@1: Land Cover 0,660, Land Use 0,682, Habitat 0,433, Crops 0,411, Bioregion 0,634 ва Country 0,392.

Пешгӯии scenicness

Scenicness — баҳои пайваста ба зебоии визуалии манзара аз назари одамон мебошад. Таҳқиқот аз маълумоти ScenicOrNot-и Британияи Кабир 2411 намунаро бо наздиктарин мавқеи Sen4Map дар ҳудуди 100 m мувофиқ кардааст.

Pearson \(R\) коррелятсияи хаттиро байни пешгӯӣ ва ground-truth, Kendall \(\tau\) бошад мутобиқати тартибро чен мекунад. Ҳар ду ченак беандоза мебошанд.

Дар Appendix A.1, вақте миёнаи ҳамаи стратегияҳои prompt-ensemble баррасӣ мешавад, TimeSenCLIP-P64-RGB дар вуруди моҳона \(R=0.639\), \(\tau=0.440\) ва P1-MS-и як-пикселӣ \(R=0.526\), \(\tau=0.363\) ба даст овардааст. Ин натиҷа нишон медиҳад, ки маълумоти замонӣ барои scenicness кумак мекунад, аммо контексти васеи фазоӣ аз сабаби хусусиятҳое ба монанди геометрия ва текстураи манзара арзиши худро нигоҳ медорад.

Муқоиса бо меъмориҳои классикии қатори замонӣ

Transformer дар ҳисоби умумӣ натиҷаи баландтаринро додааст; аммо дар ҳар ҳуҷайраи вазифа берақиб нест. Масалан, TempCNN дар Habitat descriptive prompt бо %33,37 аз натиҷаи %30,90-и Transformer гузаштааст. Аз ин рӯ манбаъ даъвои “Transformer дар ҳамаи зервазифаҳо мутлақан беҳтарин меъморӣ аст”-ро пешниҳод намекунад.

Оё temporal dropout воқеан кумак кард?

Дар вуруди як-замонӣ temporal dropout дақиқии миёнаро аз %17,20 то %36,67 баланд кардааст. Дар вуруди пурраи 12-моҳа саҳми он хурдтар аст: аз %43,09 то %44,34. Ин рафтор бо тафсири манбаъ мувофиқ аст; temporal dropout махсусан устувориро нисбат ба мушоҳидаҳои замонии нопурра ё маҳдуд зиёд мекунад.

Multispectral dropout бошад, дар маҷмӯъ ба ҳамин дараҷа фоида надодааст. Манбаъ инро бо он мепайвандад, ки бандҳои берун аз RGB барои ҷудо кардани рустаниҳо ва экосистемаҳо маълумоти арзишманди спектралӣ доранд.

Temporal dropout дар retrieval

Дар Appendix A.3 миёнаи retrieval-и як-замонии \(T=1\) бидуни temporal dropout 0,219 буд, аммо бо истифодаи temporal dropout ба 0,369 расид. Дар вуруди семоҳа афзоиш то 0,452 → 0,457 кам шуд, дар вуруди моҳона бошад, миёнаи 0,516 бидуни temporal dropout баландтар монд. Аз ин рӯ, бузургтарин фоидаи regularizer дар режими камбуди маълумоти замонӣ аст.

Оё дар тасвирҳои заминӣ чор акс лозим аст?

Appendix A.4 муттаҳидсозии чор тасвири самтии заминӣ бо average pooling-ро бо истифодаи танҳо як тасвири тасодуфии заминӣ муқоиса кардааст. Дақиқии умумии zero-shot Top-1 барои average pooling %41,30 ва барои single image %41,24 аст. Фарқ хеле хурд мебошад. Манбаъ ин натиҷаро чунин тафсир мекунад, ки дар баъзе барномаҳо як тасвири намояндагии заминӣ метавонад талаботи ҷамъоварии маълумот ва ҳисоббарориро кам кунад.

Самаранокии ҳисоббарорӣ

Тибқи ҳисобҳои муаллифон, 1×1 TimeSenCLIP нисбат ба CLIP-и стандартӣ FLOPs-ро тақрибан %97–98, шумораи параметрҳоро тақрибан %94 кам мекунад ва аз рӯйи throughput беш аз 33 маротиба суръат медиҳад. Ин ченкуниҳо ба танзими сахтафзор ва batch-size-и худи таҳқиқот тааллуқ доранд; дар GPU ё муҳити deployment-и дигар ҳамон рақамҳо кафолат дода намешаванд.

Prediction map-ҳо чиро нишон медиҳанд?

Figure 4 ва 5-и манбаъ бо татбиқи мустақили қатори замонии моҳонаи Sentinel-2 ба ҳар пиксел prediction map-ҳои LULC ва crop месозанд. Азбаски LUCAS танҳо барои нуқтаи марказӣ нишонаи ground-truth медиҳад, ин харитаҳо бо segmentation ground truth-и пурраи сатҳи пиксел тасдиқ нашудаанд.

Гарчанде минтақаҳои калон дар харитаҳо аз ҷиҳати семантикӣ ҳамоҳанг менамоянд, байни пикселҳои ҳамсоя тағйироти маҳаллии синфи “salt-and-pepper” вуҷуд дорад. Манбаъ сабаби онро чунин шарҳ медиҳад, ки модел ҳар пикселро мустақилона тасниф мекунад ва spatial smoothing post-processing истифода намешавад.

Confusion matrix-ҳои Figure A.4-и манбаъ низ нишон медиҳанд, ки қисми муҳими хатогиҳо байни синфҳои аз ҷиҳати семантикӣ ё сохторӣ монанд ҷамъ мешаванд. Масалан, дар синфҳои crop ғалладонаҳои аз ҷиҳати фенологӣ наздик, мисли гандум ва ҷав, дар Land Cover shrubland ва woodland, дар habitat бошад синфҳои grassland ва кишоварзӣ, ки сохтори рустанипӯшии монанд доранд, метавонанд бо ҳам омехта шаванд.

Натиҷаҳое, ки таҳқиқот бевосита дастгирӣ мекунад

• Тағйироти бисёрспектра ва замонии Sentinel-2 манбаи қавии муаррифӣ барои вазифаҳои zero-shot-и зондкунии фосилавӣ мебошанд.
• TimeSenCLIP-P1-MS-и 12-моҳа ва як-пикселӣ дар таснифи умумии zero-shot нисбат ба моделҳои муқоисашудаи асосёфта ба CLIP натиҷаи баландтар додааст.
• Temporal depth махсусан дар синфҳои вобаста ба фенология, аз қабили зироат ва bioregion, саҳми қавӣ додааст.
• Бандҳои бисёрспектра нисбат ба RGB махсусан дар вазифаҳои Land Cover ва Crops маълумоти иловагӣ додаанд.
• Саҳми контексти фазоӣ аз вазифа вобаста аст; дар Habitat, Land Cover/Use ва scenicness patch-и васеътар метавонад муфид бошад.
• Temporal dropout махсусан дар мушоҳидаҳои нопурра ё як-замонӣ устувориро ба таври назаррас зиёд кардааст.
• Меъмории як-пикселӣ нисбат ба encoder-ҳои бузурги асосёфта ба CLIP бо хароҷоти хеле камтари ҳисоббарорӣ ва хотира кор кардааст.
• Натиҷаҳои Ground-to-Satellite ва Satellite-to-Ground retrieval нишон медиҳанд, ки embedding-ҳои қатори замонӣ метавонанд бо семантикаи тасвири заминӣ ба таври маънодор ҳамоҳанг карда шаванд.

Умумисозиҳо ва маҳдудиятҳое, ки таҳқиқот дастгирӣ намекунад

• Модел танҳо дар контексти Sentinel-2 ва Иттиҳоди Аврупо/LUCAS арзёбӣ шудааст; чунин иҷроиш дар қитъаҳо, иқлимҳо ва сенсорҳои дигар исбот нашудааст.
• Як пиксел дар ҳамаи вазифаҳо ҷойи patch-и калонро намегирад.
• Дар масъалаҳое ба монанди habitat ва scenicness, ки сохтори фазоӣ талаб мекунанд, контексти васеъ аҳамияти худро нигоҳ медорад.
• Prediction map-ҳо бо segmentation ground truth-и пурра арзёбӣ нашудаанд; LUCAS ground truth танҳо нуқтаи марказии намунаро медиҳад.
• Азбаски фазои семантикии худи CLIP аз тасвирҳо ва caption-ҳои интернетӣ омӯзонида шудааст, баъзе хусусиятҳое, ки танҳо бо мурури вақт мушоҳида мешаванд, метавонанд дар ground-image embedding вуҷуд надошта бошанд.
• Истифодаи сенсорҳои гуногун, махсусан комбинатсияҳои multisensor ба мисли Sentinel-1 + Sentinel-2, дар ин таҳқиқот тасдиқ нашудааст.
• Омӯзиш бо манбаъҳои глобалии аксҳои ground-level самти таҳқиқоти оянда мебошад.
• Дар вазифаҳои бисёрсинфа ва аз ҷиҳати семантикӣ наздик, ба монанди зироат ва habitat, байни supervised upper bound ва модели zero-shot ҳанӯз фарқи назарраси иҷроиш вуҷуд дорад.

Таҳқиқоти оянда

Муаллифон тавсеаи TimeSenCLIP ба сенсорҳои дигар ва минтақаҳои гуногуни иқлим/фенология, истифодаи якҷояи чанд сенсор ба мисли Sentinel-1 ва Sentinel-2 ва ворид кардани маҷмӯаҳои васеътари тасвирҳои заминӣ аз ҷуғрофияҳои берун аз Аврупо ба раванди омӯзишро ҳамчун самтҳои муҳими оянда муайян мекунанд.

Манбаъ ҳамчунин қайд мекунад, ки муаррифии тасвирҳои заминии CLIP метавонад баъзе хусусиятҳои муҳити зистро, ки бо мурури вақт мушоҳида мешаванд, дар бар нагирад ва пешниҳод мекунад, ки ин холигӣ бо манбаъҳои иловагии семантикӣ, ба монанди тавсифҳои матнии вобаста ба мавқеи ҷуғрофӣ, пур карда шавад.

Ёддошт оид ба Манбаъ ва Усул

Унвони аслӣ: TimeSenCLIP: A time series vision–language model for remote sensing

Муаллифон: Pallavi Jain; Diego Marcos; Dino Ienco; Roberto Interdonato; Tristan Berchoux.

Муаллифи масъул: Pallavi Jain.

Муассисаҳо: Mediterranean Agronomic Institute of Montpellier – CIHEAM-IAMM; Inria; INRAE; Cirad; UMR TETIS; University of Montpellier, Фаронса.

Маҷалла: ISPRS Journal of Photogrammetry and Remote Sensing.

Ношир: Elsevier B.V., аз номи International Society for Photogrammetry and Remote Sensing (ISPRS).

Сабти библиографӣ: Volume 236 (2026), 99–119.

DOI: 10.1016/j.isprsjprs.2026.03.043

Пайванди расмӣ: https://doi.org/10.1016/j.isprsjprs.2026.03.043

Ирсол: 14 Август 2025. Ревизия: 20 Феврал 2026. Қабул: 26 Март 2026. Санаи ҷилд: Июн 2026.

Навъи манбаъ: Мақолаи таҳқиқотии таҷрибавии омӯзиши мошинӣ / зондкунии фосилавӣ, ки аз тақризи ҳамтоён гузаштааст.

Иҷозатнома: Creative Commons Attribution 4.0 (CC BY 4.0).

Маълумот ва код: Мақола аз манбаъҳои мавҷудаи маълумот ба мисли LUCAS, Sen4Map, EUNIS/EEA ва ScenicOrNot истифода мебарад. Дар хулосаи манбаъ гуфта шудааст, ки коди TimeSenCLIP дар https://github.com/pallavijain-pj/TimeSenCLIP нашр шудааст.

Маблағгузорӣ/дастгирӣ: Таҳқиқот тавассути лоиҳаи “Giving Rural Actors Novel Data and Re-Usable Tools to Lead Public Action in Rural Areas” (GRANULAR) аз ҷониби European Union Horizon Europe Research and Innovation Programme, Grant Agreement No. 101061068; инчунин аз ҷониби лоиҳаи ANR OBTEA (ANR-22-CPJ1-0054-01) ва University of Montpellier I-SITE Excellence Program / Investissements France 2030 дастгирӣ шудааст.

Тазоди манфиатҳо: Муаллифон изҳор доштаанд, ки ягон манфиати рақобатии молиявӣ ё муносибати шахсии маълуми таъсиргузор ба таҳқиқот вуҷуд надорад.

Изҳорот оид ба навиштани дастгиришуда бо AI: Муаллифон гуфтаанд, ки ҳангоми омода кардани мақола барои беҳтар кардани сохтори ҷумла ва грамматика LLM истифода бурданд, мундариҷаи ниҳоиро худ баррасӣ ва таҳрир карданд ва масъулияти онро ба уҳда гирифтанд.

Саҳми муаллифон: Pallavi Jain: тарҳи аввал, баррасӣ/таҳрир, визуализатсия, тасдиқ, методология, таҳқиқот, таҳлили формалӣ, куратсияи маълумот ва консептуализатсия. Diego Marcos: баррасӣ/таҳрир, роҳбарӣ, захираҳо, методология, ҷалби маблағгузорӣ ва консептуализатсия. Dino Ienco: баррасӣ/таҳрир, роҳбарӣ ва захираҳо. Roberto Interdonato: баррасӣ/таҳрир, роҳбарӣ ва захираҳо. Tristan Berchoux: баррасӣ/таҳрир, роҳбарӣ, захираҳо, идоракунии лоиҳа ва ҷалби маблағгузорӣ.

Ёддошти гузоришдиҳӣ дар дохили манбаъ 1: Дар хулосаи асосии усул гуфта мешавад, ки embedding-ҳои бисёрсамтаи ground-level image бо attention pooling муттаҳид мешаванд, дар ҳоле ки тавсифи муфассали меъморӣ ва Appendix A.4.3 average pooling истифода мебаранд. Манбаъ ин ду ифодаро алоҳида мувофиқ намекунад.

Ёддошти гузоришдиҳӣ дар дохили манбаъ 2: Тавсифи Dataset мегӯяд, ки Level-1 дорои 38 specific crop type аст, аммо Ҷадвали 2 “Crops — 40 classes” гузориш медиҳад. Verianla ин ду рақамро хомӯшона якҷо накардааст.

Маҳдудияти асосии методологӣ: Муваффақияти гузоришшудаи умумисозии TimeSenCLIP ба муҳити арзёбии Sentinel-2 ва LUCAS/Sen4Map-и мутамарказ ба Аврупо тааллуқ дорад. Интиқоли cross-domain ба сенсор, қитъа, иқлим ва режими фенологии дигар дар ин таҳқиқот бевосита тасдиқ нашудааст.