CM-VLA, байни ҷисмҳои гуногуни робот бо шумораи ками намоишҳои нав барои осон кардани интиқоли вазифа дар фазои камера семантикаи умумии амал бо сиёсати иҷрои хоси робот аз ҳам ҷудо мекунад Vision-Language-Action меъморӣ мебошад. Модел Camera-space Unified Actions (CU-Actions) номдошта камера-фазо амалҳоро VLM асоси модул барои назорати ёридиҳанда ҳамчун истифода мебарад; баъд embodiment-aware Mixture-of-Experts (MoE) flow policy семантикаи умумиро роботи ҳадаф сохтори кинематикӣ ва ба хусусиятҳои идоракунӣ мувофиқ ба амалҳои пайвастаи фазои робот табдил медиҳад. Дар таҳқиқот CM-VLA ME-LIBERO узаринда %97,9 муваффақияти миёна, ба роботҳои нодида 100 дар интиқоли намоишӣ %59,7 ва 300 дар намоиш %92,3 муваффақияти миёна расидааст. Реал Sawyer робот такрубаларинда холи миёнаи нормализатсияшуда %74 гузориш шудааст. Бо вуҷуди ин натиҷаҳо якдаста енд-еффектор делта дар контексти назорат ба даст омадааст ва моделин ики қоллу роботҳоа, бакариқли аллара ва я фарқли амал маканларина ейни перформансла генишланакайи нишон дода нашудааст.

Модели Vision-Language-Action мушоҳидаи визуалӣ ва дастурҳои забони табииро ба амалҳое, ки робот иҷро карда метавонад табдил медиҳад синфи сиёсати роботикаи чандмодалӣ мебошад. CM-VLA-нин хусусияти фарқкунанда “чӣ бояд иҷро шавад” даир роботҳо арасинда қобили мубодбо семантикани дар фазои камера омӯхтан ва “чӣ гуна иҷро шавад” даир робота ксас икрани ба сиёсати ҷудогонаи омехтаи экспертҳо месупорад.

Чаро интиқоли вазифа байни роботҳои гуногун душвор аст?

Вазифаи манипулятсияи робот ҳатто агар аз ҷиҳати семантикӣ яксон монад, тапшириги ерина етиран вақте роботи физикӣ иваз мешавад проблем аз табдили одии координата мураккабтар мешавад. Роботларин шумораи буғумҳо, дарозии пайвандҳо, фазоҳои корӣ, сенсорҳо, проприосептив вазийят пайланмалари, мавқеъҳои камера, басомадҳои идоракунӣ ва гриппер механизмҳо фарқли ола ббор.

Масалан, “матои сабзро бигир ва ба рӯи табақ гузор” дастур UR5, Franka Panda, Sawyer, KUKA iiwa, Kinova3 ва xArm учун ҳамон семантикаи вазифаро дорад. Аммо ҳар робот ейни сонландирики амалини ерина етирмак учун еҳтияк дуйдугу фармонҳои сатҳи поёнии амал яксон нестанд.

Таҳқиқотин ала алдиги асосӣ проблем бу ики савийянин мовкуд VLA системларинда кифаят қадар айришдирилмамасидир. Визуал кодлайики камерадан галан горунтуну емал едаркан, амал етикети чокс маълумот дастинда роботун оз координат системинда муайян мешавад. Белаликла модел тапшириги ойранмакла янаши, камера бо робот координат системи арасиндаки чеврилмани да ортук шакилда ҳалл етмая макбур қалир.

CM-VLA чист?

CM-VLA дар фазои камера муайян едилмиш ҷисмдан асили олмаян амал семантикасини висион-лангуаге онургасинда ойранан ва бу семантикани embodiment-aware Mixture-of-Experts flow policy васитасбо роботи ҳадаф пайваста идараетма командаларина чевиран кросс-ембодимент VLA меъморӣ мебошад. Моделин асосӣ фарқи дар фазои камераки қаврайиш ёнлу “на едилмалидир?” тамсили бо робот фазондаки икра ёнлу “нека едилмалидир?” идараетмасини ики айри ойранма проблеми кими еле алмасидир.

Амалҳои ягонаи фазои камера

Таҳқиқотин асосӣ ара тамсили Камера-спаке Унифиед Актион, яни CU-Action-дир. Ҳар заман аддиминдаки камера-фазо амали бела муайян мешавад:

\[ a_t^c=(\Delta p_t^c,\Delta r_t^c,g_t) \]

Бурада:

• \(\Delta p_t^c\) сонландирикинин камера координат системиндаки трансласия дайишимини;
• \(\Delta r_t^c\) камера координат системиндаки фирланма дайишимини;
• \(g_t\) гриппер командасини тамсил едир.

Бу гостаримин илмӣ ролу роботун оз ойнақ ва я база координатлариндан мумкун қадар мустақил ара амал семантикаси яратмақдир. Камера горунтусу да дар фазои камера мушаҳида едилдийи учун амал назоратинин ейни ҳандаси баглама дашинмаси мушаҳида бо амал етикети арасиндаки уйгунсузлугу азалтмаги мақсадлайир.

Аҳамийятли бир детал CU-Actions-ин бирбаша сон робот идараетма командаси кими истифода едилмамасидир. Дар таҳқиқот дискретизед CU-Actions VLM онургасинин омӯзиши учун назорати ёридиҳанда вазифаси горур. Воқеӣ икра едбо ббон пайваста робот амаллари айрика довнстреам поликй тарафиндан ярадилир.

CM-VLA “чӣ бояд кард” ва “чӣ гуна бояд кард”-ро чӣ гуна ҷудо мекунад?

CM-VLA-да камера-фазо VLM қати мушоҳидаи визуалӣ ва дил дастурндан ембодимент-агностик амал семантикасини ойранарак “на едбокайини” тамсил едир; робот-фазо MoE flow policy иса роботун проприосептив вазийяти ва ембодимент шартиндан истифода едарак ейни семантиканин конкрет робот узаринда “нека татбиқ едбокайини” пайваста идараетма сиқналларина чевирир.

Асоси висион-лангуаге

VLM онургаси PaliGemma асосӣлидир. PaliGemma SigLIP визуал кодлайикиси бо Gemma дил моделини бирлашдирир. Модела бир неча RGB мушаҳидаси ва дил дастур верилир:

\[ \pi_\phi(a_t^c,\hat l_t \mid I_t^1,\ldots,I_t^n,l) \]

Бурада \(a_t^c\) CU-Action, \(\hat l_t\) иса вазифа плани, алт вазифа айрими, амал примитиве-лари ва гриппер мовқейи кими алава қаврайиш ёнлу вазифа қурулушуну тамсил едан токенлашдирилмиш реасонинг чиксишидир.

VLM-ин сечилмиш қатлариндан алинан гизли вазийятлар ачар-даяр хусусиятларина проексия мешавад:

\[ K_t^{(m)}=H_t^{(m)}W_K^{(m)}, \qquad V_t^{(m)}=H_t^{(m)}W_V^{(m)} \]

Бу хусусиятлар:

\[ C_t=\{(K_t^{(m)},V_t^{(m)})\}_{m\in M} \]

шартландирма чокслугуну эҷод мекунад ва кросс-аттентион узариндан пайваста робот амали ярадан алт сиёсата отурулур. Муаллифонин дизайнинда вакиб мақам ялниз сон VLM қатиндан истифода етмак авазина сечилмиш қатлар узра зангин КВ шартландирмаси тамин етмакдир.

Ҳадафҳои омӯзиши CU-Action

Матн реасонинг чиксиши учун каусал аттентион ва токен-токен проқнозу истифода олунур:

\[ L_{cot}=-\sum_{k=1}^{K}\log\pi_\phi(l_t^k\mid v_t,l_t^{<k}) \]

Discretized CU-Actions учун иса бутун амал ардикиллигиндаки алақалари бирликда моделлая билмак ҳадафла фулл-аттентион истифода олунур:

\[ L_{cu\_action}=-\sum_{m=1}^{M}\log\pi_\phi(a_m^c\mid v_t,l) \]

Муаллифон бу сечимин CU-Action ардикиллигинда даҳа бутов ва юмшақ кечидли амал қурулушлари ойранмая комак етдийини изҳор мекунадлар.

Сиёсати Mixture-of-Experts дар фазои робот

Икинки марҳалада модел камера-фазо семантикасини воқеӣ роботун ишлада ббокайи пайваста робот-спаке актион, яни RS-Actions-а чевирир. Бунун учун флов матчинг асосӣли Трансформер сиёсати истифода олунур.

Сиёсатин илк қатлари бутун роботҳо учун ортақ емал апарир. Даҳа дариндаки сон алти блок иса MoE блокларидир. Ембодимент шарти \(e_k\) ортақ тамсилла бирлашдирборак робота ксас експерт ёнландирмаси учун истифода олунур.

Ҳар токен учун роутер ёнландирбо ббон експертлар узаринда еҳтимал пайланмаси эҷод мекунад:

\[ \alpha_{t,u}^{(\ell)} = \operatorname{Softmax} \left( Router_\ell( LN(\tilde z_{t,u}^{(\ell)}) ) \right) \]

ялниз ан юксак скорлу Top-K експерт активлашдирилир.

Фарқи эксперти муштарак ва экспертҳои роҳёбишуда

Ҳар MoE блокунда пайваста актив олан бир шаред експерт ва ембодимент фарқларини моделлаян експерт ҳовузу вардир:

\[ MoE_{\ell,u}(\tilde z) = E_{\ell}^{sh}(\tilde z) + \sum_{j\in TopK(\alpha)} \alpha_jE_{\ell,j}(\tilde z) \]

шаред експерт роботҳо арасинда ортақ олан икра қурулушуну ойранмая ёналиб. Роутед експерц иса кинематик сарҳадлар, идараетма тезлийи, амал интерфейси ва икра формаси кими роботҳо арасинда дайишан хусусиятлари удур.

Бурадаки илмӣ фикир “ҳар робот учун так експерт” яратмақ дейил. Муаллифон ксусусбо оверкомплете експерт поол истифода едир ва експертларин фарқли роботҳо арасинда қисман пайлашилмасини истайирлар.

Embodiment-aware routing лосс

CM-VLA-нин муҳим ениликлариндан бири роутер-ин ялниз вазифа мазмунуна дейил, робот ҷисмсинин икра хусусиятларина да ҳассас експерт сечимлари омӯхтанни ташвиқ едан \(L_{emb}\) иткисидир.

Асосӣ формаси:

\[ L_{emb}=L_{intra}+\lambda_{sep}L_{inter} \]

\(L_{intra}\) ейни ембодимент учун фарқли вазифалардаки ёнландирма нумуналаринин бир-бирина яксин қалмасини ташвиқ едир. \(L_{inter}\) иса фарқли ембодимент прототипларинин муайян маргин даксилинда бир-бирина ҳаддиндан артиқ яксинлашмасини казаландирир.

Бу иткинин ҳадаф вазифа фарқи бо робот фарқини қаришдирмадан, ейни вазифа семантикаси алтинда робот икрасиндан қайнақланан фарқларин експерт сечиминда горунан ҳала галмасидир.

Лоад-баланкинг лосс

Спарсе MoE системларинда бир неча експертин пайваста сечилмаси ва дигарларинин истифода едилмамаси “експерт коллапсе” проблемина ёл ача ббор. CM-VLA буну азалтмақ учун експертларин емпирик истифода тезлийи бо гозланан routing еҳтималини истифода едан баланслашдирма термини татбиқ едир:

\[ L_{bal}=\sum_{j=1}^{N_E}f_jP_j \]

Манбаъда бу терминин ембодимент айримини арадан қалдирмақ учун дейил, експерт ҳовузунун ҳаддиндан артиқ бир неча експертда сикслашмасинин қаршисини алмақ учун истифода едилдийи ксусусбо вургуланир.

Флов-матчинг лосс

Робот-фазо пайваста амаллари флов матчинг бо ярадилир. Воқеӣ амал чунк-и \(A_t^r\), Гауссиан сас-кую \(\epsilon\) ва аксин замани \(\tau\) истифода едборак:

\[ x_t^\tau=(1-\tau)\epsilon+\tau A_t^r \]

шаклинда сас-куйлу ара вазийята чеврилир. Ҳадаф вектор саҳаси:

\[ u_t^\tau=A_t^r-\epsilon \]

кими муайян мешавад ва сиёсат бу вектор саҳасини ойранир:

\[ L_{fm} = \mathbb{E} \left[ \|v_\theta(x_t^\tau,\tau,q_t,e_k;C_t)-u_t^\tau\|_2^2 \right] \]

Умуми омӯзиш иткиси:

\[ L=L_{fm}+\lambda_{bal}L_{bal}+\lambda_{emb}L_{emb} \]

шаклиндадир. Манбаъда \(\lambda_{bal}=0.15\) ва \(\lambda_{emb}=1\) кими дода шудааст.

CU-Actions дар ҷаҳони воқеӣ чӣ гуна тавлид мешаванд?

Симулясияда робот сонландирики позу ва камера калибрланмаси бирбаша алчатан олдугундан робот фазондаки посе камера координатларина чеврилир. Ардикил ики кадр арасиндаки нисби камера-фазо амали:

\[ \Delta T_t^c=T_{t+1}^c(T_t^c)^{-1} \]

бо ҳесабланир ва трансласия, фирланма бо гриппер вазийятина айрборақ CU-Action етикети ярадилир.

Воқеӣ роботда бирбаша камера-робот екстринсик чеврилмасиндан истифода етмак ойнақ сифир сурушмалари, линк толеранслари, ленс дисторсияси, интринсик ксата ва ҳанд-ее калибрлама ксаталариндан тасирлана ббор. Буна гора таҳқиқот воқеӣ дуня етикетларинда маркер-фрее FEEPE методундан ярарланир.

Алава Б-да гостарилдийи кими енд-еффектор CAD модели учун 80 баксиш букаги ва 12 ин-плане ротасия истифода едборак умумиликда 960 реферанс темплате эҷод шудааст. DINOv2 хусусиятлари бо ҳадаф горунтуя ан яксин беш реферанс горунуш сечилмиш, 2Д–3Д уйгунлуқлари ва PnP бо башлангик позу таксмин шудааст. Темпорал кейфраме методу ан чокс саккиз кейфраме истифода едир ва кейфраме енбома букаги 10° кими дода шудааст.

Усул ва бозёфтҳои таҳқиқот

Модель ва инфрасохтори омӯзиш

• Таксмини модел олчусу: 4 милярд параметр.
• VLM башлангики: PaliGemma-3B.
• VLM қат сайи: 18.
• Гизли олчу: 2048.
• Визуал енкодер: SigLIP.
• Горунту олчусу: 224 × 224.
• Талим аваданлиги: 16 NVIDIA A800, ҳар бири 80 ГБ.
• Он омӯзиш муддати: 14 гун.
• Глобал батч сизе: 512.
• Оптимизер: AdamW.
• \(\beta_1=0.9\), \(\beta_2=0.95\).
• Талим аддими: 60.000.
• Башлангик леарнинг рате: 5×10⁻⁵.
• Варм-уп: 2.000 аддим.
• Леарнинг-рате счедуле: косине декай.
• Актион ҳоризон: Ҳ=50.
• MoE: 16 роутед експерт + 1 пайваста актив шаред експерт.
• Routing: Top-4.
• \(L_{inter}\) маргин даяри: 0,25.

Манбаъҳои маълумоти пешомӯзиш

Он омӯзиш маълумот ҳовузу Open X-Embodiment (OXE), LIBERO ва DROID маълумот дастлариндан эҷод шудааст ва умумиликда 19 ембодимент бо муксталиф манипулясия вазифаларини аҳата едир.

ME-LIBERO чист?

ME-LIBERO орижинал LIBERO бенчмарк-ини ейни вазифа семантикасини фарқли робот ҷисмлари алтинда қийматландиракак шакилда генишландиран чокс-ембодимент тест муҳитидир. Дар таҳқиқот алти якдаста робот истифода шудааст:

• UR5
• Franka Panda
• Sawyer
• KUKA iiwa
• Kinova3
• xArm

Дил дастур, обектлар, саҳна дузани, вазифа ҳадафи ва битирма шартлари сабит саксланаркан роботун мушоҳидаи визуалӣси, CU-Actions, RS-Actions, кинематик қурулушу, иш геометрияси ва проприосептив статистикалари дайишир. Бу дизайн ембодимент ҳетерогенлийинин вазифа семантикасиндан мумкун қадар айришдирилмасини мақсадлайир.

CM-VLA дар интиқоли фев-шот-и робот то чӣ андоза муваффақ аст?

ME-LIBERO леаве-оне-робот-оут арзёбӣсинда CM-VLA-нин алти ҳадаф робот узаринда орта муваффақият нисбати 50 дар намоиш %33,7, 100 дар намоиш %59,7, 300 дар намоиш %92,3, 500 дар намоиш %93,5 ва 1000 дар намоиш %97,0-дир. Таҳқиқотин арзёбӣ протоколунда модел 100-шот шартинда алти роботи ҳадаф ҳамисинда ан юксак натиҷани алда етмиш, 300-шот шартинда иса алти роботун дордунда ан юксак перформанси нишон додааст.

LIBERO ва ME-LIBERO натиҷаҳои

Так ембодимент LIBERO муҳитинда CM-VLA %97,0 бо ан юксак орта натиҷани вермишдир. чокс ембодимент ME-LIBERO муҳитинда иса фарқ даҳа да айдин олмуш ва CM-VLA %97,9-а расидааст.

Арзёбии роботи воқеии Sawyer

Воқеӣ дуня такрубалари Sawyer роботу узаринда дорд фарқли умумбошдирма шартинда апарилмишдир:

• фарқли макан мунасибатлари,
• фарқли ҳадаф ранглари,
• ейни саҳнада фарқли ҳадафлар,
• фарқли саҳналардан ибарат оут-оф-домаин умумбошдирма.

CM-VLA дорд воқеӣ дуня шартинин ҳамисинда муқайиса едбон методлардан даҳа юксак натиҷа вермишдир. Ан боюк нисби устунлуюн саҳнанин там дайишдийи оут-оф-домаин шартда мушаҳида олунмаси муаллифонин камера-фазо семантикасинин визуал пайланма дайишмаларина қарши даҳа моҳкам трансфер едбо билдийи шарҳини дастаклайир.

Интиқоли фев-шот бо леаве-оне-робот-оут

Бу такрубада алти роботдан бири омӯзиш замани тамамбо канарда саксланир. Қалан беш роботла модел ойрадилдикдан баъд горунмаян ҳадаф робота ялниз 50, 100, 300, 500 ва я 1000 намоиш верборак фине-тунинг апарилир.

Муаллифон практики маналилиқ ҳаддини %90 орта муваффақият кими готурдукда CM-VLA-нин бу ҳадда чатмақ учун лазим олан намоиш сайи баксиминдан рақиб методлара гора таксминан %13,6–69,7 маълумот самаралилийи артиши тамин етдийини изҳор мекунадлар.

100-шот шартинда робота ксас CM-VLA натиҷаҳои UR5 учун %59,8; Franka учун %60,9; Sawyer учун %52,6; KUKA iiwa учун %61,0; Kinova3 учун %60,4 ва xArm учун %63,4 кими дода шудааст.

Оё назорати фазои камера воқеан фарқ эҷод мекунад?

RS-Actions авазина CU-Actions бо Назорати VLM ME-LIBERO муваффақиятуну %94,1-дан %97,9-а, 100-шот трансферини %55,8-дан %59,7-я ва 300-шот трансферини %87,3-дан %92,3-а чиксармишдир.

Аблятсияи сиёсати MoE

Бу ҷадвал муҳим илмӣ натиҷани ортая қоюр: ялниз даҳа боюк ва я спарсе бир MoE истифода едилмаси кросс-ембодимент трансфер учун етарли дейил. Vanilla Sparse MoE омӯзиш пайланмасинда юксак натиҷа верса да, горунмаян роботҳода кидди шакилда муваффақиятсуз олмушдур.

Ан боюк трансфер яксшбошмаси embodiment-aware routing лосс алава едилдикда ортая чиксмишдир. Лоад-баланкинг лосс иса такбашина юксак трансфер яратмаса да, експерт истифодасинин бир неча експерта чокмасинин қаршисини алан тамамлайики рол ойнайир.

Оё экспертҳо воқеан аз рӯи роботҳо ихтисос меёбанд?

Манбаънин 14-ку саҳифасиндаки Расм 6-да 16 роутед експерт-ин алти робот учун активлашма статистикалари верилир. UR5 ксусусбо Е1, Е6, Е9 ва Е12; Franka Panda иса Е2, Е8, Е10 ва Е11 експертларини даҳа гуклу активлашдирмишдир. Бо вуҷуди ин ҳеч бир експерт ялниз бир робота ксас дейил ва бутун експертларда сифирдан боюк истифода мушаҳида олунур.

Бу давраниш моделин “робот кимлийи = експерт” кими кобуд уйгунлашдирма ойранмадийини; бази икра хусусиятларини роботҳо арасинда пайлашаркан базборини ембодимент-а ксас айирдигини душундурур.

Franka учун MoE даринлийи боюнка апарбон анализда ан сикс истифода олунан дорд експертин умуми активлашма пайи биринки қатда таксминан %43,4 икан алтинки MoE қатинда таксминан %63,4-а юксалмишдир. Муаллифон буну ембодимент-спесифик икстисаслашманин еркан қатда қафил ортая чиксмадиги, амал тамсили даринлашдикка марҳалали шакилда формалашдиги кими шарҳ едирлар.

Шумораи экспертҳо ва ҳассосияти Top-K

Алава Е-даки такрубаларда ан яксши комбинасия 16 роутед експерт ва Top-4 кими тапилмишдир:

чокс аз експерт ембодимент фарқларини моделлама тутумуну маҳдудлашдираркан, ҳаддиндан артиқ чокс експерт пайлашими азалдарақ routing-ин парчаланмасина ёл ача ббор. Банзар шакилда чокс ашаги Top-K ифада тутумуну маҳдудлашдирир; чокс юксак Top-K иса спарсе икстисаслашмани заифладир.

Мазмуни шарти ембодимент

Там ембодимент ембеддинг \(e_k\) дорд нов маълумот еҳтива едир:

• робот кимлийи,
• қолун сарбастлик даракаси,
• линк узунлугу статистикалари,
• гриппер типи.

ялниз ИД истифода едилдикда 100-шот натиҷаси %53,9 ва 300-шот натиҷаси %87,0 икан там ембодимент ачиқламаси бо бу даярлар мувафиқ оларақ %59,7 ва %92,3-а юксалмишдир. Бу натиҷа қазанкин ялниз робот етикетинин азбарланмасиндан қайнақланмадигина даир абласион дастак тамин едир.

Таҳқиқотин дастакладийи натиҷаҳо

• Камера-фазо CU-Action назорати бу такруба дузанинда робот-спаке актион назоратиндан даҳа юксак кросс-ембодимент трансфер перформанси тамин етмишдир.
• Пайлашбон експерт, embodiment-aware routing ва лоад-баланкинг бирликда истифода едилдикда горунмаян роботҳоа трансфер айдин шакилда яксшбошмишдир.
• CM-VLA ҳам LIBERO, ҳам да ME-LIBERO-да муқайиса едбон асосӣ VLA баселине-лариндан даҳа юксак орта муваффақият вермишдир.
• Воқеӣ Sawyer робот арзёбӣсинда CM-VLA ан юксак холи миёнаи нормализатсияшудау яратмишдир.
• Фев-шот леаве-оне-робот-оут такрубаларинда ксусусбо 50–300 намоиш аралигинда гуклу нумуна самаралилийи ба даст омадааст.
• Routing анализи фарқли роботҳоин фарқли, лакин қисман пайлашилмиш експерт истифода наксишлари инкишаф етдирдийини нишон медиҳад.

Таҳқиқотин дастакламадийи натиҷаҳо

• CM-VLA-нин бутун робот новларинда ейни муваффақияту гостаракайи субут едилмамишдир.
• Бимануал манипулясия қийматландирилмамишдир.
• Декстероус-ҳанд назорати қийматландирилмамишдир.
• Енд-еффектор делта ксарикинда юксак олчулу амал маканларинда ейни перформанс нишон дода нашудааст.
• ME-LIBERO симулясия натиҷаҳои такбашина гениш миқясли санае саҳа муваффақияту манасина галмир.
• Воқеӣ дуня такрубалари Sawyer роботу ва манбаъда муайян едбон вазифа шартлари бо маҳдуддур.
• “Стате-оф-тҳе-арт” ифадаси ялниз таҳқиқотин сечдийи баселине ва арзёбӣ протоколлари контекстинда шарҳ едилмалидир.

Маҳдудиятҳо

Таҳқиқотин илк асосӣ маҳдудийяти аркситектуранин асосӣан якдаста енд-еффектор делта назорат проблемина гора инкишаф етдирилмиш олмасидир. Муаллифон ики қоллу манипулясия, декстероус ҳанд ва даҳа юксак олчулу идараетма интерфейсларини галакак иш саҳалари кими ачиқ нишон медиҳадлар.

Икинки маҳдудийят воқеӣ дунядаки CU-Action етикетларинин FEEPE асосӣли посе естиматион системиндан галмасидир. Уст гриппер мустависинин камера баксишина таксминан паралел олдугу ҳалларда поз таксмин ксатаси арта ббор.

Учунку оларақ воқеӣ робот такрубаларинин аҳатаси симулясия бенчмарк-ина нисбатан даҳа дардир. Натикалар фарқли физики роботҳо, фабрик шараитлари, узунмуддатли иш, таҳлукасизлик баксиминдан критик вазифалар ва я идараетма гекикмаларинин гениш спектри учун бирбаша умумбошдирбо билмаз.

Дордунку оларақ таксминан 4 милярд параметрли моделин 16 адад 80 ГБ NVIDIA A800 узаринда 14 гун он омӯзиш талаб етмаси методун ҳесаблама ксаркинин ашаги олмадигини изҳор мекунад. Мақаланин “фев-шот” устунлую ҳадаф робот учун лазим олан ени намоиш сайина аиддир; асосӣ моделин илкин омӯзиш ксаркинин кичик олдугу анламина галмир.

Ёддошти манбаъ ва усул

Сарлавҳаи аслӣ: CM-VLA: Камера-Спаке-Гуидед Mixture-of-Experts Поликй фор Фев-шот Кросс-Ембодимент Трансфер

Муаллифон: Bo Liu, Liming Zhang, Yuhan Wang, Yong Liu.

Муаллифи масъул: Yong Liu.

Муассиса: Nanjing University of Science and Technology, Нанжинг, Jiangsu, China.

Алава афилиясия: State Key Laboratory of Intelligent Manufacturing of Advanced Construction Machinery, Xuzhou, Jiangsu, China.

Навъи манбаъ: Препринт таҳқиқот мақаласи; райчи арзёбӣсиндан кечмамишдир.

Платформа: SSRN.

SSRN DOI: 10.2139/ссрн.6915199.

Санаи нашр: 10 июн 2026.

Сабти расмӣ: https://ssrn.com/abstract=6915199

Маблағгузорӣ: Натионал Натурал Скиенке Фунд оф China, Грант Но. 61473155.

Бархӯрди манфиатҳо: Муаллифон билинан рақиб малийя мараги ва я иши тасирлая ббокак шаксси мунасибат олмадигини баян етмишдир.

Саҳмҳои муаллифон: Bo Liu метод, таҳқиқот, маълумот курасияси ва илк қаралама; Liming Zhang проқрам таминати ва маълумот курасияси; Yuhan Wang маълумот курасияси; Yong Liu консептуаллашдирма, малийя таминати ва язи арзёбӣси вазифаларини узарина готурмушдур.

Код ва намоишҳо: Манбаъ таҳқиқот код ва демонстрасияларин lbycdy.github.io/CM-VLA/ унванинда яйимланакагини изҳор мекунад.

Усулик сарҳад: Тапинтбор якдаста енд-еффектор делта назорати, LIBERO/ME-LIBERO бенчмарк-лари ва манбаъда муайян едбон воқеӣ Sawyer робот арзёбӣларина аиддир. Даҳа гениш ембодимент ва амал маканларинда мустақил догрулама лазимдир.