Эҳсоси инсон аксар вақт танҳо дар калимаҳо зоҳир намешавад. Ҷумлае, ки шахс мегӯяд, бо оҳанги садо ва ифодаи чеҳраи ӯ маъно мегирад. Ҳамин ҷумла метавонад бо оҳанги ҳамвор бетараф, бо оҳанги истеҳзоӣ манфӣ ва бо ифодаи ҳаяҷонангези чеҳра мусбат қабул шавад. Аз ин рӯ, низомҳои зеҳни сунъӣ дар таҳлили эҳсосот маҷбуранд на танҳо матн, балки ишораҳои садоӣ ва тасвириро низ ба назар гиранд.

Ин кор як фарзияи муҳимро дар таҳлили бисёрмодалии эҳсосот зери суол мегузорад: Оё таъсири мутақобила байни матн, садо ва тасвир воқеан симметрӣ аст? Яъне агар матн ба садо то як андоза таъсир кунад, оё садо ҳам ба матн бо ҳамон қувва таъсир мекунад? Ҷавоби таҳқиқот манфӣ аст. Байни модалиятҳо таъсирҳои самтдор ва нобаробар буда метавонанд. Дар баъзе намунаҳо матн манбаи асосии маъно аст; дар ҳолатҳои дигар садо ё тасвир метавонад номуайянии матнро ислоҳ, тақвият ё ҳатто баръакс кунад.

Аз ҳамин сабаб мақола модели омӯзиши таъсири мутақобилаи асимметрии байнимодалиро пешниҳод мекунад. Модел алоҳида ҳисоб мекунад, ки ҳар модалият ба модалияти дигар то чӣ андоза таъсир мерасонад; сипас барои коркарди навъҳои гуногуни таъсири мутақобила аз сохтори динамикии Mixture-of-Experts истифода мекунад. Mixture-of-Experts-ро метавон ба тоҷикӣ ҳамчун “омехтаи коршиносон” шарҳ дод: Модел ба ҷойи он ки дар ҳар намуна ҳамаи коршиносонро фаъол кунад, чанд зершабакаи коршиносии барои ҳамон намуна мувофиқро интихоб намуда, намояндагии чандиртар ва самараноктар месозад.

Мушкил чист?

Таҳлили бисёрмодалии эҳсосот мекӯшад бо якҷо кардани навъҳои гуногуни маълумот, аз ҷумла матн, садо ва тасвир, ҳолати эҳсосиро пешгӯӣ кунад. Ин соҳа барои шабакаҳои иҷтимоӣ, тафсири видеоҳои онлайн, технологияҳои таълимӣ, ҳамкории инсон бо компютер ва низомҳои зеҳни сунъии ҳассос ба эҳсосот муҳим аст. Аммо якҷо кардани модалиятҳои гуногун аз ҷиҳати техникӣ душвор аст.

Мушкилоти аввал ин аст, ки модалиятҳо як навъи маълумотро намебаранд. Матн одатан манбаи дорои зичии баланди маъно аст; он мустақиман он чиро, ки шахс мегӯяд, дар бар мегирад. Садо бошад ишораҳое ба монанди таъкид, суръат, баландӣ ва оҳанги эҳсосиро интиқол медиҳад. Тасвир бошад тавассути ифодаи чеҳра, ишора, мимика ва ҳолати бадан сигналҳои иловагӣ медиҳад. Ин се канал метавонанд ҳамдигарро пурра кунанд, аммо дар ҳар намуна бо қувваи яксон кор намекунанд.

Мушкилоти дуюм ин аст, ки бисёре аз усулҳои қаблӣ таъсири байни модалиятҳоро симметрӣ ё баробар мепиндоштанд. Аммо дар гуфтугӯҳои воқеӣ ин ҳамеша дуруст нест. Матн метавонад ба тарзи тафсири садо таъсири қавӣ расонад, аммо қувваи таъсири садо ба матн метавонад ҳамон андоза набошад. Ба ҳамин монанд, тасвир дар баъзе намунаҳо хеле муайянкунанда аст, вале дар баъзеи дигар қариб ягон сигнали эҳсосӣ намедиҳад.

Мушкилоти сеюм таъсири вобаста ба замина аст. Дар ҳолатҳои ҳазл, истеҳзо, тамасхур, матни номуайян, ифодаи заифи эҳсосот ё видеои пурғавғо, модел бояд ба таври динамикӣ танзим кунад, ки ба кадом модалият бештар эътимод кунад. Вазнҳои собит ё усулҳои одии якҷоякунӣ на ҳамеша ин чандириро таъмин мекунанд.

Саволи асосии кор дар ҳамин нуқта пайдо мешавад: Зеҳни сунъӣ чӣ гуна метавонад таъсирҳои самтдор ва вобаста ба намуна байни матн, садо ва тасвирро беҳтар омӯзад?

Усул чӣ пешниҳод мекунад?

Кор барои таҳлили бисёрмодалии эҳсосот бо огоҳӣ аз замина модели омӯзиши таъсири асимметрии байнимодалиро пешниҳод мекунад. Ғояи асосии модел ин аст, ки таъсири ҳар модалият ба дигар модалиятҳо дар самтҳои алоҳида ҳисоб карда шуда, ин таъсирҳо тавассути шабакаҳои динамикии коршиносон коркард шаванд.

Ҷузъи аввал модули рамзгузории махсуси модалият аст. Барои матн BERT истифода мешавад. BERT модели қавии забонӣ аст, ки калимаҳои дохили ҷумларо дар замина намояндагӣ мекунад. Барои садо ва тасвир бошад, сохторҳои Transformer encoder бо иттилои мавқеъ истифода мешаванд. Ҳамин тавр, ҳар модалият аввал дар дохили худ ба намояндагии маънодор табдил дода мешавад.

Ҷузъи дуюм Modality Relation-aware Dual-path Cross-modal Interaction, яъне модули таъсири байнимодалии дуҷараёна бо огоҳӣ аз робитаи модалиятҳо мебошад. Ин модул вазнҳои таъсири самтдорро байни матн, садо ва тасвир ҳисоб мекунад. Масалан, таъсир аз матн ба садо ва аз садо ба матн яксон ҳисоб намешавад; ҳар самт бо вазни эътимоди ҷудогона моделсозӣ мешавад.

Ҷузъи сеюм сохтори таъсири дуҷараёна аст. Модел мекӯшад ҳам таъсирҳои маҳаллии дугона ва ҳам таъсири глобалии семодалиро дарёфт кунад. Роҳи маҳаллӣ робитаҳои дугона, ба монанди матн-садо, матн-тасвир ва садо-тасвирро меомӯзад. Роҳи глобалӣ бошад, намунаи васеътари таъсири мутақобилаи се модалиятро якҷо дарк мекунад.

Ҷузъи чорум модули Interaction-aware Mixture-of-Experts мебошад. Ин сохтор барои навъҳои гуногуни таъсири байнимодалӣ шабакаҳои гуногуни коршиносӣ месозад. Коршиносоне ба монанди Text-Audio Expert, Text-Video Expert, Audio-Video Expert, Trimodal Expert ва General Expert мавҷуданд. Модел дар ҳар намуна ҳамаи коршиносонро баробар истифода намекунад; бо стратегияи top-k routing чанд коршиноси мувофиқтаринро интихоб мекунад.

Ҷузъи панҷум модули Semantically Complementary Global Interaction мебошад. Ин сохтор мекӯшад ишораҳои иловагии эҳсосиро, ки ҳангоми таъсири асимметрӣ метавонанд гум шаванд, дубора дарёфт кунад. Ҷузъи шашум бошад модули Modality-Specific Channel Refinement аст. Ин модул сигналҳои муҳими эҳсосии дохилии ҳар модалиятро ҳифз намуда, кӯшиш мекунад суст шудани намояндагии муттаҳидшударо пешгирӣ кунад.

Формулаҳо чиро нишон медиҳанд?

Дар кор ифодаҳои зиёди математикӣ мавҷуданд. Формулаҳои зер бо риояи ҳарчи бештари сохтори рамзии мақола оварда шуда, бо шарҳҳои сода барои хонандаи Verianla ҳамроҳ шудаанд.

Модалияти матн бо BERT рамзгузорӣ мешавад. Дар ин ҷо \(X_t\), вуруди матнӣ ва \(H_t\), пайдарпаии намояндагии заминавии аз матн баровардашударо ифода мекунад.

Дар модалиятҳои садо ва тасвир иттилои мавқеъ илова мешавад ва намояндагӣ бо Transformer encoder гирифта мешавад. Дар ин ҷо \(m \in \{a,v\}\), модалияти садо ё тасвирро ифода мекунад.

Сипас модел модалиятҳоро ба андозаи умумӣ проексия мекунад. Барои матн намояндагии [CLS] ва барои садо ва тасвир миёнагирии ҷамъкунанда истифода мешавад.

Механизми дарки робитаи асимметрӣ таъсири самтдори як модалиятро ба модалияти дигар ҳисоб мекунад. Дар ин ҷо \(w_{j \rightarrow i}\), вазни эътимоди таъсирро аз модалияти манбаи \(j\) ба модалияти ҳадафи \(i\) ифода мекунад.

Бо истифода аз ин вазнҳо ҳар модалият мувофиқи таъсири самтдори аз дигар модалиятҳо омада аз нав миқёсбандӣ мешавад. Дар ин ҷо \(\odot\), зарби унсур ба унсурро нишон медиҳад.

Дар таъсири маҳаллии дугона намояндагиҳои тақвиятёфтаи ду модалият муттаҳид шуда, аз табдили ғайрихаттӣ гузаронида мешаванд.

Се вектори таъсири дугона рӯйи ҳам гузошта шуда, сохтори васеътари робита ташкил мешавад.

Дар сохтори Mixture-of-Experts коршиносони гуногун навъҳои гуногуни таъсирро коркард мекунанд. Масалан, коршиносони матн-садо, матн-тасвир, садо-тасвир, семодалӣ ва умумӣ ба намунаҳои гуногуни таъсир тамаркуз мекунанд.

Шабакаи routing, яъне роҳнамоӣ, муайян мекунад, ки барои ҳар намуна кадом коршиносон интихоб шаванд. Модел ба ҷойи фаъол кардани ҳамаи коршиносон, \(k\) коршиноси мувофиқтаринро интихоб мекунад.

Натиҷаҳои коршиносони интихобшуда бо вазнҳо якҷо карда мешаванд.

Барои пешгирии фурӯпошии коршиносон аз талафоти мувозинати сарборӣ истифода мешавад. Фурӯпошии коршиносон ҳолатест, ки модел пайваста ба ҳамон чанд коршинос равона шуда, коршиносони дигар имкони омӯзиш намеёбанд.

Дар қисми регрессия барои пешгӯии холи эҳсосот талафоти L1 истифода мешавад. Ин талафот фарқи мутлақ байни арзиши эҳсоси пешгӯишуда ва арзиши воқеии эҳсосро чен мекунад.

Ҳадафи умумии омӯзиш талафоти регрессия, талафоти контрастивии огоҳ аз эҳсосот ва талафоти мувозинати сарбориро якҷо мекунад.

Паёми асосии график, ҷадвал ва схема

Схемаи меъмории модел нишон медиҳад, ки низом вуруди матн, садо ва тасвирро аввал алоҳида рамзгузорӣ мекунад ва сипас таъсири самтдорро байни ин модалиятҳо ҳисоб менамояд. Паёми асосии схема чунин аст: Модел якҷоякунии “матн + садо + тасвир”-ро ҳамчун амали одии ҷамъкунӣ намебинад; он алоҳида меомӯзад, ки кадом канал ба кадом канали дигар то чӣ андоза таъсир мерасонад.

Схемаи робитаи асимметрӣ нишон медиҳад, ки таъсири модалиятҳо яксамтӣ ва баробар нест. Масалан, дар як намуна матн метавонад ба садо ва тасвир таъсири қавӣ расонад, аммо таъсири баръакси садо ё тасвир ба матн паст бошад. Ин равиш махсусан дар ҳолатҳои истеҳзо, матни номуайян ва сигнали заифи эҳсосот муҳим аст.

Схемаи Semantically Complementary Global Interaction нишон медиҳад, ки модел танҳо ба таъсири асимметрӣ маҳдуд намешавад. Баъзе ишораҳои эҳсосӣ метавонанд ҳангоми таъсири самтдор суст ё гум шаванд. Аз ин рӯ, модел мекӯшад аз намояндагии муштараки се модалият ҳам иттилои маҳаллӣ ва ҳам глобалии иловагии эҳсосотро барорад.

Паёми асосии ҷадвали маҷмӯи додаҳо ин аст, ки модел ҳам дар маълумоти англисӣ ва ҳам чинӣ барои таҳлили бисёрмодалии эҳсосот санҷида шудааст. CMU-MOSI як benchmark-и хурдтар ва классикӣ мебошад. CMU-MOSEI дорои намунаҳои бештар ва гуногунтари эҳсосот аст. CH-SIMS v2 бошад, ҳамчун маҷмӯи додаҳои чинӣ моделро дар заминаи дорои ғавғои бештари ҷаҳони воқеӣ ва ифодаҳои заифи эҳсосот месанҷад.

Ҷадвалҳои иҷро нишон медиҳанд, ки модели пешниҳодшуда махсусан дар таснифоти дугонаи эҳсосот натиҷаи қавӣ медиҳад. Дар CMU-MOSI афзоиши назаррас дар Acc-2 ва холҳои F1 гузориш мешавад. Дар CMU-MOSEI беҳбудиҳои хурдтар, вале пайваста дида мешаванд. Дар CH-SIMS v2 бошад, натиҷаҳои мусбат дар намунаҳои пурғавғо ва дорои сигнали заифи эҳсосот бештар ба чашм мерасанд.

Ҷадвали ablation нишон медиҳад, ки кадом қисмҳои модел воқеан саҳм мегузоранд. Ҳангоми хориҷ кардани модули IMoE яке аз бузургтарин коҳишҳо дар холи F1 рӯй медиҳад. Ин нишон медиҳад, ки интихоби динамикии коршиносон барои дарёфти сигналҳои нозуки эҳсосот дар заминаҳои мураккаб муҳим аст. Ҳангоми хориҷ кардани модулҳои MRDCI ва SCGI низ иҷро коҳиш меёбад; ин нишон медиҳад, ки таъсири асимметрӣ ва намояндагии глобалии пурракунанда барои модел асосӣ мебошанд.

Таҳлили ҳолати намунавӣ вазъеро нишон медиҳад, ки матн эҳсоси ошкоро манфӣ дорад, вале садо ва тасвир сигнали равшани эҳсосӣ намедиҳанд. Матритсаи таъсир нишон медиҳад, ки матн ба дигар модалиятҳо таъсири қавӣ дорад, дар ҳоле ки таъсири баръакси садо ва тасвир ба матн паст мемонад. Ин мисол ғояи “ҳар модалият вазни баробар надорад”-ро мушаххас мекунад.

Тақсимоти интихоби коршиносон нишон медиҳад, ки модел танҳо ба як коршинос фурӯ намепошад. Гарчанде Trimodal Expert ва Audio-Video Expert бештар интихоб мешаванд, коршиносони дигар низ ба таври маънодор истифода мегарданд. Ин нишон медиҳад, ки механизми top-k routing метавонад дар намунаҳои гуногун коршиносони гуногуни таъсирро фаъол кунад.

Намоиши T-SNE сифати намояндагии моделро ба таври визуалӣ шарҳ медиҳад. Ҳангоми истифодаи танҳо садо ё тасвир гурӯҳҳои эҳсосотӣ хеле ба ҳам омехта мешаванд. Матн ҷудокунии беҳтар медиҳад, аммо эҳсоси бетараф ҳанӯз пароканда мемонад. Вақте таъсири байнимодалӣ ва IMoE илова мешаванд, намунаҳои мусбат, манфӣ ва бетараф аз ҳам ҷудошаванда мегарданд. Ин нишон медиҳад, ки модел махсусан марзи байни эҳсоси бетараф ва эҳсосоти қутбшудаи мусбат/манфиро беҳтар меомӯзад.

Озмоишҳо чӣ гуна анҷом дода шудаанд?

Дар кор се маҷмӯи додаҳои маъмули таҳлили бисёрмодалии эҳсосот истифода шудаанд: CMU-MOSI, CMU-MOSEI ва CH-SIMS v2. CMU-MOSI benchmark-и классикӣ мебошад, ки аз видеоҳои фикру мулоҳиза дар YouTube иборат аст. CMU-MOSEI маҷмӯи додаҳои васеътар бо миқёси калон ва тақсимоти гуногунтари мавзӯъҳо мебошад. CH-SIMS v2 бошад, маҷмӯи додаи чинӣ барои таҳлили бисёрмодалии эҳсосот аст, ки ғавғои воқеӣ ва ифодаҳои заифи эҳсосотро бештар дар бар мегирад.

Модел хусусиятҳои матн, садо ва тасвирро алоҳида коркард мекунад. Дар қисми матн BERT-base ё барои маҷмӯи додаи чинӣ BERT-base-cn истифода мешавад. Дар қисми садо ва тасвир вобаста ба маҷмӯи додаҳо андозаҳои гуногуни хусусиятҳо истифода мешаванд. Озмоишҳо бо PyTorch амалӣ шуда, дар як GPU-и NVIDIA RTX 3090 гузаронида мешаванд.

Иҷро ҳам бо меъёрҳои регрессия ва ҳам таснифот арзёбӣ мешавад. Дар қисми регрессия MAE ва коррелятсияи Pearson истифода мешаванд. MAE хатои миёнаи мутлақ байни холи эҳсосии пешгӯишуда ва холи воқеиро чен мекунад. Коррелятсияи Pearson муносибати хаттии байни пешгӯӣ ва тамғаи воқеиро нишон медиҳад.

Дар қисми таснифот холҳои Acc-7, Acc-5, Acc-2 ва F1 гузориш мешаванд. Acc-7 ва Acc-5 таснифоти нозуктари эҳсосотро месанҷанд. Acc-2 ва F1 бошад, ҷудокунии дағалтар, вале аз ҷиҳати амалӣ муҳимтар, ба монанди мусбат/манфиро арзёбӣ мекунанд.

Модел бо усулҳои классикии fusion, усулҳои бар пояи Transformer, равишҳои омӯзиши контрастивӣ, усулҳои ҷудокунии намояндагӣ, механизмҳои мутобиқшавандаи коршиносон ва усулҳои бар пояи моделҳои бузурги бисёрмодалӣ муқоиса мешавад. Ба ин васила ҷойгоҳи модели пешниҳодшуда на танҳо нисбат ба усулҳои кӯҳна, балки нисбат ба равишҳои пурқуввати навтар низ маълум мешавад.

Илова бар ин, таҳқиқоти ablation гузаронида мешаванд. Ablation усулест, ки бо хориҷ кардани ҷузъҳои модел як-як саҳми ҳар қисмро ба иҷро месанҷад. Ҳангоми хориҷ кардани ҷузъҳое ба монанди MRDCI, APMR, GPTA, LBI, IMoE, SCGI ва MSCR тағйироти иҷро баррасӣ мешавад.

Натиҷаҳо чиро нишон медиҳанд?

Натиҷаи аввал ин аст, ки симметрӣ ҳисоб кардани таъсири байни модалиятҳо дар таҳлили бисёрмодалии эҳсосот маҳдуд аст. Матн, садо ва тасвир дар ҳар намуна бо вазни яксон кор намекунанд. Дар баъзе ҳолатҳо матн омили асосӣ аст; дар ҳолатҳои дигар садо ё тасвир матнро пурра мекунад, ислоҳ мекунад ё эҳсоси заифро намоён месозад.

Натиҷаи дуюм ин аст, ки моделсозии таъсири асимметрӣ ба иҷро саҳми маънодор дорад. Ҳангоми хориҷ кардани модули MRDCI холи F1 ба таври назаррас коҳиш меёбад ва ин нишон медиҳад, ки омӯзиши робитаҳои самтдори модалиятҳо барои пешгӯии эҳсосот муҳим аст.

Натиҷаи сеюм аҳаммияти интихоби динамикии коршиносон аст. Ҳангоми хориҷ кардани модули IMoE иҷро ба таври ҷиддӣ коҳиш меёбад. Ин нишон медиҳад, ки як стратегияи ягонаи fusion барои ҳар намуна кофӣ нест ва интихоби коршиносони гуногун вобаста ба замина метавонад натиҷаҳои беҳтар диҳад.

Натиҷаи чорум ин аст, ки таъсири глобалии пурракунанда ва такмили канали махсуси модалият метавонанд талафоти сигналҳои эҳсосиро кам кунанд. SCGI ишораҳои муштарак ва маҳаллӣ-глобалии эҳсосиро байни се модалият тақвият медиҳад. MSCR бошад, сигналҳои муҳими дохилии ҳар модалиятро ҳифз мекунад.

Натиҷаи панҷум ин аст, ки модел махсусан дар сигналҳои заифи эҳсосот ва намунаҳои пурғавғо бартарӣ медиҳад. Натиҷаҳои CH-SIMS v2 нишон медиҳанд, ки модел дар ҳолатҳое, ки ҷудо кардани эҳсоси бетараф аз синфҳои мусбат ё манфӣ душвор аст, ҷудокунии қавитар анҷом медиҳад.

Натиҷаи шашум ин аст, ки фаъол кардани коршиносони бештар ҳамеша беҳтар нест. Равиши top-k sparse routing танҳо коршиносони мувофиқтаринро интихоб карда, ҳам сарбории ҳисоббарориро кам мекунад ва ҳам намояндагии мувофиқ ба намуна месозад. Дар кор 5 коршинос ва стратегияи top-2 activation барои таснифоти дағалтарини эҳсосот ва меъёрҳои коррелятсия мувозинати хуб медиҳад.

Чаро ин муҳим аст?

Ин кор нишон медиҳад, ки дар таҳлили эҳсосот фикри “каналҳои бештари маълумотро якҷо кунем” ба танҳоӣ кофӣ нест. Масъалаи асосӣ фаҳмидани он аст, ки ин каналҳо ба ҳам чӣ гуна таъсир мерасонанд ва дар кадом замина кадом канал боэътимодтар аст.

Дар видеоҳои шабакаҳои иҷтимоӣ, сабтҳои омӯзиши онлайн, гуфтугӯҳои дастгирии муштариён, ҳамкории инсон бо робот ва барномаҳои ҳассос ба эҳсосот матн, садо ва тасвир аксар вақт якҷо мавҷуданд. Аммо ин маълумот ҳамеша мувофиқ нест. Шахс метавонад калимаҳои мусбат истифода кунад, вале ифодаи чеҳрааш манфӣ бошад; оҳанги садо метавонад маънои матнро баръакс кунад; тасвир метавонад сифати паст дошта бошад; гуфтор метавонад номуайян ё истеҳзоӣ бошад.

Аз ин рӯ, моделҳое, ки бо огоҳӣ аз замина ва таъсири асимметрӣ меомӯзанд, аз равиши классикии “се каналро якҷо кун ва пешгӯӣ намо” як қадам пештар мераванд. Модел танҳо модалиятҳоро ҷамъ намекунад; он мекӯшад тавозуни қувваи байни онҳоро омӯзад.

Кор ҳамчунин нишон медиҳад, ки чаро меъмории Mixture-of-Experts барои таҳлили бисёрмодалии эҳсосот муҳим буда метавонад. Агар ҳар намуна намунаи гуногуни таъсири эҳсосотӣ дошта бошад, интихоби коршиносони гуногун вобаста ба замина метавонад нисбат ба як модели ягонаи умумӣ чандиртар ва самараноктар бошад.

Аммо истифодаи чунин низомҳо дар ҷаҳони воқеӣ эҳтиёт мехоҳад. Шинохти эҳсосот абзори хондани дақиқи ҷаҳони ботинии инсон нест. Модел аз сигналҳои матн, садо ва тасвир пешгӯӣ месозад; ин пешгӯиҳо ба замина, фарҳанг, сифати маълумот, рафтори корбар ва маҳдудиятҳои ахлоқӣ вобастаанд.

Нуктаҳои мавриди таваҷҷуҳ

Нуктаи аввал ин аст, ки кор preprint мебошад. Азбаски аз арзёбии ҳамтоён нагузаштааст, усул, натиҷаҳо ва иддаоҳо метавонанд дар оянда тағйир ёбанд. Аз ин рӯ, натиҷаҳо бояд ҳамчун натиҷаи умедбахши таҳқиқотӣ хонда шаванд, на ҳамчун стандарти ниҳоӣ.

Нуктаи дуюм ҳудудҳои ахлоқии шинохти эҳсосот аст. Ба таври худкор пешгӯӣ кардани эҳсоси шахс аз матн, садо ва тасвир раванди ҳассос аст. Дар соҳаҳое ба монанди таълим, қабул ба кор, тандурустӣ, амният, назорат ё арзёбии муштарӣ чунин низомҳо набояд ба танҳоӣ барои тамғагузории автоматии одамон истифода шаванд.

Нуктаи сеюм вобастагӣ ба маҷмӯи додаҳост. CMU-MOSI, CMU-MOSEI ва CH-SIMS v2 benchmark-ҳои қавӣ мебошанд, аммо маълумоти ҷаҳони воқеӣ метавонад мураккабтар бошад. Забонҳо, фарҳангҳо, лаҳҷаҳо, сифати камера, заминаҳои иҷтимоӣ ва меъёрҳои ифодаи чеҳра метавонанд иҷрои моделро тағйир диҳанд.

Нуктаи чорум таснифоти нозуки эҳсосот аст. Кор қайд мекунад, ки баъзе модулҳо таснифоти дугонаро тақвият медиҳанд, аммо дар меъёрҳои нозуктар, ба монанди Acc-5 ва Acc-7, ҳамеша ҳамон фоида намедиҳанд. Ин нишон медиҳад, ки ҷудокунии мусбат/манфӣ осонтар, вале шиддати нозуки эҳсосот ва марзҳои бетараф душвортар мебошанд.

Нуктаи панҷум мураккабии модел аст. Коршиносони динамикӣ, top-k routing, таъсири асимметрӣ ва функсияҳои сершумори талафот меъмории қавӣ медиҳанд, аммо низомро мураккабтар мекунанд. Дар муҳити воқеии истеҳсолӣ шарҳпазирӣ, арзиши ҳисоббарорӣ, таъхир, махфияти маълумот ва талаботи нигоҳдорӣ низ бояд алоҳида арзёбӣ шаванд.

Хулоса

Ин кор як ғояи муҳимро дар маркази таҳлили бисёрмодалии эҳсосот мегузорад: Робитаи байни матн, садо ва тасвир ҳамеша баробар ва симметрӣ нест. Дар баъзе намунаҳо матн дигар модалиятҳоро роҳнамоӣ мекунад; дар баъзе намунаҳо садо ва тасвир маънои матнро пурра мекунанд; дар баъзе ҳолатҳо бошад, коркарди муштараки се модалият лозим мешавад.

Модели пешниҳодшуда ин мураккабиро бо таъсири асимметрии байнимодалӣ ва сохтори динамикии Mixture-of-Experts баррасӣ мекунад. MRDCI таъсири самтдорро байни модалиятҳо дарёфт мекунад. IMoE бо интихоби коршиносони мувофиқ вобаста ба замина сигналҳои нозуки эҳсосиро коркард мекунад. SCGI ишораҳои глобалии пурракунандаеро, ки метавонанд гум шаванд, тақвият медиҳад. MSCR бошад, сигналҳои муҳими махсуси модалиятро ҳифз мекунад.

Натиҷаҳои таҷрибавӣ нишон медиҳанд, ки модел дар се benchmark-и маҷмӯи додаҳо иҷрои қавӣ дорад ва махсусан дар таснифоти дугонаи эҳсосот, намунаҳои пурғавғо ва сигналҳои заифи эҳсосот бартарӣ дода метавонад.

Аз нигоҳи Verianla паёми асосии кор чунин аст: Барои он ки зеҳни сунъӣ эҳсоси инсонро беҳтар дарк кунад, танҳо истифодаи якҷояи матн, садо ва тасвир кофӣ нест. Он бояд робитаҳои самтдори қувва, замина ва таъсирҳои махсуси ҳар намуна байни ин каналҳоро низ омӯзад.

Ёддошт оид ба манбаъ ва усул

Ин муҳтаво бар асоси preprint бо унвони “Asymmetric Cross-modal Interaction Learning with Dynamic Mixture-of-experts for Context-aware Multimodal Sentiment Analysis” омода шудааст. Кор таҳлили бисёрмодалии эҳсосот, таъсири асимметрии байнимодалӣ, Dynamic Mixture-of-Experts, top-k routing, таъсири глобалии пурракунандаи семантикӣ ва усулҳои такмили канали махсуси модалиятро дар маҷмӯи додаҳои CMU-MOSI, CMU-MOSEI ва CH-SIMS v2 меомӯзад.

Ин муҳтаво тарҷумаи калима ба калима нест; ғояи асосии кор мутобиқи хатти нашрии Verianla содда карда шуда, ба мақолаи таҳририи аслии тоҷикӣ табдил дода шудааст.