Мушкил чӣ аст? Инсон ҳангоми суханронӣ танҳо садо тавлид намекунад

Муоширати инсонӣ танҳо аз калимаҳо иборат нест. Ҳангоми суханронӣ мо дастҳоро ҳаракат медиҳем, сарро меҷунбонем, ифодаҳои чеҳраро истифода мебарем ва бо ритми бадан ба сухан ҳамроҳӣ мекунем.

Қисме аз ин ҳаракатҳо мустақиман бо маънои сухан алоқаманданд. Масалан, гуфтани «ба он ҷо рафтам» бо нишон додани самт бо даст, гуфтани «калон» бо кушодани дастҳо ё гуфтани «мубодила кардан» бо дароз кардани кафи даст метавонанд мисоли ишораҳои семантикӣ бошанд.

Баъзе ҳаракатҳо бештар ба ритми сухан ҳамроҳӣ мекунанд. Онҳо одатан ҳаракатҳои хурд, такроршаванда ва ба таъкид вобастаи дастанд. Чунин ҳаракатҳоро ишораҳои beat меноманд. Ишораҳои beat маънои пурраи калимаро намекашанд; аммо ҷараён, таъкид ва ритми суханро дастгирӣ мекунанд.

Барои аватарҳои виртуалӣ, одамони рақамӣ, қаҳрамонони бозӣ, ассистентҳои таълимӣ ва роботҳои иҷтимоӣ тавлиди табиии ин ишораҳо муҳим аст. Зеро аватаре, ки танҳо даҳонро ҳаракат медиҳад, вале баданаш беҳаракат мемонад, барои корбар механикӣ ё ноэътимод ба назар мерасад.

Саволи асосии ин таҳқиқот чунин аст:

Оё зеҳни сунъӣ метавонад бо назардошти ҳам маъно ва ҳам ритми сухан ишораҳои табиитар тавлид кунад?

Дар моделҳои мавҷуда мушкил чӣ аст?

Бисёре аз моделҳои тавлиди ишораҳои ҳамроҳи сухан ҳамаи ишораҳоро ҳамчун як ҷараёни ягонаи ҳаракат коркард мекунанд. Яъне модел суханро мегирад ва ҳаракати бадани мувофиқро бо як система тавлид карданӣ мешавад.

Аммо ба назари муҳаққиқон, ин равиш метавонад ба се мушкили муҳим оварда расонад.

Аввалан, ҳамоҳангии вақтии сухан ва ҳаракат ҳамеша хуб набошад. Аватар гоҳе дар лаҳзаи дуруст ҳаракат намекунад ё ҳаракатеро тавлид мекунад, ки бо таъкиди сухан мувофиқат намекунад.

Дуюм, ишораҳои семантикӣ метавонанд заиф бимонанд. Модел метавонад калимаҳоеро мисли «мубодила кардан», «нишон додан», «калон», «ин ҷо», «боло», ки маъноро ба ҳаракати бадан мебанданд, ба қадри кофӣ хуб ба ишора табдил надиҳад.

Сеюм, ҳаракатҳои beat метавонанд ларзон ё сунъӣ ба назар расанд. Дасти инсон маҳдудиятҳои биомеханикӣ дорад; яъне ҳаракатҳои даст на мисли ларзишҳои тасодуфии якбора самтдигаркунанда, балки мисли ҳаракатҳои дорои вазн ва инерсия бояд ба назар расанд.

DuoGesture ба ин мушкилот бо чунин идея наздик мешавад:

Ишораи семантикӣ ва ишораи beat як навъи ҳаракат нестанд; бинобар ин набояд бо як механизми ягона тавлид шаванд.

DuoGesture чӣ пешниҳод мекунад?

DuoGesture тавлиди ишораҳои ҳамроҳи суханро ба ду ҷараён ҷудо мекунад.

Ҷараёни семантикӣ кӯшиш мекунад ишораҳои марбут ба маънои суханро тавлид кунад. Масалан, калимаҳо, ибораҳо ё контекстҳои эҳсосии муайян кадом ҳаракати баданро метавонанд ба хотир оранд?

Ҷараёни beat кӯшиш мекунад ҳаракатҳои хурди ритмиеро тавлид кунад, ки бо ритм, сохтори таъкид ва вақтбандии сухан мувофиқ бошанд.

Ин ду ҷараён комилан мустақил нестанд. Модел механизми дарвозаеро истифода мебарад, ки дар ҳар чаҳорчӯба қарор медиҳад кадом як — ишораи семантикӣ ё ҳаракати beat — бартарӣ дорад. Ҳамин тавр модел дар ҳар лаҳза кӯшиш мекунад ба саволи «ҳоло ишораи маъноӣ лозим аст ё ҳаракати ритмии сухан мувофиқтар аст?» ҷавоб диҳад.

Расми 1 чӣ шарҳ медиҳад?

Расми 1 дар мақола ғояи умумии модели DuoGesture нишон медиҳад. Модел ду роҳи асосӣ дорад: ҷараёни семантикӣ ва ҷараёни beat.

Дар тарафи семантикӣ матни сухан ба намояндагиҳои маъноии марбут ба ҳаракат табдил дода мешавад. Дар тарафи beat бошад, ритми садо ва иттилооти гӯянда ҷараёни ҳаракатро роҳнамоӣ мекунанд. Натиҷаи ин ду ҷараён бо вазни аз чаҳорчӯба ба чаҳорчӯба тағйирёбанда якҷоя карда мешавад.

Паёми асосии расм чунин аст:

DuoGesture ишораи суханро на ҳамчун як ҳаракати якпорча, балки ҳамчун омехтаи пайваста тағйирёбандаи байни маъно ва ритм мебинад.

Ин равишест наздиктар ба муоширати инсонӣ. Зеро инсон ҳангоми суханронӣ гоҳе ҳаракати дастеро мекунад, ки маънои калимаро мекашад, ва гоҳе танҳо зарбаҳои хурдеро мезанад, ки ба ритм ҳамроҳӣ мекунанд.

MGSC: пули маъноитар аз калима ба ҳаракат

Компоненти аввалини муҳими DuoGesture — MGSC, яъне модули Motion-Grounded Semantic Conditioning аст.

Дар моделҳои классикӣ калимаҳо одатан бо намояндагиҳои матнии BERT, FastText ё монанд ба онҳо дода мешаванд. Ин намояндагиҳо маънои забонӣ доранд; аммо метавонанд мустақиман надонанд, ки калима дар бадан бо кадом ҳаракат ифода шавад.

Масалан, калимаи «мубодила кардан» аз ҷиҳати забонӣ маъно дорад. Аммо муодили бадании он метавонад кушодани каф, дароз кардани даст ё додани чизе ба тарафи муқобил бошад. Намояндагии танҳо матнӣ ҳамеша ин шакли ҳаракатро хуб намегирад.

MGSC барои пӯшидани ин холӣ матнро бо намояндагиҳои марбут ба ҳаракат дастгирӣ мекунад. Яъне модел на танҳо ба саволи «чӣ гуфта шуд?», балки ба саволи «ин маъно чӣ гуна ба ҳаракат табдил ёбад?» низ наздик мешавад.

Ин хусусан барои калимаҳои камвоқеъ муҳим аст. Калимае, ки дар маҷмӯаи додаҳо кам дида мешавад, барои модели классикӣ душвор буда метавонад. Аммо намояндагии семантикии марбут ба ҳаракат метавонад барои ин калима афзалияти ишораи мувофиқтарро фароҳам оварад.

S-VIB: ишораи семантикӣ кай бояд фаъол шавад?

Компоненти дуюми муҳими DuoGesture — S-VIB, яъне модули Semantic Variational Information Bottleneck аст.

Ин модул қарор медиҳад, ки ҷараёни семантикӣ кай фаъол шавад. Барои ҳар чаҳорчӯба вазн тавлид мекунад. Ин вазн бо рамзи Ψ нишон дода мешавад.

Ба таври сода чунин фикр кардан мумкин аст:

Агар қимати Ψ ба 0 наздик бошад: Ҷараёни beat бартарӣ дорад. Ҳаракат бештар ба ритми сухан ҳамроҳӣ мекунад.
Агар қимати Ψ ба 1 наздик бошад: Ҷараёни семантикӣ бартарӣ дорад. Ҳаракат бештар маънои суханро ифода мекунад.

Ин механизми дарвоза тасодуфӣ ё собит нест. Модел бо назардошти муҳтаво, вақтбандӣ ва нишонаҳои семантикии сухан меомӯзад.

Нуктаи муҳимтарин дар ин ҷо чунин аст: агар дарвоза ҳамеша ҷараёни семантикиро кушояд, модел метавонад маъноӣ, вале аз ҳад зиёд ҳаракатманд бошад. Агар дарвоза умуман кушода нашавад, ишораҳо танҳо ритмӣ мемонанд ва маъно заиф мешавад. S-VIB барои пешгирии ин фурӯпошӣ сохтори интихоби тағйирёбанда ва назоратшавандаро истифода мебарад.

Формула чӣ шарҳ медиҳад? Ду ҷараёни ҳаракат чӣ гуна якҷоя мешаванд?

Яке аз формулаҳои асосии фаҳмотарини мақола шарҳ медиҳад, ки ҷараёнҳои ҳаракати beat ва семантикӣ чӣ гуна омехта мешаванд:

Zr = (1 − Ψ) Zbr + Ψ Zsr.

Формулаи зикршударо сода кунем.

Zbr намояндагии ҳаракат аз ҷараёни beat аст.
Zsr намояндагии ҳаракат аз ҷараёни семантикӣ аст.
Ψ қимати дарвозаест, ки муайян мекунад дар он лаҳза ҳаракати семантикӣ то чӣ андоза бартарӣ дорад.
Zr намояндагии ниҳоии якҷояшудаи ҳаракат аз ду ҷараён аст.

Агар Ψ паст бошад, ҳаракат бештар аз ҷараёни beat меояд.
Агар Ψ баланд бошад, ҳаракат бештар аз ҷараёни семантикӣ меояд.

Ҷанбаи омӯзандаи ин формула чунин аст:

Модел намегӯяд «ё комилан ритм ё комилан маъно». Дар ҳар чаҳорчӯба таносуби ҳардуро танзим мекунад. Ишораҳои инсонӣ низ аксар вақт ҳамин гунаанд; як ҳаракат ҳам ба ритм мувофиқат мекунад ва ҳам то андозае маъно дорад.

IBP: чаро ҳаракатҳои beat бояд биомеханикӣ бошанд?

Компоненти сеюми муҳими DuoGesture — IBP, яъне Inertial Beat Prior аст.

Ин қисм барои табиитар дида шудани ҳаракатҳои beat аз хусусиятҳои биомеханикии дасти инсон истифода мебарад. Дасти инсон мисли хати бевазн ҳаракат намекунад. Массаи китф, бозу, пешбозу ва даст ба нармӣ ва ритми ҳаракат таъсир мерасонад.

Ишораҳои beat одатан ритмӣ ва такроршавандаанд. Агар зеҳни сунъӣ ин ҳаракатҳоро комилан мустақил аз маҳдудиятҳои физикӣ тавлид кунад, онҳо метавонанд ларзон ё механикӣ ба назар расанд.

IBP ҳангоми омӯзиш ба ҷараёни beat фишори ҳамворкунӣ мегузорад. Аммо инро ба ҳамаи ҳаракатҳо кӯркӯрона намекунад. Хусусан ба занҷираи даст ва чаҳорчӯбаҳои beat таъсир мерасонад. Барои он ки таъкидҳои маъноии ишораҳои семантикӣ аз ҳад зиёд пахш нашаванд, дар чаҳорчӯбаҳои семантикӣ ин таъсир коҳиш дода мешавад.

Формулаи IBP чӣ мегӯяд?

Формулаи вазни IBP дар мақола чунин идеяро дорад:

τj,t = τbase × √(mj / mmax) × (1 − Ψt) × (1 + α σ²ϕ,t).

Формулаи зикршударо сода кунем.

τj,t муайян мекунад, ки барои як буғум ва вақти муайян то чӣ андоза нармкунӣ татбиқ мешавад.
mj таносуби массаи қисми дахлдори бадан аст.
mmax сегменти вазнинтарини меъёрӣ аст.
Ψt нишон медиҳад, ки дар он лаҳза ҷараёни семантикӣ то чӣ андоза фаъол аст.
σ²ϕ,t номуайянии қарори дарвозаро ифода мекунад.

Паёми содаи ин формула чунин аст:

Дар ҳаракатҳои beat нармии мувофиқтар бо вазн ва инерсияи даст татбиқ мешавад. Аммо агар ишораи семантикӣ фаъол бошад, ин нармкунӣ кам мешавад. Зеро тезие, ки маънои ҳаракати семантикиро мебарад, набояд беҳуда пахш шавад.

Ин ҷанбаи «биомеханикӣ огоҳшуда»-и таҳқиқот аст.

Расми 2 чӣ нишон медиҳад?

Расми 2 дар мақола хати коркардии модели DuoGesture муфассалтар нишон медиҳад.

Дар қисми аввал MGSC бо якҷоя кардани матн, эҳсос ва намояндагиҳои марбут ба ҳаракат иттилооти ҳаракати семантикиро месозад.

Дар қисми дуюм S-VIB бо истифодаи ин иттилооти семантикӣ ва вақтбандии садо дарвозаи семантикиро ҳисоб мекунад.

Дар қисми сеюм кодҳои ҳаракати beat ва семантикӣ якҷоя карда мешаванд. Кодҳои интихобшудаи ҳаракат баъдтар ба аниматсияи ишора табдил дода мешаванд.

Ин расм нишон медиҳад, ки модел танҳо садо ва матнро гирифта ҳаракат тавлид намекунад; балки ҳаракатро бо маъно, вақтбандӣ, эҳсос, гӯянда ва назми биомеханикӣ бисёрқабатӣ месозад.

Расми 3 чӣ шарҳ медиҳад?

Расми 3 сохтори Two-Stream Hierarchical Blender, яъне омезандаи иерархиявии дуҷараёнаро шарҳ медиҳад.

Ҷараёни beat бо хусусиятҳои садо, ҳувияти гӯянда ва позаи ибтидоӣ намояндагиҳои ҳаракати ритмиро тавлид мекунад. Ҷараёни семантикӣ бошад намояндагиҳои маъноиро аз модули MGSC истифода мебарад. Минтақаҳое мисли дастҳо, танаи боло, танаи поён ва чеҳра алоҳида баррасӣ мешаванд.

Ин муҳим аст, зеро бадани инсон мисли як блок ҳаракат намекунад. Ҳаракати даст, позаи тана ва ифодаи чеҳра динамикаҳои гуногун, вале алоқаманд доранд. Модел байни ин минтақаҳо бо механизмҳои таваҷҷуҳ мубодилаи иттилоот месозад.

Паёми асосии расм:

Барои тавлиди ишораи табиӣ на танҳо ҳаракати даст, балки ҳамоҳангӣ байни минтақаҳои бадан низ муҳим аст.

Таҷрибаҳо бо кадом маҷмӯаи додаҳо анҷом шудаанд?

Муҳаққиқон модели DuoGesture дар маҷмӯаи додаҳои сухан–ишора бо номи BEAT2 озмоиш мекунанд.

BEAT2 тақрибан 76 соат маълумоти суханронӣ, ҳаракат, ифодаи чеҳра ва ҳувияти гӯяндаро дар бар мегирад. Дар маҷмӯаи додаҳо 30 гӯянда ҳаст. Ғайр аз ин, барои навъҳои ишораҳои семантикӣ ва beat нишонаҳо дар сатҳи чаҳорчӯба мавҷуданд.

Ин барои DuoGesture бартарии муҳим аст. Зеро барои он ки модел ду навъи гуногуни ишораро ҷудо карда омӯзад, дар маҷмӯаи додаҳо нишонаҳое лозиманд, ки ин фарқиятро дастгирӣ кунанд.

Таҷрибаҳо дар ду шароит анҷом шудаанд:

Танзими як гӯянда: озмоиш дар Speaker 2.
Танзими бисёр гӯянда: озмоиш дар 25 гӯянда.

Ҳамин тавр рафтори модел ҳам нисбат ба як гӯяндаи муайян ва ҳам нисбат ба гуногунии васеътари гӯяндагон баррасӣ шудааст.

Ҷадвали 1 чӣ нишон медиҳад?

Ҷадвали 1 модели DuoGesture бо бисёре аз моделҳои қавии тавлиди ишораҳои ҳамроҳи сухан муқоиса мекунад.

Меъёри асосӣ ҳамчун FGD, яъне Fréchet Gesture Distance дода шудааст. Вақте FGD пасттар бошад, ишораҳои тавлидшуда ба тақсимоти ҳаракати воқеии инсон наздиктар ҳисоб мешаванд.

Дар танзими як гӯянда DuoGesture ба пасттарин қимати FGD мерасад:

DuoGesture: 4,101
SemTalk: 4,278
PyraMotion: 4,612

Дар танзими бисёр гӯянда низ DuoGesture беҳтарин қимати FGD-ро медиҳад:

DuoGesture: 4,081
GestureLSM: 4,268
SemTalk: 5,214
EMAGE: 5,643

Ин натиҷаҳо нишон медиҳанд, ки модели DuoGesture аз ҷиҳати воқеияти ҳаракат дар мавқеи қавӣ қарор дорад.

Аммо дар ҷадвал нуктаи муҳими дигар низ ҳаст: дар баъзе метрикаҳои дуюмдараҷа мисли Beat Alignment ё Diversity моделҳои дигар метавонанд натиҷаи баландтар гиранд. Аз ин рӯ муҳаққиқон таъкид мекунанд, ки набояд танҳо ба як метрика нигарист. Ҳамоҳангии хеле баланди beat гоҳе метавонад маънои ҳаракати аз ҳад зиёди ритмиро дошта бошад; гуногунии хеле баланд низ ҳамеша маънои ҳаракати табиӣ ва маънодорро надорад.

Ҷадвали 2 чӣ шарҳ медиҳад?

Ҷадвали 2 компонентҳои модели DuoGesture як-як хориҷ карда, саҳми ҳар қисмро меомӯзад.

Мувофиқи натиҷаҳо:

Вақте MGSC хориҷ мешавад FGD аз 4,081 ба 4,803 бадтар мешавад. Ин нишон медиҳад, ки шартгузории семантикии асосёфта бар ҳаракат бузургтарин саҳми воқеиятро медиҳад.

Вақте IBP хориҷ мешавад beat alignment коҳиш меёбад. Ин дастгирӣ мекунад, ки афзалияти инерсияи биомеханикӣ ҳаракатҳои ритмиро муттасилтар месозад.

Вақте ба ҷои S-VIB дарвозаи содатар истифода мешавад гуногунӣ кам мешавад. Ин нишон медиҳад, ки механизми дарвозаи тағйирёбанда ва стохастикӣ тақсимоти ҳаракатро васеътар нигоҳ медорад.

Ин ҷадвал нишон медиҳад, ки се қисми асосии модел якдигарро такмил медиҳанд:

MGSC маъноро тақвият медиҳад.
S-VIB интихоб мекунад, ки кай ишораи маъноӣ кунад.
IBP ҳаракати ритмиро нармтар ва табиитар месозад.

Таҳқиқоти корбарӣ чӣ мегӯяд?

Муҳаққиқон бо 30 иштирокчие, ки забони модариашон англисӣ аст, таҳқиқоти назоратии корбарӣ анҷом додаанд. Иштирокчиён видеоҳои 35-сониягиро тамошо карда, ҳаракатҳоро аз се ҷиҳат арзёбӣ кардаанд:

• Табиӣ будан
• Гуногунии ҳаракат
• Ҳамоҳангӣ бо муҳтаво ва вақтбандии сухан

Дар байни системаҳои муқоисашуда ҳаракати воқеӣ, DuoGesture, SemTalk ва EMAGE ҳастанд.

Чунон ки интизор мерафт, ҳаракатҳои воқеии инсон баландтарин холҳоро гирифтаанд. Дар байни ҳаракатҳои тавлидшуда бошад, DuoGesture умуман арзёбиҳои қавитари персептивӣ ба даст овардааст.

Ин натиҷа муҳим аст, зеро метрикаҳои ададӣ танҳо ҳамеша дарки инсониро пурра инъикос намекунанд. Таҳқиқоти корбарӣ дастгирӣ мекунад, ки ҳаракатҳои аз ҷониби DuoGesture тавлидшуда аз ҷониби тамошобинон табиитар ва бо сухан ҳамоҳангтар дарёфт шаванд.

Расми 5 чӣ нишон медиҳад?

Расми 5 ишораҳои аз ҷониби моделҳои гуногун барои қисмҳои муайяни сухан тавлидшударо ба таври визуалӣ муқоиса мекунад.

Дар байни ибораҳои намунавӣ қисмҳои сухане мисли “to get”, “in this way”, “I can share” ва “more drama” ҳастанд.

DuoGesture хусусан дар ибораҳои дорои маъно ҳаракатҳои равшантари даст ва сохторҳои фаҳмотари ҳаракатро тавлид мекунад. Дар ибораҳои beat-бартар бошад, ҳаракатҳои бо ритми сухан ҳамоҳанг, вале аз ҳад зиёд ҳамворнашударо пешниҳод мекунад.

Паёми омӯзандаи ин расм чунин аст:

Модел на танҳо ба саволи «оё ҳаракат ҳаст?», балки ба саволи «оё ин ҳаракат ба маъно ва ритми сухан мувофиқ аст?» нигаронида шудааст.

Таҳлили иловагӣ: оё ишораҳои beat ва семантикӣ воқеан фарқ доранд?

Дар қисми иловагии мақола ҳаракатҳои beat ва семантикӣ дар маҷмӯаи додаҳои BEAT2 муқоиса мешаванд.

Натиҷаҳо нишон медиҳанд, ки ду навъи ишора аз ҷиҳати кинематикӣ фарқ доранд.

Дар ҳаракатҳои beat басомади қуллаи ҳаракати китф тақрибан 1,12 Hz аст. Дар ҳаракатҳои семантикӣ ин қимат тақрибан 1,69 Hz аст. Ғайр аз ин, дар ҳаракатҳои семантикӣ ҳамзамонӣ байни китф ва пешбозу баландтар аст.

Дар таҳлили спектралӣ дида мешавад, ки ҳаракатҳои beat энергияи ритмии тангтар ва равшантар доранд, ҳол он ки ҳаракатҳои семантикӣ сохтори васеътар ва камтар тоналӣ доранд.

Ин натиҷаҳо ғояи асосии модели DuoGesture дастгирӣ мекунанд:

Агар ишораҳои beat ва семантикӣ воқеан профилҳои гуногуни ҳаракат дошта бошанд, моделсозии онҳо дар ҷараёнҳои алоҳида метавонад маънодор бошад.

Таҳқиқот чӣ мегӯяд?

Паёми асосии таҳқиқот чунин аст:

Дар тавлиди ишораҳои ҳамроҳи сухан ба ҷои тавлиди ҳамаи ҳаракатҳо бо як ҷараёни ягонаи модел, баррасии ишораҳои семантикӣ ва beat ҳамчун равандҳои алоҳида, вале ҳамкор метавонад муваффақтар бошад.

DuoGesture компонентҳои MGSC-ро, ки маъноро бо ҳаракат мебандад, S-VIB-ро, ки интихоби ҷараёнро дар сатҳи чаҳорчӯба мекунад, ва IBP-ро, ки ҳаракати ритмиро биомеханикӣ нарм мекунад, якҷоя мекунад.

Таҷрибаҳо нишон медиҳанд, ки модел дар BEAT2 қиматҳои пасттари FGD ба даст овардааст, компонентҳо якдигарро такмил додаанд ва корбарон ҳаракатҳои тавлидшударо табиитар ёфтаанд.

Чаро ин муҳим аст?

Аватарҳои виртуалӣ ва қаҳрамонони зеҳни сунъӣ дар соҳаҳои рӯзафзун истифода мешаванд: таълим, хидмати муштариён, бозӣ, метаверс, терапияҳои рақамӣ, омӯзиши забон, системаҳои дастгирии забони ишора ва роботҳои иҷтимоӣ.

Дар ин системаҳо танҳо тавлиди садои дуруст кифоя нест. Забони бадан ба эътимоди корбар ва сифати муошират таъсир мерасонад.

Ишорае, ки дар вақти нодуруст карда мешавад, ҳаракатҳои бемаънои даст ё аниматсияи ларзони бадан аватарро аз табиӣ будан дур мекунад. Аз ин рӯ тавлиди ишораҳои ҳамроҳи сухан самти муҳими таҳқиқот дар муоширати зеҳни сунъӣ ва инсон аст.

Аҳамияти модели DuoGesture дар он аст, ки ишораҳоро на танҳо ҳамчун ҳаракат, балки ҳамчун навъҳои гуногуни дорои вазифаҳои муоширатӣ баррасӣ мекунад. Ин равиш метавонад барои таҳияи қаҳрамонони рақамии маънодортар, ритмитар ва боварибахштар дар оянда самт нишон диҳад.

Нуктаҳое, ки бояд ба онҳо диққат дод

Ин таҳқиқот бояд бодиққат хонда шавад.

Аввалан, таҳқиқот preprint аст. Набояд фарз кард, ки он аз арзёбии ҳакамон гузаштааст.

Дуюм, модел дар маҷмӯаи додаҳои BEAT2 озмоиш шудааст. Барои забонҳо, фарҳангҳо, шаклҳои суханронӣ ва меъёрҳои забони бадани гуногун натиҷаҳо метавонанд тағйир ёбанд.

Сеюм, MGSC ба намояндагиҳои пешакӣ омӯзондашудаи матн–ҳаракат такя мекунад. Додаҳое, ки ин намояндагиҳо фаро мегиранд, ва ғаразҳои эҳтимолӣ метавонанд ба тавлиди ҳаракати модел таъсир расонанд.

Чорум, IBP бештар барои занҷираи даст ва ҳаракатҳои beat тарҳрезӣ шудааст. Барои ҳамаи ҳаракатҳои бадан, муошират бо объектҳо ё ҳаракатҳои дорои тамос метавонад кофӣ набошад.

Панҷум, FGD ва метрикаҳои дигар муфиданд; аммо маънои муоширатӣ ва мувофиқати фарҳангии ишораҳоро комилан чен намекунанд. Аз ин рӯ ба метрикаҳои беҳтари арзёбии маъноӣ ниёз ҳаст.

Ниҳоят, ин модел муоширати воқеии инсониро комилан инъикос намекунад. Ишораҳои инсонӣ вобаста ба контекст, фарҳанг, ният, муносибати иҷтимоӣ ва услуби фардӣ тағйир меёбанд.

Хулоса

Таҳқиқоти DuoGesture барои тавлиди ишораҳои ҳамроҳи сухан самти муҳими илмиро пешниҳод мекунад. Модел ишораҳои инсониро на ҳамчун як ҷараёни ягонаи ҳаракат, балки бо ҷудо кардани ҳаракатҳои семантикӣ ва beat дида, онҳоро бо механизми дарвозаи аз чаҳорчӯба ба чаҳорчӯба тағйирёбанда якҷоя мекунад.

Натиҷаҳо нишон медиҳанд, ки ин равиш дар маҷмӯаи додаҳои BEAT2 тақсимоти воқеитарӣ ҳаракатро фароҳам овардааст, аз ҷониби корбарон табиитар дарёфт шудааст ва компонентҳо якдигарро такмил додаанд.

Ин таҳқиқот барои ояндаи аватарҳои зеҳни сунъӣ ғояи қавиро ба ёд меорад:

Забони табиии бадан танҳо ҳаракат кардан нест; ҳаракат кардан дар лаҳзаи дуруст, бо ритми дуруст ва бо маънои дуруст аст.

Эзоҳ дар бораи манбаъ ва метод

Ин мавод бо истифода аз таҳқиқоти академии бо унвони “DuoGesture: Neuro-Inspired and Biomechanically Informed Dual-Stream Co-Speech Gesture Generation”, ки аз ҷониби Ferdinand Paar, Lanmiao Liu, Aslı Özyürek, Serge Thill ва Esam Ghaleb омода шудааст, дар формати таҳририи Verianla ба таври аслӣ таҳия гардидааст.

Таҳқиқот дар arXiv ҳамчун preprint нашр шудааст. Мавод ҳадафи иттилоотӣ ва таълимӣ дорад. Он ҷои машварати мутахассисӣ дар бораи тарҳрезии аватарҳои зеҳни сунъӣ, муоширати клиникӣ, психология, терапияи забонӣ, муоширати инсон–робот ё тавлиди касбии аниматсияро намегирад.