Tatizo ni nini? Mwanadamu anapozungumza hatoi sauti tu

Mawasiliano ya binadamu hayajengwi na maneno pekee. Tunapozungumza tunasogeza mikono yetu, tunatingisha kichwa, tunatumia mihemko ya uso na tunaambatana na usemi kwa mdundo wa mwili.

Sehemu ya harakati hizi inahusiana moja kwa moja na maana ya usemi. Kwa mfano, kuonyesha mwelekeo kwa mkono unaposema “nilikwenda kule”, kufungua mikono unaposema “kubwa” au kunyosha kiganja unaposema “kushiriki” vinaweza kuwa mifano ya ishara za kisemantiki.

Harakati nyingine huambatana zaidi na mdundo wa usemi. Hizi kwa kawaida ni harakati ndogo za mikono, zinazorudiwa na zinazohusiana na msisitizo. Harakati za aina hii huitwa beat gestures. Beat gestures hazichori maana kamili ya neno; lakini huunga mkono mtiririko, msisitizo na mdundo wa usemi.

Kwa avatar za mtandaoni, binadamu wa kidijitali, wahusika wa michezo, wasaidizi wa elimu na roboti za kijamii, kuzalisha ishara hizi kwa namna ya asili ni muhimu. Kwa sababu avatar inayosogeza mdomo pekee lakini mwili wake umebaki mgando inaweza kuonekana ya kimakanika au isiyoaminika kwa mtumiaji.

Swali la msingi la utafiti huu ni hili:

Je, akili bandia inaweza kuzalisha ishara za asili zaidi kwa kuzingatia maana na mdundo wa usemi kwa pamoja?

Tatizo la modeli zilizopo ni nini?

Modeli nyingi za kuzalisha usemi na ishara hushughulikia ishara zote kama mkondo mmoja wa harakati. Yaani modeli hupokea usemi na kujaribu kuzalisha harakati za mwili zinazolingana nao kwa mfumo mmoja.

Hata hivyo, kulingana na watafiti, mbinu hii inaweza kusababisha matatizo matatu muhimu.

Kwanza, upatanishaji wa muda kati ya usemi na harakati hauwezi kuwa mzuri kila wakati. Wakati mwingine avatar haisogei kwa wakati sahihi au inaweza kutoa harakati zisizolingana na msisitizo wa usemi.

Pili, ishara za kisemantiki zinaweza kubaki dhaifu. Modeli huenda isiweze kugeuza kwa usahihi wa kutosha maneno yanayounganisha maana na harakati za mwili, kama “kushiriki”, “kuonyesha”, “kubwa”, “hapa” na “juu”, kuwa ishara.

Tatu, harakati za beat zinaweza kuonekana kutikisika au kuwa bandia. Mkono wa binadamu una mipaka ya kibaiomekanika; yaani harakati za mkono hazionekani kama mitikisiko ya nasibu inayobadili mwelekeo ghafla, bali kama harakati zenye uzito na inertia.

DuoGesture inakabiliana na matatizo haya kwa wazo lifuatalo:

Ishara ya kisemantiki na ishara ya beat si aina moja ya harakati; kwa hiyo hazipaswi kuzalishwa kwa utaratibu uleule.

DuoGesture inapendekeza nini?

DuoGesture hutenganisha uzalishaji wa ishara zinazoambatana na usemi katika mikondo miwili.

Mkondo wa kisemantiki, hujaribu kuzalisha ishara zinazohusiana na maana ya usemi. Kwa mfano, ni harakati gani za mwili zinaweza kukumbushwa na maneno fulani, misemo fulani au muktadha wa kihisia?

Mkondo wa beat, hujaribu kuzalisha harakati ndogo za kimdundo zinazolingana na mdundo, muundo wa msisitizo na upangaji wa muda wa usemi.

Mikondo hii miwili si huru kabisa. Modeli hutumia utaratibu wa lango unaoamua katika kila fremu kama ishara ya kisemantiki au harakati ya beat ndiyo itakuwa na uzito zaidi. Hivyo modeli hujaribu kujibu kila wakati swali hili: “sasa tunahitaji ishara inayolenga maana, au harakati ya kimdundo ya usemi ndiyo inafaa zaidi?”

Kielelezo cha 1 kinaeleza nini?

Kielelezo cha 1 katika makala kinaonyesha wazo la jumla la DuoGesture. Modeli ina njia kuu mbili: mkondo wa kisemantiki na mkondo wa beat.

Upande wa kisemantiki, maandishi ya usemi hubadilishwa kuwa uwakilishi wa maana unaohusiana na harakati. Upande wa beat, mdundo wa sauti na taarifa ya mzungumzaji huongoza mkondo wa harakati. Matokeo ya mikondo hii miwili huunganishwa kwa uzito unaobadilika fremu kwa fremu.

Ujumbe mkuu wa kielelezo ni huu:

DuoGesture huona ishara ya usemi si kama harakati moja isiyogawanyika, bali kama mchanganyiko unaobadilika kila wakati kati ya maana na mdundo.

Hii hutoa mbinu iliyo karibu zaidi na mawasiliano ya binadamu. Kwa sababu mwanadamu anapozungumza wakati mwingine hufanya harakati ya mkono inayochora maana ya neno, na wakati mwingine hufanya midundo midogo tu inayoambatana na mdundo.

MGSC: Daraja lenye maana zaidi kutoka neno kwenda harakati

Kipengele cha kwanza muhimu cha DuoGesture ni MGSC, yaani moduli ya Motion-Grounded Semantic Conditioning.

Katika modeli za kawaida, maneno mara nyingi hutolewa kwa uwakilishi wa maandishi kama BERT, FastText au mifumo inayofanana. Uwakilishi huu hubeba maana ya lugha; lakini huenda usijue moja kwa moja neno fulani linaweza kuonyeshwaje kwa harakati za mwili.

Kwa mfano, neno “kushiriki” lina maana ya kilugha. Lakini mwitikio wake wa kimwili unaweza kuwa kufungua kiganja, kunyosha mkono au kutoa kitu upande wa pili. Uwakilishi wa maandishi pekee hauwezi kila wakati kunasa vizuri umbo hili la harakati.

MGSC huziba pengo hili kwa kuunga mkono maandishi kwa uwakilishi uliounganishwa na harakati. Yaani modeli haiulizi tu “nini kimesemwa?” bali pia hujaribu kukaribia swali la “maana hii inaweza kugeuka kuwa harakati ya aina gani?”

Hili ni muhimu hasa kwa maneno yanayotokea mara chache. Neno linaloonekana mara chache sana katika seti ya data linaweza kuwa gumu kwa modeli ya kawaida. Lakini uwakilishi wa kisemantiki uliounganishwa na harakati unaweza kutoa kipaumbele cha ishara kinachofaa zaidi kwa neno hilo.

S-VIB: Ishara ya kisemantiki inapaswa kuanza lini?

Kipengele cha pili muhimu cha DuoGesture ni S-VIB, yaani moduli ya Semantic Variational Information Bottleneck.

Moduli hii huamua wakati mkondo wa kisemantiki unapaswa kuingia kazini. Huzalisha uzito kwa kila fremu. Uzito huu huonyeshwa kwa alama Ψ.

Kwa lugha rahisi tunaweza kufikiria hivi:

Ikiwa thamani ya Ψ iko karibu na 0: Mkondo wa beat hutawala. Harakati huambatana zaidi na mdundo wa usemi.
Ikiwa thamani ya Ψ iko karibu na 1: Mkondo wa kisemantiki hutawala. Harakati huonyesha zaidi maana ya usemi.

Utaratibu huu wa lango si wa nasibu wala si wa kudumu. Modeli hujifunza kwa kuzingatia maudhui ya usemi, upangaji wa muda na ishara za kisemantiki.

Jambo muhimu zaidi hapa ni hili: Lango likifungua mkondo wa kisemantiki kila wakati, modeli inaweza kuwa yenye kuelekeza maana lakini yenye harakati nyingi kupita kiasi. Lango lisipofunguka kabisa, ishara hubaki za kimdundo tu na maana hudhoofika. S-VIB hutumia muundo wa uteuzi unaobadilika na kudhibitiwa ili kuzuia kuporomoka huku.

Fomula inaeleza nini? Mikondo miwili ya harakati inaunganishwaje?

Mojawapo ya fomula za msingi zilizo rahisi kuelewa katika makala inaeleza jinsi mikondo ya beat na ya kisemantiki inavyochanganywa:

Zr = (1 − Ψ) Zbr + Ψ Zsr

Tuirahisishe fomula hii.

Zbr, ni uwakilishi wa harakati unaotoka katika mkondo wa beat.
Zsr, ni uwakilishi wa harakati unaotoka katika mkondo wa kisemantiki.
Ψ, ni thamani ya lango inayoamua kwa kiasi gani harakati ya kisemantiki itatawala wakati huo.
Zr, ni uwakilishi wa mwisho wa harakati uliounganishwa kutoka mikondo miwili.

Ikiwa Ψ ni ndogo, harakati hutoka zaidi katika mkondo wa beat.
Ikiwa Ψ ni kubwa, harakati hutoka zaidi katika mkondo wa kisemantiki.

Upande unaofundisha wa fomula hii ni huu:

Modeli haisemi “ama mdundo kabisa au maana kabisa”. Hurekebisha uwiano wa vitu hivi viwili katika kila fremu. Ishara za binadamu mara nyingi ziko hivyo pia; harakati moja inaweza kuendana na mdundo na pia kubeba maana kwa kiwango fulani.

IBP: Kwa nini harakati za beat zinapaswa kuwa za kibaiomekanika?

Kipengele cha tatu muhimu cha DuoGesture ni IBP, yaani Inertial Beat Prior.

Sehemu hii hutumia sifa za kibaiomekanika za mkono wa binadamu ili harakati za beat zionekane za asili zaidi. Mkono wa binadamu hausogei kama mstari usio na uzito. Uzito wa bega, mkono, kigasha na kiganja huathiri ulaini na mdundo wa harakati.

Ishara za beat kwa kawaida ni za kimdundo na hurudiwa. Ikiwa akili bandia itazalisha harakati hizi bila kujali kabisa mipaka ya kimwili, harakati zinaweza kuonekana kutikisika au kuwa za kimakanika.

IBP huweka shinikizo la ulaini kwenye mkondo wa beat wakati wa mafunzo. Lakini haifanyi hivyo kwa upofu kwa harakati zote. Huathiri hasa mnyororo wa mkono na fremu za beat. Ili isikandamize kupita kiasi misisitizo yenye maana ya ishara za kisemantiki, athari hii hupunguzwa katika fremu za kisemantiki.

Fomula ya IBP inasema nini?

Fomula ya uzito wa IBP katika makala hubeba wazo lifuatalo:

τj,t = τbase × √(mj / mmax) × (1 − Ψt) × (1 + α σ²ϕ,t)

Tuirahisishe fomula hii.

τj,t, huamua ni kiasi gani cha kulainisha kitatumika kwa kiungo fulani na wakati fulani.
mj, ni uwiano wa uzito wa sehemu husika ya mwili.
mmax, ni sehemu rejea iliyo nzito zaidi.
Ψt, huonyesha ni kiasi gani mkondo wa kisemantiki umeamilishwa wakati huo.
σ²ϕ,t, huwakilisha kutokuwa na uhakika katika uamuzi wa lango.

Ujumbe rahisi wa fomula hii ni huu:

Katika harakati za beat, ulaini unaofaa zaidi kwa uzito na inertia ya mkono hutumika. Lakini ikiwa ishara ya kisemantiki imeingia kazini, ulaini huu hupunguzwa. Kwa sababu ukali wenye kubeba maana wa harakati ya kisemantiki haupaswi kukandamizwa bila sababu.

Huu ndio upande wa utafiti “uliopewa taarifa na baiomekanika”.

Kielelezo cha 2 kinaonyesha nini?

Kielelezo cha 2 katika makala kinaonyesha kwa undani zaidi mchakato wa DuoGesture.

Katika sehemu ya kwanza, MGSC huunda taarifa ya harakati ya kisemantiki kwa kuunganisha uwakilishi unaohusiana na maandishi, hisia na harakati.

Katika sehemu ya pili, S-VIB huhesabu lango la kisemantiki kwa kutumia taarifa hii ya kisemantiki na upangaji wa muda wa sauti.

Katika sehemu ya tatu, misimbo ya harakati za beat na kisemantiki huunganishwa. Msimbo wa harakati uliochaguliwa kisha hubadilishwa kuwa uhuishaji wa ishara.

Kielelezo hiki kinaonyesha kuwa modeli haipokei tu sauti na maandishi na kutoa harakati; bali hujenga harakati kwa tabaka nyingi kupitia maana, upangaji wa muda, hisia, mzungumzaji na mpangilio wa kibaiomekanika.

Kielelezo cha 3 kinaeleza nini?

Kielelezo cha 3 kinaeleza muundo wa Two-Stream Hierarchical Blender, yaani kichanganyaji cha kihierarkia chenye mikondo miwili.

Mkondo wa beat huzalisha uwakilishi wa harakati za kimdundo kwa kutumia sifa za sauti, utambulisho wa mzungumzaji na pozi la mwanzo. Mkondo wa kisemantiki hutumia uwakilishi wa maana unaotoka MGSC. Maeneo kama mikono, sehemu ya juu ya mwili, sehemu ya chini ya mwili na uso hushughulikiwa tofauti.

Hili ni muhimu kwa sababu mwili wa binadamu hausogei kama kipande kimoja. Harakati za mikono, mkao wa kiwiliwili na mihemko ya uso zina mienendo tofauti lakini inayohusiana. Modeli huanzisha ubadilishanaji wa taarifa kati ya maeneo haya kupitia mifumo ya attention.

Ujumbe mkuu wa kielelezo:

Ili kuzalisha ishara za asili, si harakati za mikono pekee ndizo muhimu; upatanifu kati ya maeneo ya mwili pia ni muhimu.

Majaribio yalifanywa kwa seti gani ya data?

Watafiti wanajaribu DuoGesture kwenye seti ya data ya usemi na ishara iitwayo BEAT2.

BEAT2 ina takriban saa 76 za data ya usemi, harakati, mihemko ya uso na utambulisho wa mzungumzaji. Katika seti ya data kuna wazungumzaji 30. Pia kuna lebo za kiwango cha fremu kwa aina za ishara za kisemantiki na za beat.

Hii ni faida muhimu kwa DuoGesture. Kwa sababu ili modeli ijifunze kwa kutenganisha aina mbili tofauti za ishara, seti ya data inahitaji lebo zinazounga mkono tofauti hii.

Majaribio yalifanywa katika mazingira mawili:

Mpangilio wa mzungumzaji mmoja: Jaribio kwenye Speaker 2.
Mpangilio wa wazungumzaji wengi: Jaribio kupitia wazungumzaji 25.

Kwa njia hii tabia ya modeli kwa mzungumzaji mahususi na kwa utofauti mpana zaidi wa wazungumzaji ilichunguzwa.

Jedwali la 1 linaonyesha nini?

Jedwali la 1 linalinganisha DuoGesture na modeli nyingi zenye nguvu za kuzalisha usemi na ishara.

Kipimo kikuu kimetolewa kama FGD, yaani Fréchet Gesture Distance. Wakati FGD ni ndogo, ishara zilizozalishwa hukubaliwa kuwa karibu zaidi na usambazaji wa harakati halisi za binadamu.

Katika mpangilio wa mzungumzaji mmoja, DuoGesture inafikia thamani ya chini zaidi ya FGD:

DuoGesture: 4,101
SemTalk: 4,278
PyraMotion: 4,612

Katika mpangilio wa wazungumzaji wengi pia DuoGesture hutoa thamani bora zaidi ya FGD:

DuoGesture: 4,081
GestureLSM: 4,268
SemTalk: 5,214
EMAGE: 5,643

Matokeo haya yanaonyesha kuwa DuoGesture iko katika nafasi thabiti kwa upande wa uhalisia wa harakati.

Hata hivyo, katika jedwali kuna jambo lingine muhimu: katika baadhi ya vipimo vya pili kama Beat Alignment au Diversity, modeli nyingine zinaweza kupata matokeo ya juu zaidi. Kwa hiyo watafiti wanasema kwamba haipaswi kutazama kipimo kimoja pekee. Upatanishi wa beat ulio juu sana wakati mwingine unaweza kumaanisha harakati za kimdundo zilizotiwa chumvi; utofauti ulio juu sana pia haumaanishi kila wakati harakati za asili na zenye maana.

Jedwali la 2 linaeleza nini?

Jedwali la 2 linachunguza mchango wa kila kipengele kwa kuviondoa vipengele vya DuoGesture kimoja kimoja.

Kulingana na matokeo:

MGSC inapoondolewa FGD hudhoofika kutoka 4,081 hadi 4,803. Hii inaonyesha kuwa uconditionishaji wa kisemantiki uliowekwa msingi kwenye harakati unatoa mchango mkubwa zaidi kwa uhalisia.

IBP inapoondolewa beat alignment hushuka. Hii inaunga mkono kwamba kipaumbele cha inertia ya kibaiomekanika hufanya harakati za kimdundo ziwe thabiti zaidi.

Lango rahisi zaidi linapotumika badala ya S-VIB utofauti hupungua. Hili linaonyesha kuwa utaratibu wa lango unaobadilika na wa kistokastiki huenda unaweka usambazaji wa harakati kuwa mpana zaidi.

Jedwali hili linaonyesha kuwa sehemu kuu tatu za modeli hukamilishana:

MGSC huimarisha maana.
S-VIB huchagua wakati wa kufanya ishara ya maana.
IBP hufanya harakati za kimdundo ziwe laini na za asili zaidi.

Utafiti wa watumiaji unasema nini?

Watafiti walifanya utafiti wa watumiaji uliodhibitiwa na washiriki 30 ambao Kiingereza ni lugha yao ya kwanza. Washiriki walitazama video za sekunde 35 na kutathmini harakati kwa vipengele vitatu:

• Uasilia
• Utofauti wa harakati
• Ulinganifu na maudhui ya usemi na upangaji wa muda

Mifumo iliyolinganishwa ni pamoja na harakati halisi, DuoGesture, SemTalk na EMAGE.

Kama ilivyotarajiwa, harakati halisi za binadamu zilipata alama za juu zaidi. Kati ya harakati zilizozalishwa, DuoGesture kwa ujumla ilipata tathmini za kiuhisia zenye nguvu zaidi.

Matokeo haya ni muhimu kwa sababu vipimo vya namba pekee haviakisi kila wakati mtazamo wa binadamu kikamilifu. Utafiti wa watumiaji unaunga mkono kwamba harakati zinazozalishwa na DuoGesture zinaweza kuonekana kwa watazamaji kuwa za asili zaidi na zinazolingana zaidi na usemi.

Kielelezo cha 5 kinaonyesha nini?

Kielelezo cha 5 kinalinganisha kwa macho ishara zinazozalishwa na modeli mbalimbali kwa vipande fulani vya usemi.

Miongoni mwa mifano ya misemo kuna vipande vya usemi kama “to get”, “in this way”, “I can share” na “more drama”.

DuoGesture huzalisha harakati za mikono zilizo wazi zaidi na miundo ya harakati inayoeleweka zaidi, hasa katika misemo inayobeba maana. Katika misemo iliyo na uzito wa beat, hutoa harakati zinazolingana na mdundo wa usemi lakini zisizolainishwa kupita kiasi.

Ujumbe wa kufundisha wa kielelezo hiki ni huu:

Modeli hailengi tu swali la “je, kuna harakati?” bali inalenga swali la “je, harakati hii inafaa kwa maana na mdundo wa usemi?”

Uchambuzi wa ziada: Je, ishara za beat na kisemantiki kweli ni tofauti?

Katika sehemu ya ziada ya makala, harakati za beat na kisemantiki katika seti ya data ya BEAT2 zinalinganishwa.

Matokeo yanaonyesha kuwa aina hizi mbili za ishara ni tofauti kikinematiki.

Katika harakati za beat, masafa ya kilele ya harakati ya bega ni takriban 1,12 Hz. Katika harakati za kisemantiki, thamani hii ni takriban 1,69 Hz. Aidha, katika harakati za kisemantiki, usawazishaji kati ya bega na kigasha ni wa juu zaidi.

Katika uchambuzi wa kispektri, inaonekana kuwa harakati za beat zina nishati ya kimdundo iliyo nyembamba na dhahiri zaidi, ilhali harakati za kisemantiki zina muundo mpana zaidi na usio na tonaliti kali.

Matokeo haya yanaunga mkono wazo la msingi la DuoGesture:

Ikiwa ishara za beat na kisemantiki kweli zina profaili tofauti za harakati, kuziunda katika mikondo tofauti kunaweza kuwa na maana.

Utafiti unasema nini?

Ujumbe mkuu wa utafiti ni huu:

Katika kuzalisha usemi na ishara, badala ya kuzalisha harakati zote kwa mkondo mmoja wa modeli, kushughulikia ishara za kisemantiki na za beat kama michakato tofauti lakini inayoingiliana kunaweza kuwa na mafanikio zaidi.

DuoGesture inaunganisha MGSC inayohusisha maana na harakati, S-VIB inayofanya uteuzi wa mkondo kwa kiwango cha fremu, na IBP inayolainisha harakati za kimdundo kwa taarifa za kibaiomekanika.

Majaribio yanaonyesha kuwa modeli hupata thamani za chini zaidi za FGD kwenye BEAT2, kwamba vipengele vyake hukamilishana, na kwamba watumiaji huona harakati zilizozalishwa kuwa za asili zaidi.

Kwa nini hili ni muhimu?

Avatar za mtandaoni na wahusika wa akili bandia zinatumika katika maeneo yanayozidi kuongezeka: elimu, huduma kwa wateja, michezo, metaverse, tiba za kidijitali, ujifunzaji wa lugha, mifumo ya kusaidia lugha ya ishara na roboti za kijamii.

Katika mifumo hii, kutoa sauti sahihi pekee hakutoshi. Lugha ya mwili huathiri imani ya mtumiaji na ubora wa mwingiliano.

Ishara inayofanywa kwa wakati usiofaa, harakati za mikono zisizo na maana au uhuishaji wa mwili unaotikisika humfanya avatar aonekane si wa asili. Kwa hiyo uzalishaji wa usemi na ishara ni eneo muhimu la utafiti katika mwingiliano kati ya akili bandia na binadamu.

Umuhimu wa DuoGesture ni kwamba inashughulikia ishara si tu kama harakati, bali kama aina tofauti zenye kazi za kimawasiliano. Mbinu hii inaweza kutoa mwelekeo wa kutengeneza wahusika wa kidijitali wenye maana zaidi, wenye mdundo zaidi na wenye ushawishi zaidi katika siku zijazo.

Mambo yanayopaswa kuzingatiwa

Utafiti huu unapaswa kusomwa kwa uangalifu.

Kwanza, utafiti ni preprint. Haipaswi kudhaniwa kuwa umepitia mapitio ya wenzao.

Pili, modeli imejaribiwa kwenye seti ya data ya BEAT2. Matokeo yanaweza kubadilika kwa lugha tofauti, tamaduni tofauti, mitindo tofauti ya kuzungumza na kanuni tofauti za lugha ya mwili.

Tatu, MGSC inategemea uwakilishi wa maandishi na harakati uliotangulizwa kufundishwa. Data inayofunikwa na uwakilishi huu na upendeleo unaowezekana unaweza kuathiri uzalishaji wa harakati wa modeli.

Nne, IBP imeundwa zaidi kwa mnyororo wa mkono na harakati za beat. Huenda isitoshe kwa harakati za mwili mzima, mwingiliano na vitu au harakati zenye mguso.

Tano, FGD na vipimo vingine ni vya manufaa; lakini havipimi kikamilifu maana ya kimawasiliano ya ishara na ufaafu wake wa kitamaduni. Kwa hiyo kuna hitaji la vipimo bora zaidi vya tathmini vinavyotegemea maana.

Hatimaye, modeli hii haiwakilishi kikamilifu mawasiliano halisi ya binadamu. Ishara za binadamu hubadilika kulingana na muktadha, utamaduni, nia, uhusiano wa kijamii na mtindo binafsi.

Hitimisho

Utafiti wa DuoGesture unatoa mwelekeo muhimu wa utafiti kwa uzalishaji wa ishara zinazoambatana na usemi. Modeli haitazami ishara za binadamu kama mkondo mmoja wa harakati; badala yake hutenganisha harakati za kisemantiki na za beat, kisha huziunganisha kwa utaratibu wa lango unaobadilika fremu kwa fremu.

Matokeo yanaonyesha kuwa mbinu hii hutoa usambazaji wa harakati ulio halisi zaidi kwenye seti ya data ya BEAT2, huonekana kuwa ya asili zaidi kwa watumiaji, na vipengele vyake hukamilishana.

Utafiti huu unakumbusha wazo lenye nguvu kwa mustakabali wa avatar za akili bandia:

Lugha ya mwili ya asili si kusogea tu; ni kusogea kwa wakati sahihi, kwa mdundo sahihi na kwa maana sahihi.

Dokezo la Chanzo na Mbinu

Maudhui haya yameandaliwa upya katika fomati ya uhariri ya Verianla kwa kutumia kazi ya kitaaluma yenye kichwa “DuoGesture: Neuro-Inspired and Biomechanically Informed Dual-Stream Co-Speech Gesture Generation” iliyoandaliwa na Ferdinand Paar, Lanmiao Liu, Aslı Özyürek, Serge Thill na Esam Ghaleb.

Utafiti ni preprint iliyochapishwa kwenye arXiv. Maudhui haya yana madhumuni ya taarifa na elimu. Hayachukui nafasi ya ushauri wa kitaalamu kuhusu usanifu wa avatar za akili bandia, mawasiliano ya kliniki, saikolojia, tiba ya lugha, mwingiliano wa binadamu na roboti au uzalishaji wa uhuishaji.