Problem Nədir? İnsan Danışarkən Yalnız Səs Yaratmır

İnsan ünsiyyəti yalnız sözlərdən ibarət deyil. Danışarkən əllərimizi hərəkət etdirir, başımızı tərpədir, üz ifadələrindən istifadə edir və bədən ritmimizlə nitqə müşayiət edirik.

Bu hərəkətlərin bir hissəsi nitqin mənası ilə birbaşa əlaqəlidir. Məsələn, “ora getdim” deyərkən əllə istiqamət göstərmək, “böyük” deyərkən əlləri açmaq və ya “paylaşmaq” deyərkən ovucu irəli uzatmaq semantik jestlərə nümunə ola bilər.

Bəzi hərəkətlər isə daha çox nitqin ritminə müşayiət edir. Bunlar adətən kiçik, təkrarlanan və vurğu ilə bağlı əl hərəkətləridir. Bu cür hərəkətlərə beat jestləri deyilir. Beat jestləri sözün dəqiq mənasını təsvir etmir; lakin nitqin axınını, vurğusunu və ritmini dəstəkləyir.

Virtual avatarlar, rəqəmsal insanlar, oyun personajları, təhsil assistentləri və sosial robotlar üçün bu jestlərin təbii şəkildə yaradılması vacibdir. Çünki yalnız ağız hərəkəti edən, amma bədəni hərəkətsiz qalan avatar istifadəçiyə mexaniki və ya etibarsız görünə bilər.

Bu tədqiqatın əsas sualı budur:

Süni intellekt nitqin həm mənasını, həm də ritmini nəzərə alaraq daha təbii jestlər yarada bilərmi?

Mövcud Modellərdə Problem Nədir?

Bir çox nitq-jest generasiya modeli bütün jestləri vahid hərəkət axını kimi emal edir. Yəni model nitqi qəbul edir və ona uyğun bədən hərəkətini tək sistemlə yaratmağa çalışır.

Lakin tədqiqatçıların fikrincə, bu yanaşma üç mühüm problemə səbəb ola bilər.

Birincisi, nitqlə hərəkətin zamanlaması həmişə yaxşı uyğunlaşmaya bilər. Avatar bəzən doğru anda hərəkət etmir və ya nitqin vurğusu ilə uyğun olmayan hərəkət yarada bilər.

İkincisi, semantik jestlər zəif qala bilər. Model “paylaşmaq”, “göstərmək”, “böyük”, “burada”, “yuxarı” kimi mənanı bədən hərəkətinə bağlayan sözləri kifayət qədər yaxşı jestlə ifadə etməyə bilər.

Üçüncüsü, beat hərəkətləri titrək və ya süni görünə bilər. İnsan qolunun biomexaniki məhdudiyyətləri var; yəni qol hərəkətləri bir anda istiqamət dəyişən təsadüfi titrəyişlər kimi deyil, çəki və ətalət daşıyan hərəkətlər kimi görünür.

DuoGesture bu problemlərə belə bir fikirlə yanaşır:

Semantik jest və beat jest eyni hərəkət növü deyil; buna görə də eyni mexanizmlə yaradılmamalıdır.

DuoGesture Nə Təklif Edir?

DuoGesture nitqlə birlikdə jest generasiyasını iki axına ayırır.

Semantik axın, nitqin mənası ilə əlaqəli jestləri yaratmağa çalışır. Məsələn, müəyyən sözlər, ifadələr və ya emosional kontekst hansı bədən hərəkətini xatırlada bilər?

Beat axını, nitqin ritmi, vurğu quruluşu və zamanlaması ilə uyğun kiçik ritmik hərəkətlər yaratmağa çalışır.

Bu iki axın tamamilə müstəqil deyil. Model hər kadrda semantik jestin, yoxsa beat hərəkətinin daha dominant olacağına qərar verən qapı mexanizmindən istifadə edir. Beləliklə, model hər an “indi məna yönümlü jest lazımdır, yoxsa ritmik nitq hərəkəti daha uyğundur?” sualına cavab verməyə çalışır.

Şəkil 1 Nəyi İzah Edir?

Məqalədəki Şəkil 1 DuoGesture-in ümumi ideyasını göstərir. Modelin iki əsas yolu var: semantik axın və beat axını.

Semantik tərəfdə nitq mətni hərəkətlə əlaqəli məna təmsillərinə çevrilir. Beat tərəfində isə səsin ritmi və danışanın məlumatı hərəkət axınını istiqamətləndirir. Bu iki axının çıxışı kadr-kadr dəyişən çəki ilə birləşdirilir.

Şəklin əsas mesajı budur:

DuoGesture nitq jestini bütöv bir hərəkət kimi deyil, məna ilə ritm arasında fasiləsiz dəyişən qarışıq kimi görür.

Bu, insan ünsiyyətinə daha yaxın yanaşma təqdim edir. Çünki insan danışarkən bəzən sözün mənasını təsvir edən əl hərəkəti edir, bəzən isə yalnız ritmə uyğun kiçik vurğu hərəkətləri edir.

MGSC: Sözdən Hərəkətə Daha Mənalı Körpü

DuoGesture-in ilk mühüm komponenti MGSC, yəni Motion-Grounded Semantic Conditioning moduludur.

Klassik modellərdə sözlər adətən BERT, FastText və ya oxşar mətn təmsilləri ilə verilir. Bu təmsillər dil mənasını daşıyır; lakin sözün bədəndə hansı hərəkətlə ifadə edilə biləcəyini birbaşa bilməyə bilər.

Məsələn, “paylaşmaq” sözü dil baxımından müəyyən məna daşıyır. Lakin bu sözün bədənsəl qarşılığı ovucu açmaq, əli uzatmaq və ya nəyisə qarşı tərəfə vermək hərəkəti ola bilər. Yalnız mətn təmsili bu hərəkət formasını həmişə yaxşı tuta bilmir.

MGSC bu boşluğu aradan qaldırmaq üçün mətni hərəkətlə əlaqələndirilmiş təmsillərlə dəstəkləyir. Yəni model yalnız “nə deyildi?” sualına deyil, “bu məna hansı hərəkətə çevrilə bilər?” sualına da yaxınlaşmağa çalışır.

Bu, xüsusilə nadir işlənən sözlər üçün vacibdir. Verilənlər dəstində çox az görünən söz klassik model üçün çətin ola bilər. Lakin hərəkətlə əlaqələndirilmiş semantik təmsil həmin söz üçün daha uyğun jest prioru təmin edə bilər.

S-VIB: Semantik Jest Hansı Anda Aktivləşməlidir?

DuoGesture-in ikinci mühüm komponenti S-VIB, yəni Semantic Variational Information Bottleneck moduludur.

Bu modul semantik axının nə vaxt aktivləşəcəyinə qərar verir. Hər kadr üçün bir çəki yaradır. Bu çəki Ψ simvolu ilə göstərilir.

Sadə şəkildə belə düşünə bilərik:

Ψ dəyəri 0-a yaxındırsa: Beat axını dominantdır. Hərəkət daha çox nitqin ritminə müşayiət edir.
Ψ dəyəri 1-ə yaxındırsa: Semantik axın dominantdır. Hərəkət daha çox nitqin mənasını ifadə edir.

Bu qapı mexanizmi təsadüfi və ya sabit deyil. Model nitqin məzmununu, zamanlamasını və semantik işarələri nəzərə alaraq onu öyrənir.

Burada ən mühüm məqam budur: Qapı həmişə semantik axını açsa, model məna yönümlü, amma həddindən artıq hərəkətli ola bilər. Qapı heç açılmasa, jestlər yalnız ritmik qalar və məna zəifləyər. S-VIB bu çöküşün qarşısını almaq üçün dəyişən və nəzarətli seçim quruluşundan istifadə edir.

Formula Nəyi İzah Edir? İki Hərəkət Axını Necə Birləşir?

Məqalədə ən aydın əsas düsturlardan biri beat və semantik hərəkət axınlarının necə qarışdırıldığını göstərir:

Zr = (1 − Ψ) Zbr + Ψ Zsr

Bu düsturu sadələşdirək.

Zbr, beat axınından gələn hərəkət təmsilidir.
Zsr, semantik axından gələn hərəkət təmsilidir.
Ψ, həmin anda semantik hərəkətin nə qədər dominant olacağını müəyyən edən qapı dəyəridir.
Zr, iki axının birləşdirilmiş son hərəkət təmsilidir.

Əgər Ψ aşağıdırsa, hərəkət daha çox beat axınından gəlir.
Əgər Ψ yüksəkdirsə, hərəkət daha çox semantik axından gəlir.

Bu düsturun öyrədici tərəfi budur:

Model “ya tamamilə ritm, ya da tamamilə məna” demir. Hər kadrda ikisinin nisbətini tənzimləyir. İnsan jestləri də çox vaxt belədir; bir hərəkət həm ritmə uyğun ola, həm də müəyyən dərəcədə məna daşıya bilər.

IBP: Beat Hərəkətləri Niyə Biomexaniki Olmalıdır?

DuoGesture-in üçüncü mühüm komponenti IBP, yəni Inertial Beat Prior-dur.

Bu hissə beat hərəkətlərinin daha təbii görünməsi üçün insan qolunun biomexaniki xüsusiyyətlərindən istifadə edir. İnsan qolu çəkisiz xətt kimi hərəkət etmir. Çiyin, qol, ön qol və əlin kütləsi hərəkətin yumşaqlığına və ritminə təsir göstərir.

Beat jestləri adətən ritmik və təkrarlanan olur. Süni intellekt bu hərəkətləri fiziki məhdudiyyətlərdən tamamilə asılı olmadan yaratsa, hərəkətlər titrək və ya mexaniki görünə bilər.

IBP təlim zamanı beat axınına hamarlıq təzyiqi tətbiq edir. Lakin bunu bütün hərəkətlərə kor-koranə tətbiq etmir. Xüsusilə qol zənciri və beat kadrlarında təsirli olur. Semantik jestlərin məna daşıyan vurğularını həddindən artıq basdırmamaq üçün semantik kadrlarda bu təsir azaldılır.

IBP Düsturu Nə Deyir?

Məqalədəki IBP çəki düsturu bu fikri daşıyır:

τj,t = τbase × √(mj / mmax) × (1 − Ψt) × (1 + α σ²ϕ,t)

Bu düsturu sadələşdirək.

τj,t, müəyyən oynaq və zaman üçün nə qədər hamarlama tətbiq olunacağını müəyyən edir.
mj, müvafiq bədən hissəsinin kütlə nisbətidir.
mmax, ən ağır istinad seqmentidir.
Ψt, həmin anda semantik axının nə qədər aktiv olduğunu göstərir.
σ²ϕ,t, qapı qərarındakı qeyri-müəyyənliyi ifadə edir.

Bu düsturun sadə mesajı budur:

Beat hərəkətlərində qolun çəkisi və ətalətinə daha uyğun hamarlıq tətbiq olunur. Lakin semantik jest aktivdirsə, bu hamarlama azalır. Çünki semantik hərəkətin məna daşıyan kəskinliyi lazımsız şəkildə basdırılmamalıdır.

Bu, tədqiqatın “biomexaniki olaraq məlumatlandırılmış” tərəfidir.

Şəkil 2 Nəyi Göstərir?

Məqalədəki Şəkil 2 DuoGesture-in emal xəttini daha ətraflı göstərir.

Birinci hissədə MGSC mətn, emosiya və hərəkətlə əlaqəli təmsilləri birləşdirərək semantik hərəkət məlumatını formalaşdırır.

İkinci hissədə S-VIB bu semantik məlumatdan və səs zamanlamasından istifadə edərək semantik qapını hesablayır.

Üçüncü hissədə beat və semantik hərəkət kodları birləşdirilir. Seçilmiş hərəkət kodları daha sonra jest animasiyasına çevrilir.

Bu şəkil modelin yalnız səs və mətni qəbul edib hərəkət yaratmadığını; hərəkəti məna, zamanlama, emosiya, danışan və biomexaniki nizamlılıq əsasında çoxqatlı şəkildə qurduğunu göstərir.

Şəkil 3 Nəyi İzah Edir?

Şəkil 3 Two-Stream Hierarchical Blender, yəni iki axınlı iyerarxik qarışdırıcı quruluşunu izah edir.

Beat axını səs xüsusiyyətləri, danışan kimliyi və başlanğıc pozası ilə ritmik hərəkət təmsilləri yaradır. Semantik axın isə MGSC-dən gələn məna təmsillərindən istifadə edir. Əllər, bədənin yuxarı hissəsi, aşağı hissəsi və üz kimi bölgələr ayrıca işlənir.

Bu vacibdir, çünki insan bədəni vahid blok kimi hərəkət etmir. Əl hərəkəti, bədən duruşu və üz ifadəsi fərqli, lakin əlaqəli dinamikalara malikdir. Model bu bölgələr arasında diqqət mexanizmləri vasitəsilə məlumat mübadiləsi yaradır.

Şəklin əsas mesajı:

Təbii jest yaratmaq üçün yalnız əl hərəkəti deyil, bədən bölgələri arasındakı uyğunluq da vacibdir.

Təcrübələr Hansı Verilənlər Dəsti ilə Aparılıb?

Tədqiqatçılar DuoGesture-i BEAT2 adlı nitq-jest verilənlər dəstində sınaqdan keçiriblər.

BEAT2 təxminən 76 saatlıq nitq, hərəkət, üz ifadəsi və danışan kimliyi məlumatı ehtiva edir. Verilənlər dəstində 30 danışan var. Bundan əlavə, semantik və beat jest növləri üçün kadr səviyyəsində etiketlər mövcuddur.

Bu, DuoGesture üçün mühüm üstünlükdür. Çünki modelin iki fərqli jest növünü ayıraraq öyrənə bilməsi üçün verilənlər dəstində bu fərqi dəstəkləyən etiketlərə ehtiyac var.

Təcrübələr iki şəraitdə aparılıb:

Tək danışan quruluşu: Speaker 2 üzərində sınaq.
Çox danışan quruluşu: 25 danışan üzərində sınaq.

Beləliklə, modelin həm konkret danışana, həm də daha geniş danışan müxtəlifliyinə qarşı davranışı araşdırılıb.

Cədvəl 1 Nəyi Göstərir?

Cədvəl 1 DuoGesture-i bir çox güclü nitq-jest generasiya modeli ilə müqayisə edir.

Əsas metrik FGD, yəni Fréchet Gesture Distance kimi verilib. FGD aşağı olduqda yaradılan jestlərin real insan hərəkəti paylanmasına daha yaxın olduğu qəbul edilir.

Tək danışan quruluşunda DuoGesture ən aşağı FGD dəyərinə çatır:

DuoGesture: 4,101
SemTalk: 4,278
PyraMotion: 4,612

Çox danışan quruluşunda da DuoGesture ən yaxşı FGD dəyərini verir:

DuoGesture: 4,081
GestureLSM: 4,268
SemTalk: 5,214
EMAGE: 5,643

Bu nəticələr DuoGesture-in hərəkət realizmi baxımından güclü mövqedə olduğunu göstərir.

Lakin cədvəldə daha bir mühüm məqam var: Beat Alignment və ya Diversity kimi bəzi ikinci dərəcəli metriklərdə başqa modellər daha yüksək nəticələr ala bilir. Buna görə tədqiqatçılar yalnız bir metrikə baxılmamalı olduğunu bildirirlər. Çox yüksək beat uyğunluğu bəzən həddindən artıq ritmik hərəkət mənasına gələ bilər; çox yüksək müxtəliflik də həmişə təbii və mənalı hərəkət demək deyil.

Cədvəl 2 Nəyi İzah Edir?

Cədvəl 2 DuoGesture-in komponentlərini bir-bir çıxararaq hansı hissənin nə töhfə verdiyini araşdırır.

Nəticələrə görə:

MGSC çıxarıldıqda FGD 4,081-dən 4,803-ə pisləşir. Bu, hərəkətlə əsaslandırılmış semantik şərtləndirmənin realizmə ən böyük töhfəni verdiyini göstərir.

IBP çıxarıldıqda beat alignment azalır. Bu, biomexaniki ətalət priorunun ritmik hərəkətləri daha ardıcıl etdiyini dəstəkləyir.

S-VIB əvəzinə daha sadə qapı istifadə edildikdə müxtəliflik azalır. Bu da dəyişən və stoxastik qapı mexanizminin hərəkət paylanmasını daha geniş saxladığını düşündürür.

Bu cədvəl modelin üç əsas hissəsinin bir-birini tamamladığını göstərir:

MGSC mənanı gücləndirir.
S-VIB məna jestinin nə vaxt ediləcəyini seçir.
IBP ritmik hərəkəti daha hamar və təbii edir.

İstifadəçi Tədqiqatı Nə Deyir?

Tədqiqatçılar ana dili ingilis dili olan 30 iştirakçı ilə nəzarətli istifadəçi tədqiqatı aparıblar. İştirakçılar 35 saniyəlik videolara baxıb hərəkətləri üç baxımdan qiymətləndiriblər:

• Təbiilik
• Hərəkət müxtəlifliyi
• Nitqin məzmunu və zamanlaması ilə uyğunluq

Müqayisə edilən sistemlər arasında real hərəkət, DuoGesture, SemTalk və EMAGE yer alıb.

Gözlənildiyi kimi, real insan hərəkətləri ən yüksək balları alıb. Yaradılan hərəkətlər arasında isə DuoGesture ümumilikdə daha güclü qavrayış qiymətləndirmələri əldə edib.

Bu nəticə vacibdir, çünki yalnız sayısal metriklər həmişə insan qavrayışını tam əks etdirmir. İstifadəçi tədqiqatı DuoGesture-in yaratdığı hərəkətlərin izləyicilər tərəfindən daha təbii və nitqlə daha uyğun qəbul edilə biləcəyini dəstəkləyir.

Şəkil 5 Nəyi Göstərir?

Şəkil 5 müxtəlif modellərin müəyyən nitq hissələri üçün yaratdığı jestləri vizual olaraq müqayisə edir.

Nümunə ifadələr arasında “to get”, “in this way”, “I can share” və “more drama” kimi nitq hissələri var.

DuoGesture xüsusilə məna daşıyan ifadələrdə daha aydın qol hərəkətləri və daha başadüşülən hərəkət quruluşları yaradır. Beat ağırlıqlı ifadələrdə isə nitqin ritmi ilə uyğun, lakin həddindən artıq hamarlanmış olmayan hərəkətlər təqdim edir.

Bu vizualın öyrədici mesajı budur:

Model yalnız “hərəkət varmı?” sualını deyil, “bu hərəkət nitqin mənasına və ritminə uyğundurmu?” sualını hədəfləyir.

Əlavə Təhlil: Beat və Semantik Jestlər Həqiqətən Fərqlidirmi?

Məqalənin əlavə bölməsində BEAT2 verilənlər dəstindəki beat və semantik hərəkətlər müqayisə edilir.

Nəticələr iki jest növünün kinematik baxımdan fərqli olduğunu göstərir.

Beat hərəkətlərində çiyin hərəkətinin pik tezliyi təxminən 1,12 Hz-dir. Semantik hərəkətlərdə bu dəyər təxminən 1,69 Hz-dir. Bundan əlavə, semantik hərəkətlərdə çiyin və ön qol arasındakı sinxronluq daha yüksəkdir.

Spektral təhlildə beat hərəkətlərinin daha dar və müəyyən ritmik enerjiyə malik olduğu, semantik hərəkətlərin isə daha geniş və daha az tonal quruluş göstərdiyi görünür.

Bu nəticələr DuoGesture-in əsas ideyasını dəstəkləyir:

Əgər beat və semantik jestlər həqiqətən fərqli hərəkət profillərinə malikdirsə, onları ayrı axınlarda modelləşdirmək məntiqli ola bilər.

Tədqiqat Nə Deyir?

Tədqiqatın əsas mesajı budur:

Nitq-jest generasiyasında bütün hərəkətləri tək model axını ilə yaratmaq əvəzinə, semantik və beat jestləri ayrı, lakin qarşılıqlı təsir edən proseslər kimi nəzərdən keçirmək daha uğurlu ola bilər.

DuoGesture mənanı hərəkətlə əlaqələndirən MGSC, kadr səviyyəsində axın seçimi edən S-VIB və ritmik hərəkəti biomexaniki cəhətdən hamarlayan IBP komponentlərini birləşdirir.

Təcrübələr modelin BEAT2 üzərində daha aşağı FGD dəyərləri əldə etdiyini, komponentlərin bir-birini tamamladığını və istifadəçilərin yaradılan hərəkətləri daha təbii hesab etdiyini göstərir.

Bu Niyə Vacibdir?

Virtual avatarlar və süni intellekt personajları getdikcə daha çox sahədə istifadə olunur: təhsil, müştəri xidmətləri, oyun, metaverse, rəqəmsal terapiyalar, dil öyrənmə, işarə dili dəstək sistemləri və sosial robotlar.

Bu sistemlərdə yalnız düzgün səs yaratmaq kifayət deyil. Bədən dili istifadəçinin etimadına və qarşılıqlı əlaqənin keyfiyyətinə təsir göstərir.

Yanlış anda edilən jest, mənasız əl hərəkətləri və ya titrək bədən animasiyası avatarı təbiilikdən uzaqlaşdırır. Buna görə nitq-jest generasiyası süni intellekt-insan qarşılıqlı əlaqəsində mühüm tədqiqat sahəsidir.

DuoGesture-in əhəmiyyəti jestləri yalnız hərəkət kimi deyil, kommunikativ funksiyaları olan müxtəlif növlər kimi nəzərdən keçirməsidir. Bu yanaşma gələcəkdə daha mənalı, daha ritmik və daha inandırıcı rəqəmsal personajların hazırlanması üçün istiqamət göstərə bilər.

Diqqət Edilməli Məqamlar

Bu tədqiqat diqqətlə şərh edilməlidir.

Birincisi, tədqiqat preprintdir. Onun rəyçi qiymətləndirməsindən keçdiyi fərz edilməməlidir.

İkincisi, model BEAT2 verilənlər dəsti üzərində sınaqdan keçirilib. Fərqli dillər, mədəniyyətlər, danışıq üslubları və bədən dili normaları üçün nəticələr dəyişə bilər.

Üçüncüsü, MGSC əvvəlcədən öyrədilmiş mətn-hərəkət təmsillərinə əsaslanır. Bu təmsillərin əhatə etdiyi məlumatlar və mümkün qərəzlər modelin hərəkət generasiyasına təsir göstərə bilər.

Dördüncüsü, IBP daha çox qol zənciri və beat hərəkətləri üçün hazırlanıb. Bütün bədən hərəkətləri, obyektlə qarşılıqlı əlaqələr və ya təmas ehtiva edən hərəkətlər üçün kifayət etməyə bilər.

Beşincisi, FGD və digər metriklər faydalıdır; lakin jestlərin kommunikativ mənasını və mədəni uyğunluğunu tam ölçmür. Buna görə daha yaxşı məna əsaslı qiymətləndirmə metriklərinə ehtiyac var.

Nəhayət, bu model real insan ünsiyyətini tam şəkildə təmsil etmir. İnsan jestləri kontekstə, mədəniyyətə, niyyətə, sosial münasibətə və fərdi üsluba görə dəyişir.

Nəticə

DuoGesture tədqiqatı nitqlə birlikdə jest generasiyası üçün mühüm tədqiqat istiqaməti təqdim edir. Model insan jestlərini tək hərəkət axını kimi görmək əvəzinə semantik və beat hərəkətlərini ayırır; sonra onları kadr-kadr dəyişən qapı mexanizmi ilə birləşdirir.

Nəticələr bu yanaşmanın BEAT2 verilənlər dəstində daha realistik hərəkət paylanması təmin etdiyini, istifadəçilər tərəfindən daha təbii qəbul edildiyini və komponentlərin bir-birini tamamladığını göstərir.

Bu tədqiqat süni intellekt avatarlarının gələcəyi üçün güclü bir ideyanı xatırladır:

Təbii bədən dili yalnız hərəkət etmək deyil; doğru anda, doğru ritmdə və doğru mənada hərəkət etməkdir.

Mənbə və Metod Qeydi

Bu məzmun Ferdinand Paar, Lanmiao Liu, Aslı Özyürek, Serge Thill və Esam Ghaleb tərəfindən hazırlanmış “DuoGesture: Neuro-Inspired and Biomechanically Informed Dual-Stream Co-Speech Gesture Generation” adlı akademik tədqiqatdan istifadə edilərək Verianla redaksiya formatında orijinal şəkildə hazırlanıb.

Tədqiqat arXiv-də yayımlanmış preprint xarakterlidir. Məzmun məlumatlandırma və təhsil məqsədi daşıyır. Süni intellekt avatar dizaynı, klinik ünsiyyət, psixologiya, nitq terapiyası, insan-robot qarşılıqlı əlaqəsi və ya peşəkar animasiya istehsalı üzrə ekspert məsləhətinin yerini tutmur.