Bir nutq'da tuyg'u tushunish ko'pincha yagona cum'la o'qish'dan iborat emas. Bir xil cum'la turli bog'lam'larda butunlay turli tuyg'u tashida. Misol uchun "Men'da" ifoda bir suhbat'da xushulik'ni boshqa suhbat'da g'ussani yoki hayal qirintig'ini aks'ettirada. Shuning uchun sun'iy intellekt'ning nutq'dagi tuyg'u'ni tushunish uchun yalniz so'zlar'ga emas nutq oqim'iga nutq'chi'lar kimlig'iga se's toni'ga va ko'rinma ishora'lari'na qarashlishi kerak.

Ushbu tadqiqot nutq'larda ko'p modlu tuyg'u tan'ma uchun CAHRGN deb ataladigan yangi model taklif qiladi. CAHRGN "Context-Aware Heterogeneous Relational Graph Network" ifoda'sining qisqartmasi. Uzbek tili'na "Bog'lam Fark'aniqlig'ini Geterogen Munosabat Grafik Tor'i" sifatida tarjima qiladi. Model har bir nutq birlik'ini matn se's va ko'rinma bo'lmak uchun uchta alohida ma'lumot kanal'i bilan taqdim etadi; keyin bu kanal'lar orasidagi munosabat'larni va nutq'chi davr'idagi o'tgan-kelajak bog'lam'ni grafik tuzilma ichida qayta ishla'di.

Tadqiqot'ning asosiy xabari shundaki: Tuyg'u tan'ma uchun yalniz matn'ni tahlil qilish yeterli emas. Nutq'ning vaqt oqim'i nutq'chi'larning ifoda uslub'i va matn-se's-ko'rinma orasidagi munosabat'lar birga ko'rib chiqil'gan'da model yanada kuchli natija beradi.

Muammo nima?

Tuyg'u tan'ma sistema'lari ko'pincha qisqa matn'lardan se's yozuv'lardan yoki yuz ifoda'laridan tuyg'u tahmin qil'mashlari'ga harakat qiladi. Lekin haqiqiy nutq'lar yagona cum'ladan ko'proq murakkab. Insanlar oldingi cum'lalar'ga javob berada nutq'chi'lar bir-biri'ni ta'sir qila'di ba'zan so'zlar neytr ko'rin'sa'n'da se's toni yoki yuz ifoda'si farqli tuyg'u tashida.

Shuning uchun nutq ichida tuyg'u tan'ma klassik tuyg'u tasnif'lash'dan yanada qiyin muammo'dir. Model yalniz "bu cum'la'da qaysi so'zlar bor?" savoli'ni emas; "bu cum'la'ni kim aytdi oldin nima denildi so'n nima keldi se's va ko'rinma ushbu matn'ni qo'llash'mi yoki qarshi chikma'mi?" savoli'ni javab berish shart.

Oldingi usul'larning ba'zi'si nutq sira'sini LSTM kabi takrorlaydigan tor'lar bilan kuzata'di. Bu usul'lar yaqin bog'lam'ni qolasa'ladi; lekin uzoq nutq'larda uzoq bog'lanish'lar'ni qora'masli qiyindala'la'di. Grafik asosidagi usul'lar nutq'dagi munosabat'larni yanada esvuq modellay'aladi; lekin ba'zi'si matn se's va ko'rinma'ni yagona birlashtirilgan tug'un kabi ele al'gan'ligi uchun har modalitenin o'ziga xos hissa'sh'ini yeterlicha qayta ishlata'la'ydi.

Tadqiqot'ning yecha'sh harakat'la'gan muammо o'z'idir: Sun'iy intellekt ko'p modlu nutq'larda ham modalitet'lar orasidagi munosabat'larni ham o'tgan va kelajak bog'lam'ning turli ta'sir'larni qanday yanada yaxshi modellay'aladi?

Usul nima taklif qiladi?

CAHRGN modeli nutq'ni grafik'a tushunadi. Grafik tug'un'lar va kenar'lardan tashkil topgan tuzilma. Ushbu tadqiqot'da har nutq birlik'i ya'ni har utterance uchta alohida modalitet bilan taqdim qilin'di: matn se's va ko'rinma. Shunday qilib yagona cum'la uchun yalniz bir tug'un yaratish o'rniga matn tug'un'i se's tug'un'i va ko'rinma tug'un'i yaratil'di.

Ushbu yondashturuv muhim; chunki tuyg'u'ning ishora'si her doim bir kanal'da kuchliroq bo'lmayday. Ba'zi holatlar'da so'zlar tuyg'u'ga aniq ishora qiladi. Ba'zi holatlar'da se's toni yanada belgilahan bo'ladi. Ba'zi holatlar'da yuz ifoda'si yoki ko'rinma harakat matn'dan yanada ko'proq ma'lumot tashida. CAHRGN ushbu kanal'larni bir torbaga o'tmay aralaridagi munosabat'larni alohida alohida o'rganmashlari'ga harakat qiladi.

Modeli'ning ikkinchi muhim fikri nutq'dagi vaqt yo'n'ni alohida qilmashligi'dir. O'tgan cum'lalar va kelajak cum'lalar bir xil bog'lam sifatida ele al'inmadi. Chunki cum'la'ning tuyg'u'sini tushunishlari oldingi so'zlar boshqa keyingi javobiy reaktsiyasi boshqa ishora'lar beradi. Shuning uchun model o'tgan bog'lam va kelajak bog'lam uchun alohida munosabat tur'lari yaratadi.

Uchinchi fikir nutq'chi ma'lumot'idir. Bir xil tuyg'u turli kishi'larda turli ifoda qilin'da. Ba'zi insanlar g'ussasini aniq ko'rsatadi ba'zilari yanada neytr gapira'di; ba'zi nutq'chi'lar qisqa va keskin ifoda'larni ishlatadi ba'zilari dolamnli aytiladi. Model nutq'chi kimlig'ini o'rganilgan taqdim sifatida kiritib ushbu kishi'ga o'ziga xos ifoda tarz'larini qolasa'sh harakat qiladi.

Oxirida CAHRGN RGCN va Graph Transformer me'moriy'larni birga ishlatadi. RGCN turli munosabat tur'lariga ega grafik'larda tug'un'lar orasidagi ma'lumot o'ta'shini o'rganadi. Graph Transformer esa yanada keng bog'lam va uzoq munosabat'larni qola'sh'ga yordam beradi. Shunday qilib model hem yerli nutq munosabat'larni hem yanada keng diolog tuzilma'sini birga qayta ishla'di.

Formulalar nima aytadi?

Tadqiqot'da modeli'ning asosiy qismlari'ni tushuntiruvchi ko'p sonli matematik'iy ifoda'lar jo'nlashga tusha'di. Quyidagi formula'lar tadqiqot'dagi belgi tuzilma'siga mumkin qanchalik sadoqli biçim'da o'ta'rilgan va Uzbek tushuntirish'lari bilan soddalashtir'ilgan.

Matn modalitet'i uchun BERT ishlatiladi. Bu yerda \(U_i^l\) nutq'dagi \(i\). so'z'nung matn biçim'ni; \(u_i^l\) esa BERT tomonidan chiqarilgan matn taqdim'ni ko'rsatadi.

Se's va ko'rinma kanal'lar uchun Bi-LSTM asosidagi kodlash'chi'lar ishlatiladi. Ushbu kodlash'chi'lar har nutq birlik'ining se's va ko'rinma xususiyatlar'ini to'g'ri uzunlikli taqdim'lar'ga aylan'tirada.

Nutq'chi ma'lumot'i alohida o'rganilgan katman bilan taqdim qilin'di. \(S\) nutq'dagi nutq'chi kimlik'larni; \(S_{emb}\) esa bu kimlik'lardan yaratilgan o'rganilgan taqdim'ni ifoda qiladi.

Nutq'chi o'rganish har modalitet taqdim'ni kuchayti'sh uchun ishlatiladi. \(\eta\) nutq'chi ma'lumot'ining hissa'sh og'ir'ligi'ni taqdim qilgan o'rganila'digan parametr.

Modeli'ning qurilgan ko'p modlu grafik'ida har nutq birlik'i uchta modalitet tug'un'iga bo'linadi. \(N\) nutq'dagi so'z miqdori'dir. Ushbu holat'da jami tug'un miqdori uchta kat'ga o'ta'di.

Grafik'da bir so'z'nung matn se's va ko'rinma tug'un'lari orasida ko'p modlu munosabat'lar yaratil'di. Ushbu munosabat'lar modalitet'lar'ning bir-biri'ni qanday to'ldirgan'ligi'ni o'rganish uchun ishlatiladi.

O'tgan va kelajak bog'lam'lar alohida munosabat tur'lari sifatida belgilana'di. \(P\) o'tgan panjara'ni; \(F\) kelajak panjara'ni taqdim qila'di. Ushbu tuzilma model'ning nutq oqim'ining yo'n'ni yanada hassas ele al'ashligi'na yordam beradi.

RGCN katman'ida har tug'un turli munosabat tur'laridan kelayotgan qo'shni ma'lumot'larni to'pla'di. \(W_r^{(k)}\) munosabat tur'iga o'ziga xos og'ir'lik matritsa'sni; \(W_0^{(k)}\) tug'un'ning o'z ma'lumot'ni qora'ygan og'ir'ligi'ni; \(\sigma\) esa ReLU faoliy'lashtir'ish'ni ko'rsatadi.

Grafik Transformer katman'ida tug'un'lar orasidagi diqqat baho hisob'la'nadi. Ushbu tuzilma qaysi qo'shni muhim tug'un uchun yanada muhim ekanlig'ini o'rganish'ga yordam beradi.

So'n bosqich'da matn se's va ko'rinma taqdim'lari birlashtir'iladi va har so'z uchun tuyg'u etiketa tahmin qilin'di.

O'qitish'da ishlatilgan asosiy yo'q'otma funktsiyasi ko'p entropiya'dir. Modeli'ning tahmin'i haqiqiy tuyg'u etiketa'ga yaqinla'gan'sa bu yo'q'otma pas'adi.

Grafik jadval va sxema asosiy xabari

Tadqiqot'ning misolda nutq sxema'si bir xil ifoda'ning turli bog'lam'larda turli tuyg'u tashiya'lganligi'ni ko'rsatadi. "Me too" kabi qisqa va yuzada neytr ko'ringan ifoda lagerni tayyorlash'da so'ylanan ijobiy suhbat'da xushulik yoki baxt'lik bilan bog'lana'la'digan'da sirt qilgani film'dan shikoyat etilgan boshqa suhbat'da g'ussani yoki nafo'z qora'sh tashida. Ushbu misolda tuyg'u tan'ma'da bog'lam'ning nima uchun zarur ekanlig'ini sodda biçim'da ko'rsatadi.

Modeli me'moriy'si to'rt asosiy qism'dan tashkil topgan: xususiyat chiqarish grafik kurush munosabat grafik o'rganish va tuyg'u tasnif'lash. Xususiyat chiqarish qism'ida matn uchun BERT se's va ko'rinma uchun LSTM asosidagi kodlash'chi'lar ishlatiladi. Grafik kurush qism'ida bir so'z'ning matn-se's-ko'rinma munosabat'lari va nutq'ning o'tgan/kelajak bog'lam'lari alohida kenar tur'lari sifatida modellan'di. Munosabat grafik tor'i va Graph Transformer esa ushbu murakkab tuzilma'ni qayta ishlab har so'z uchun yanada boy taqdim yaratadi.

Natija jadval'larining asosiy xabari CAHRGN modeli'ning uchta turli ma'lumot to'plami'da'n kuchliroq samaradorlik ko'rsatish'idir. IEMOCAP-6 asosida model yuzde 70,87 to'g'rililik va yuzde 70,75 og'irlik F1 qiymat'iga erisha'di. IEMOCAP-4 asosida yuzde 84,97 to'g'rililik va yuzde 84,81 og'irlik F1 olinadi. MELD asosida esa yuzde 64,83 to'g'rililik va yuzde 63,01 og'irlik F1 qiymat'i raporlan'di. Ushbu qiymat'lar solishtirilgan asosiy usul'larning ustida ko'rinadi.

Modalitet tahlil'lari yagona matn'ning eng kuchliroq modalitet ekanlig'ini ko'rsatadi. Se's yagona ravishda o'rta darajali hissa taqdim qil'sa'n'da ko'rinma yagona ravishda yanada zayfroq qoladi. Ammo uchta modalitet birga ishlatil'gan'da eng yaxshi natija'lar olinadi. Bu bulgu tuyg'u tan'ma'ning yalniz matn o'qish ish'i emaslig'ini; se's va ko'rinma'ning ayniqsa bog'lam bilan yon'ga qo'shimcha ma'lumot berada'lganligi'ni ko'rsatadi.

Ablatsiya natija'lari modeli'ning asosiy qismlari'ning haqiqatan'da ishlagan'ligini ko'rsatadi. RGCN yoki Graph Transformer chiqaril'gan'da samaradorlik pas'adi. Ko'p modlu munosabat kenarla'ri yoki bog'lam kenarla'ri olib tashlang'anda natija'lar zayfla'di. Bu modeli'ning muvaffaqiyat'i birun qisim'ga emas; modalitet munosabat'lari vaqt bog'lam nutq'chi ma'lumot'i va grafik asosidagi o'rganish'ning birga ishlagan'iga asoslandan'ligini ko'rsatadi.

Nutq'chi ma'lumot tahlil'i'da ham muhim xabar beradi. Nutq'chi o'rgansh ishlatil'gan'da model uchta ma'lumot to'plami'da'n yaxshi natija beradi. Bu turli kishi'larning ifoda tarz'i va tuyg'u tendentsiyalar'ining tuyg'u tan'ma'da ma'nokli ma'lumot tashigan'ligini qo'llab-quvvatladi.

Tajribalar qanday olib borilgan?

Tadqiqot'da uchta yaygon ko'p modlu tuyg'u tan'ma ma'lumot to'plami ishlatiladi: IEMOCAP-4, IEMOCAP-6 va MELD. IEMOCAP-4 to'rt tuyg'u etiketa'sini o'z ichiga oladi: g'ussani uzgonlik baxt va neytr. IEMOCAP-6 esa baxtlik uzgonlik neytr xavf ashashtirul' va g'ussani bo'lmak uchun olti tuyg'u etiketa'sini ishlatadi. MELD ma'lumot to'plami'n ko'p nutq'chi diolog'larda tuyg'u tan'ma uchun ishlatilgan yaygon solishtirma ma'lumot to'plami'dir.

Matn xususiyatlar'i BERT bilan chiqaril'di. Se's xususiyatlar'i IEMOCAP uchun OpenSmile MELD uchun librosa orqali olinadi. Ko'rinma xususiyatlar'i IEMOCAP uchun OpenFace ishlatib chiqaril'adi. Ushbu xususiyatlar'i keyinra CAHRGN modeli'ning grafik tuzilma'si'na aktiv qilin'di.

Modeli'ning samaradorlig'i Accuracy va weighted F1-score bilan o'lchi'nadi. Accuracy to'g'ri tahmin qilingan misol'larning shart'dir. Weighted F1-score esa tasnif balansizi'gini yanada yaxshi hisobga ol'gan o'lchi'dir. Tuyg'u tan'ma ma'lumot to'plami'larda ba'zi tuyg'u tasnif'lari boshqa'lardan az ko'riladi'digi uchun weighted F1 ayniqsa muhim.

Tajriba'larda CAHRGN bc-LSTM DialogueRNN DialogueGCN MMGCN COGMEN DGSNet FrameERC va shunga o'xshash oldingi usul'lar bilan solishtir'iladi. Bundan tashqari modeli'ning qaysi qismlari'ndan qanchalik foydalagan'ligini tushunish uchun ablation tajriba'lari yapiladi. Bu ko'lamda modalitet'lar yagona yoki birga sinandi'ladi; RGCN Graph Transformer ko'p modlu kenarlar bog'lam kenarlar'i va nutq'chi o'rgansh chiqaril'ib samaradorlik o'zgarish'i kuzatiladi.

Natijalar nima ko'rsatadi?

Birinchi natija CAHRGN'ning uchta ma'lumot to'plami'da'n kuchliroq samaradorlik ko'rsatish'idir. Model nutq ichida tuyg'u tan'ma vazif'ida oldingi ko'p usul'larni orqasida qoldirada. Ushbu natija geterogen grafik tuzilma'sining va bog'lam fark'aniqlig'ining tuyg'u tan'ma'da foydali bo'ladi'ganligi'ni ko'rsatadi.

Ikkinchi natija matn ma'lumot'ining hali'n eng kuchliroq yagona manba ekanlig'idir. Yagona ravishda matn modalitet'i se's va ko'rinma modalitet'laridan yanada yuqori samaradorlik beradi. Lekin eng yaxshi natija yalniz matn bilan emas balki matn se's va ko'rinma'ning birga ishlatil'mashligi bilan olinadi. Bu ko'p modlu yondashturuv'ning amali qiymat'ini qo'llab-quvvatladi.

Uchinchi natija bog'lam'ning yo'n'ning muhim ekanlig'idir. O'tgan va kelajak so'zlar bir xil ele al'inmasligi shart. Model o'tgan va kelajak bog'lam'ni alohida munosabat tur'lari bilan taqdim etilgan'da nutq'dagi tuyg'u oqimini yanada yaxshi qolasa'ladi.

To'rtinchi natija nutq'chi ma'lumot'ining tuyg'u tan'ma'da hissa bergan'ligidur. Nutq'chi o'rgansh chiqaril'gan'da to'g'rililik pas'adi. Bu kishi'larning tuyg'u ifoda tarz'larining kishi'dan kishi'ga farqli bo'lashligi'ni va model'ning ushbu farq'ni o'rganish'ining foydali bo'lashligi'ni ko'rsatadi.

Beshinchi natija RGCN va Graph Transformer qismlari'ning to'ldirish'chi ishlagan'ligidur. RGCN munosabat tur'larni va yerli grafik qo'shni'likni qayta ishlay'tir'sa'n'da Graph Transformer yanada keng bog'lam va uzoq menzil bog'lanish'larni qola'sh'ga yordam beradi. Ikkita me'moriy'ning birlash'masi yagona ishlatilgan tuzilma'larga qara'nda yanada kuchli taqdim yaratadi.

Bu nima uchun muhim?

Nutq'larda tuyg'u tan'ma mijoz xizmatlar'i ta'lim texnologiyalari ijtimoiy robot'lar chirila'digan jami'yat tahlil'lari chaqirish markazi sifat baholash'i va kishi-kompyuter o'zaro ta'sir'lari kabi ko'p sohalarda ishlatil'ada. Lekin ushbu sohalarda ishonchlilik va etika hassasiyat muhim ahamiyat'li. Kishi tuyg'usi yagona kelim'a yuz ifoda'si yoki se's toni'ga kamata'lmadi.

Ushbu tadqiqot yanada bog'lam'li va ko'p kanal'li tuyg'u tan'ma sistema'lari uchun muhim yo'n ko'rsatadi. Bir kishi'ni nima hisla'digan'ligi'ni tushunish uchun yalniz ayta'digan so'z'ga emas nutq'ning qaysi nuqta'sida ayta'digan'iga oldin va so'n cum'lalar'ga nutq'chi tarz'iga va turli modalitet'lar'ning bir-biri'ni qanday qo'llab-quvvatlagan'iga qarashlishi kerak.

Modeli'ning grafik asosidagi tuzilma'si'n ham muhimdir. Nutq sodda matn dizig'i kabi emas; kishi vaqt modalitet'lar va munosabat'lardan tashkil topgan tor'i kabi ele al'in'di. Ushbu yondashturuv sun'iy intellekt'ning insan aloqa'sini yanada munosabat'li va bog'lam'li biçim'da modellay'mashligi'na hissa beradi.

Lekin bunday sistema'larning haqiqiy dunyo'da ishlatilmasi ehtiyot talab qiladi. Tuyg'u tan'ma modellari xatoli tahmin qilada madaniyat farq'larni kaçira'la'da bireysel ifoda tarz'larni yolg'on talqin qilada yoki shaxsiy ma'lumot xususiyat muammola'ri tug'iradi. Shuning uchun bunday modellар qaror destek vosita'si sifatida o'ylana'lsa kerak; kishi avtomatik etiketa'la'digan kesin sistema'lar kabi ishlatil'masa kerak.

Ehtiyot niqtalari

Birinchi ehtiyot niqtasi tadqiqot preprint bo'lashligi'dir. Hakem baholang'idan o'tmas'ligini uchun model samaradorlig'i usul tushuntirish'lari va iddial'ari ilgari o'zgarida. Natija'lar ehtiyotkorlik va solishtirma biçim'da o'qilmasa kerak.

Ikkinchi ehtiyot niqtasi ma'lumot to'plami cheklanganligi'dir. IEMOCAP va MELD kabi ma'lumot to'plami'lari tadqiqot uchun qimmatli; ammo haqiqiy dunya'ning nutq'lari ancha murakkab shovqinli madaniyat jihat'dan xilma-xil va bog'lam'ga bog'liq. Laboratoriya yoki kompilyatsiyala'ngan ma'lumot to'plami'dagi muvaffaqiyat to'g'ridan-to'g'ri haqiqiy dunya muvaffaqiyati degan ma'noni bermi.

Uchinchi ehtiyot niqtasi tuyg'u etiketa'larning tabiati'dir. Tuyg'u'lar ko'pincha keskin tasnif'larga bo'linmay'di. Kishi bir paytda hem uzgon hem g'ussali bo'lada; ironik gapira'la'da; tuyg'u'sini saqlaya'la'da; madaniyat jihat'dan farqli ifoda qilada. Shuning uchun tuyg'u tasnif'lash sistema'lari her doim beqarorlik qo'sh'i bilan baholana'lsa kerak.

To'rtinchi ehtiyot niqtasi nutq'chi ma'lumot'i va xususiyat'dir. Modeli'ning nutq'chi kimlig'idan foydalanishi samaradorlig'ini oshiradi; lekin shaxsiy ma'lumot va etika ishlatilish jihat'dan ehtiyot talab qiladi. Nutq'chi profili tuyg'u tendentsiyasi yoki ifoda tarz'i kabi ma'lumotlar hassas ma'lumot qat'ligini olay alada.

Oxirida ushbu kontent psixologik yoki klinik baholama tavsiya emas. Sun'iy intellekt asosidagi tuyg'u tan'ma natija'lari insan harakat'fara'sini kesin qilib talqin qilish uchun yagona ishlatil'masa kerak.

Xulosa

Ushbu tadqiqot nutq'larda tuyg'u tan'ma'ning yalniz so'z tasnif'lash muammosi emaslig'ini ko'rsatadi. Tuyg'u matn se's ko'rinma nutq'chi kimlig'i va vaqt ichidagi bog'lam'ning birga shakli bergan murakkab aloqa signali'dir.

CAHRGN modeli ushbu murakkab'likni grafik tuzilma ichida taqdim qilish orqali muhim yondashturuv taklif etadi. Har nutq birlik'ini matn se's va ko'rinma tug'un'lari bilan ele aladi; bir so'z ichidagi modalitet munosabat'larni o'tgan va kelajak bog'lam'ni nutq'chi ma'lumot'ini va uzoq menzili bog'lanish'larni birga qayta ishla'di. Tajriba natija'lari ushbu dizayn'ning mavjud usul'larga qara'nda yanada kuchli samaradorlik berada'lganligi'ni ko'rsatadi.

Verianla nuqtai nazaridan tadqiqot'ning asosiy xabari: Sun'iy intellekt'ning insan tuyg'u'sini yanada yaxshi tushunish uchun yalniz yanada katta model emas balki yanada to'g'ri bog'lam me'moriy shart. Tuyg'u yagona cum'la'da emas; nutq'ning oqim'ida nutq'chi'ning tarz'ida va matn-se's-ko'rinma orasidagi munosabat'larda paydo bo'ladi.

Manbaa va usul izohi

Ushbu kontent Yuling Ren, Junpeng Bao, Kaiyu He, Tingyu Li va Jiangjiang Zhao tomonidan tayyorlangan "CAHRGN: Nutq ichida ko'p modlu tuyg'u tan'ma uchun bog'lam-fark'aniqlik geterogen munosabat grafik tor'i" sarlavhali preprint tadqiqot tadqiqot'ga asoslangan. Tadqiqot; ko'p modlu nutq tuyg'u tan'ma geterogen munosabat grafik tor'lar nutq'chi o'rgansh RGCN va Graph Transformer me'moriy'larni birlashtiruvchi CAHRGN modeli'ni taklif etadi.

Ushbu kontent yagona tarjima emas; tadqiqot'ning asosiy fikri Verianla nashriyot chizig'iga mos ravishda soddalashtirilib va asl Uzbek tahrirviy maqolaga aylantirilib.