Akademik tadqiqotlar, tushunarli til

Verianla | O‘zbekcha akademik tadqiqotlar va ilm-fan

27 Sentabr 2026, Yakshanba
VERİANLAMustaqil ilmiy nashriyot
Menyuni ochish yoki yopish
Menyuni yopish
...
×
Bosh sahifa / Gumanitar fanlar / Tilshunoslik / Sun'iy Intellekt Tuyg'u Yalniq Matndan Mi Tushuna'di? Matn Ses va Ko'rnu Orasidagi Asimmetrik O'zaro Ta'sir
Tilshunoslik

Sun'iy Intellekt Tuyg'u Yalniq Matndan Mi Tushuna'di? Matn Ses va Ko'rnu Orasidagi Asimmetrik O'zaro Ta'sir

Insan tuyg'u ko'pincha yalniq so'zlar'da ortaya chikma'ydi. Bir shaxs'ning aytgan cum'la'si ses toni va yuz ifoda'si bilan birga ma'no qazana'di. Ayni cum'la sodda ses toni'yla aytilgan'da nöytr; alaychi toni'yla aytilgan'da salbiy; xo'jalangan yuz ifoda'si bilan aytilgan'da olumli algila'nada.

06/06/2026  Veri Anla 78 marta ko‘rildi
Sun'iy Intellekt Tuyg'u Yalniq Matndan Mi Tushuna'di? Matn Ses va Ko'rnu Orasidagi Asimmetrik O'zaro Ta'sir

Insan tuyg'u ko'pincha yalniq so'zlar'da ortaya chikma'ydi. Bir shaxs'ning aytgan cum'la'si ses toni va yuz ifoda'si bilan birga ma'no qazana'di. Ayni cum'la sodda ses toni'yla aytilgan'da nöytr; alaychi toni'yla aytilgan'da salbiy; xo'jalangan yuz ifoda'si bilan aytilgan'da olumli algila'nada. Shuning uchun sun'iy intellekt sistema'ri tuyg'u tahlili'nda yalniq matnni emas ses va ko'rnu ipuçla'rini'n ham hisobga ol'sa kerak.

Bu tadqiqot ko'p moduli tuyg'u tahlili'nda muhim bir faraz'ni so'roq qo'ya'di: Matn ses va ko'rnu orasidagi o'zaro ta'sir'lar haqiqatan simmettrik mi? Ya'ni matn sesin'i qanchalik ta'siri'ni qil'sa ses ham matnni ayni miqdorda ta'siri'ni qila'dimi? Tadqiqot'ning javob'i yo'q'dir. Modalitalar orasida yo'naltir'ilgan va muvozanatsiz ta'sir'lar bo'lada. Ba'zi misol'lar'da matn baskun ma'no manbaa'sidir; ba'zi holat'lar'da ses yoki ko'rnu matn'dagi noaniq'liğini tuzat'la'nadi kuchaytir'adi yoki tersiga o'zgarti'radi.

Makola shuning uchun asimmetrik çapraz-modal o'zaro ta'sir o'rganish modeli taklif qiladi. Model qaysi modalite'ning boshqa'sini qanchalik ta'siri'ni qil'sa'ni alohida hisob'la'adi; keyin turli'n o'zaro ta'sir tur'larini qayta ishlash uchun dinamik Mixture-of-Experts tuzilma'sini foydalana'di. Mixture-of-Experts Turkcha'ya "mutahassislar aralash'uvu" sifatida tarjima qilin'ada: Model har misol'da barchasi mutahassislar'ni ishlata'dmay o'sha misol'ga eng mos biraycha mutahassisla'r alt tarmaq'larni tanla'nib yanada egsik va samarali taqdim yarata'di.

Muammo nima?

Ko'p moduli tuyg'u tahlili matn ses va ko'rnu kabi turli matnlar tur'larni birgalikda birla'shtir'ib tuyg'u holat'ini tahmini qila'ydi. Bu soha ijtimoiy media oqim'dosh video ta'lim texnolog'iyalari insan-kompyuter o'zaro ta'sir va tuyg'u tuvuq sun'iy intellekt sistem'lari uchun muhim. Lekin turli modalitalar'ni birla'shtir'mak texnik jihat'dan qiyin'dir.

Birinchi qiyin'lik modalitalar'ning ayni tur'dagi bilgi tashiva'maslig'idir. Matn odatiy ma'no og'irlik'ligi yuqori bo'lgan manbaa'dir; shaxs nima aitgan'ligini to'g'ridan-to'g'ri o'z ichiga oladi. Ses esa vurgu tezlik ohang va tuyg'u toni kabi ipuçla'rni tashida'di. Ko'rnu esa yuz ifoda jest mimika va badan duruş'i asosida yanada signa'llarni taqdim qila'di. Bu uchta kanal bir-birini tamamla'sha'di; lekin her misolda ayni kuch'da ishlama'ydi.

Ikkinchi qiyin'lik oldingi ko'p usul'larning modalitalar orasidagi o'zaro ta'sir'ni simmettrik yoki teng qabul qilish'idir. Oylaypti haqiqiy gapirish'lar'da bu her doim to'g'ri emas. Matn ses'ning qanday talqin qilina'ligini kuchliroq ravishda belgilash mumkin; lekin ses'ning matn'ni ta'siri kuch'i ayni miqdorda bo'la'l'mas'ligi mumkin. Shuni o'xshash ravishda ko'rnu ba'zi misol'lar'da juda belgilang'an esa ba'zi misol'lar'da deyarli hich tuyg'u signa'li tashiva'l'mas'ligi mumkin.

Uchinchi qiyin'lik bog'lam'ga qara'nda o'zgaradigan o'zaro ta'sir'dir. Mizah ironi alay noaniq matn zayfli tuyg'u ifoda'si yoki shovqin'li video kabi holat'lar'da model'ning qaysi modalite'ga yanada ko'proq ishonch'ni dinamik ravishda sozla'sh gerek. Sobit og'irl'ik'lar yoki sodda birlash usul'lari bu egsiklik'ni her doim taqdim eta'lmas'ligi mumkin.

Tadqiqot'ning asosiy savol'i bu nuqta'da ortaya chikadi: Sun'iy intellekt matn ses va ko'rnu orasidagi yo'naltir'ilgan va misol'ga bog'langli o'zaro ta'sir'larni qanday yanada yaxshi o'rganada?

Usul nima taklif qiladi?

Tadqiqot bog'lam tuvuq ko'p moduli tuyg'u tahlili uchun asimmetrik çapraz-modal o'zaro ta'sir o'rganish modeli taklif qiladi. Model'ning asosiy fikri her modalite'ning boshqa modalitalar asosida'n ta'siri'ni alohida yo'n'lar'da hisob'lash va bu o'zaro ta'sir'larni dinamik mutahassisla'r tarmaq'lari bilan qayta ishlash'dir.

Birinchi komponent modalite'ga o'z xos kodla'sh moduli'dir. Matn uchun BERT foydalaniladi. BERT cum'la ichida so'zla'rni bog'lam'da taqdim qila'digan kuchliroq til modeli'dir. Ses va ko'rnu uchun esa pozitsiya bilgisi qo'shilgan Transformer encoder tuzilma'lari foydalaniladi. Shunday qilib her modalite avval o'z ichida ma'noli taqdim halat'iga o'tkaziladi.

Ikkinchi komponent Modality Relation-aware Dual-path Cross-modal Interaction ya'ni modalite munosabat'i tuvuq çift yo'l çapraz-modal o'zaro ta'sir moduli'dir. Bu moduli matn ses va ko'rnu orasidagi yo'naltir'ilgan ta'sir og'irl'ik'larni hisob'laydi. Misol uchun matndan ses'ga ta'sir' sesldan matn'ga ta'sir' ayni qabul qilina'l'maydi; her yo'n alohida ishonch og'irl'ik' bilan modellana'di.

Uchinchi komponent çift yo'l o'zaro ta'sir tuzilma'sidir. Model ham yerli ikki'li o'zaro ta'sir'larni ham global uchlu o'zaro ta'sir'ni tutaba'lash'ni harakat qila'di. Yerli yo'l matn-ses matn-ko'rnu va ses-ko'rnu kabi ikki'li munosabat'larni o'rganadi. Global yo'l esa uchta modalite'ning bir yo'lda tuzgan o'zaro ta'sir namuna'sini tutaba'lash'ni harakat qila'di.

To'rtinchi komponent Interaction-aware Mixture-of-Experts moduli'dir. Bu tuzilma turli çapraz-modal o'zaro ta'sir tur'lari uchun turli mutahassisla'r tarmaq'larni kurar. Text-Audio Expert Text-Video Expert Audio-Video Expert Trimodal Expert va General Expert kabi mutahassisla'r bor'ligi. Model her misolda barchasi mutahassisla'rni tenglashtira'lmaydi; top-k routing strateg'iyasi bilan eng mos biraycha mutahassisla'rni tanlaydi.

Beshinchi komponent Semantically Complementary Global Interaction moduli'dir. Bu tuzilma asimmetrik o'zaro ta'sir'lar sura'sida kaybolsa'digan tamamlayuvchi tuyg'u ipuçla'rini orqaga qayta tutaba'lash'ni maqsad qila'di. Oltinchi komponent esa Modality-Specific Channel Refinement moduli'dir. Bu moduli her modalite'ning o'z ichida tashiva'digan muhim tuyg'u signa'llarni ko'r'ib bir yo'lda taqdim'ning zayfla'shini oldini ol'moq'ni harakat qila'di.

Formulalar nima aytadi?

Tadqiqot'da ko'p miqdorda matematik'iy ifoda'lar yer ol'a'di. Quyidagi formulalar makola'dagi symbol tuzilma'siga mümkin qad'rda vafoli biçimde uzatil'gan va Verianla o'quvchi uchun sodda tushuntirma'lar bilan birga beril'gan.

Matn modalite'si BERT bilan kodlan'adi. Bu yerda \(X_t\) matn kirish'i \(H_t\) matndan chiqaril'gan bog'lam taqdim'ining silsilasi'ni ifoda qila'di.

\[ H_t = BERT(X_t) \in \mathbb{R}^{L_t \times d_t} \]

Ses va ko'rnu modaliteler'ida pozitsiya bilgisi qo'shiladi va Transformer encoder bilan taqdim chiqar'iladi. Bu yerda \(m \in \{a,v\}\) ses yoki ko'rnu modalite'sini taqdim qila'di.

\[ \bar{X}_m = LN(X_m + PE_m), \quad m \in \{a,v\} \]
\[ H_m = TransformerEncoder(\bar{X}_m) \in \mathbb{R}^{L_m \times d_m} \]

Model keyin modalitalar'ni ortaq o'lchami'ga proyeksiya qila'di. Matn uchun [CLS] taqdim Ses va ko'rnu uchun o'rtacha hovuzla'sh foydalaniladi.

\[ h_t = W_t H_{t,[CLS]} + b_t \]
\[ h_m = W_m \left(\frac{1}{L_m}\sum_{i=0}^{L_m-1} H_{m,i}\right)+b_m, \quad m\in\{a,v\} \]

Asimmetrik munosabat tuvuq mexanizm'i bir modalite'ning boshqa modalite asosida'n yo'naltir'ilgan ta'siri'ni hisob'laydi. Bu yerda \(w_{j \rightarrow i}\) manba modalite \(j\) dan maqsad modalite \(i\) ga ta'sir ishonch og'irl'ik'ni taqdim qila'di.

\[ w_{j\rightarrow i} = \sigma \left( W_{o,j\rightarrow i} \cdot GELU \left( LN \left( W_{p,j\rightarrow i}\cdot h_j+b_{p,j\rightarrow i} \right) \right) +b_{o,j\rightarrow i} \right), \quad i,j\in\{t,a,v\} \]

Bu og'irl'ik'lar foydalanilsa'n'da her modalite boshqa modaliteler'idan kela'digan yo'naltir'ilgan ta'sir'ga qara'nda qayta o'lcha'nadi. Bu yerda \(\odot\) eleman asosidagi ko'paytir'ish'ni ko'rsatadi.

\[ h_i' = h_i \odot \left( 1+\sum_{j\neq i} w_{j\rightarrow i} \right), \quad i,j\in\{t,a,v\} \]

Yerli ikki'li o'zaro ta'sir'da ikkita modalite'ning kuchaytir'ilgan taqdim'lari birlash'til'adi va doğru'ya olmagan donushturmadan o'tkaziladi.

\[ z_{i\rightarrow j} = GELU \left( LN \left( W_{fusion}\cdot [h_i';h_j']+b_{i\rightarrow j} \right) \right) \]

Uchta ikki'li o'zaro ta'sir vekto'rlari yig'il'sa'n'da yanada keng'aytirilgan munosabat tuzilma'si yaratil'adi.

\[ Z = Stack(z_{ta},z_{tv},z_{av}) \]
\[ \tilde{Z} = MultiHead(Z,Z,Z) \]

Mixture-of-Experts tuzilma'sida turli mutahassisla'r turli o'zaro ta'sir tur'larni qayta ishla'ydi. Misol uchun matn-ses matn-ko'rnu ses-ko'rnu uchlu modalite va umumiy mutahassisla'r alohida o'zaro ta'sir namuna'lariga odakla'nadi.

\[ e_1 = E_{TA}([h_t';h_a']) \]
\[ e_2 = E_{TV}([h_t';h_v']) \]
\[ e_3 = E_{AV}([h_a';h_v']) \]
\[ e_4 = E_{TAV}([h_t';h_a';h_v']) \]
\[ e_5 = E_{G}([h_t';h_a';h_v']) \]

Routing ya'ni yo'naltirish tarmaq'i her misolda qaysi mutahassisla'rning tanlanganlig'ini belgilaydi. Model barchasi mutahassisla'rni ishlata'dmay eng mos \(k\) mutahassisla'rni tanlaydi.

\[ r = W_2 \cdot \delta(W_1\cdot [g;h_{cross}]+b_1)+b_2 \]
\[ \{I_k,S_k\}=TopK(r,k) \]

Tanlang'an mutahassisla'rning chiqa'qlari og'irl'ik'li biçimde birla'shtiril'adi.

\[ h_{moe} = \sum_{n=1}^{k} \alpha_n \cdot e_{I_n} \]

Mutahassisla'rning qul'shuv'ini oldini ol'mosh uchun yuk muvozana'la'sh yo'q'iti foydalaniladi. Mutahassisla'rning qul'shuv'i modeli'ning doimiy ravishda ayni biraycha mutahassisla'rga yo'nalish va boshqa mutahassisla'rning o'rganma'ydi'shi holat'idir.

\[ \mathcal{L}_{balance} = \lambda \cdot \frac{1}{E} \sum_{e=1}^{E} p_e \log \left( \frac{p_e}{\bar{p}_e} \right) \]

Regress'ion tar'afa'n'da tuyg'u baho'si tahmini uchun L1 yo'q'iti foydalaniladi. Bu yo'q'iti tahmini qilgan tuyg'u qiymati bilan haqiqiy tuyg'u qiymati orasidagi mutlaq farq'ni o'lcha'di.

\[ \mathcal{L}_{reg} = \frac{1}{N} \sum_{i=1}^{N} \left| \hat{y}_i-y_i \right| \]

Umumiy o'qitsh maqsadi; regress'ion yo'q'iti tuyg'u tuvuq kontrastiv yo'q'iti va yuk muvozana'la'sh yo'q'iti'ni birla'shtra'di.

\[ \mathcal{L} = \mathcal{L}_{reg} + \gamma \cdot \mathcal{L}_{con} + \mathcal{L}_{balance} \]

Ulashish:

Teglar: çok modlu duygu analizimultimodal sentiment analysisasimetrik modalite etkileşimiMixture-of-Expertstop-k routingBERTTransformermetin ses görüntü analizi
Izohlar ko‘rib chiqilgandan keyin e’lon qilinadi.Izohingiz tasdiqlash jarayoniga yuboriladi va ma’qullangach ko‘rinadi.

Izoh qoldiring

E-pochta manzilingiz chop etilmaydi. Majburiy maydonlar * bilan belgilangan

Tegishli maqolalar
Bu saytda cookie-fayllarga ruxsat berish foydalanish tajribangizni yaxshilaydi. Cookie-fayllar siyosati

Bu cookie-fayllar veb-saytning to‘g‘ri ishlashi uchun zarur.

Bu cookie-fayllar tashrif buyuruvchilarning veb-sayt bilan qanday ishlashini tushunishga yordam beradi.

Bu cookie-fayllar shaxsiylashtirilgan reklamalarni ko‘rsatish uchun ishlatiladi.