Ин таҳқиқот меомӯзад, ки оё моделҳои бузурги забонӣ ҳангоми тавлиди ҳикояҳо барои миллатҳои гуногун ба тамоми ҷаҳон як қолаби ягонаи ривоятиро татбиқ мекунанд ё барои қитъаҳои гуногун қолабҳои минтақавии фарқкунанда, вале дар дохили худ содакардашударо истифода мебаранд. Муҳаққиқ маҷмӯаи кушодаеро, ки қаблан бо gpt-4o-mini тавлид шуда ва аз 11.800 ҳикоя иборат буд, дубора таҳлил кардааст; пас аз мувофиқсозии дурусти ҷуғрофӣ ҳикояҳои 235 миллатро, ки шумораашон 11.750 буд, дар доираи Африқо, қитъаҳои Амрико, Осиё, Аврупо, Уқёнусия ва як гурӯҳи махсуси Қутбӣ арзёбӣ кардааст.

Хулосаи 50-калимаии ҳар ҳикоя бо модели sentence-transformer-и all-MiniLM-L6-v2 ба вектори рақамии 384-ченак табдил дода шудааст. Муҳаққиқ аввал бо KMeans санҷидааст, ки оё дар фазои ҳикояҳо кластерҳои ҷудогонаи ривоятӣ худ аз худ пайдо мешаванд ё не. Дар доираи K = 4 то K = 20 мондани қиматҳои silhouette дар сатҳи хеле пасти 0,031–0,039 нишон додааст, ки навъҳои ҳикоя бо сарҳадҳои равшан ҷудошуда вуҷуд надоранд. Ба ҷои ин пешниҳод шудааст, ки ҳикояҳо як абри ягона ва пайвастаи маъноиро ташкил медиҳанд, аммо дар дохили ин абр тамоюлҳои минтақавӣ мавҷуданд.

Аз векторҳои ҳикояҳои ҳар минтақаи ҷуғрофӣ як марказ сохта шуда, ҳар ҳикоя ба маркази минтақавие таъин шудааст, ки бештар ба он монанд буд. 74,7 фоизи ҳикояҳо ба маркази минтақае наздиктарин дониста шуданд, ки миллати зикршуда дар дархости тавлид ба он тааллуқ дошт. Аврупо бо 83,6 фоиз баландтарин мувофиқати минтақавиро нишон додааст; Уқёнусия 81,5 фоиз, Африқо 71,9 фоиз, Осиё 70,4 фоиз ва қитъаҳои Амрико 69,8 фоиз-ро нишон додаанд.

Бузургтарин мувофиқатҳо берун аз минтақа дар матритсаи иштибоҳ байни Африқо ва Осиё дида шудаанд. 12,8 фоизи ҳикояҳое, ки бо дархостҳои Африқо тавлид шудаанд, ба маркази Осиё ва 14,0 фоизи ҳикояҳое, ки бо дархостҳои Осиё тавлид шудаанд, ба маркази Африқо наздиктар дониста шудаанд. Муҳаққиқ ин наздикии дуҷонибаро ҳамчун муаррифии Африқо ва Осиё дар доираи як фазои васеи «дигар», ки аз ҷониби модел ба қадри кофӣ тафриқа дода намешавад, шарҳ медиҳад. Аммо ин шарҳ ба монандии embedding асос ёфтааст; он исбот намекунад, ки модел нияти мустамликадорона дорад ё ду қитъаро огоҳона яксон мебинад.

Таҳлили калимаҳои TF-IDF нишон додааст, ки фарқгузории минтақавӣ асосан тавассути номҳои персонажҳо ва чанд унсури рамзии муҳити зист сохта мешавад. Дар ҳикояҳои Африқо Amina, Amani ва baobab; дар ҳикояҳои Осиё Layla, Mei, olive ва grove; дар ҳикояҳои Аврупо forest, pines ва Clara; дар ҳикояҳои Уқёнусия ocean, island, Lani ва Moana аз ҷумлаи калимаҳои фарқкунанда мебошанд. Дар айни замон гуфта мешавад, ки хатти асосии сюжети ҳикояҳо дар байни минтақаҳо ба ҳам наздик мешавад.

Истифодаҳои “Moana” дар ҳикояҳои Уқёнусия низ алоҳида таҳқиқ шудаанд. Дар аксари 170 ҳикояе, ки ин калима дар онҳо омадааст, Moana ҳамчун персонаж ё «рӯҳи муҳофизи уқёнус» истифода шудааст. Мавҷуд будани унсури хоси филми Disney — “дили Te Fiti” — дар баъзе хулосаҳо ба он ишора мекунад, ки муаррифии Уқёнусия эҳтимол бештар аз гуногунии ривоятии маҳаллӣ, аз як маҳсулоти тиҷоратии расонаии дар миқёси ҷаҳонӣ ҳукмрон таъсир гирифта бошад.

Аз дидгоҳи Туркия: Усули таҳқиқотро метавон барои омӯзиши муаррифии фарҳангӣ, номҳои персонажҳо, рамзҳои ҷуғрофӣ ва қолабҳои сюжетӣ дар ҳикояҳои аз ҷониби зеҳни сунъӣ бо дархостҳои туркӣ ё марбут ба Туркия тавлидшуда мутобиқ кард. Барои арзёбии боэътимоди Туркия бояд дархостҳои туркӣ ва англисӣ алоҳида истифода шаванд; LLM-ҳои гуногун, версияҳои гуногуни моделҳо ва навъҳои гуногуни ривоят муқоиса карда шаванд. Ҳикояҳоро ҳамчунин арзёбкунандагони инсонӣ, ки гуногунии минтақавӣ, қавмӣ, забонӣ, таърихӣ ва шаҳрӣ-деҳотии Туркияро намояндагӣ мекунанд, бояд баррасӣ намоянд. Азбаски дар ин таҳқиқот натиҷаҳои алоҳида барои Туркия дода нашудаанд ва кишварҳо дар гурӯҳҳои васеи қитъавӣ муттаҳид шудаанд, мустақиман хулоса баровардан мумкин нест, ки модел Туркияро бо кадом қолабҳои фарҳангӣ муаррифӣ мекунад.

Саволи асосии таҳқиқот чист?

Таҳқиқоти пешина гузориш дода буд, ки қисми зиёди ҳикояҳои аз ҷониби gpt-4o-mini барои 236 миллат тавлидшуда ба як хатти асосии монанди сюжет наздик мешаванд. Дар ин сюжет одатан қаҳрамоне ҳаст, ки дар деҳа ё шаҳраки хурд зиндагӣ мекунад ё ба он бармегардад; робитаи ҷомеа бо анъана таҳдид мешавад; қаҳрамон чорабинӣ ташкил карда ҷомеаро дубора муттаҳид месозад ва маҳалли зист ба рамзи умед табдил меёбад.

Саволи таҳқиқоти нав ин аст, ки ин сохтори умумӣ дар ҳамаи миллатҳо яксон татбиқ мешавад ё модел барои минтақаҳои гуногуни ҷаҳон қолабҳои сатҳии ҷудогона месозад.

Муҳаққиқ ду эҳтимолро фарқ мекунад:

• Ҳамгунсозии глобалӣ: Барои ҳамаи миллатҳо тақрибан як ривояти яксон сохта шавад ва фарқиятҳои фарҳангӣ пурра нест гарданд.
• Стереотипсозии минтақавӣ: Барои минтақаҳои васеъ, аз қабили Африқо, Осиё ё Аврупо, қолабҳои аз ҳам фарқшаванда истифода шаванд, вале гуногунии дохилии ҳар минтақа то чанд рамз кам карда шавад.

Мувофиқи натиҷаи таҳқиқот, эҳтимоли дуюм муносибтар менамояд. Модел як фазои ягонаи ривоятӣ тавлид мекунад, аммо дар дохили он кашишҳои луғавӣ ва маъноӣ ба самти минтақаҳои ҷуғрофӣ мавҷуданд.

Маълумоти истифодашуда ба кӣ тааллуқ дорад?

Муҳаққиқ ҳикояҳоро худ тавлид накардааст. Ӯ маҷмӯаи маълумоти кушодаеро, ки Rettberg ва Wigers нашр карда буданд, дубора таҳлил кардааст. Дар тавлиди аслии маълумот ба модели gpt-4o-mini барои ҳар миллат чунин дархости асосӣ фиристода шудааст:

Write a 1500 word potential {demonym} story

Дар ин ҷо {demonym} ҷойи калимаи ифодакунандаи миллат, монанди Norwegian, Nigerian ё Turkish-ро мегирад.

Барои ҳар миллат 50 ҳикоя тавлид шуда, барои 236 миллат дар маҷмӯъ:

\[ 236 \times 50 = 11.800 \]

ҳикоя ба даст омадааст. Тавлид дар байни санаҳои 13–19 январи 2025 анҷом дода шудааст.

Маҷмӯаи маълумот барои ҳар ҳикоя майдонҳои иловагии зеринро низ дар бар мегирад:

• Матни пурраи тақрибан 1.500-калимаӣ
• Хулосаи 50-калимаие, ки ҳамон модел тавлид кардааст
• Нишонаи эҳсосоте, ки ба хулоса татбиқ шудааст
• Басомади калимаҳо пас аз лемматизатсия ва поксозии stop-word
• Шумораи ибораҳои исмӣ

Чаро ба ҷои ҳикояҳои пурра хулосаҳо истифода шудаанд?

Таҳлили асосии embedding-и таҳқиқот ба ҷои матнҳои пурраи 1.500-калимаӣ бо хулосаҳои 50-калимаӣ анҷом дода шудааст. Муҳаққиқ барои ин се далел овардааст:

• Ҳикояҳои пурра аз дарозии амалии вуруди бисёр моделҳои sentence-transformer зиёданд ва метавонанд бурида шаванд.
• Азбаски ҳамаи хулосаҳо бо як модел ва дар тақсимоти шабеҳ тавлид шудаанд, аз ҷиҳати дарозӣ воҳидҳои бештар муқоисашаванда мебошанд.
• Муҳаққиқоне, ки маҷмӯаи аслии маълумотро сохтаанд, дар баъзе таҳлилҳои баъдӣ низ аз хулосаҳо истифода кардаанд.

Ин интихоб ҳисоббарориро осон мекунад, вале маҳдудияти муҳим ба вуҷуд меорад. Хулоса нусхаи бетараф ва кӯтоҳшудаи ҳикояи пурра нест. Он тавлиди навест, ки бори дуюм инъикос мекунад, ки ҳамон LLM кадом рӯйдодҳо, номҳо ва ҷузъиёти фарҳангиро муҳим мешуморад. Аз ин рӯ, қисми фарқи минтақавии ченшуда метавонад аз ҳикояҳои пурра ва қисми дигар аз рафтори хулосабарории модел сарчашма гирад.

Таснифи ҷуғрофӣ чӣ гуна анҷом дода шудааст?

Ҳар миллат мувофиқи таснифи M49-и Созмони Милали Муттаҳид ба минтақаҳои зерин таъин шудааст:

• Африқо
• Қитъаҳои Амрико
• Осиё
• Аврупо
• Уқёнусия
• Қутбӣ ё Антарктика

Bermuda ба қитъаҳои Амрико ва Сейшел ба Африқо дастӣ таъин шудаанд. Ҷойпуркунандаи “XX”, ки миллати воқеиро ифода намекунад, аз таҳлил хориҷ карда шудааст. Ҳамин тавр гуфта шудааст, ки маҷмӯаи ниҳоӣ 235 миллат ва 11.750 ҳикояро дар бар мегирад.

Интихоби UN M49 имкон медиҳад, ки гурӯҳҳои минтақавӣ аз маълумоти embedding ҳосил нашаванд. Бо ин роҳ муҳаққиқ аз давре канорагирӣ кардааст, ки аввал аз маълумот кластерҳо бароварда, баъд ҳамон кластерҳоро “минтақа” меномад.

Бо вуҷуди ин, таснифи ҷуғрофӣ ивазкунандаи комили монандии фарҳангӣ нест. Категорияҳои хеле васеъ, аз қабили Осиё ва Африқо, садҳо забон, анъанаи таърихӣ ва сохтори адабиро ба як марказ кам мекунанд. Аз ин рӯ, таҳлил дар сатҳи усул қисман ҳамон ҳамгунсозии васеъмиқёсро, ки танқид мекунад, дубора истеҳсол менамояд.

Матнҳо чӣ гуна ба векторҳои рақамӣ табдил дода шудаанд?

Ҳар хулосаи 50-калимаӣ бо модели sentence-transformer-и all-MiniLM-L6-v2 ба вектори embedding-и 384-ченак ва ба дарозии воҳидӣ нормализатсияшуда табдил дода шудааст:

\[ e_i \in \mathbb{R}^{384}, \qquad \lVert e_i \rVert = 1 \]

Вектори embedding ба ҷои шумориши мустақими калимаҳо, барои ифодаи мазмуни умумии маъноии матн дар фазои серченак пешбинӣ шудааст. Азбаски векторҳо дарозии воҳидӣ доранд, монандии косинусии байни ду ҳикоя ба ҳосили нуқтавии векторҳо баробар аст:

\[ \operatorname{cosine}(e_i,e_j)=e_i\cdot e_j \]

Раванди embedding дар CPU дар гурӯҳҳои 64-намунаӣ иҷро шуда, натиҷаҳо дар диск нигоҳ дошта шудаанд.

UMAP барои чӣ истифода шудааст?

Барои баррасии визуалии фазои 384-ченаки ҳикояҳо бо UMAP коҳиши андоза то ду ченак анҷом дода шудааст. Танзимоти асосӣ чунинанд:

UMAP танҳо барои визуализатсияи иктишофӣ истифода шудааст. Матритсаи иштибоҳ, ҳисобҳои марказӣ ва арзёбиҳои оморӣ на дар намоиши дученака, балки дар фазои аслии 384-ченака анҷом дода шудаанд.

Чаро таҳлили KMeans номуваффақ буд?

Муҳаққиқ дар оғоз мехост навъҳои ҷудогонаи ривоятиро, ки худ аз худ пайдо мешаванд, муайян кунад. Кластерсозии KMeans аз K = 4 то K = 20 санҷида шуда, барои ҳар K коэффисиенти silhouette дар 2.000 ҳикояи тасодуфан интихобшуда ҳисоб карда шудааст.

Наздик шудани қимати silhouette ба 1 нишон медиҳад, ки монандии дохили кластер баланд ва ҷудоии байни кластерҳо қавӣ аст. Қиматҳои наздик ба сифр бошанд, нишон медиҳанд, ки намунаҳо дар сарҳади кластерҳои ҳамсоя қарор доранд.

Диапазони 0,031–0,039 хеле паст ва тақрибан ҳамвор аст. Қуллаи равшан ё қимати муносиб барои K ба вуҷуд наомадааст. Аз ин рӯ, муҳаққиқ ба хулоса омадааст, ки тақсимоте, ки KMeans тавлид мекунад, синфҳои воқеии ривоятиро ифода нахоҳад кард.

Ин натиҷа исбот намекунад, ки бо ҳеҷ усуле ҳеҷ сохторе пайдо намешавад. Он танҳо нишон медиҳад, ки дар зери embedding-ҳои хулосаи all-MiniLM-L6-v2 ва геометрияи глобалии KMeans кластерҳои фишурда, курашакл ва ҷудогона дастгирӣ намешаванд.

Маркази минтақавӣ чӣ гуна ҳисоб шудааст?

Барои ҳар минтақа миёнаи ҳамаи векторҳои ҳикояҳои ҳамон минтақа гирифта шуда, натиҷа дубора ба дарозии воҳидӣ оварда шудааст:

\[ \bar{e}_r=\frac{1}{|S_r|}\sum_{i\in S_r}e_i \]

\[ c_r=\frac{\bar{e}_r}{\lVert\bar{e}_r\rVert} \]

Дар ин ҷо:

• \(S_r\), маҷмӯаи ҳикояҳои марбут ба минтақаи r аст.
• \(e_i\), вектори embedding-и 384-ченаки ҳикояи рақами i аст.
• \(c_r\), маркази минтақавӣ ё вектори қолаб аст.

Наздикии ҳар ҳикоя ба ҳар маркази минтақавӣ бо ҳосили нуқтавии зерин ҳисоб шудааст:

\[ a_{i,r}=e_i\cdot c_r \]

Ҳикоя ба марказе таъин шудааст, ки қимати баландтарини наздикиро додааст:

\[ \hat{r}_i=\arg\max_r a_{i,r} \]

\(\hat{r}_i\) қолаби минтақавиеро нишон медиҳад, ки ҳикоя ба он таъин шудааст; \(r_i\) бошад минтақаи воқеии UN M49-и миллати дар дархости тавлид буда мебошад. Агар ду қимат баробар бошанд, мувофиқати минтақавӣ ва агар фарқ кунанд, таъини берун аз минтақа сабт шудааст.

Оё ин усули марказӣ санҷиши мустақили тасниф аст?

Не. Марказҳои минтақавӣ аз ҳамаи ҳикояҳо ҳисоб шудаанд ва ҳамон ҳикояҳо дубора бо ин марказҳо муқоиса шудаанд. Ҳар як ҳикоя, ҳатто кам бошад ҳам, ба ҳисоб кардани маркази минтақаи воқеии худ саҳм мегузорад.

Азбаски шумораи намунаҳо зиёд аст, таъсири як ҳикоя ба марказ метавонад маҳдуд бошад. Бо вуҷуди ин, барои санҷиши қавитар яке аз усулҳои зерин татбиқ шуда метавонист:

• Усули leave-one-out, ки ҳангоми таснифи ҳар ҳикоя онро аз ҳисоби марказ хориҷ мекунад
• Ҷудо кардани қисми миллатҳо барои сохтани марказ ва қисми боқимонда барои санҷиш
• Санҷиши leave-one-nationality-out, ки як миллатро пурра берун мегузорад
• Омехтани нишонҳои минтақа ва сохтани тақсимоти мувофиқати тасодуфӣ
• Чен кардани устувории натиҷа бо моделҳои гуногуни embedding

Азбаски ин санҷишҳо вуҷуд надоранд, нишондиҳандаи 74,7 фоиз набояд ҳамчун муваффақияти интизории умумисозӣ дар маълумоти мустақил арзёбӣ шавад.

Матритсаи иштибоҳи минтақавӣ чиро нишон медиҳад?

Қиматҳои диагоналии ҷадвал ҳикояҳоеро нишон медиҳанд, ки минтақаи миллати дар дархост буда бо наздиктарин маркази embedding яксон аст. Ҳангоми арзёбии ҳамаи минтақаҳо якҷоя, сатҳи умумии мувофиқат фоиз 74,7 аст.

Мувофиқати фоиз 83,6-и Аврупо чӣ гуна бояд шарҳ дода шавад?

Аврупо дар байни минтақаҳои дорои аҳолӣ баландтарин сатҳи мувофиқат ба маркази худро дорад. Муҳаққиқ инро ҳамчун он арзёбӣ мекунад, ки муаррифии ривоятии Аврупо дар дохили модел сохтори устувортар ва камтар таъсирпазир аз минтақаҳои дигар дорад.

Фарқи мувофиқат байни Аврупо ва Африқо:

\[ 83{,}6-71{,}9=11{,}7 \]

нуқтаи фоизӣ аст. Фарқи байни Аврупо ва Осиё бошад:

\[ 83{,}6-70{,}4=13{,}2 \]

нуқтаи фоизӣ аст.

Муҳаққиқ ин фарқро бо тақсимоти ғарбгаро ва аврупомарказ дар маълумоти омӯзишии моделҳои забонӣ мепайвандад. Аммо таҳқиқот ба маълумоти омӯзишӣ бевосита дастрасӣ надоштааст. Аз ин рӯ, сабаби фарқ чен карда нашудааст ва танҳо бо адабиёти қаблӣ пайваст карда шудааст.

Ғайр аз ин, мувофиқати баланд ба минтақаи худкор маънои муаррифии бойтар ё дақиқтари фарҳангиро надорад. Қолаби хеле танг ва такроршавандаи аврупоӣ ҳам метавонад ҳамоҳангии баланди дохилиро ба вуҷуд орад. Барои дақиқии фарҳангӣ арзёбии инсонӣ бо назардошти гуногунии воқеии дохили минтақа лозим аст.

Чаро Антарктика 100 фоиз мувофиқат кардааст?

Дар гурӯҳи Қутбӣ 50 ҳикояи Антарктика мавҷуд аст. Бартарии калимаҳои мустақиман фарқкунанда, ба монанди ice, Antarctica, climate, research ва team, маркази Қутбиро аз ҳамаи минтақаҳои дигар ба осонӣ ҷудо кардааст.

Азбаски Антарктика аҳолии доимии маҳаллӣ ва ҷомеаи анъанавии ривоятии миллӣ надорад, ин категория бо дигар минтақаҳои ҷуғрофӣ баробар нест. Натиҷаи 100-фоиза набояд ҳамчун муваффақияти муаррифии фарҳангӣ арзёбӣ шавад.

Оё робитаи байни минтақа ва таъини қолаб аз ҷиҳати оморӣ аҳамиятнок аст?

Бо хориҷ кардани гурӯҳи Қутбӣ дар матритсаи иштибоҳи панҷминтақавӣ санҷиши мустақилияти хи-квадрат гузаронида шудааст:

\[ \chi^2(16)=22.278{,}4,\qquad p<0{,}001 \]

Қимати Cramér’s V:

\[ V=0{,}691 \]

гузориш шудааст. Ин қимат нишон медиҳад, ки байни минтақаи ҷуғрофии дар дархост буда ва таъини наздиктарин марказ робитаи қавӣ мавҷуд аст.

Аммо дар матн намунаи санҷиш \(n=11.652\) гуфта шудааст. Бо маълумоти он ки маҷмӯаи ниҳоӣ 11.750 ва гурӯҳи Қутбӣ 50 ҳикоя дорад, ин шумора бозтавлид намешавад. Барои панҷ минтақаи асосӣ шумораи интизоршаванда 11.700 аст. Сабаби хориҷ шудани 48 ҳикояи гумшуда шарҳ дода нашудааст.

Иштибоҳ байни Африқо ва Осиё то чӣ андоза бузург аст?

12,8 фоизи ҳикояҳои Африқо ба маркази Осиё ва 14,0 фоизи ҳикояҳои Осиё ба маркази Африқо таъин шудаанд. Ин ду бузургтарин қимати берун аз диагонал дар матритсаи иштибоҳ мебошанд.

Қимати навбатии калонтарини яксамтаи берун аз минтақа 9,4 фоиз мебошад, яъне сатҳи таъини ҳикояҳои Уқёнусия ба маркази Амрико.

Натиҷаҳои санҷиши ду нисбати муҳаққиқ чунинанд:

• Нисбати Африқо → Осиё нисбат ба Уқёнусия → Амрико: \(z=3{,}22\), \(p=0{,}001\)
• Нисбати Осиё → Африқо нисбат ба Уқёнусия → Амрико: \(z=4{,}10\), \(p<0{,}001\)

Ин натиҷаҳо дастгирӣ мекунанд, ки мувофиқати Африқо–Осиё танҳо аз фарқи гирдкунии рақамҳо ба вуҷуд наомадааст.

Шарҳи «дигаре, ки тафриқа нашудааст» чӣ маъно дорад?

Муҳаққиқ зиёдтар ба ҳамдигар таъин шудани Африқо ва Осиёро бо мафҳуми «дигаре, ки тафриқа нашудааст» дар назарияи постколониалӣ мепайвандад. Тибқи ин дидгоҳ, ҷомеаҳои хеле гуногуни берун аз Ғарб метавонанд ба ҷои фарқиятҳои таърихӣ ва фарҳангии дохилии худ бо чанд нишонаи экзотикӣ ё собит ҳамчун як категорияи васеъ муаррифӣ шаванд.

Матритсаи иштибоҳ нишон медиҳад, ки хулосаҳои Африқо ва Осиё дар фазои embedding аз интизор бештар ба ҳам наздик мешаванд. Аммо худ аз худ хулосаҳои қавитарини зеринро исбот намекунад:

• Модел фарҳангҳои Африқо ва Осиёро огоҳона яксон мебинад
• Ҳар кишвари Африқо ба ҳар кишвари Осиё монанд муаррифӣ шудааст
• Монандӣ аз сюжети ҳикоя сарчашма мегирад
• Монандиро танҳо бо дискурси мустамликадорона шарҳ додан мумкин аст

Наздикӣ метавонад аз қолабҳои умумии ривояти англисӣ, номҳои шабеҳи персонажҳо, калимаҳои деҳа ва анъана ё интихобҳои модели хулосабарор низ сарчашма гирад. Мафҳуми постколониалӣ шарҳи назариявии бозёфт аст, на тағйирёбандаи бевосита ченшуда.

Муқоисаи TF-IDF чӣ гуна анҷом дода шудааст?

Барои ёфтани калимаҳое, ки дар ҳикояҳои ҳар минтақа нисбат ба дигар минтақаҳо бештар фарқкунандаанд, муқоисаи TF-IDF истифода шудааст.

Танзимоти асосӣ:

Барои ҳар минтақа 15 истилоҳе, ки фарқи мусбати калонтарин доштанд, гирифта шудаанд; дар мақола панҷтои аввал нишон дода шудаанд.

Калимаҳои хоси минтақаҳо кадоманд?

Муаррифии Африқо бо ду номи шахс ва дарахти baobab, ва Осиё бо номҳо ва зайтунзорҳое, ки дар як рӯйхат ассоциацияҳои арабӣ, Осиёи Шарқӣ ва Шарқи Баҳри Миёназаминро муттаҳид мекунанд, нишон медиҳад, ки гуногунии дохили минтақа метавонад то чанд нишонаи фарҳангӣ кам карда шавад.

Мавҷуд будани ҷангал, санавбар ва сифатҳои тавсифӣ дар баробари номи персонаж дар рӯйхати Аврупо аз ҷониби муҳаққиқ ҳамчун сабти муфассалтари ривоятӣ шарҳ дода шудааст. Аммо аз танҳо панҷ истилоҳи аввалини TF-IDF қатъиян хулоса кардан мумкин нест, ки муаррифии як минтақа умуман бойтар аст. Барои гуногунии луғавӣ, дақиқии ривоятӣ ё амиқии фарҳангӣ меъёрҳои ҷудогона лозиманд.

Чаро бозёфти “Moana” алоҳида таҳқиқ шудааст?

Moana метавонад дар баъзе забонҳои полинезӣ калимае марбут ба баҳр ё уқёнус бошад, ҳамзамон метавонад персонажи филми ҳамноми Disney-ро ифода кунад. Барои бартараф кардани ин норавшанӣ муҳаққиқ ҳамаи намунаҳои хулосаҳои Уқёнусияро, ки Moana дар онҳо омадааст, дастӣ баррасӣ кардааст.

Дар маҷмӯъ, дар ҳикояҳои 27 миллати Уқёнусия, ки шумораашон 170 буд, “Moana” ёфт шудааст. Дар аксари истифодаҳо ин калима:

• Номи персонаже бо ҳарфи калон
• Рӯҳи муҳофизи уқёнус, ки ба қаҳрамон роҳ нишон медиҳад
• Қаҳрамони бевоситаи ҳикоя

ҳамчун истифода шудааст.

Дар баъзе хулосаҳои тавлидшуда аз дархостҳои Самоаи Амрико ва Тонга унсури “дили Te Fiti” низ омадааст. Ин унсур ба сюжети махсуси филми Disney тааллуқ дорад. Муҳаққиқ ба хулоса меояд, ки филми тиҷоратӣ дар ривоятҳои Уқёнусия нишонаи қавии маълумоти омӯзишӣ ба вуҷуд овардааст.

Ин бозёфт барои 170 хулосаи санҷидашуда далели мустақими матнӣ пешниҳод мекунад. Бо вуҷуди ин, гуфтан мумкин нест, ки тамоми муаррифии Уқёнусия аз ҷониби модел танҳо аз филми Disney сарчашма гирифтааст.

Бозёфтҳо сохтори ривоятиро чен мекунанд ё калимаҳои сатҳиро?

Ин яке аз муҳимтарин саволҳои тафсирии таҳқиқот аст. Муҳаққиқ натиҷаҳоро “қолабҳои ривоятии минтақавӣ” меномад. Аммо embedding-ҳои all-MiniLM метавонанд аз ҳамаи унсурҳои зерин таъсир гиранд:

• Номҳои персонажҳо
• Номҳои ҷойҳо ва растаниҳо
• Тасвирҳои манзара
• Мавзӯи асосии ҳикоя
• Тартиби рӯйдодҳо
• Оҳанги эҳсосӣ
• Кадом ҷузъиёт дар хулоса интихоб шудааст

Натиҷаи TF-IDF нишон медиҳад, ки равшантарин фарқи минтақавӣ асосан аз номҳо ва унсурҳои рамзии муҳит иборат аст. Аз ин рӯ, мувофиқати марказии 74,7-фоиза метавонад бештар аз фарқи воқеии сюжет, ороиши сатҳии фарҳангиро чен кунад.

Барои санҷиши мустақимтари сохтори ривоятӣ таҳлилҳои зерин лозим шуда метавонистанд:

• Таҳлили embedding пас аз ниқоб кардани номҳои персонажҳо ва ҷойҳо
• Ҳисоби дубораи марказ пас аз хориҷ кардани калимаҳои манзара ва ашёи фарҳангӣ
• Кодгузории алоҳидаи тартиби рӯйдодҳо, ихтилоф, авҷ ва ҳалли масъала
• Холҳои монандии сохтор аз ҷониби арзёбандагони инсонӣ
• Ифодаи рӯйдодҳои ҳикоя бо занҷирҳои субъект–амал–объект
• Муқоисаи натиҷаҳои ҳикояи пурра ва хулоса

Ҷанбаҳои қавии таҳқиқот кадоманд?

• Аз манбаи васеъ ва кушодаи иборат аз 11.800 ҳикоя истифода шудааст.
• 235 миллат фарогирии васеи ҷуғрофиро таъмин мекунанд.
• Тавлиди аслии маълумот ва саҳми таҳлили нав равшан ҷудо карда шудаанд.
• Гурӯҳҳои ҷуғрофӣ на аз маълумоти embedding, балки аз таснифи берунии UN M49 гирифта шудаанд.
• Таҳлил дар фазои аслии 384-ченака анҷом дода шуда, UMAP танҳо барои визуализатсия истифода шудааст.
• Натиҷаи номуваффақи KMeans пинҳон карда нашуда, ҳамчун бозёфти методологӣ гузориш шудааст.
• Матритсаи иштибоҳ мувофиқатҳои минтақавиро муфассал нишон медиҳад.
• Санҷишҳои хи-квадрат, Cramér’s V ва нисбат истифода шудаанд.
• Таҳлили embedding бо муқоисаи калимаҳои TF-IDF дастгирӣ шудааст.
• Бозёфти Moana ҳамчун натиҷаи автоматӣ гузошта нашуда, намунаҳои дахлдор дастӣ санҷида шудаанд.
• Суроғаҳои дастрасии кушода барои коди таҳлил ва маҷмӯаи асосии маълумот дода шудаанд.
• Муҳаққиқ ошкоро қабул кардааст, ки усули худи ӯ низ метавонад категорияҳои минтақавиро ҳамгун кунад.

Маҳдудиятҳои асосии таҳқиқот кадоманд?

• Таҳқиқот preprint-и аз баррасии ҳамтоён нагузашта мебошад.
• Танҳо ҳикояҳои тавлидкардаи gpt-4o-mini таҳқиқ шудаанд.
• Танҳо як қолаби англисии дархост истифода шудааст.
• Бо тағйири версияи модел, танзимоти тавлид ва давраи вақт натиҷаҳо метавонанд тағйир ёбанд.
• Таҳлил ба ҳикояҳои пурра не, балки ба хулосаҳои боз ҳам аз ҷониби ҳамон LLM тавлидшуда такя мекунад.
• Марҳилаи хулосабарорӣ метавонад ҷузъиёти фарҳангиро интихоб ё тақвият дода бошад.
• Наздикии sentence embedding ченаки мустақими монандии фарҳангӣ ё ривоятӣ нест.
• Усули embedding бо арзёбии инсонӣ дар миқёси васеъ тасдиқ нашудааст.
• Марказҳои минтақавӣ ва тасниф дар як маълумот ҳисоб шудаанд.
• Санҷиши мустақил, cross-validation ё leave-one-out истифода нашудааст.
• Хатти муқоисаи тасодуфӣ ё бо нишонҳои омехта дода нашудааст.
• Таъсири нобаробарии шумораи намунаҳои минтақаҳо ба натиҷаҳо таҳқиқ нашудааст.
• Синфҳои ҷуғрофии UN M49 ба анъанаҳои фарҳангӣ комилан мувофиқ нестанд.
• Гурӯҳҳое мисли Африқо, Осиё ва Амрико дар дохили худ аз ҳад васеъанд.
• Таҳлил дар сатҳи кишвар, зерминтақа, оилаи забонӣ ё анъанаи таърихии ривоятӣ анҷом дода нашудааст.
• Қисме аз калимаҳои TF-IDF на сюжет, балки танҳо номи персонаж мебошанд.
• Санҷида нашудааст, ки натиҷаҳо пас аз ниқоб кардани номҳои фарҳангӣ боқӣ мемонанд ё не.
• Натиҷаи пасти silhouette-и KMeans ҳамаи усулҳои имконпазири кластерсозиро рад намекунад.
• Ибораи “панҷ қолаби ҷудогона” бо набудани кластерҳои ҷудогона таниши консептуалӣ дорад.
• Ҷудо карда нашудааст, ки наздикии Африқо–Осиё аз сюжет, интихоби калима ё рафтори хулосабарорӣ сарчашма мегирад.
• Пайванди мафҳумҳои постколониалӣ тафсирӣ аст ва механизми сабабии бевосита ченшуда нест.
• Санҷиши сифатӣ танҳо ба намунаи хурди нӯҳ ҳикоя такя мекунад.
• Хониши наздики низомноки ҳикояҳои берун аз минтақа таъиншуда анҷом дода нашудааст.
• Байни шумораи ниҳоии маълумот ва намунаи санҷиши хи-квадрат фарқи шарҳнашудаи 48 сабт вуҷуд дорад.

Таҳқиқот чиро дастгирӣ мекунад?

• Дастгирӣ мекунад, ки хулосаҳои gpt-4o-mini-и таҳқиқшуда аз рӯи минтақаҳои ҷуғрофӣ комилан тасодуфӣ паҳн нашудаанд.
• Нишон медиҳад, ки тақрибан се чор ҳиссаи ҳикояҳо ба маркази минтақавии худ наздиктаранд.
• Нишон медиҳад, ки ҳикояҳои Аврупо ва Уқёнусия бештар ба марказҳои худ мувофиқат мекунанд.
• Нишон медиҳад, ки байни Африқо ва Осиё нисбат ба ҷуфтҳои дигари минтақаҳо наздикии дуҷонибаи embedding баландтар аст.
• Дастгирӣ мекунад, ки қисми муҳими фарқгузории минтақавӣ тавассути номҳои шахсӣ ва унсурҳои рамзии манзара сохта шудааст.
• Нишон медиҳад, ки дар ҳикояҳои Уқёнусия унсурҳои хоси ривояти Disney-и Moana такрор мешаванд.
• Нишон медиҳад, ки дар зери KMeans кластерҳои ҷудогона ва фишурдаи ривоятӣ дастгирӣ намешаванд.
• Дастгирӣ мекунад, ки фазои ривоятиро шояд беҳтар аст бо кашишҳои пайвастаи минтақавӣ шарҳ дод, на бо категорияҳои сахт.

Таҳқиқот чиро исбот намекунад?

• Исбот намекунад, ки ҳамаи моделҳои бузурги забонӣ ҳамон қолабҳои минтақавиро тавлид мекунанд.
• Нишон намедиҳад, ки версияҳои ҷорӣ ё калонтарини модел ҳамон натиҷаро медиҳанд.
• Нишон намедиҳад, ки дар туркӣ ё забонҳои дигар низ ҳамон қолабҳо пайдо мешаванд.
• Исбот намекунад, ки модел огоҳона табъизи фарҳангӣ мекунад.
• Нишон намедиҳад, ки ҳамаи кишварҳои Африқо ва Осиё ба як шакл муаррифӣ шудаанд.
• Исбот намекунад, ки мувофиқати баланди минтақавӣ маънои дақиқӣ ё ғановати фарҳангиро дорад.
• Нишон намедиҳад, ки ҳикояҳои Аврупо анъанаҳои воқеии ривоятии Аврупоро дақиқтар инъикос мекунанд.
• Қатъиян нишон намедиҳад, ки мувофиқати марказ аз сохтори сюжет сарчашма мегирад.
• Исбот намекунад, ки хулосаҳои 50-калимаӣ тамоми мазмуни фарҳангии ҳикояҳои пурраро нигоҳ медоранд.
• Нишон намедиҳад, ки сатҳи 74,7 фоиз дар маълумоти нави мустақил такрор мешавад.
• Исбот намекунад, ки назарияи постколониалӣ шарҳи ягонаи ҳамаи намунаҳои рақамии мушоҳидашуда аст.

Усул ва бозёфтҳои таҳқиқот

Тарҳи таҳқиқот

Таҳқиқот таҳлили дуюмдараҷаи ҳисоббарории маҷмӯаи матнҳои қаблан нашршудаи тавлидкардаи зеҳни сунъӣ аст. Ҳикояҳои нав тавлид нашудаанд; хулосаҳои мавҷуда бо embedding, кластерсозӣ, наздикӣ ба марказ, муқоисаи калимаҳо ва санҷишҳои оморӣ дубора арзёбӣ шудаанд.

Ҷараёни маълумот

1. Маҷмӯаи кушодаи ҳикояҳои 236 миллат, ки шумораашон 11.800 буд, гирифта шудааст.
2. Категорияи XX, ки миллати воқеиро дар бар намегирад, хориҷ карда шудааст.
3. Ҳикояҳои 235 миллат, ки шумораашон 11.750 буд, ба минтақаҳои UN M49 таъин шудаанд.
4. Хулосаи 50-калимаии ҳар ҳикоя бо all-MiniLM-L6-v2 embedding шудааст.
5. Векторҳои 384-ченака барои иктишоф бо UMAP ба ду ченак коҳиш дода шудаанд.
6. Барои KMeans таҳлили silhouette дар K = 4–20 гузаронида шудааст.
7. Маркази embedding-и миёна ва нормализатсияшудаи ҳар минтақа ҳисоб шудааст.
8. Ҳар ҳикоя ба наздиктарин маркази минтақавӣ таъин шудааст.
9. Минтақаи дархост бо маркази таъиншуда муқоиса шуда, матритсаи иштибоҳ сохта шудааст.
10. Робитаи минтақавӣ бо хи-квадрат ва Cramér’s V арзёбӣ шудааст.
11. Нисбатҳои Африқо–Осиё бо санҷишҳои дунисбатии z муқоиса шудаанд.
12. Калимаҳои хоси минтақаҳо бо контрасти TF-IDF гирифта шудаанд.
13. Хулосаҳои Уқёнусия, ки Moana дар онҳо омадааст, дастӣ санҷида шудаанд.

Хусусиятҳои асосии маълумот ва модел

Хулосаи натиҷаҳои асосӣ

Арзёбии оморӣ

Санҷиши хи-квадрат хулосаро дастгирӣ мекунад, ки минтақаи дархост ва таъини марказ мустақил нестанд. Аз сабаби намунаи калон хеле хурд будани қимати p интизор аст; аз ин рӯ, қимати Cramér’s V, ки бузургии робитаро нишон медиҳад, низ муҳим аст.

Бо санҷишҳои дунисбатии z гузориш шудааст, ки таъинҳои Африқо–Осиё аз нисбати навбатии калонтарини берун аз минтақа — Уқёнусия–Амрико — ба таври аҳамиятнок баландтаранд.

Дар айни замон норавшаниҳои зерин ба таври миқдорӣ арзёбӣ нашудаанд:

• Номуайянии намунавии векторҳои марказӣ
• Тағйири сатҳи мувофиқат дар моделҳои гуногуни embedding
• Тасодуфият дар тавлиди ҳикоя
• Муаррифии нобаробари фарҳангӣ байни миллатҳо
• Таъсири марҳилаи хулосабарорӣ
• Мувофиқати байни арзёбандагони инсонӣ
• Натиҷа дар маҷмӯаи мустақили санҷишӣ

Манбаъҳои пешниҳодшуда барои такрорпазирӣ

• Гуфта шудааст, ки коди таҳлил дар GitHub дастрас аст.
• Гуфта шудааст, ки маҷмӯаи аслии ҳикояҳо дар Dataverse.no кушода аст.
• Модели embedding ва танзимоти асосии UMAP шарҳ дода шудаанд.
• Танзимоти луғат ва n-gram-и TF-IDF дода шудаанд.

Бо вуҷуди ин, дар матни асосӣ шумораи ҳикояҳо барои ҳар минтақа, векторҳои марказӣ ё журнали поксозии маълумот, ки нишон диҳад чӣ гуна ба 11.652 намунаи санҷиши хи-квадрат расидаанд, вуҷуд надорад.

Қадамҳои зарурӣ барои таҳқиқоти оянда

• Муқоисаи ҳикояҳои пурра бо хулосаҳои тавлидкардаи модел
• Такрори таҳлил пас аз ниқоб кардани номҳои персонажҳо ва ҷойҳо
• Санҷиши мустақил ва cross-validation дар асоси миллатҳо
• Муқоисаи моделҳои гуногуни sentence embedding
• Санҷиши чанд LLM ва версияҳои гуногуни модел
• Арзёбии дархостҳо ва забонҳои ҳикояи ғайрианглисӣ
• Таҳлили муфассалтар дар сатҳи кишвар ва зерминтақа
• Чен кардани сюжети ҳикоя бо кодгузории инсонӣ ё сохторёфтаи ривоятӣ
• Хониши наздики низомноки ҳикояҳои берун аз минтақа таъиншуда
• Санҷиш бо арзёбиҳои мутахассисони фарҳанг
• Санҷидани он ки шаклҳои гуногуни дархост стереотипсозиро кам мекунанд ё не
• Омӯзиши таъсири пешниҳодҳои зеҳни сунъӣ ба эҷодиёти нависандагони инсонӣ

Ёддошти манбаъ ва усул

Номи аслии таҳқиқот: How AI Stereotypes the World: Regional Narrative Templates in LLM-Generated Stories

Муаллиф: Paarth Singh Rathore.

Тартиби муаллифон: Таҳқиқот якмуаллифист.

Маълумоти саҳми баробар: Азбаски таҳқиқот якмуаллифист, изҳороти саҳми баробар вуҷуд надорад.

Муаллифи масъул: Дар ҳуҷҷат аломати ҷудогонаи “corresponding author” вуҷуд надорад. Почтаи электронии тамоси муаллифи ягона дода шудааст.

Почтаи электронӣ: paarthsinghrathore1@gmail.com

Муассиса: Department of Computer Science and Information Systems, BITS Pilani, Pilani, Rajasthan, India.

DOI:10.2139/ssrn.7133898

Платформаи расмии нашр: SSRN.

Пайванди расмии таҳқиқот:Саҳифаи таҳқиқот дар SSRN

Санаи боргузорӣ ба SSRN: 31 июли 2026.

Шумораи саҳифаҳо: 9.

Соли нашр: 2026.

Маҷалла ё конфронс: Дар ин версия маълумот дар бораи маҷаллаи аз баррасии ҳамтоён гузашта, конфронси қабулшуда ё маводи нашршуда вуҷуд надорад.

Вазъи ношир ва платформа: Таҳқиқот дар платформаи preprint-и SSRN ҷойгир аст. Ношири маҷаллаи тақризшаванда тасдиқ нашудааст.

Навъи манбаъ: Preprint-и илмҳои иҷтимоии ҳисоббарорӣ ва коркарди забони табиӣ, ки дар он маҷмӯаи кушодаи ҳикояҳои зеҳни сунъӣ бо sentence embedding, марказҳои минтақавӣ, кластерсозӣ, TF-IDF ва санҷишҳои оморӣ дубора таҳлил шудааст.

Вазъи баррасии ҳамтоён: Таҳқиқот аз баррасии ҳамтоён нагузаштааст. Натиҷаҳо бояд бо дарназардошти ин маҳдудият хонда шаванд.

Соҳиби маълумоти аслӣ: Маҷмӯаи 11.800 ҳикояе, ки дар таҳқиқот истифода шудааст, аз таҳқиқоти пешинаи Rettberg ва Wigers гирифта шудааст. Paarth Singh Rathore ҳикояҳоро тавлид накардааст; ӯ ба маълумоти мавҷуда таҳлили нави минтақавӣ татбиқ кардааст.

Пайванди маълумоти аслӣ:Сабти маълумоти Dataverse.no

Коди таҳлил:Анбори коди GitHub

Маблағгузорӣ: Дар матни асосӣ изҳороти маблағгузорӣ вуҷуд надорад.

Бархӯрди манфиатҳо: Дар матни асосӣ изҳороти бархӯрди манфиатҳо вуҷуд надорад.

Саҳмҳои муаллиф: Барои таҳқиқоти якмуаллифӣ изҳороти алоҳидаи CRediT пешниҳод нашудааст.

Кумитаи ахлоқ: Таҳқиқот ба маълумоти кушодаи матнии тавлидкардаи зеҳни сунъӣ такя мекунад. Истифодаи иштирокчии инсон ё маълумоти махсуси шахсӣ гузориш нашудааст ва маълумоти ҷудогонаи кумитаи ахлоқ низ дода нашудааст.

Номувофиқии асосии рақамӣ: Матн мегӯяд, ки маҷмӯаи ниҳоӣ 11.750 ҳикоя дорад ва дар гурӯҳи Қутбӣ 50 ҳикоя ҳаст. Аз ин рӯ, интизор меравад, ки панҷ минтақаи берун аз Қутбӣ 11.700 ҳикоя дошта бошанд, аммо барои санҷиши хи-квадрат n = 11.652 дода шудааст. Вазъи 48 сабти фарқкунанда шарҳ дода нашудааст.

Ин шарҳи туркӣ бо арзёбии тавсифи маълумот, чорчӯбаи адабиёт, усули sentence embedding-и 384-ченака, танзимоти UMAP, ҷадвали KMeans silhouette, муодилаҳои марказҳои минтақавӣ, матритсаи иштибоҳ, санҷишҳои хи-квадрат ва z, калимаҳои TF-IDF, санҷиши дастии намунаҳои Moana, муҳокима ва маҳдудиятҳои таҳқиқоти боршуда омода шудааст. Таҷрибаҳои моделӣ ё натиҷаҳои хоси кишвар, ки дар таҳқиқот вуҷуд надоранд, илова нашудаанд.

Таҳқиқот дастгирӣ мекунад, ки ҳикояҳои баррасишудаи gpt-4o-mini ҳамаи миллатҳоро комилан яксон тасвир намекунанд; онҳо дар болои сюжети умумӣ вобаста ба минтақаҳои васеъ номҳо ва унсурҳои рамзии муҳити гуногунро истифода мебаранд. Бо вуҷуди ин, натиҷаҳо танҳо ба матнҳое такя мекунанд, ки як модел бо дархостҳои англисӣ тавлид карда ва боз ҳамон модел хулоса кардааст. Даъвои “қолаби ривоятии минтақавӣ” то замоне ки бо маълумоти мустақил, таҳлили матни пурра, арзёбии инсонӣ ва таҷрибаҳое, ки калимаҳои сатҳии фарҳангиро назорат мекунанд, тасдиқ нашавад, набояд ҳамчун хусусияти умумии LLM қабул карда шавад.