Utafiti huu unasema kuwa mbinu za sasa zinazotumiwa kupima jinsi miundo mikubwa ya lugha inavyowakilisha kampuni, tovuti, mtu au huluki nyingine katika majibu yake zina upungufu wa msingi wa kimawazo. Zana za mwonekano wa akili bandia zinazotumiwa katika sekta kwa kawaida huhesabu mara ngapi huluki imetajwa katika majibu, mara ngapi imetolewa kama chanzo, au sehemu yake ya mwonekano ikilinganishwa na washindani. Hata hivyo, kulingana na utafiti huu, vipimo hivyo havifafanui kwa kutosha mapema ni ukubwa gani lengwa unaowakilishwa na namba inayopatikana.

Dhana ya kiufundi iliyo katikati ya makala ni estimand. Estimand ni ukubwa lengwa uliofafanuliwa wazi ambao kipimo au makadirio ya kitakwimu yanalenga kuufikia. Utafiti wa mwonekano wa akili bandia unaposema kuna kiwango cha kunukuliwa cha asilimia 30, lazima ielezwe asilimia 30 hiyo inawakilisha ulimwengu gani wa maswali, nia zipi za watumiaji na usambazaji gani wa hoja. Vinginevyo, hata kama namba imehesabiwa, kile kilichopimwa hubaki bila uhakika.

Mwandishi anachukulia jibu la modeli kubwa ya lugha kama kigezo cha nasibu kinachotegemea hoja ya mtumiaji. Uwezekano wa huluki X kutajwa au kutolewa kama chanzo katika jibu hautegemei tu sifa za X, bali pia muktadha wa hoja q inayotolewa kwa modeli. Swali “Ni kampuni gani nzuri ya magari?” na swali “Ni kampuni gani hutengeneza gari lenye kasi zaidi?” si lazima yapeleke mbele kampuni zilezile. Tofauti hii si kosa, bali ni matokeo ya kawaida ya maswali kuwakilisha mahitaji tofauti ya taarifa.

Kwa hiyo, kukusanya uwezekano wote wa kunukuliwa katika seti fulani ya maswali na kuuweka katika wastani mmoja hakutengenezi sifa isiyobadilika na isiyotegemea muktadha ya huluki inayopimwa. Matokeo hutegemea muundo wa kipimo wa mtu aliyechagua maswali. Seti iliyojaa maswali ya mapendekezo inaweza kutoa mwonekano wa juu, ilhali seti nyingine iliyojaa maswali ya kulinganisha au utendaji wa kiufundi inaweza kutoa mwonekano wa chini. Wapimaji tofauti wanaweza kupata matokeo tofauti kwa huluki ileile na modeli ileile.

Ili kutatua tatizo hili, utafiti unapendekeza hoja zipangwe katika makundi kulingana na nia za watumiaji. Uwakilishi wa huluki katika akili bandia haupaswi kufafanuliwa kwa kiwango kimoja cha jumla cha kunukuliwa, bali kama nafasi ya uwakilishi inayojumuisha viwango vya kunukuliwa katika kila kundi la nia, kama vile mapendekezo, kulinganisha, uaminifu, tathmini ya kiufundi na nia nyingine.

Makundi ya nia hayapaswi kuundwa kwa kutegemea tu maneno yanayotumiwa katika hoja. Kulingana na pendekezo la utafiti, hoja zinazoelekea kwenye mifumo inayofanana ya vyanzo na nukuu zinaweza kuwakilisha mahitaji yanayofanana ya taarifa katika nafasi ya uwakilishi ya akili bandia. Kwa maneno mengine, ukaribu wa nia kati ya hoja unaweza kuamuliwa si kwa kufanana kwa maandishi juu juu pekee, bali pia kwa kuangalia majibu yanaelekea kwenye vyanzo gani.

Baada ya estimand kufafanuliwa kwa namna hii, sifa tatu za msingi za kipimo zinaweza kuchunguzwa kwa maana: uaminifu una maana ya kupata matokeo yanayofanana kipimo kinaporudiwa; uhalali una maana ya kipimo kupima kweli muundo unaodai kupima; na ufunikaji una maana ya ni sehemu gani ya nafasi ya uwakilishi ya akili bandia imeonekana.

Mojawapo ya tofauti muhimu katika utafiti ni kwamba uaminifu na uhalali si kitu kimoja. Seti ya hoja iliyofafanuliwa vibaya au kwa upungufu inaweza kuendeshwa mamia ya mara na kutoa matokeo thabiti sana. Hata hivyo, ikiwa matokeo hayo hayafuniki kwa kutosha nafasi ya uwakilishi ya huluki husika, kipimo kinaweza kuwa cha kuaminika lakini kisiwe halali. Kurudia mara nyingi zaidi hakurekebishi ufafanuzi usio sahihi wa ukubwa lengwa.

Kwa kuwa uwakilishi wa huluki hauna ground truth moja inayoweza kuonekana moja kwa moja, utafiti unapendekeza kutumia mkabala wa uhalali wa konstrukti uliotengenezwa katika saikometria na sayansi za jamii. Kwa mujibu wa mkabala huu, inapaswa kutathminiwa kama mbinu tofauti za kipimo zinatoa matokeo yanayofanana, kama kipimo kinatofautiana na vigezo ambavyo kinadharia havihusiani nacho, na kama kinahusiana katika mwelekeo unaotarajiwa na viashiria vya nje ambavyo vinatarajiwa kuwa vinahusiana.

Kwa kupima ufunikaji, utafiti unapendekeza mkabala unaofanana na tatizo la “spishi ambazo hazijaonekana” katika ikolojia. Uwiano wa mifumo ya nukuu iliyoonekana mara moja tu unaweza kutoa taarifa kuhusu ukubwa wa maeneo ya uwakilishi ambayo bado hayajagunduliwa. Uwezekano wa hoja mpya kuzalisha mfumo wa nukuu ambao haujawahi kuonekana unapopungua vya kutosha, kipimo kinaweza kuchukuliwa kuwa kinakaribia kushiba.

Hata hivyo, hoja zinazozalishwa na akili bandia yenyewe si zisizo na upendeleo. Modeli inaweza kuzalisha kwa urahisi miundo ya maswali ambayo ni ya kawaida na inayojulikana katika data ya mafunzo, huku ikikosa mahitaji nadra ya taarifa. Kwa hiyo, kuzalisha idadi kubwa ya hoja hakuthibitishi peke yake kwamba nafasi yote ya uwakilishi imefunikwa. Ili kugundua mahitaji ambayo akili bandia haiwezi kabisa kuyazalisha, vyanzo visivyo vya akili bandia kama mahojiano ya watumiaji, maarifa ya taasisi na utaalamu wa kikoa vinahitajika.

Utafiti unatenganisha wazi kipimo cha kihisabati na tafsiri ya binadamu. Kufafanua nafasi ya nia, kuamua idadi ya marudio inayohitajika, kuchunguza ushahidi wa uhalali na kukadiria ufunikaji vinaweza kushughulikiwa kimsingi kwa mbinu za kihisabati na kitakwimu. Kinyume chake, kuamua kama tofauti kati ya uwakilishi wa akili bandia na hali halisi ni tatizo, na jinsi ya kuingilia tofauti hiyo, kunahitaji tathmini ya binadamu.

Kikomo muhimu zaidi cha tafsiri ni hiki: Utafiti haukutumia mfumo uliopendekezwa kwa kampuni halisi, watu, tovuti au miundo mikubwa ya lugha. Makundi ya nia hayakuundwa, kiwango cha ufunikaji hakikuhesabiwa, majaribio ya uhalali wa konstrukti hayakufanywa, na mkabala uliopendekezwa haukulinganishwa kwa majaribio na zana za sasa za kibiashara za mwonekano. Mchango wa utafiti si kutoa mfumo wa kipimo uliothibitishwa, bali kupendekeza msingi wa kiepistemiki na kihisabati kwa vipimo vitakavyotengenezwa baadaye.

Tathmini kwa mtazamo wa Uturuki: Utafiti huu una umuhimu wa moja kwa moja kwa tafiti zinazopima mwonekano wa chapa, vyuo vikuu, taasisi za umma, kampuni, wataalamu na tovuti za Uturuki katika mifumo kama ChatGPT. Kiwango cha kutajwa kinachopatikana kutokana na idadi ndogo ya hoja za Kituruki hakipaswi kuwasilishwa kama mwonekano wa jumla wa akili bandia wa taasisi. Katika kipimo, nia za watumiaji, lugha, modeli, toleo la modeli, kipengele cha utafutaji, tarehe, idadi ya marudio na kiwango cha ufunikaji wa nafasi ya uwakilishi vinapaswa kuelezwa. Hata hivyo, utafiti haukufanya majaribio kwa hoja za Kituruki, tabia za watumiaji nchini Uturuki au taasisi za ndani. Ili mfumo utumike Uturuki, makundi ya nia ya Kituruki na mahitaji ya taarifa ya ndani yanahitaji kuthibitishwa kando.

Uwakilishi wa huluki katika akili bandia unamaanisha nini?

Katika utafiti, dhana ya “huluki” inamaanisha kampuni, tovuti, mtu au kitu kingine kinachotambulika ambacho kinaweza kutajwa katika majibu ya akili bandia. Uwakilishi wa huluki hauishii tu kwenye jinsi modeli inavyoielezea. Hoja ambazo huluki inatajwa, vyanzo inavyohusishwa navyo, miktadha ambayo inawekwa mbele na miktadha ambayo haionekani pia ni sehemu za uwakilishi.

Miundo mikubwa ya lugha inapowekwa katika mifumo ya utafutaji, mapendekezo na mazungumzo, uwakilishi huu unaweza kuleta athari za kijamii. Mtaalamu wa kuajiri anaweza kuuliza akili bandia kuhusu mgombea, afisa wa mikopo kuhusu kampuni, au mtumiaji kuhusu bidhaa. Maelezo yanayotumiwa na modeli na vyanzo inavyoonyesha yanaweza kuathiri maoni yanayoundwa na watu.

Mwandishi anasema kwamba uwakilishi wa akili bandia unatofautiana kimuundo na mtazamo wa kawaida wa binadamu. Maoni ya watu yamesambazwa kwa watu wengi katika jamii. Kinyume chake, ikiwa watumiaji wengi wanaingiliana na modeli ileile ya msingi, mwelekeo wa uwakilishi ndani ya modeli unaweza kuenezwa kwa watu wengi katika mwelekeo uleule. Kwa hiyo, athari ya mabadiliko ya uwakilishi katika modeli moja inaweza kuwa pana zaidi kuliko mabadiliko ya maoni ya mtu mmoja.

Tatizo kuu la vipimo vya sasa vya mwonekano ni nini?

Matumizi ya sasa kwa kawaida hupeleka seti ya hoja zilizochaguliwa mapema kwa modeli na kuhesabu moja au zaidi ya viashiria vifuatavyo:

• Kiwango cha huluki kutajwa katika majibu,
• Kiwango cha tovuti kuonyeshwa kama chanzo,
• Sehemu ya mwonekano wa akili bandia ikilinganishwa na washindani,
• Nafasi au mpangilio wa mwonekano ndani ya jibu,
• Kauli chanya au hasi zinazotumiwa pamoja na huluki,
• Mabadiliko ya mwonekano yanayotokea katika modeli tofauti au kwa muda.

Utafiti hausisemi kwamba viashiria hivi havina thamani yoyote ya kiutendaji. Ukosoaji unaelekezwa kwenye kuwasilisha kiashiria kama sifa ya jumla ya huluki bila kueleza ni ukubwa gani lengwa kinachopima.

Kwa nini estimand inapaswa kufafanuliwa kabla ya kipimo?

Estimand ni ukubwa ambao kipimo kinalenga kukadiria. Namba inayopatikana kutokana na kipimo ni makadirio ya estimand; estimand ndiyo inayofafanua namba hiyo inawakilisha nini.

Inaposemwa kuwa “mwonekano wa akili bandia ni asilimia 25” kwa taasisi, angalau maswali yafuatayo yanapaswa kujibiwa:

• Kiwango hiki kinahusu ulimwengu gani wa hoja?
• Ni nia zipi za watumiaji zimefunikwa?
• Hoja zimepewa uzito kulingana na usambazaji gani?
• Ni modeli gani na toleo gani la modeli limetumiwa?
• Hoja ziliulizwa kwa lugha gani na katika muktadha gani wa kikanda?
• Hoja ileile ilirudiwa mara ngapi?

Vipengele hivi visipofafanuliwa, kiwango cha mwonekano kinaweza kuhesabiwa; lakini haiwezi kuelezwa ni sifa gani ya uwakilishi wa taasisi inayolingana na kiwango hicho.

Kiwango ghafi cha kunukuliwa kinaformuliwaje?

Utafiti unachukulia jibu la modeli kubwa ya lugha kama mchakato wa nasibu ulio masharti kwa hoja ya ingizo. Uwezekano wa huluki X kutajwa au kutolewa kama chanzo katika jibu la hoja q unafafanuliwa kama ifuatavyo:

\[ p(X\mid q) \]

Hapa uwezekano pia unajumuisha hali ambapo hoja ileile inaweza kuzalisha majibu tofauti katika utekelezaji tofauti.

Mkabala ghafi wa kipimo huhesabu kiwango cha wastani cha kunukuliwa kwenye seti ya hoja zilizochaguliwa katika umbo la \(Q=\{q_1,\ldots,q_n\}\):

\[ \theta= \frac{1}{|Q|} \sum_{q\in Q}p(X\mid q) \]

Katika fomula hii, \(\theta\) ni kiwango cha wastani cha kunukuliwa kwa huluki X katika seti iliyochaguliwa Q. Tatizo ni kutafsiri thamani hii kana kwamba ni sifa ya X isiyotegemea muktadha.

Kwa nini θ si sifa ya huluki X pekee?

Thamani ya \(\theta\) inategemea seti ya hoja Q iliyochaguliwa. Seti tofauti za hoja zinapochaguliwa kwa huluki ileile, kwa kawaida matokeo tofauti hupatikana:

\[ Q\neq Q' \quad\Rightarrow\quad \theta\neq\theta' \]

Kwa mfano, ikiwa seti ya hoja kuhusu kampuni ya magari inajumuisha hasa mapendekezo ya ununuzi, kampuni inaweza kutajwa mara nyingi. Ikiwa seti ya hoja inajumuisha kulinganisha kasi, gharama za matengenezo au sifa fulani za kiufundi, kiwango cha kutajwa kwa kampuni ileile kinaweza kubadilika.

Kwa hiyo, matokeo hayaonyeshi tu tabia ya akili bandia kuhusu X, bali pia maswali ambayo mtu anayepima amechagua. Mfumo hautoi kigezo cha ndani cha kuamua ni lipi kati ya matokeo yaliyopatikana na wapimaji tofauti linawakilisha uwakilishi wa jumla na sahihi.

Kwa nini hoja zenye utofauti mkubwa hazipaswi kuchanganywa katika wastani mmoja?

Nia tofauti za watumiaji zinalingana na uwezekano wa masharti ulio tofauti. Kuomba pendekezo, kulinganisha utendaji na kutafuta msaada wa kiufundi si hitaji lilelile la taarifa. Kuchanganya viwango vya kunukuliwa katika miktadha hii ndani ya namba moja kunamaanisha kuweka ukubwa wa aina tofauti katika wastani mmoja.

Wastani wa jumla hubadilika kulingana na uwiano wa aina ndogo za hoja katika seti. Ikiwa hoja za mapendekezo zinapewa nafasi kubwa zaidi katika muundo wa kipimo, matokeo hukaribia tabia ya muktadha wa mapendekezo. Ikiwa sehemu ya hoja za kulinganisha inaongezwa, matokeo tofauti yanaweza kutokea.

Utafiti unatathmini hali hii kama tatizo la ujumlishaji linalohusiana na paradoksi ya Simpson. Mielekeo tofauti katika vikundi vidogo inaweza kutoa mwonekano tofauti au wa kupotosha katika takwimu ya jumla kulingana na uwiano ambao vikundi vimechanganywa.

Je, mchango wa tafiti za awali unakataliwa kabisa?

Hapana. Utafiti unasema kuwa tafiti za awali zilizochunguza utofauti wa nasibu wa majibu ya miundo mikubwa ya lugha na kuonyesha kwamba marudio yanahitajika kwa kipimo cha kuaminika ni muhimu. Uchunguzi mmoja unaweza usiwakilishe kwa kuaminika tabia ya huluki katika modeli.

Hata hivyo, idadi ya marudio na muda wa kujiamini hushughulikia tatizo la uaminifu pekee. Swali la kama kipimo kinapima kweli konstrukti iliyokusudiwa ni tatizo la uhalali. Kipimo kinaweza kurudiwa kwa uthabiti lakini kikapima ukubwa uliofafanuliwa vibaya au usio wazi.

Hatua inayoongezwa na utafiti ni kufafanua estimand kabla ya marudio na muda wa kujiamini.

Je, kauli “seti wakilishi ya hoja” inatatua tatizo?

Makala inachukulia dai hili kama pingamizi la kwanza lililotarajiwa. Kusema kuwa seti ya hoja ni wakilishi kunahitaji kufafanua mapema nafasi ya hoja inayopaswa kuwakilishwa na usambazaji ndani ya nafasi hiyo.

Kupa hoja zote uzito sawa bila kufafanua nia zipi za watumiaji ni za kawaida au muhimu kwa kiasi gani hakuhalalishi dai la uwakilishi. Kwa hiyo, kauli “seti wakilishi ya hoja” haiondoi tatizo la estimand; inalirudisha tena.

Ikiwa mtazamo wa binadamu pia unategemea muktadha, kwa nini akili bandia inashughulikiwa tofauti?

Makala inakubali kwamba mtazamo wa binadamu pia unategemea muktadha. Hata hivyo, tofauti mbili zinasisitizwa:

• Ingawa maoni ya binadamu yamesambazwa kwa watu wengi, tabia ya uwakilishi ya modeli fulani inaweza kusambazwa kutoka kituo kimoja kwenda kwa watumiaji wengi.
• Usambazaji wa uwakilishi wa akili bandia unaweza kubadilika kwa masasisho ya modeli na kuonyesha unyeti mkubwa kwa tofauti ndogo za uandishi.

Kwa hiyo, si salama kudhani kuwa nadharia za kipimo zilizotengenezwa kwa binadamu zinaweza kuhamishwa moja kwa moja kwa akili bandia bila mabadiliko.

Je, utafiti unasema uwakilishi wa akili bandia hauwezi kupimwa?

Hapana. Jibu la utafiti kwa pingamizi la tatu lililotarajiwa si kukataa kipimo, bali kufafanua upya kitu kinachopimwa. Badala ya kiwango kimoja cha kunukuliwa kisichotegemea muktadha, unapendekezwa uwanja wa kunukuliwa uliowekwa kwa masharti ya nia za watumiaji.

Kuweka masharti kwa nia kunafafanuaje estimand?

Nafasi ya hoja hugawanywa katika makundi ya nia kulingana na hitaji la taarifa ambalo watumiaji wanajaribu kutimiza. Kiwango cha kunukuliwa katika kundi fulani la nia \(c\) kinafafanuliwa kama ifuatavyo:

\[ \theta_c= \mathbb{E} \left[ p(X\mid q) \mid q\in c \right] \]

\(\theta_c\) hapa si mwonekano wa jumla wa huluki X katika hoja zote. Ni uwezekano wa wastani wa kunukuliwa katika muktadha fulani wa nia pekee.

Kwa mfano, kwa mtengenezaji yuleyule wa magari, thamani zifuatazo zinaweza kupimwa kando:

• Kiwango cha kunukuliwa katika muktadha wa pendekezo la gari la familia,
• Kiwango cha kunukuliwa katika ulinganisho wa magari ya umeme,
• Kiwango cha kunukuliwa katika hoja za magari ya utendaji wa juu,
• Kiwango cha kunukuliwa katika tathmini za gharama za matengenezo,
• Kiwango cha kunukuliwa katika tathmini za usalama.

Kulingana na utafiti, uwakilishi wa huluki katika akili bandia si thamani moja ya \(\theta\), bali ni mkusanyiko wa thamani za \(\theta_c\) zilizofafanuliwa katika nafasi yote ya nia.

Makundi ya nia yanapaswa kuundwaje?

Mwandishi anasema kwamba uainishaji unaotegemea kufanana kwa maneno pekee unaweza usishike nia kwa usahihi. Hoja mbili ambazo hazina neno lolote la pamoja zinaweza kuwa na hitaji lilelile la taarifa. Kinyume chake, hoja mbili zinazofanana sana zinaweza kuwa na malengo tofauti.

Mkabala wa kiutendaji unaopendekezwa na utafiti ni kutumia mifumo ya kunukuliwa inayozalishwa na hoja katika majibu. Hoja zinazoelekea kwenye seti zilezile au zinazofanana za vyanzo zinaweza kuchukuliwa kuwa zinahusiana na mahitaji yanayofanana ya taarifa kwa mtazamo wa akili bandia.

Mkabala huu unategemea dhana ifuatayo:

Hoja zinazopelekea matokeo yanayofanana ya kunukuliwa huwakilisha nia zilizo karibu katika nafasi ya uwakilishi ya akili bandia.

Dhana hii haijajaribiwa kwa majaribio katika makala. Kiwango ambacho makundi yanayotegemea mifumo ya kunukuliwa yanaingiliana na nia halisi za watumiaji zilizowekwa lebo na binadamu bado ni swali wazi la utafiti.

Je, nafasi ya nia ni zana tu ya kuongeza usahihi wa kipimo?

Hapana. Kulingana na makala, nafasi ya nia si mbinu ya ziada inayotumika tu kufanya kipimo kiwe sahihi zaidi. Ni sehemu inayohitajika kimantiki ili kufafanua estimand.

Hoja zinapounganishwa bila kutenganisha tofauti za muktadha, utegemezi kwa mtu anayefanya kipimo na upendeleo wa kuchanganya huendelea. Uwakilishi unakuwa ukubwa lengwa ulio wazi pale tu unapowasilishwa katika thamani za \(\theta_c\) zilizowekwa masharti kwa makundi ya nia.

Uaminifu unapaswa kushughulikiwaje?

Ili thamani ya \(\theta_c\) katika kila kundi la nia ikadiriwe kwa namna inayoweza kurudiwa, idadi ya kutosha ya uchunguzi inahitajika. Idadi ya marudio inayohitajika si lazima iwe sawa katika makundi yote.

• Katika makundi yenye mifumo thabiti ya kunukuliwa, idadi ndogo ya uchunguzi inaweza kutosha.
• Katika makundi yanayoonyesha utofauti mkubwa wa majibu, marudio zaidi yanaweza kuhitajika.
• Uvumilivu wa hitilafu na kiwango cha kujiamini vinaweza kubainishwa mapema.
• Upimaji sampuli unaweza kusitishwa mfumo wa kunukuliwa unapofikia uthabiti wa kutosha.

Utafiti unawasilisha mkabala huu kama utaratibu wa uchunguzi unaobadilika kulingana na hali. Hautozi idadi maalumu isiyobadilika ya marudio wala fomula mahsusi ya ukubwa wa sampuli.

Je, kipimo cha kitakwimu kinaweza kufanywa kwa idadi ndogo ya hoja?

Kufanya marudio ya kutosha katika kila moja ya makundi mengi ya nia kunaweza kuleta gharama kubwa ya kompyuta na hoja. Mwandishi anapendekeza kutumia pamoja idadi kubwa ya uchunguzi wa gharama nafuu na idadi ndogo ya uchunguzi wa ubora wa juu.

Kwa kusudi hili, utafiti unataja maeneo mawili ya mbinu zilizopo:

• Utoaji hitimisho unaosaidiwa na utabiri,
• Utoaji hitimisho wa kitakwimu kwa njia hai.

Wazo kuu ni kusahihisha upendeleo wa kimfumo katika makadirio ghafi yanayotegemea marudio machache kwa kutumia idadi ndogo ya uchunguzi wenye marudio mengi na usahihi mkubwa. Baada ya kalibresheni, lengo linaweza kuwa kutoa uhakika wa kitakwimu kwa uchunguzi mdogo zaidi.

Mbinu hizi hazikutumika katika utafiti huu na kiwango cha kupunguza gharama hakikupimwa.

Uhalali wa kipimo unaweza kujaribiwaje bila ground truth?

Uwakilishi wa huluki si sifa ya kimwili inayoweza kuonekana moja kwa moja. Zaidi ya hayo, huenda kusiwe na orodha moja, isiyopingika, ya kile kinachopaswa kutajwa katika hoja fulani. Kwa hiyo, kipimo cha kawaida cha usahihi hakiwezi kutumika moja kwa moja.

Utafiti unapendekeza mkabala wa uhalali wa konstrukti unaotumiwa katika saikometria na sayansi za jamii. Mkabala huu hutathmini uhalali kwa kuunganisha vyanzo mbalimbali vya ushahidi badala ya kutegemea thamani moja ya rejea.

Majaribio haya hayaonyeshi kuwa uwakilishi wa akili bandia ni sahihi kabisa. Yanatathmini kama kipimo kinaendana na mahusiano yanayotarajiwa kinadharia.

Je, saikometria iliyotengenezwa kwa binadamu inaweza kuhamishwa moja kwa moja kwa LLM?

Utafiti haudhani kwamba uhamishaji huo ni sahihi. Baadhi ya konstrukti zinazopimwa kwa binadamu huchukuliwa kuwa thabiti kwa kiasi fulani katika kipindi fulani. Uwakilishi wa modeli kubwa ya lugha kuhusu huluki fulani unaweza kubadilika kutokana na sasisho la modeli, system prompt, miundombinu ya utafutaji na vyanzo vipya vya taarifa.

Kwa hiyo, kutumia uhalali wa konstrukti wa kisaikometria kwa uwakilishi wa LLM si suluhisho tayari na lililothibitishwa, bali ni pendekezo la utafiti ambalo linahitaji kujaribiwa kando.

Ufunikaji unapima nini?

Uwakilishi wa huluki ni nafasi ya thamani za \(\theta_c\) katika makundi yote ya nia. Kwa hiyo, haitoshi kuhesabu tu viwango katika makundi yaliyoonekana. Ni lazima pia ijulikane ni kiasi gani cha nafasi ya uwakilishi kimefunikwa na kipimo.

Kutumia orodha ndefu ya hoja hakuhakikishi ufunikaji mkubwa. Mamia ya hoja yanaweza kukusanyika katika eneo lilelile la nia linalotumika sana na kukosa kabisa mahitaji nadra.

Kipimo cha ufunikaji kinapaswa kujibu swali lifuatalo:

Mifumo ya kunukuliwa iliyoonekana imefichua kiasi gani cha nafasi ya uwakilishi ya akili bandia, na kuna uwezekano gani kwamba uchunguzi mpya utazalisha mfumo ambao haujawahi kuonekana?

Tatizo la spishi ambazo hazijaonekana linabadilishwaje?

Katika ikolojia kuna tatizo la kukadiria idadi ya spishi ambazo bado hazijaonekana kwa kutumia sampuli zilizoonekana. Uwiano wa makundi yaliyoonekana mara moja tu unaweza kutoa taarifa kuhusu makundi ambayo bado hayajaonekana.

Utafiti unapendekeza kubadilisha mkabala huu kwa mifumo ya kunukuliwa. Ikiwa uwiano wa mifumo ya kunukuliwa iliyoonekana mara moja tu ni mkubwa, sehemu muhimu ya nafasi ya uwakilishi inaweza kuwa bado haijagunduliwa. Hoja mpya zinapoacha kuzalisha mifumo ambayo haijawahi kuonekana, inaweza kuchukuliwa kuwa kipimo kinakaribia kushiba.

Makala haikutumia mbinu hii kwa data halisi ya kunukuliwa na haikuhesabu makadirio ya ufunikaji.

Tofauti kati ya kuonekana kushiba na kushiba halisi ni nini?

Akili bandia inapoombwa kuzalisha hoja, modeli inaweza kuelekea kwenye aina za maswali zilizoenea katika data ya mafunzo na zinazozalishwa kwa urahisi. Mfumo mpya wa kunukuliwa unapokosekana katika eneo hili la kawaida, kipimo kinaweza kuonekana kuwa kimeshiba.

Hata hivyo, maeneo nadra ya nia yanaweza bado kuwa hayajagunduliwa. Hii ni hali ya kuonekana kushiba. Ili kudai kushiba kwa upana zaidi, modeli lazima ielekezwe kwenye maeneo nadra na uwezekano wa kugundua mfumo mpya ubaki mdogo.

Utafiti unapendekeza kutathmini pamoja uwiano wa mifumo iliyoonekana mara moja tu na usambazaji wa kisemantiki wa hoja zinazozalishwa.

Utofauti wa hoja unaweza kuwekewaje idadi?

Utafiti unasema determinant ya Gram matrix iliyoundwa kutoka kwa vekta za embedding za hoja zinazozalishwa inaweza kutumika kama kipimo cha usambazaji wa kisemantiki. Usambazaji mdogo unaweza kuonyesha kwamba hoja zilizozalishwa zimejikita katika sehemu nyembamba na zinazofanana za nafasi ya uwakilishi.

Mbinu hii haithibitishi kuwa mahitaji yote ya binadamu yamefunikwa. Inatoa taarifa tu kuhusu utofauti wa kisemantiki ndani ya seti ya hoja zilizozalishwa.

Kwa nini maeneo kamili ya upofu yanaweza yasipatikane na akili bandia?

Mahitaji ya watumiaji ambayo modeli haiwezi kuzalisha au kuwakilisha kwa prompt yoyote hubaki nje ya nafasi ya uwakilishi ya modeli. Akili bandia inaweza kushindwa kugundua hitaji lililo nje ya nafasi yake ya uwakilishi kwa kutumia uzalishaji wake pekee.

Ili kupata maeneo haya, vyanzo vifuatavyo vinaweza kuhitajika:

• Mahojiano ya watumiaji,
• Rekodi za wateja na usaidizi,
• Uzoefu wa wataalamu wa kikoa,
• Maarifa ya ndani ya taasisi,
• Muktadha wa ndani na kitamaduni,
• Mahitaji mapya ambayo bado hayajaakisiwa katika modeli.

Mfumo wa utafiti haudai kuondoa upungufu huu. Unapendekeza upungufu huo uripotiwe wazi kwa kutumia kiwango cha ufunikaji.

Tofauti kati ya uwakilishi na uhalisia inachunguzwaje?

Baada ya uwakilishi wa huluki kupimwa katika makundi ya nia, matokeo yanaweza kulinganishwa na viashiria vinavyoweza kuthibitishwa katika ulimwengu wa nje. Akili bandia inaweza kuiweka kampuni mbele zaidi au chini zaidi kuliko nafasi yake halisi.

Utafiti unatenganisha hatua mbili:

1. Utambuzi wa tofauti: Kubaini kutolingana kati ya kipimo cha uwakilishi na viashiria vya nje.
2. Tafsiri ya tofauti: Kuamua kama kutolingana ni kosa, kuchelewa, tathmini halali au upungufu wa chanzo.

Hatua ya kwanza inaweza kushughulikiwa ndani ya kipimo na takwimu. Hatua ya pili inahitaji tathmini ya binadamu inayotegemea muktadha.

Ni sehemu zipi zinaweza kushughulikiwa kihisabati?

Ni sehemu zipi zinahitaji tathmini ya binadamu?

Ni nini maana yake kwa vipimo vya GEO na AEO?

Katika uboreshaji wa injini zalishi na uboreshaji wa injini za majibu, mafanikio mara nyingi hutathminiwa kwa chapa au chanzo kuonekana zaidi katika majibu ya akili bandia. Utafiti unasema ongezeko hili halipaswi kutafsiriwa kama mafanikio ya jumla bila kubainisha muktadha wa nia ambamo limetokea.

Kazi ya maudhui inaweza kuongeza mwonekano katika muktadha wa mapendekezo ya ununuzi, lakini isibadilishe mwonekano katika kulinganisha kiufundi, uaminifu au hoja za huduma za ndani. Athari hizi zinapaswa kupimwa katika makundi tofauti ya nia.

Zaidi ya hayo, kupata nukuu nyingi zaidi hakumaanishi lazima kwamba tofauti kati ya uwakilishi na uhalisia imepungua. Ufaafu wa nukuu kwa muktadha na ubora wa chanzo unapaswa kutathminiwa kando.

Matokeo ambayo utafiti unaunga mkono na ambayo hauyathibitishi

Ni matatizo gani wazi ya utafiti?

• Kutokuwa tuli kwa konstrukti: Uaminifu na uhalali wa uwakilishi unaobadilika kwa masasisho ya modeli unapaswa kufafanuliwaje?
• Usambazaji wa uchunguzi wa vipimo viwili: Ni makundi gani ya nia yachaguliwe na kila kundi lichunguzwe mara ngapi kwa pamoja ili kuboreshwa?
• Utambulisho wa nukuu: Ni lini jina la kikoa, kiungo wazi, jina la chapa, kutajwa kwa njia isiyo ya moja kwa moja na tahajia tofauti vinapaswa kuhesabiwa kama nukuu moja?
• Uhalali chini ya udanganyifu: Mashirika yanapojaribu kuathiri nukuu za akili bandia, uhalali wa kipimo unapaswa kulindwaje?
• Uhamishaji wa kisaikometria: Nadharia ya uhalali wa konstrukti iliyotengenezwa kwa binadamu inapaswa kutumika kwa LLM kwa mabadiliko gani?
• Maeneo ya upofu: Mahitaji ya binadamu ambayo modeli haiwezi kuwakilisha yanawezaje kugunduliwa kwa utaratibu?

Mbinu na Matokeo ya Utafiti

Aina ya utafiti

Utafiti huu si utafiti wa majaribio, utafiti wa uga wa kiasi, mapitio ya kimfumo wala meta-analysis. Ni kazi ya kinadharia na kimetodolojia inayofafanua kitu cha kimawazo cha kipimo cha uwakilishi wa huluki katika akili bandia na kujadili jinsi mbinu zilizopo za kitakwimu zinavyoweza kubadilishwa kwa tatizo hili.

Mkabala wa mwandishi unategemea madai matatu makuu:

1. Katika vipimo vya sasa vya uwakilishi wa huluki, estimand haijafafanuliwa kwa kutosha.
2. Estimand inaweza kufafanuliwa kwa kuweka kiwango cha kunukuliwa kwa masharti ya muktadha wa nia ya mtumiaji.
3. Kwa msingi wa ufafanuzi huu, uaminifu, uhalali na ufunikaji vinaweza kushughulikiwa kihisabati; tafsiri ya matokeo inahitaji tathmini ya binadamu.

Muundo wa kimetodolojia

Matokeo makuu ya kimawazo ya utafiti

1. Kiwango kimoja cha jumla cha kunukuliwa si sifa isiyobadilika ya huluki yenyewe. Matokeo yanategemea seti ya hoja na mchanganyiko wa hoja.
2. Kuunganisha hoja zenye utofauti mkubwa kunaweza kuleta upendeleo wa kuchanganya. Nia tofauti za watumiaji zinapaswa kushughulikiwa kama ukubwa lengwa tofauti.
3. Uwakilishi wa huluki unaweza kufafanuliwa kama nafasi ya viwango vya kunukuliwa katika makundi ya nia.
4. Nafasi ya nia si ya ziada katika kipimo, bali ni sehemu inayohitajika ili kufafanua estimand.
5. Uaminifu hauwezi kuchukua nafasi ya uhalali. Marudio mengi hayarekebishi lengo lililofafanuliwa vibaya.
6. Konstrukti ya uwakilishi isiyo na ground truth inaweza kutathminiwa kwa ushahidi mbalimbali wa uhalali wa konstrukti.
7. Ufunikaji unapaswa kuripotiwa kwa kiasi badala ya kauli ya kimaelezo ya “utofauti”.
8. Uzalishaji wa hoja wa akili bandia unaweza kukosa maeneo nadra ya nafasi ya uwakilishi.
9. Kupima uwakilishi na kuupa maana uwakilishi ni shughuli tofauti.

Matokeo haya hayatokani na uchambuzi wa data ya majaribio. Ni matokeo ya kinadharia yanayotokana na hoja rasmi za utafiti na urekebishaji wa kimawazo wa mbinu zilizopo.

Je, utafiti una data na majaribio?

Hapana. Katika utafiti:

• Hakuna modeli fulani kubwa ya lugha iliyoulizwa kwa majaribio.
• Hakuna kampuni halisi, tovuti au mtu aliyepimwa.
• Hakuna seti ya data ya hoja iliyoundwa.
• Makundi ya nia hayajahesabiwa.
• Hakuna mbinu ya kutambua nukuu iliyotumika.
• Idadi ya marudio au muda wa kujiamini haujahesabiwa.
• Kiwango cha ufunikaji hakijakadiriwa.
• Hakuna jaribio la umuhimu wa kitakwimu lililofanywa.
• Mfumo uliopendekezwa haujalinganishwa na mbinu nyingine.

Fomula zina kazi gani?

Fomula ya kwanza inaeleza kiwango cha jumla cha kunukuliwa katika seti iliyochaguliwa ya hoja na utegemezi wa kiwango hicho kwa uchaguzi wa hoja:

\[ \theta= \frac{1}{|Q|} \sum_{q\in Q}p(X\mid q) \]

Fomula ya pili inaweka ukubwa lengwa kwa masharti ya kundi fulani la nia, na hivyo kuweka wazi muktadha unaopimwa:

\[ \theta_c= \mathbb{E} \left[ p(X\mid q) \mid q\in c \right] \]

Fomula hizi si modeli mpya ya akili bandia wala algorithimu ya utabiri inayoweza kutumika moja kwa moja. Zinaeleza kwa namna ya kihisabati tofauti ya kimawazo ya utafiti kuhusu kitu kinachopimwa.

Tamko la matumizi ya akili bandia

Mwandishi anaeleza kwamba alitumia modeli kubwa ya lugha ya Anthropic Claude kama msaidizi wa utafiti na uandishi wakati wa kuandaa utafiti. Tamko hilo linaeleza maeneo ya matumizi kuwa utafiti wa fasihi, kupanga hoja na kuhariri maandishi.

Kulingana na utafiti, hoja kuu, madai yote, uthibitishaji wa vyanzo na maandishi ya mwisho ni wajibu wa mwandishi; yamepitiwa na kuthibitishwa na mwandishi. Tamko hili halimaanishi kwamba Claude ni mwandishi wa utafiti au mthibitishaji huru wa kisayansi.

Vikwazo vikuu

• Mfumo uliopendekezwa haujajaribiwa kwa njia ya kiempiria katika miundo halisi mikubwa ya lugha.
• Haijulikani kama makundi ya nia yanayotegemea mifumo ya kunukuliwa yanawakilisha kwa usahihi nia halisi za watumiaji.
• Hakuna kiwango kilichotekelezwa cha kuamua utambulisho wa nukuu.
• Hakuna algorithimu mahsusi iliyotolewa ya kuamua idadi na mipaka ya makundi ya nia.
• Hakuna hesabu ya kiutendaji iliyofanywa ya kuamua idadi ya marudio inayohitajika katika kila kundi.
• Haijapimwa ni kwa kiasi gani utoaji hitimisho unaosaidiwa na utabiri unaweza kupunguza gharama ya hoja.
• Uhamishaji wa uhalali wa konstrukti wa kisaikometria kwenda kwenye uwakilishi wa LLM haujathibitishwa.
• Sifa za hitilafu za mbinu ya spishi ambazo hazijaonekana katika mifumo ya kunukuliwa hazijajaribiwa.
• Upendeleo wa uzalishaji wa hoja zinazotengenezwa na akili bandia haujahesabiwa.
• Maeneo kamili ya upofu ambayo modeli haiwezi kuzalisha hubaki nje ya mfumo wa kihisabati.
• Athari za modeli, toleo, system prompt, lugha, eneo na miundombinu ya utafutaji hazijatenganishwa.
• Uhalali chini ya maudhui ya kudanganya na uboreshaji wa injini zalishi haujajaribiwa.
• Vyanzo havikuchaguliwa kwa itifaki ya mapitio ya kimfumo.
• Haijathibitishwa kwamba utafiti umepitia tathmini huru ya rika.

Hitimisho linapaswa kutafsiriwaje?

Hitimisho la utafiti si kwamba “mwonekano wa akili bandia hauwezi kupimwa”. Hitimisho ni kwamba mwonekano hauwezi kufafanuliwa kama sifa moja ya huluki isiyotegemea muktadha. Kipimo kinapaswa kufanywa kupitia nia za watumiaji zilizofafanuliwa wazi na ukubwa lengwa uliowekwa masharti kwa nia hizo.

Utafiti pia hausisemi kwamba alama moja ya kiwango cha juu cha mwonekano haiwezi kutumiwa katika hali yoyote. Makundi tofauti ya nia yanaweza kuunganishwa kulingana na usambazaji uliowekwa wazi na kuhalalishwa. Hata hivyo, lazima ielezwe faharasa kama hiyo inawakilisha kundi gani la watumiaji, nafasi gani ya hoja na lengo gani la biashara.

Mchango mkuu wa makala si kutoa bidhaa tayari ya kipimo, bali kufafanua swali la msingi linalopaswa kuulizwa kabla ya tafiti za mwonekano wa akili bandia: Namba inayoripotiwa inakadiria estimand gani, nia zipi za watumiaji na nafasi gani ya uwakilishi?

Maelezo ya Chanzo na Mbinu

Kichwa kamili cha asili cha utafiti: How AI Perceives the World: Epistemic Foundations for Measuring Entity Representation without Ground Truth

Muafaka wa moja kwa moja wa Kituruki: Yapay Zekâ Dünyayı Nasıl Algılıyor: Temel Gerçeklik Olmadan Varlık Temsilini Ölçmenin Epistemik Temelleri

Mwandishi: Shota Nagafuchi

Mpangilio wa mwandishi: Utafiti una mwandishi mmoja.

Mchango sawa au uandishi mwenza wa kwanza: Hakuna.

Mwandishi anayewajibika/wa mawasiliano: Shota Nagafuchi

Anwani ya mawasiliano: shota_nagafuchi@tkbase.co.jp

Uhusiano wa kitaasisi: Tech Knowledge Base, Inc. (TKBase)

Nambari ya rekodi ya SSRN: 6898142

DOI:10.2139/ssrn.6898142

Jarida: Hakuna jina la jarida lililopitiwa na rika lililotajwa katika utafiti.

Mkutano: Hakuna taarifa ya uchapishaji wa mkutano iliyotajwa katika utafiti.

Jukwaa la uchapishaji: SSRN – Social Science Research Network

Tarehe ya utafiti: Juni 2026

Idadi ya kurasa: 12

Aina ya chanzo: Maandishi ya utafiti wa kimawazo na kimetodolojia kuhusu uwakilishi wa huluki na kipimo cha mwonekano katika akili bandia

Hali ya mapitio ya rika: Hakuna taarifa katika utafiti au rekodi ya bibliografia iliyothibitishwa kwamba mapitio huru ya rika yamekamilika. Kwa hiyo, utafiti haupaswi kuwasilishwa kama makala ya jarida lililopitiwa na rika.

Kiungo rasmi cha utafiti:Ukurasa wa rekodi ya utafiti wa SSRN

Kiungo cha taasisi:Tovuti rasmi ya Tech Knowledge Base

Tamko la matumizi ya akili bandia: Mwandishi ameeleza kwamba alitumia Anthropic Claude kama zana saidizi katika utafiti wa fasihi, kupanga hoja na kuhariri maandishi; hoja kuu, madai, uthibitishaji wa vyanzo na maandishi ya mwisho ni wajibu wake mwenyewe.

Maelezo haya ya Kituruki yaliandaliwa baada ya kuchunguza kurasa zote 12 za utafiti kutoka mwanzo hadi mwisho, pamoja na fomula mbili, sehemu zote kuu, matatizo wazi ya utafiti, tamko la matumizi ya akili bandia na marejeo. Hakuna matokeo ya majaribio, seti ya data, kiwango cha mafanikio, matokeo ya kitakwimu, tathmini ya kampuni au utendaji wa bidhaa ambao haupo katika utafiti ulioongezwa.

Vyanzo vya nje vilitumika tu kwa uthibitishaji wa kibibliografia wa kichwa asili, mwandishi, uhusiano wa kitaasisi, nambari ya rekodi ya SSRN, DOI na jukwaa la uchapishaji. Maelezo ya kisayansi na kimetodolojia yanategemea maudhui ya utafiti pekee.

Kikomo kikuu cha utafiti ni kwamba, ingawa unaeleza kwa kina tatizo la msingi la kimawazo katika kipimo cha mwonekano wa akili bandia, haukutumia mbinu zake zilizopendekezwa za nafasi ya nia, uhalali na ufunikaji katika miundo halisi mikubwa ya lugha. Kwa hiyo, mfumo uliopendekezwa si kiwango kilichothibitishwa wala mfumo wa kipimo uliokamilika, bali ni msingi wa kimetodolojia unaohitaji kujaribiwa kwa njia ya kiempiria.