Бул изилдөө чоң тил моделдери компанияны, интернет сайтты, адамды же башка бир объектти жоопторунда кантип көрсөтөрүн өлчөө үчүн колдонулуп жаткан азыркы ыкмаларда фундаменталдуу концептуалдык жетишпестик бар деп эсептейт. Өнөр жайда колдонулган жасалма интеллект көрүнүктүүлүк куралдары көбүнчө объект жооптордо канча жолу аталганын, канчалык көп булак катары көрсөтүлгөнүн же атаандаштарына салыштырмалуу көрүнүктүүлүк үлүшүн эсептейт. Бирок изилдөөгө ылайык, бул өлчөөлөр алынган сан кайсы максаттуу чоңдукту билдирерин алдын ала жетиштүү аныктабайт.

Макаланын борборундагы техникалык түшүнүк estimand. Estimand — өлчөө же статистикалык баалоо жетүүгө аракет кылган ачык аныкталган максаттуу чоңдук. Жасалма интеллект көрүнүктүүлүгү боюнча изилдөө yüzde 30 шилтеме көрсөткүчүн билдирсе, бул yüzde 30 кайсы суроо ааламын, кайсы колдонуучу ниеттерин жана кайсы суроо бөлүштүрүлүшүн билдирери түшүндүрүлүшү керек. Болбосо сан эсептелсе да, эмне өлчөнүп жатканы бүдөмүк бойдон калат.

Автор чоң тил моделинин жообун колдонуучу суроосуна көз каранды кокустук өзгөрмө катары карайт. X объектинин жоопто аталуу же булак катары көрсөтүлүү ыктымалдыгы Xтин касиеттерине гана эмес, модельге берилген q суроосунун контекстине да көз каранды. “Жакшы автоунаа компаниясы кайсы?” деген суроо менен “Эң ылдам автоунааны кайсы компания чыгарат?” деген суроо бир эле компанияларды алдыга чыгарууга милдеттүү эмес. Бул айырма ката эмес, суроолор ар башка маалымат муктаждыктарын чагылдыргандыгынын табигый натыйжасы.

Ошондуктан белгилүү суроолор топтомундагы бардык шилтеме ыктымалдыктарын бир орточого бириктирүү өлчөнүп жаткан объектке таандык өзгөрбөс жана контексттен көз каранды эмес касиет жаратпайт. Жыйынтык суроолорду тандаган адамдын өлчөө дизайнына көз каранды. Сунуш суроолору басымдуу болгон топтом жогорку, салыштыруу же техникалык өндүрүмдүүлүк суроолору көп болгон башка топтом төмөн көрүнүктүүлүк бере алат. Бир эле объект жана бир эле модель үчүн ар башка өлчөө жүргүзгөндөр ар башка жыйынтык алышы мүмкүн.

Изилдөө бул көйгөйдү чечүү үчүн суроолорду колдонуучу ниеттери боюнча топтоштурууну сунуштайт. Объекттин жасалма интеллекттеги көрсөтүлүшү бир жалпы шилтеме көрсөткүчү менен эмес; сунуш, салыштыруу, ишенимдүүлүк, техникалык баалоо жана башка ниет топторунун ар бириндеги шилтеме көрсөткүчтөрүнөн турган көрсөтүү мейкиндиги катары аныкталышы керек.

Ниет топтору суроолордо колдонулган сөздөргө гана карап түзүлбөшү керек. Изилдөөнүн сунушуна ылайык окшош булак жана шилтеме үлгүлөрүнө алып келген суроолор жасалма интеллекттин көрсөтүү мейкиндигинде окшош маалымат муктаждыктарына туура келиши мүмкүн. Башкача айтканда, суроолор арасындагы ниет жакындыгы үстүртөн тексттик окшоштукка гана эмес, жооптор кайсы булактарга багытталганына жараша аныкталышы мүмкүн.

Estimand ушундай аныкталгандан кийин өлчөөнүн үч негизги сапатын маанилүү түрдө изилдөөгө болот: ишенимдүүлүк өлчөө кайталанганда окшош жыйынтык алынарын; валиддүүлүк өлчөө чындап өлчөйм деген конструкцияны өлчөөрүн; камтуу болсо жасалма интеллекттин көрсөтүү мейкиндигинин канчасы байкалганын билдирет.

Изилдөөнүн маанилүү айырмаларынын бири — ишенимдүүлүк менен валиддүүлүк бир нерсе эмес. Туура эмес же жетишсиз аныкталган суроо топтому жүздөгөн жолу иштетилип, өтө туруктуу жыйынтык бериши мүмкүн. Бирок бул жыйынтык тиешелүү объекттин көрсөтүү мейкиндигин жетиштүү камтыбаса, өлчөө ишенимдүү болгону менен валиддүү болбой калышы мүмкүн. Көбүрөөк кайталоо максаттуу чоңдуктун туура эмес аныкталышын оңдобойт.

Объект көрсөтүлүшүнүн бирдиктүү жана түз байкала турган негизги чындыгы жок болгондуктан, изилдөө психометрия жана социалдык илимдерде өнүктүрүлгөн конструкт валиддүүлүгү ыкмасын колдонууну сунуштайт. Буга ылайык ар башка өлчөө ыкмалары окшош жыйынтык береби, өлчөө теориялык жактан тиешеси жок өзгөрмөлөрдөн айырмаланабы жана байланыштуу болушу күтүлгөн тышкы көрсөткүчтөр менен күтүлгөн багытта байланыш түзөбү — ушулар бааланууга тийиш.

Камтууну өлчөө үчүн экологиядагы “көрүлбөгөн түрлөр” көйгөйүнө окшош ыкма сунушталат. Бир гана жолу байкалган шилтеме үлгүлөрүнүн үлүшү али ачыла элек көрсөтүү аймактарынын көлөмү тууралуу маалымат бере алат. Жаңы суроолор мурда көрүлбөгөн шилтеме үлгүсүн жаратуу ыктымалдыгы жетиштүү төмөндөгөндө өлчөө каныккан чекке жакындады деп эсептөөгө болот.

Бирок жасалма интеллект өзү жараткан суроолор нейтралдуу эмес. Модель окутуу маалыматтарында көп кездешкен жана тааныш суроо түзүлүштөрүн оңой жаратып, сейрек маалымат муктаждыктарын өткөрүп жибериши мүмкүн. Ошондуктан көп санда суроо түзүү көрсөтүү мейкиндигинин баары камтылганын өзүнчө далилдебейт. Жасалма интеллект таптакыр жарата албаган муктаждыктарды ачуу үчүн колдонуучу маектери, мекемелик билим жана тармактык экспертиза сыяктуу жасалма интеллекттен тышкаркы булактар керек.

Изилдөө математикалык өлчөөнү адамдык чечмелөөдөн так ажыратат. Ниет мейкиндигин аныктоо, керектүү кайталоо санын белгилөө, валиддүүлүк далилдерин изилдөө жана камтууну баалоо принцип боюнча математикалык жана статистикалык ыкмалар менен каралышы мүмкүн. Ал эми жасалма интеллект көрсөтүүсү менен реалдуу абалдын ортосундагы айырма көйгөй жаратабы жана ага кандай кийлигишүү керек деген суроо адамдык баалоону талап кылат.

Эң маанилүү чечмелөө чеги төмөнкүдөй: Изилдөө сунушталган алкакты реалдуу компаниялар, адамдар, интернет сайттар же чоң тил моделдери үстүндө колдонгон эмес. Ниет топтору түзүлгөн эмес, камтуу көрсөткүчү эсептелген эмес, конструкт валиддүүлүгү тесттери жүргүзүлгөн эмес жана сунушталган ыкма учурдагы коммерциялык көрүнүктүүлүк куралдары менен эксперименттик салыштырылган эмес. Изилдөөнүн салымы текшерилген өлчөө системасын берүү эмес, келечектеги өлчөөлөр үчүн эпистемикалык жана математикалык негиз сунуштоо.

Түркия жагынан баалоо: Изилдөө Түркияда бренддердин, университеттердин, мамлекеттик мекемелердин, компаниялардын, адистердин жана интернет сайттардын ChatGPT сыяктуу системалардагы көрүнүктүүлүгүн өлчөгөн иштер үчүн түз мааниге ээ. Чектелүү түркчө суроолордо алынган аталуу көрсөткүчү уюмдун жалпы жасалма интеллект көрүнүктүүлүгү катары берилбеши керек. Өлчөөнүн ичинде колдонуучу ниеттери, тил, модель, модель версиясы, издөө функциясы, дата, кайталоо саны жана көрсөтүү мейкиндигинин камтуу деңгээли ачык көрсөтүлүшү керек. Бирок изилдөө түркчө суроолор, Түркиядагы колдонуучу жүрүм-туруму же жергиликтүү уюмдар боюнча эксперимент жүргүзгөн эмес. Алкакты Түркияда колдонуу үчүн түркчө ниет топтору жана жергиликтүү маалымат муктаждыктары боюнча өзүнчө текшерүү талап кылынат.

Жасалма интеллекттеги объект көрсөтүлүшү эмнени билдирет?

Изилдөөдө “объект” деген түшүнүк компания, интернет сайт, адам же жасалма интеллект жоопторунда аталышы мүмкүн болгон башка аныкталуучу нерсени билдирет. Объект көрсөтүлүшү моделдин бул нерсени кандай сүрөттөгөнү менен гана чектелбейт. Объект кайсы суроолордо аталганы, кайсы булактар менен байланыштырылганы, кайсы контексттерде алдыга чыккандыгы жана кайсы контексттерде көрүнбөгөнү да көрсөтүүнүн бөлүктөрү.

Чоң тил моделдери издөө, сунуш жана диалог системаларына кирген сайын бул көрсөтүү коомдук натыйжа жаратышы мүмкүн. Жумушка кабыл алуу адиси талапкер тууралуу, кредит адиси компания тууралуу же керектөөчү продукт тууралуу жасалма интеллектке суроо бере алат. Модель колдонгон аныктамалар жана көрсөткөн булактар адамдар түзгөн пикирлерге таасир этиши мүмкүн.

Автор жасалма интеллект көрсөтүлүшү классикалык адам кабылдоосунан түзүмдүк жактан айырмаланат деп эсептейт. Адамдардын пикирлери коом ичинде көп адамга тарайт. Ал эми көп колдонуучу бир эле негизги модель менен иштесе, моделдеги көрсөтүү тенденциясы көп адамга бир багытта берилет. Ошондуктан бир моделдеги көрсөтүү өзгөрүүсүнүн таасири бир адамдын оюндагы өзгөрүүдөн кеңири болушу мүмкүн.

Учурдагы көрүнүктүүлүк өлчөөлөрүнүн негизги көйгөйү эмне?

Учурдагы практикалар көбүнчө алдын ала тандалган суроолор топтомун модельге берип, төмөнкү көрсөткүчтөрдүн бирин же бир нечесин эсептейт:

• Объект жооптордо аталган көрсөткүч,
• Интернет сайт булак катары көрсөтүлгөн көрсөткүч,
• Атаандаштарга салыштырмалуу жасалма интеллект көрүнүктүүлүк үлүшү,
• Жооп ичиндеги көрүнүктүүлүк тартиби же орду,
• Объект менен кошо колдонулган оң же терс сөздөр,
• Ар башка моделдерде же убакыт ичинде болгон көрүнүктүүлүк өзгөрүүсү.

Изилдөө бул көрсөткүчтөр операциялык жактан таптакыр баасыз деп айтпайт. Сын — көрсөткүч кайсы максаттуу чоңдукту өлчөй турганы түшүндүрүлбөй туруп жалпы объект касиети катары көрсөтүлүшүнө багытталган.

Estimand эмне үчүн өлчөөгө чейин аныкталышы керек?

Estimand — өлчөө баалоону көздөгөн чоңдук. Өлчөөдөн алынган сан estimandдын баасы; estimand болсо бул сан эмнени билдирерин аныктайт.

Уюм үчүн “жасалма интеллект көрүнүктүүлүгү yüzde 25” деп айтылганда кеминде төмөнкү суроолорго жооп керек:

• Бул көрсөткүч кайсы суроо ааламына тиешелүү?
• Кайсы колдонуучу ниеттери камтылган?
• Суроолор кайсы бөлүштүрүү боюнча салмакталган?
• Кайсы модель жана модель версиясы колдонулган?
• Суроолор кайсы тилде жана региондук контекстте берилген?
• Ошол эле суроо канча жолу кайталанган?

Бул элементтер аныкталбаса, көрүнүктүүлүк көрсөткүчүн эсептөөгө болот, бирок ал уюмдун кайсы көрсөтүү касиетине туура келерин түшүндүрүү мүмкүн эмес.

Жөнөкөй шилтеме көрсөткүчү кантип формулаланат?

Изилдөө чоң тил моделинин жообун кирүү суроосуна шартталган кокустук процесс катары карайт. X объектинин q суроосуна берилген жоопто аталуусу же булак катары көрсөтүлүү ыктымалдыгы төмөнкүдөй аныкталат:

\[ p(X\mid q) \]

Бул жерде ыктымалдык ошол эле суроо ар башка иштетүүлөрдө ар башка жооп жаратышы мүмкүн экенин да камтыйт.

Жөнөкөй өлчөө ыкмасы \(Q=\{q_1,\ldots,q_n\}\) түрүндө тандалган суроолор топтомунда орточо шилтеме көрсөткүчүн эсептейт:

\[ \theta= \frac{1}{|Q|} \sum_{q\in Q}p(X\mid q) \]

Бул формулада \(\theta\) — X объектинин тандалган Q топтомундагы орточо шилтеме көрсөткүчү. Көйгөй — бул маани Xке таандык контексттен көз каранды эмес касиет катары чечмеленишинде.

Эмне үчүн θ X объектинин гана касиети эмес?

\(\theta\) мааниси тандалган Q суроо топтомуна көз каранды. Бир эле объект үчүн ар башка суроо топтомдору тандалганда адатта ар башка жыйынтыктар алынат:

\[ Q\neq Q' \quad\Rightarrow\quad \theta\neq\theta' \]

Мисалы, автоунаа компаниясы боюнча суроолор негизинен сатып алуу сунуштарынан турса, компания көп аталышы мүмкүн. Суроолор ылдамдык, тейлөө чыгымы же белгилүү техникалык касиеттерди салыштырууга багытталса, ошол эле компаниянын аталуу көрсөткүчү өзгөрүшү мүмкүн.

Ошондуктан жыйынтык жасалма интеллекттин X тууралуу жүрүм-турумун гана эмес, өлчөөнү жүргүзгөн адам кайсы суроолорду тандаганын да чагылдырат. Алкак ар башка өлчөөчүлөрдүн жыйынтыктарынын кайсынысы жалпы жана туура көрсөтүү экенин аныктай турган ички критерий бербейт.

Гетерогендүү суроолор эмне үчүн бир орточого аралаштырылбашы керек?

Ар башка колдонуучу ниеттери ар башка шарттуу ыктымалдыктарга туура келет. Сунуш суроо, өндүрүмдүүлүктү салыштыруу жана техникалык жардам издөө бир маалымат муктаждыгы эмес. Бул контексттердеги шилтеме көрсөткүчтөрүн бир санга кошуу ар башка типтеги чоңдуктарды бир орточого киргизүү болуп саналат.

Жалпы орточо суроонун түрлөрү топтомдо кандай үлүштө экенине жараша өзгөрөт. Өлчөө дизайнында сунуш суроолору көбүрөөк болсо, жыйынтык сунуш контекстинин жүрүм-турумуна жакындайт. Салыштыруу суроолорунун үлүшү көбөйсө, башка жыйынтык чыгышы мүмкүн.

Изилдөө муну Simpson парадоксу менен байланышкан агрегация көйгөйү катары карайт. Топчолордогу ар башка тенденциялар топтор кандай катышта аралаштырылганына жараша жалпы статистикада башкача же адаштыруучу көрүнүш жаратышы мүмкүн.

Мурунку изилдөөлөрдүн салымы толугу менен четке кагылабы?

Жок. Изилдөө чоң тил моделдеринин кокустук жооп өзгөрмөлүүлүгүн караган жана ишенимдүү өлчөө үчүн кайталоо керек экенин көрсөткөн мурунку иштер маанилүү экенин белгилейт. Бир гана байкоо объекттин моделдеги жүрүм-турумун ишенимдүү көрсөтпөшү мүмкүн.

Бирок кайталоо саны жана ишеним интервалы өлчөөнүн ишенимдүүлүк көйгөйүн гана чечет. Өлчөө чындап көздөгөн конструкцияны өлчөйбү деген суроо валиддүүлүк маселеси. Өлчөө кайталана турган болгону менен туура эмес же бүдөмүк аныкталган чоңдукту өлчөшү мүмкүн.

Изилдөө кошкон кадам — кайталоо жана ишеним интервалынан мурда estimandды аныктоо.

“Өкүлчүлүктүү суроо топтому” деген сөз көйгөйдү чечеби?

Макала бул дооматты алдын ала күтүлгөн биринчи каршылык катары карайт. Суроо топтомун өкүлчүлүктүү деп айтуу үчүн кайсы суроо мейкиндиги жана ал мейкиндиктеги кайсы бөлүштүрүү өкүлчүлүк кылынары алдын ала аныкталышы керек.

Кайсы колдонуучу ниеттери канчалык таралган же маанилүү экенин аныктабастан бардык суроолорго бирдей салмак берүү өкүлчүлүк дооматын негиздебейт. Ошондуктан “өкүлчүлүктүү суроо топтому” estimand көйгөйүн жок кылбай, кайра күн тартибине чыгарат.

Адам кабылдоосу да контекстке көз каранды болсо, жасалма интеллект эмне үчүн өзүнчө каралат?

Макала адам кабылдоосу да контекстке көз каранды экенин кабыл алат. Бирок эки айырма белгиленет:

• Адам пикирлери көп адамдар арасында тараса, белгилүү моделдин көрсөтүү жүрүм-туруму көп колдонуучуга бир борбордон берилет.
• Жасалма интеллект көрсөтүүсүнүн бөлүштүрүлүшү модель жаңыртуулары менен өзгөрүп, кичине сөз айырмачылыктарына жогорку сезгичтик көрсөтүшү мүмкүн.

Ошондуктан адамдар үчүн иштелип чыккан өлчөө теорияларын эч өзгөртпөстөн жасалма интеллектке колдонуу коопсуз божомол эмес.

Изилдөө жасалма интеллект көрсөтүүсүн өлчөөгө болбойт деп айтып жатабы?

Жок. Изилдөөнүн үчүнчү алдын ала күтүлгөн каршылыкка жообу өлчөөнү четке кагуу эмес, өлчөнө турган нерсени кайра аныктоо. Бир жана контексттен көз каранды эмес шилтеме көрсөткүчүнүн ордуна колдонуучу ниеттерине шартталган шилтеме мейкиндиги сунушталат.

Ниетке шарттоо estimandды кантип аныктайт?

Суроо мейкиндиги колдонуучулар чечүүгө аракет кылган маалымат муктаждыктарына жараша ниет топторуна бөлүнөт. Белгилүү \(c\) ниет тобундагы шилтеме көрсөткүчү төмөнкүдөй аныкталат:

\[ \theta_c= \mathbb{E} \left[ p(X\mid q) \mid q\in c \right] \]

Бул жердеги \(\theta_c\) X объектинин бардык суроолордогу жалпы көрүнүктүүлүгү эмес. Белгилүү ниет контекстиндеги орточо шилтеме ыктымалдыгы гана.

Мисалы, ошол эле автоунаа өндүрүүчүсү үчүн төмөнкү маанилер өзүнчө өлчөнүшү мүмкүн:

• Үй-бүлөлүк автоунаа сунушу контекстиндеги шилтеме көрсөткүчү,
• Электр автоунааларын салыштыруудагы шилтеме көрсөткүчү,
• Өндүрүмдүүлүк автоунаалары боюнча суроолордогу шилтеме көрсөткүчү,
• Тейлөө чыгымын баалоодогу шилтеме көрсөткүчү,
• Коопсуздук баалоолорундагы шилтеме көрсөткүчү.

Изилдөөгө ылайык объекттин жасалма интеллекттеги көрсөтүлүшү бир \(\theta\) мааниси эмес, ниет мейкиндиги боюнча аныкталган \(\theta_c\) маанилеринин бүтүндүгү.

Ниет топтору кантип түзүлүшү керек?

Автор сөздөрдүн окшоштугуна гана негизделген классификация ниетти туура кармай албай турганын белгилейт. Эч бир жалпы сөз колдонбогон эки суроо бир маалымат муктаждыгын билдириши мүмкүн. Тескерисинче, бири-бирине абдан окшош эки суроо ар башка максатта болушу мүмкүн.

Изилдөө сунуштаган операциялык ыкма суроолор жооптордо жараткан шилтеме үлгүлөрүн колдонуу. Бирдей же окшош булак топтомдоруна алып келген суроолор жасалма интеллект жагынан окшош маалымат муктаждыктары менен байланыштуу деп кабыл алынышы мүмкүн.

Бул ыкма төмөнкү божомолго негизделет:

Окшош шилтеме жыйынтыктарына алып келген суроолор жасалма интеллекттин көрсөтүү мейкиндигинде бири-бирине жакын ниеттерди чагылдырат.

Бул божомол макалада эксперименттик текшерилген эмес. Адамдар белгилеген чыныгы колдонуучу ниеттери менен шилтеме үлгүсүнө негизделген топтор канчалык дал келери ачык изилдөө суроосу.

Ниет мейкиндиги өлчөө тактыгын гана жогорулаткан куралбы?

Жок. Макалага ылайык ниет мейкиндиги өлчөөнү тактаган экинчи даражадагы техника эмес. Estimandды аныктоо үчүн логикалык жактан зарыл компонент.

Контекст айырмачылыктарын бөлбөй суроолор бириктирилсе, өлчөөчүгө көз карандылык жана аралаштыруу бир жактуулугу калат. Көрсөтүү ниет топторуна шартталган \(\theta_c\) маанилери түрүндө гана ачык максаттуу чоңдукка айланат.

Ишенимдүүлүк кантип каралышы керек?

Ар бир ниет тобундагы \(\theta_c\) маанисин кайра өндүрүлө турган түрдө баалоо үчүн жетиштүү санда байкоо керек. Керектүү кайталоо саны бардык топтордо бирдей болушу шарт эмес.

• Туруктуу шилтеме үлгүлөрү бар топтордо аз санда байкоо жетиштүү болушу мүмкүн.
• Жооп өзгөрмөлүүлүгү жогору топтордо көбүрөөк кайталоо керек болушу мүмкүн.
• Катага чыдамдуулук жана ишеним деңгээли алдын ала аныкталышы мүмкүн.
• Шилтеме үлгүсү жетиштүү туруктуулукка жеткенде үлгү алуу токтотулушу мүмкүн.

Изилдөө бул ыкманы ыңгайлашкан байкоо процедурасы катары сунуштайт. Белгилүү туруктуу кайталоо санын же оригинал үлгү көлөмү формуласын иштеп чыкпайт.

Аз санда суроо менен статистикалык өлчөө жүргүзүүгө болобу?

Көптөгөн ниет топторунун ар биринде жетиштүү кайталоо жүргүзүү жогорку эсептөө жана суроо чыгымын жаратышы мүмкүн. Автор аз сандагы арзан байкоолорду аз сандагы жогорку сапаттагы байкоолор менен бирге колдонууну сунуштайт.

Изилдөө бул максат үчүн эки бар метод багытын белгилейт:

• Болжолдоо колдогон статистикалык чыгаруу,
• Активдүү статистикалык чыгаруу.

Негизги ой — аз кайталоого таянган орой баалардагы системалуу бир жактуулукту көп кайталоого жана жогорку тактыкка ээ чектелген сандагы байкоолор менен оңдоо. Калибрлөө бүткөндөн кийин азыраак байкоо менен статистикалык кепилдик алууга болот деп күтүлөт.

Бул ыкмалар изилдөөнүн ичинде колдонулган эмес жана чыгымды азайтуу көрсөткүчү өлчөнгөн эмес.

Негизги чындык жок болгондо өлчөө валиддүүлүгү кантип сыналат?

Объект көрсөтүлүшү түз байкала турган физикалык касиет эмес. Ошондой эле белгилүү суроодо кайсы объект сөзсүз аталууга тийиш деген бирдиктүү жана талашсыз туура тизме болбой калышы мүмкүн. Ошондуктан классикалык тактык көрсөткүчүн түз колдонууга болбойт.

Изилдөө психометрия жана социалдык илимдерде колдонулган конструкт валиддүүлүгү ыкмасын сунуштайт. Бул ыкма валиддүүлүктү бир референс маани аркылуу эмес, ар башка далил булактарынын жыйындысы аркылуу баалайт.

Бул тесттер жасалма интеллект көрсөтүүсү абсолюттук туура экенин далилдебейт. Өлчөө теориялык жактан күтүлгөн байланыштар менен шайкешпи — ошону баалайт.

Адамдар үчүн иштелип чыккан психометрияны LLMдерге түз өткөрүүгө болобу?

Изилдөө мындай өткөрүү туура деп алдын ала кабыл албайт. Адамдарда өлчөнгөн айрым конструкциялар белгилүү убакыт ичинде салыштырмалуу туруктуу деп эсептелет. Чоң тил моделинин объектке байланышкан көрсөтүүсү болсо модель жаңыртуулары, системалык промпт, издөө инфраструктурасы жана жаңы маалымат булактары менен өзгөрүшү мүмкүн.

Ошондуктан психометриялык конструкт валиддүүлүгүн LLM көрсөтүүсүнө колдонуу даяр жана текшерилген чечим эмес, өзүнчө сыналышы керек болгон изилдөө сунушу.

Камтуу эмнени өлчөйт?

Объекттин көрсөтүлүшү бардык ниет топторундагы \(\theta_c\) маанилеринин мейкиндиги. Ошондуктан байкалган топтордогу көрсөткүчтөрдү эсептөө жетишсиз. Өлчөө көрсөтүү мейкиндигинин канчасын камтыганы да белгилүү болушу керек.

Узун суроо тизмеси жогорку камтууга кепилдик бербейт. Жүздөгөн суроо бир эле көп колдонулган ниет аймагында топтолуп, сейрек муктаждыктарды таптакыр өткөрүп жибериши мүмкүн.

Камтуу өлчөөсү төмөнкү суроого жооп бериши керек:

Байкалган шилтеме үлгүлөрү жасалма интеллекттин көрсөтүү мейкиндигинин канчасын ачты жана жаңы байкоо мурда көрүлбөгөн үлгү жаратуу ыктымалдыгы кандай?

Көрүлбөгөн түрлөр көйгөйү кантип ылайыкташтырылат?

Экологияда байкалган үлгүлөрдөн али көрүлбөгөн түрлөрдүн санын баалоо көйгөйү бар. Бир гана жолу байкалган категориялардын үлүшү али байкалбаган категориялар тууралуу маалымат бере алат.

Изилдөө бул ыкманы шилтеме үлгүлөрүнө ылайыкташтырууну сунуштайт. Бир гана жолу көрүлгөн шилтеме үлгүлөрүнүн үлүшү жогору болсо, көрсөтүү мейкиндигинин маанилүү бөлүгү али ачыла элек болушу мүмкүн. Жаңы суроолор мурда көрүлбөгөн үлгү чыгарбай калганда каныгууга жакындады деп эсептөөгө болот.

Макала бул ыкманы реалдуу шилтеме маалыматтарында колдонгон эмес жана камтуу баасын эсептеген эмес.

Көрүнгөн каныгуу менен чыныгы каныгуунун айырмасы эмне?

Жасалма интеллекттен суроо жаратуу талап кылынса, модель окутуу маалыматтарында көп кездешкен жана оңой жаралган суроо формаларына ооп кетиши мүмкүн. Бул көп кездешкен аймакта жаңы шилтеме үлгүсү калбаганда өлчөө каныккандай көрүнөт.

Бирок сейрек ниет аймактары али ачылбай калышы мүмкүн. Бул көрүнгөн каныгуу. Кеңири каныгуу дооматы үчүн модель сейрек аймактарга багытталып, жаңы үлгү табуу ыктымалдыгы кайра да төмөн бойдон калышы керек.

Изилдөө бир гана жолу көрүлгөн үлгүлөрдүн үлүшүн жана жаралган суроолордун семантикалык жайылышын чогуу баалоону сунуштайт.

Суроо ар түрдүүлүгү кантип сандык өлчөнүшү мүмкүн?

Изилдөөдө жаралган суроолордун embedding векторлорунан түзүлгөн Gram матрицасынын детерминанты семантикалык жайылыш өлчөмү катары колдонулушу мүмкүн экени айтылат. Төмөн жайылыш жаралган суроолор көрсөтүү мейкиндигинин тар жана окшош бөлүгүндө топтолуп калганын көрсөтүшү мүмкүн.

Бул ыкма бардык адам муктаждыктары камтылганын далилдебейт. Ал жаралган суроо топтомунун өз ичиндеги семантикалык ар түрдүүлүк жөнүндө гана маалымат берет.

Толук сокур чекиттер эмне үчүн жасалма интеллект тарабынан табылбай калышы мүмкүн?

Модель эч кандай промпт менен жарата албаган же көрсөтө албаган колдонуучу муктаждыктары моделдин көрсөтүү мейкиндигинен сыртта калат. Жасалма интеллект өз көрсөтүү мейкиндигинен тышкаркы муктаждыкты өзүнүн өндүрүүсү менен гана таба албай калышы мүмкүн.

Мындай аймактарды табуу үчүн төмөнкү булактар керек болушу мүмкүн:

• Колдонуучу маектери,
• Кардар жана колдоо жазуулары,
• Тармак адистеринин тажрыйбасы,
• Уюм ичиндеги билим,
• Жергиликтүү жана маданий контекст,
• Али модельде чагылдырылбаган жаңы муктаждыктар.

Изилдөөнүн алкагы бул кемчиликти толук жок кылат деп айтпайт. Кемчилик камтуу көрсөткүчү менен ачык билдирилиши керек деп сунуштайт.

Көрсөтүү менен реалдуулуктун айырмасы кантип изилденет?

Ниет топтору боюнча объект көрсөтүлүшү өлчөнгөндөн кийин жыйынтыктар тышкы дүйнөдөгү текшериле турган көрсөткүчтөр менен салыштырылышы мүмкүн. Жасалма интеллект компанияны чыныгы абалынан көбүрөөк же азыраак алдыга чыгарышы мүмкүн.

Изилдөө эки этапты бөлөт:

1. Айырманы аныктоо: Көрсөтүү өлчөөсү менен тышкы көрсөткүчтөрдүн шайкеш эместигин аныктоо.
2. Айырманы чечмелөө: Шайкеш эместик ката, кечигүү, мыйзамдуу баалоо же булак жетишсиздигиненбы — аныктоо.

Биринчи этап өлчөө жана статистика аркылуу каралышы мүмкүн. Экинчи этап контекстке көз каранды адамдык баалоону талап кылат.

Кайсы бөлүктөрдү математикалык жол менен кароого болот?

Кайсы бөлүктөр адамдык баалоону талап кылат?

GEO жана AEO өлчөөлөрү үчүн кандай жыйынтык чыгат?

Генеративдик кыймылдаткыч оптималдаштыруу жана жооп кыймылдаткычы оптималдаштыруу иштеринде ийгилик көбүнчө бренд же булак жасалма интеллект жоопторунда көбүрөөк көрүнүшү менен бааланат. Изилдөө бул өсүш кайсы ниет контекстинде болгонун көрсөтпөй туруп жалпы ийгилик катары чечмеленбеши керек деп эсептейт.

Мазмун иши сатып алуу сунушу контекстинде көрүнүктүүлүктү арттырышы мүмкүн, бирок техникалык салыштыруу, ишенимдүүлүк же жергиликтүү кызмат суроолорундагы көрүнүктүүлүктү өзгөртпөшү мүмкүн. Бул таасирлер өзүнчө ниет топторунда өлчөнүшү керек.

Ошондой эле көбүрөөк шилтеме алуу көрсөтүү менен реалдуулуктун айырмасы сөзсүз азайды дегенди билдирбейт. Шилтеменин контекстке ылайыктуулугу жана булактын сапаты өзүнчө бааланышы керек.

Изилдөө колдогон жана колдобогон жыйынтыктар

Ачык изилдөө көйгөйлөрү кайсылар?

• Конструкциянын туруктуу эмес болушу: Модель жаңыртуулары менен өзгөргөн көрсөтүүнүн ишенимдүүлүгү жана валиддүүлүгү кантип аныкталышы керек?
• Эки өлчөмдүү байкоо бөлүштүрүлүшү: Кайсы ниет топторун тандоо жана ар топту канча жолу байкоо бирге кантип оптималдаштырылат?
• Шилтеме идентификациясы: Домен аты, ачык шилтеме, бренд аты, кыйыр аталыш жана ар башка жазылыштар качан бир шилтеме болуп эсептелет?
• Манипуляция шартындагы валиддүүлүк: Уюмдар жасалма интеллект шилтемелерине таасир этүүгө аракет кылганда өлчөө валиддүүлүгү кантип сакталат?
• Психометриялык өткөрүү: Адамдар үчүн иштелип чыккан конструкт валиддүүлүгү теориясы LLMдерге кандай өзгөртүүлөр менен колдонулушу керек?
• Сокур чекиттер: Модель көрсөтө албаган адам муктаждыктары системалуу кантип ачылышы керек?

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Изилдөө түрү

Изилдөө эксперименттик иш, сандык талаа изилдөөсү, системалуу кароо же мета-анализ эмес. Бул жасалма интеллекттеги объект көрсөтүүсүн өлчөөнүн концептуалдык объектин аныктаган жана учурдагы статистикалык ыкмаларды бул көйгөйгө кантип ылайыкташтырууну талкуулаган теориялык жана методологиялык изилдөө.

Автордун ыкмасы үч негизги дооматка негизделет:

1. Учурдагы объект көрсөтүү өлчөөлөрүндө estimand жетиштүү аныкталган эмес.
2. Estimand шилтеме көрсөткүчүн колдонуучу ниетинин контекстине шарттоо менен аныкталышы мүмкүн.
3. Бул аныктама үстүндө ишенимдүүлүк, валиддүүлүк жана камтуу математикалык жол менен каралышы мүмкүн; жыйынтыктарды чечмелөө адамдык баалоону талап кылат.

Методологиялык түзүлүш

Изилдөөнүн негизги концептуалдык жыйынтыктары

1. Бир жалпы шилтеме көрсөткүчү объекттин өзүнө таандык өзгөрбөс касиет эмес. Жыйынтык суроо топтомуна жана суроолордун аралашмасына көз каранды.
2. Гетерогендүү суроолорду бириктирүү аралаштыруу бир жактуулугун жаратышы мүмкүн. Ар башка колдонуучу ниеттери өзүнчө максаттуу чоңдуктар катары каралышы керек.
3. Объект көрсөтүлүшү ниет топторундагы шилтеме көрсөткүчтөрүнүн мейкиндиги катары аныкталышы мүмкүн.
4. Ниет мейкиндиги өлчөө үчүн экинчи даражадагы эмес, estimandды аныктоо үчүн зарыл компонент.
5. Ишенимдүүлүк валиддүүлүктүн ордун баспайт. Көп кайталоо туура эмес аныкталган максатты оңдобойт.
6. Негизги чындыгы жок көрсөтүү конструкциясы бир нече конструкт валиддүүлүгү далилдери менен бааланышы мүмкүн.
7. Камтуу сапаттык “ар түрдүүлүк” сөзү менен эмес, сандык көрсөтүлүшү керек.
8. Жасалма интеллекттин суроо жаратуусу көрсөтүү мейкиндигинин сейрек аймактарын өткөрүп жибериши мүмкүн.
9. Көрсөтүүнү өлчөө менен аны маңыздоо өзүнчө иштер.

Бул жыйынтыктар эксперименттик маалымат анализинен чыккан табылгалар эмес. Изилдөөнүн формалдык аргументтеринен жана бар ыкмаларды концептуалдык ылайыкташтыруудан чыккан теориялык тыянактар.

Изилдөөдө маалымат жана эксперимент барбы?

Жок. Изилдөөдө:

• Белгилүү чоң тил модели эксперименттик суроого алынган эмес.
• Реалдуу компания, интернет сайт же адам өлчөнгөн эмес.
• Суроо маалымат топтому түзүлгөн эмес.
• Ниет топтору эсептелген эмес.
• Шилтеме аныктоо ыкмасы колдонулган эмес.
• Кайталоо саны же ишеним интервалы эсептелген эмес.
• Камтуу көрсөткүчү бааланган эмес.
• Статистикалык маанилүүлүк тести жүргүзүлгөн эмес.
• Сунушталган алкак башка ыкмалар менен салыштырылган эмес.

Формулалардын функциясы эмне?

Биринчи формула тандалган суроо топтомундагы жалпы шилтеме көрсөткүчүн жана анын суроо тандоого көз карандылыгын билдирет:

\[ \theta= \frac{1}{|Q|} \sum_{q\in Q}p(X\mid q) \]

Экинчи формула максаттуу чоңдукту белгилүү ниет тобуна шарттап, кайсы контекст өлчөнүп жатканын ачык кылат:

\[ \theta_c= \mathbb{E} \left[ p(X\mid q) \mid q\in c \right] \]

Бул формулалар жаңы жасалма интеллект модели же түз колдонулуучу баалоо алгоритми эмес. Алар изилдөөнүн өлчөө объектисине байланыштуу концептуалдык айырмасын математикалык формада көрсөтөт.

Жасалма интеллект колдонуу билдирүүсү

Автор изилдөөнү даярдоодо Anthropic Claude аттуу чоң тил моделин изилдөө жана жазуу жардамчысы катары колдонгонун айтат. Билдирүүдө колдонуу тармактары адабият издөө, аргументтерди түзүмдөө жана текстти редакциялоо катары берилген.

Изилдөөгө ылайык борбордук тезис, бардык дооматтар, булактарды текшерүү жана акыркы текст автордун жоопкерчилигинде; автор тарабынан каралып жана текшерилген. Бул билдирүү Claude изилдөөнүн автору же көз карандысыз илимий текшерүүчү дегенди билдирбейт.

Негизги чектөөлөр

• Сунушталган алкак реалдуу чоң тил моделдеринде эмпирикалык сыналган эмес.
• Шилтеме үлгүлөрүнө негизделген ниет топтору чыныгы колдонуучу ниеттерин туура көрсөтөрү белгисиз.
• Шилтеме идентификациясы кантип аныкталарын көрсөткөн колдонулган стандарт жок.
• Ниет топторунун санын жана чек араларын аныктаган оригинал алгоритм берилген эмес.
• Ар бир топто керектүү кайталоо санын эсептеген колдонмо эсептөө жүргүзүлгөн эмес.
• Болжолдоо колдогон чыгаруу суроо чыгымын канча азайтары өлчөнгөн эмес.
• Психометриялык конструкт валиддүүлүгүн LLM көрсөтүүсүнө өткөрүү текшерилген эмес.
• Көрүлбөгөн түрлөр ыкмасынын шилтеме үлгүлөрүндөгү ката касиеттери сыналган эмес.
• Жасалма интеллект жараткан суроолордун өндүрүш бир жактуулугу эсептелген эмес.
• Модель жарата албаган толук сокур чекиттер математикалык алкактын сыртында калат.
• Модель, версия, системалык промпт, тил, аймак жана издөө инфраструктурасынын таасирлери ажыратылган эмес.
• Манипуляциялык мазмун жана генеративдик кыймылдаткыч оптималдаштыруу шартында валиддүүлүк сыналган эмес.
• Булактар системалуу кароо протоколу менен тандалган эмес.
• Изилдөө көз карандысыз рецензиядан өткөнү тастыкталган эмес.

Жыйынтык кантип чечмелениши керек?

Изилдөөнүн жыйынтыгы “жасалма интеллект көрүнүктүүлүгүн өлчөөгө болбойт” деген эмес. Жыйынтык — көрүнүктүүлүктү бир жана контексттен көз каранды эмес объект касиети катары аныктоого болбойт. Өлчөө ачык аныкталган колдонуучу ниеттерине жана ошол ниеттерге шартталган максаттуу чоңдуктарга негизделиши керек.

Изилдөө жогорку деңгээлдеги бир көрүнүктүүлүк упайын эч качан колдонууга болбойт деп да айтпайт. Ар башка ниет топторун ачык аныкталган жана негизделген бөлүштүрүү боюнча бириктирүүгө болот. Бирок мындай индекс кайсы колдонуучу коомун, кайсы суроо мейкиндигин жана кайсы бизнес максатын билдирери түшүндүрүлүшү керек.

Макаланын негизги салымы даяр өлчөө продуктун берүү эмес, жасалма интеллект көрүнүктүүлүгүн изилдөөдөн мурда берилиши керек болгон фундаменталдык суроону аныктоо: Билдирилген сан кайсы estimandды, кайсы колдонуучу ниеттерин жана кайсы көрсөтүү мейкиндигин баалап жатат?

Булак жана Ыкма Жөнүндө Эскертүү

Изилдөөнүн толук оригинал аталышы: How AI Perceives the World: Epistemic Foundations for Measuring Entity Representation without Ground Truth

Кыргызча түз эквиваленти: Жасалма Интеллект Дүйнөнү Кантип Кабылдайт: Негизги Чындыксыз Объект Көрсөтүлүшүн Өлчөөнүн Эпистемикалык Негиздери

Автор: Shota Nagafuchi

Авторлордун ирети: Изилдөө бир авторлуу.

Тең салым же тең биринчи авторлук: Жок.

Жооптуу/байланыш автору: Shota Nagafuchi

Байланыш дареги: shota_nagafuchi@tkbase.co.jp

Мекемелик байланыш: Tech Knowledge Base, Inc. (TKBase)

SSRN каттоо номери: 6898142

DOI:10.2139/ssrn.6898142

Журнал: Изилдөөдө рецензияланган журнал аты берилген эмес.

Конференция: Изилдөөдө конференциялык жарыя тууралуу маалымат берилген эмес.

Жарыялоо платформасы: SSRN – Social Science Research Network

Изилдөөнүн датасы: Июнь 2026

Бет саны: 12

Булактын түрү: Жасалма интеллекттеги объект көрсөтүлүшү жана көрүнүктүүлүк өлчөөсү боюнча концептуалдык жана методологиялык иш тексти

Рецензия абалы: Изилдөөдө же текшерилген библиографиялык жазууда көз карандысыз рецензия бүткөнү тууралуу маалымат жок. Ошондуктан изилдөө рецензияланган журнал макаласы катары көрсөтүлбөшү керек.

Расмий изилдөө шилтемеси:SSRN изилдөө каттоо барагы

Мекемелик шилтеме:Tech Knowledge Base расмий интернет сайты

Жасалма интеллект колдонуу билдирүүсү: Автор Anthropic Claude'ду адабият издөөдө, аргументтерди түзүмдөөдө жана текстти редакциялоодо жардамчы курал катары колдонгонун; борбордук тезис, дооматтар, булак текшерүү жана акыркы текст өзүнүн жоопкерчилигинде экенин билдирген.

Бул кыргызча түшүндүрмө изилдөөнүн 12 бетин, эки формуланы, бардык негизги бөлүмдөрдү, ачык изилдөө көйгөйлөрүн, жасалма интеллект колдонуу билдирүүсүн жана адабият тизмесин камтып баштан аяк карап даярдалды. Изилдөөдө жок эксперименттик табылга, маалымат топтому, ийгилик көрсөткүчү, статистикалык жыйынтык, компания баалоосу же продукт өндүрүмдүүлүгү кошулган жок.

Тышкы булактар оригинал аталышты, авторду, мекемелик байланышты, SSRN каттоо номерин, DOIни жана жарыялоо платформасын библиографиялык текшерүү үчүн гана колдонулган. Илимий жана методологиялык түшүндүрмөлөр изилдөөнүн өз мазмунуна гана негизделет.

Изилдөөнүн негизги чеги — жасалма интеллект көрүнүктүүлүгүн өлчөөнүн фундаменталдык концептуалдык көйгөйүн деталдуу көрсөткөнү менен, сунуштаган ниет мейкиндиги, валиддүүлүк жана камтуу ыкмаларын реалдуу чоң тил моделдеринде колдонбогону. Ошондуктан сунушталган алкак текшерилген стандарт же бүткөн өлчөө системасы эмес, эмпирикалык сыналышы керек болгон методологиялык негиз.