Жасалма интеллект колдогон билим берүү ассистенттери окуучуга суроонун жообун гана берген системалар эмес. Айрымдары түздөн-түз түшүндүрмө, багыттоо, эскертүү же кайтарым байланыш берип, үйрөнүүнү аң-сезимдүү түрдө колдосо, башкалары колдонуучу сынап көрүп, суроо берип, системанын чыгышын байкап же кандайдыр бир аракетти аткарып жатып өзү байкабастан билим жана көндүм алуусуна көмөктөшөт. Бул системалуу сереп 2000–2024-жылдар аралыгында жарыяланган 38 эмгекти изилдеп, AI билим берүү ассистенттериндеги ушул эки үйрөнүү формасын ачык үйрөнүү жана жашыруун үйрөнүү деп бирдиктүү таксономиянын алкагында классификациялайт.

Серептеги 38 эмгектин 34ү бардык өзгөрмөлөр боюнча кеңири маалымат чыгарууга киргизилген; калган төрт эмгек изилдөөнүн мотивациялык мисалында гана колдонулган. Толук маалымат чыгарылган 34 эмгектин 27си негизинен ачык үйрөнүүнү, 7си жашыруун үйрөнүү механизмдерин колдогон системалар катары классификацияланган. Бул бөлүштүрүү тиешелүүлүгүнө жараша болжол менен %79 жана %21ди түзөт. Бул жердеги пайыздар AI системаларынын үйрөнүү ийгилиги же билим берүүдөгү эффект өлчөмү эмес; системалуу серепте каралган системалар кайсы үйрөнүү механизмине классификацияланганын көрсөткөн эмгектердин бөлүштүрүлүшү.

Ачык үйрөнүү үчүн изилдөөчүлөр 11 өз ара аракеттенүү өзгөчөлүгүн аныкташкан: суроо берүү, ооба/жок суроолору, көп тандоолуу суроолор, суроолорго жооп берүү, багыттоо, эскертүү билдирүүлөрү, тапшырма түзүү же чечүү, сунуштар, билдирмелер, кайтарым байланыш жана кайтарым байланышты түзөтүү. Жашыруун үйрөнүүдө болсо төрт негизги өзгөчөлүк аныкталган: суроо берүү, суроолорго жооп берүү, иш-аракет жүргүзүү жана кайтарым байланыш. Бир эле сырткы өз ара аракеттенүү, мисалы “кайтарым байланыш”, колдонуучунун аң-сезимдүү үйрөнүү максаты бар-жогуна жана эмгектеги функциясына жараша эки категорияда тең кездешиши мүмкүн.

Өз ара аракеттенүү модалдуулуктарында жазма байланыш эң кеңири таралган форма болуп саналат. Изилдөөчүлөр 25 эмгекте жазма, 19унда визуалдык, 7синде аракетке негизделген жана 5инде сүйлөшүүгө негизделген өз ара аракеттенүүнү аныкташкан. Бир эмгек бир нече модалдуулукту камтышы мүмкүн болгондуктан, булар бири-бирин жокко чыгарган топтор эмес. Жалпы 56 модалдуулук көрүнүшү боюнча нормалдаштырылган бөлүштүрүү жазма өз ара аракеттенүү үчүн %45, визуалдаштыруу үчүн %34, аракет үчүн %12 жана сүйлөшүү үчүн %9.

Сереп ошондой эле маанилүү актуалдуулук чегин көрсөтөт. Каралган 38 эмгектин болгону төртөөсүндө LLM же генеративдүү жасалма интеллект колдонулган. Ошондуктан таксономия бүгүн тез жайылып жаткан LLM негизиндеги билим берүү ассистенттерин жарым-жартылай камтыганы менен, далил базасынын чоң бөлүгү эрежеге негизделген системалардан, классикалык машиналык үйрөнүүдөн, интеллектуалдык окутуу системаларынан, чатботтордон жана мурдагы AI куралдарынан турат.

Ачык үйрөнүү менен жашыруун үйрөнүүнүн негизги айырмасы эмнеде?

Эмгектеги негизги айырма — колдонуучунун үйрөнүү процессиндеги аң-сезимдүү ниети. Ачык үйрөнүүдө колдонуучу түшүндүрмө, нускама, суроо, кайтарым байланыш же окуу тапшырмасы аркылуу түздөн-түз үйрөнүүгө багытталат. Жашыруун үйрөнүүдө болсо билим же көндүм колдонуучу кандайдыр бир иш-аракетти аткарып, AI менен сүйлөшүп, чыгышты байкап же сыноо–ката жолу менен өз ара аракеттенүү учурунда кыйыр түрдө өздөштүрүлөт.

Изилдөөчүлөр бул айырманы интерфейстин формасына гана карап аныкташкан эмес. Мисалы, “суроо берүү” же “кайтарым байланыш” ачык да, жашыруун да үйрөнүүдө кездешиши мүмкүн. Классификацияны аныктаган нерсе — тиешелүү эмгекте өз ара аракеттенүү кандай функция аткарганы. Колдонуучу аң-сезимдүү түрдө маалымат алуу үчүн суроо берсе, бул ачык үйрөнүүгө; табигый өз ара аракеттенүү учурунда өзү байкабастан көндүм өнүктүрсө, жашыруун үйрөнүүгө классификацияланышы мүмкүн.

Ачык үйрөнүүдө аныкталган 11 механизм

Сереп кайтарым байланышты өзгөчө борбордук механизм катары карайт. Программалоону окутууда синтаксис же аткаруу учурундагы каталар, инженерияда маселени чечүү кадамдарынын тууралыгы, тил үйрөтүүдө грамматикалык каталар жана дизайн иштеринде сапаты төмөн эскизди жакшыртуу сыяктуу абдан ар түрдүү колдонмо тармактарында кайтарым байланыш кездешет.

Ошол эле учурда изилдөөчүлөр ар бир ачык үйрөнүү өзгөчөлүгүн автоматтык түрдө оң деп эсептешпейт. Мисалы, кадам-кадам багыттоо жаңы баштаган колдонуучулардын катасын азайтышы мүмкүн, бирок өтө катуу түзүмдөлгөн колдоо өз алдынча ой жүгүртүүнү алсыратуу коркунучун жаратышы мүмкүн деп талкууланат. Ошондой эле жөн гана “ката кетирдиң” деген билдирүү катанын себебин түшүндүрбөсө, терең концептуалдык үйрөнүүгө жетишсиз болушу мүмкүн.

Жашыруун үйрөнүүдө аныкталган төрт механизм

Иш-аракет аткаруу өзгөчө AI билим берүүсүндө айырмаланып чыккан. Окуучулардын визуалдык программалоо чөйрөлөрүндө алгоритмдер менен иштеши, код жазбастан машиналык үйрөнүү классификациясын сынашы же балдардын сүйлөшүү агентине жаныбарлар тууралуу маалымат үйрөтүп, андан кийин системанын жоопторун байкашы сыяктуу мисалдар ушул топко киргизилген.

Каралган адабият убакыт өткөн сайын кандай өзгөргөн?

Сереп 2000–2024 мезгилинде айкын тарыхый өзгөрүүнү байкайт. Алгачкы эмгектердин көбү программалоо, сабаттуулук жана түзүмдөлгөн окутуу контексттеринде ачык үйрөнүү өзгөчөлүктөрүнө басым жасаган. 2019–2020-жылдардын айланасында үн негизиндеги системалар жана аракет аркылуу үйрөнүү мисалдары менен жашыруун үйрөнүү көбүрөөк көрүнүктүү боло баштаган.

2021–2024 мезгилинде болсо LLM жана генеративдүү жасалма интеллект колдонгон системалар пайда боло баштаган. Изилдөөчүлөр бул мезгилде ачык жана жашыруун үйрөнүүнүн чек аралары мурдагыдай кескин болбой калганын; бир эле система түздөн-түз түшүндүрмө жана кайтарым байланыш менен катар изилдөө жана тажрыйба аркылуу үйрөнүүнү да колдой аларын белгилешет.

Бирок бул тарыхый чечмелөөнүн маанилүү чеги бар: системалуу серепте болгону төрт LLM/GenAI эмгеги бар. Ошондуктан LLM доорундагы үйрөнүү механизмдеринин таралышы же натыйжалуулугу тууралуу күчтүү сандык тыянак чыгарууга болбойт.

AI билим берүү ассистенттери кандай формаларда колдонулган?

Эмгек колдонмо ыкмаларын төрт негизги топко бөлөт:

1. Сүйлөшүүгө негизделген AI: чатбот же conversational agent сыяктуу колдонуучу менен табигый тил аркылуу өз ара аракеттенген системалар.
2. AI системалары: интерактивдүү системалар, интеллектуалдык окутуу системалары, билим берүү платформалары жана сунуштоо системалары.
3. AI assistance: окуучунун же дизайнердин тапшырмасын жеңилдеткен жардамчы системалар.
4. AI куралдары: программалоо, схема, визуалдаштыруу, AI үйрөтүү же дизайн сыяктуу конкреттүү тапшырмаларды колдогон куралдар.

Билим кантип сакталат жана жаңыртылат?

Каралган системалардын билим архитектуралары абдан гетерогендүү. Айрымдары туруктуу же динамикалык маалымат базаларын, айрымдары билим базаларын, онтологияларды же маалымат топтомдорун колдонсо, көптөгөн алгачкы эмгектер билим сактагычтын же жаңыртуу механизминин деталдарын билдирген эмес.

Мисалы, айрым чатботтор колдонуучунун киргизүүсүн диалог менеджери аркылуу билим базасындагы мазмунга дал келтирсе, сунуштоо системалары окуучу, жогорку билим жана жумуш тууралуу маалыматты онтологиялар аркылуу көрсөтө алат. Жаңы системаларда колдонуучунун динамикалык өз ара аракеттенүүлөрү жазылат же LLM негизиндеги генерация түзүмдөлгөн билим булактары менен бирге колдонулат.

Авторлор белгилеген изилдөө боштуктарынын бири дал ушул жерде: көп эмгектер билим базасы статикалыкпы же динамикалыкпы экенин же жаңыртуу стратегиясы кандай иштей турганын жетиштүү түшүндүрбөйт.

Кайсы алгоритмдер колдонулган?

Серепте бир гана үстөм алгоритм жок. Каралган системалар табигый тилди иштетүү, машиналык үйрөнүү, терең нейрондук тармактар, чечим дарактары, сунуштоо алгоритмдери, контексттик bandit ыкмалары, сүрөт таануу, кластерлөө, билим графтары жана жаңы мезгилде LLM/GenAI компоненттерин колдонгон.

Мисалдардын арасында Dialogflow жана Rasa негизиндеги сүйлөшүү системалары, J48 чечим дарагын колдонгон билим берүү платформасы, cooperative contextual bandit колдонгон дизайн жардамчысы, сүрөт иштетүү жана терең үйрөнүүгө негизделген эскизди өзгөртүү системасы жана GPT/ChatGPT же OpenAI APIлерин колдонгон 2024-жылдагы билим берүү/дизайн системалары бар.

Демек, эмгек “билим берүүдө эң жакшы алгоритм ушул” деген тыянакка келбейт. Бир эле үйрөнүү механизми бири-биринен абдан айырмаланган техникалык архитектуралар аркылуу ишке ашырылышы мүмкүн.

Колдонуучулар AI менен көбүнчө кандайча өз ара аракеттенишет?

Жазма өз ара аракеттенүү эң кеңири таралган модалдуулук. Бирок пайыздык маанилер эмгектердин түздөн-түз пайызы эмес; бир изилдөө бир нече модалдуулукка ээ болушу мүмкүн болгондуктан, жалпы өз ара аракеттенүү көрүнүштөрү боюнча нормалдаштырылган.

Булактын Таблица 6сында тилке “Number of Papers” деп аталганы менен, уячалар %45, %9, %12 жана %34 түрүндө пайыздарды берет. Ошол эле бөлүмдүн түшүндүрмө тексти болсо чыныгы эмгек сандарын 25, 5, 7 жана 19 деп билдирет. Ошондуктан Verianla таблицасында эки маалымат өзүнчө тилкелерде сакталган.

LLMдер билим берүү ассистенттерин кантип өзгөртүп жатат?

Серепке ылайык, LLM жана генеративдүү жасалма интеллект туруктуу эрежелерге жана чектелген жооп агымдарына негизделген эски билим берүү системаларынан ийкемдүү, контекстке сезимтал жана сүйлөшүүгө ачык системаларга өтүүгө мүмкүнчүлүк берет. Каралган жаңы системаларда LLMдер колдонуучунун суроолоруна динамикалык жооп берүү, түшүндүрмө түзүү, дизайн сунушун берүү жана ар кандай модалдуулуктардын ортосунда өз ара аракеттенүү үчүн колдонулган.

Авторлор бул ийкемдүүлүк ачык үйрөнүүдө жекелештирилген түшүндүрмөнү, багытталган суроону жана адаптивдүү кайтарым байланышты; жашыруун үйрөнүүдө болсо сынап көрүү, суроонун формасын өзгөртүү жана системанын чыгышын байкоо аркылуу үйрөнүүнү колдой аларын айтышат.

Бирок эмгек LLM негизиндеги билим берүү ассистенттери салттуу ыкмалардан жалпысынан натыйжалуураак экенин көрсөткөн мета-анализ жүргүзгөн эмес. Андан тышкары, киргизилген изилдөөлөрдүн болгону төртөөсүндө LLM/GenAI колдонулган. Ошондуктан LLM бөлүмүндөгү көптөгөн келечектеги багыттар учурдагы серептин күчтүү салыштырма эффект далилине караганда өнүгүп келе жаткан изилдөө чөйрөсүнө байланыштуу синтез жана сунуш болуп саналат.

LLM негизиндеги билим берүүдөгү негизги коркунуч кайсы?

Булак эмгек LLMдердин ийкемдүүлүгү жаңы баалоо көйгөйүн жаратарын баса белгилейт. Классикалык системаларда тактык, тапшырманы бүтүрүү же колдонууга ыңгайлуулук сыяктуу өлчөмдөр жетиштүү деп эсептелиши мүмкүн болсо, генеративдүү системаларда жооптун чындыкка шайкештиги жана ишенимдүүлүгү өзүнчө бааланышы керек.

Авторлор өзгөчө галлюцинация коркунучуна көңүл бурушат. Туура эмес AI жообун сынчыл баалоосуз кабыл алуу үйрөнүүчүлөрдү жаңылтышы мүмкүн; мындай коркунуч купуялуулук, коопсуздук жана саламаттык сактоо сыяктуу туура эмес багыттоонун олуттуу кесепети болушу мүмкүн болгон чөйрөлөрдө андан да маанилүү. Ошондуктан LLM негизиндеги билим берүү ассистенттери үчүн коргоочу механизмдер жана ишенимдүү маалыматка негизделген текшерүү сунушталат.

Эмгек колдогон жыйынтыктар

• Каралган AI билим берүү ассистенттеринде ачык үйрөнүү механизмдери жашыруун үйрөнүүгө караганда көбүрөөк кездешет.
• Толук маалымат чыгарылган 34 эмгектин 27си ачык, 7си жашыруун үйрөнүү басымдуу деп классификацияланган.
• Ачык үйрөнүү үчүн 11, жашыруун үйрөнүү үчүн төрт өз ара аракеттенүү механизминен турган таксономия түзүлгөн.
• Бир эле өз ара аракеттенүү өзгөчөлүгү функциясына жараша ачык же жашыруун үйрөнүүдө ар башка ролду аткарышы мүмкүн.
• Жазма өз ара аракеттенүү каралган системаларда эң көп кездешкен модалдуулук.
• Сүйлөшүүгө негизделген өз ара аракеттенүү каралган адабиятта салыштырмалуу аз көрсөтүлгөн.
• Билимди сактоо жана жаңыртуу ыкмалары көптөгөн эмгектерде толук эмес баяндалган.
• Баалоо ыкмалары эмгек дизайны, үлгү, узактык жана өлчөмдөр боюнча абдан гетерогендүү.
• LLM/GenAI системалары каралган адабияттын аз гана бөлүгүн түзгөндүктөн, жаңы муундагы билим берүү ассистенттери боюнча кошумча системалуу изилдөө керек.

Эмгек колдобогон же текшербеген жыйынтыктар

• %79 көрсөткүчү AI билим берүү ассистенттери %79 натыйжалуу дегенди билдирбейт.
• Ачык үйрөнүү жашыруун үйрөнүүдөн педагогикалык жактан ийгиликтүүрөөк экени далилденген эмес.
• Жазма өз ара аракеттенүү үндүү же визуалдык өз ара аракеттенүүдөн натыйжалуураак экени көрсөтүлгөн эмес; болгону көбүрөөк колдонулганы аныкталган.
• LLM негизиндеги билим берүү ассистенттери эрежеге негизделген же классикалык машиналык үйрөнүү системаларынан жалпысынан жогору экени далилденген эмес.
• Эмгек жалпы эффект өлчөмүн эсептеген мета-анализ эмес.
• 38 эмгектин баары бирдей сапат деңгээлинде эмес жана формалдуу эмгек деңгээлиндеги risk-of-bias баалоосу жүргүзүлгөн эмес.
• Кыска мөөнөттүү колдонууга ыңгайлуулук же катышуу жыйынтыктары узак мөөнөттүү үйрөнүү жетишкендиги катары кабыл алынбашы керек.
• Сунушталган таксономия бардык маданияттар, билим берүү деңгээлдери, тилдер жана келечектеги AI архитектуралары үчүн толук экени көрсөтүлгөн эмес.

Түркия үчүн бул эмнени билдирет?

Бул системалуу сереп Түркияга тиешелүү окуучу популяциясын же түрк тилиндеги билим берүү ассистенттерин өзүнчө анализ тобу катары баалабайт. Ошондуктан %79–%21 бөлүштүрүүсүн же модалдуулук пайыздарын Түркиядагы мектептердин, университеттердин же билим берүү технологияларынын түз профили катары чечмелөөгө болбойт.

Ошентсе да, эмгек Түркияда иштелип чыга турган AI билим берүү ассистенти “кайсы модель колдонулат?” деген суроо менен гана долбоорлонбошу керектигин көрсөткөн пайдалуу алкак берет. Система үйрөнүүнү түздөн-түзби же кыйыр түрдөбү колдой турганы, кайсы кайтарым байланыш формаларын колдонору, билим кантип жаңыртылары, жазуу–визуал–үн–аракет модалдуулуктары кандай айкалыштырылары жана үйрөнүү жетишкендиги узак мөөнөттө кантип текшерилери өзүнчө долбоордук чечимдер. Булар булак эмгектен чыккан долбоор өлчөмдөрү; Түркияда кошумча жергиликтүү эксперименттик текшерүүнү талап кылат.

Эмгектин Методу жана Табылгалары

Системалуу сереп кантип жүргүзүлгөн?

Эмгек PRISMA 2020 отчет берүү алкагын жана программалык инженерия адабиятында колдонулган snowballing ыкмаларын негиз катары алган. Алгачкы издөөлөр 2022-жылдын июнь–сентябрь айларында жүргүзүлүп, 2023-жылдын ноябрында жаңыртылган жана LLM негизиндеги билим берүү ассистенттериндеги өнүгүүлөрдү камтуу үчүн 2024-жылдын сентябрь–декабрь айларында кошумча издөө жүргүзүлгөн.

Издөөлөр Google Scholar, ACM Digital Library, IEEE Xplore, MDPI, Springer жана Taylor & Francis булактарында жүргүзүлгөн. Изилдөөчүлөр автоматтык издөө, кол менен издөө жана алдыга/артка snowballing ыкмаларын чогуу колдонушкан.

Алгачкы скринингде жалпы 16.335 жазуу аныкталган:

5685 кайталанган жазуу жана дата фильтри менен 2500 жазуу чыгарылгандан кийин 8150 жазуу аталыш скринингине калган. Аталыш этабында 8030 жазуу чыгарылган. Калган 120 жазууга snowballing аркылуу 11 жазуу кошулуп, толук текст үчүн 131 отчет изделген жана бардык отчеттор алынган. Аннотация жана жыйынтык текшерүүсүнөн кийин 73 эмгек чыгарылган; 58 эмгек толук тексттик ылайыктуулук баалоосуна алынып, алардын 20сы чыгарылгандан кийин акыркы серепке 38 эмгек киргизилген.

20 толук текст эмне үчүн чыгарылган?

Эмне үчүн 38 эмгектин 34ү гана толук анализденген?

Изилдөөчүлөр киргизилген 38 эмгектин 34ү үчүн жарыяланган жыл, тармак, үйрөнүү түрү, өз ара аракеттенүү механизми, колдонмо ыкмасы, билимди көрсөтүү, колдонуучу тобу, алгоритм, өз ара аракеттенүү модалдуулугу, баалоо ыкмасы, маалымат топтоо ыкмасы, катышуучулардын саны жана өлчөмдөр сыяктуу 15 өзгөрмөнү толук чыгарышкан.

Калган төрт эмгек 3-бөлүмдөгү мотивациялык мисалды колдоо үчүн гана колдонулуп, толук маалымат чыгарууга киргизилген эмес. Ошондуктан ачык/жашыруун үйрөнүү бөлүштүрүүсүндө колдонулган 27 жана 7 эмгектин суммасы 34 болушу метод бөлүмүнө шайкеш.

Бул айырма өзгөчө аннотацияда “38 эмгек” деген сөз менен “%79 / %21” жыйынтыктары бир сүйлөмдө көрүнгөнү үчүн маанилүү. Пайыздар арифметикалык жактан толук маалымат чыгарылган 34 эмгекке негизделет:

\[ \frac{27}{34}\times100 \approx 79.4\% \]

\[ \frac{7}{34}\times100 \approx 20.6\% \]

Макала муну тегеректеп %79 жана %21 деп билдирет.

Эмгектердин жарыя түрлөрү

Булактын 3-сүрөтүндө каралган адабияттын %50си журнал макаласы, %43ү конференция жарыясы жана %7си веб-сайт булагы катары көрсөтүлгөн. Жарыялардын саны айрыкча 2019–2020 мезгилинде байкаларлык өскөнү; кийин бир аз азайганы менен алгачкы мезгилдерден жогору бойдон калганы айтылат.

Бул бөлүштүрүү тармактын өсүү тенденциясын көрсөтөт, бирок жарыялардын санынын өзгөрүшү үйрөнүү натыйжалуулугу убакыт өткөн сайын жогорулаганын билдирбейт.

Баалоо ыкмалары канчалык күчтүү?

Серепте эмгектердин көпчүлүгү эксперименттик баалоону колдонгону жана сандык менен сапаттык ыкмаларды чогуу колдонгон аралаш дизайндар кеңири тараганы көрүнөт. Катышуучулардын саны болсо абдан өзгөрмө: айрым изилдөөлөр 6–16 адамдык чакан колдонуучу изилдөөлөрүнө гана таянса, башка бир чатбот эмгегинде 14.000 колдонуучу өз ара аракеттенүүсү билдирилген.

Өлчөнгөн жыйынтыктар да стандарттуу эмес. Эмгектер колдонууга ыңгайлуулук, тапшырма убактысы, окуучунун ишеними, үйрөнүү жетишкендиги, маселе чечүү жүрүм-туруму, катышуу, колдонуучу канааттануусу, AI билими, дизайн сапаты же модель тактыгы сыяктуу ар кандай көрсөткүчтөрдү колдонгон.

Ушул гетерогендүүлүк себептүү системалуу сереп бардык эмгектерди бирдиктүү үйрөнүү эффект өлчөмүнө бириктирген эмес. Авторлор белгилегендей, учурдагы далил так сандык натыйжалуулук пайыздарынан көрө жалпы дизайн жана изилдөө тенденцияларын көрсөтөт.

Расмий risk-of-bias баалоосу жүргүзүлгөнбү?

Жок. Эмгек расмий эмгек деңгээлиндеги risk-of-bias баалоосун жүргүзбөгөнүн ачык билдирет. Изилдөөчүлөр анын ордуна скрининг жана тандоо жыйынтыктарын башка авторлордун карап чыгышы жана башында бир эле басмаканага көз каранды издөө жүргүзбөстөн Google Scholar колдонуу сыяктуу процесс чараларын колдонушкан.

Бул чаралар изилдөө процессин күчөтүшү мүмкүн, бирок эмгек деңгээлиндеги методологиялык сапат баалоосун алмаштырбайт. Ошондуктан серептеги чакан үлгүлүү же чектелген баалоолуу эмгектер менен күчтүү дизайндардын далил салмагы сандык түрдө бөлүнгөн эмес.

Скрининг процессинде ким кандай милдет аткарган?

Метод бөлүмүндө скрининг жана тандоо процесси биринчи автор тарабынан жүргүзүлүп, төртүнчү автор ар бир этапта карап чыгып жана текшергени айтылат. Тобокелдикти азайтуу түшүндүрмөсүнүн башка бөлүгүндө болсо эмгек тандоолору экинчи жана төртүнчү авторлор менен каралып, талкууланганы жазылган. Бул билдирүүлөр сөзсүз түрдө бири-бирин жокко чыгарбаса да, этаптардагы көз карандысыз баалоочунун ролу кеңири inter-rater коэффициенти же кош сокур скрининг протоколу менен билдирилбегенин көрсөтөт.

Протокол качан катталган?

Сереп протоколу Open Science Framework платформасында `8x4ed` каттоо идентификатору менен ретроспективдүү түрдө катталганы айтылат. Ретроспективдүү каттоо сереп ыкмасы үчүн ачыктык жазуусун берет; бирок изилдөө башталганга чейин жүргүзүлгөн перспективдүү протокол каттоосу менен бирдей методологиялык коргоону камсыз кылбайт.

LLM доорунун далили эмне үчүн чектелүү?

Эмгектин өз чектөөлөр бөлүмүндө 38 изилдөөнүн болгону төртөөсүндө LLM же генеративдүү AI колдонулганы ачык көрсөтүлгөн. Ошондуктан түзүлгөн ачык/жашыруун үйрөнүү таксономиясы негизинен LLM кеңири тарай электеги AI билим берүү системаларын чагылдырат.

Авторлор келечекте LLM негизиндеги билим берүү техникаларын гана караган өзүнчө системалуу сереп заманбап AI билим берүү ассистенттериндеги үйрөнүү механизмдерин көбүрөөк өкүлчүлүктүү түрдө классификациялай алат деп сунушташат.

Келечектеги изилдөөлөр үчүн төрт негизги боштук

1. Сүйлөшүүгө негизделген адаптивдүүлүк: Ачыгыраак диалог, жекелештирилген кайтарым байланыш жана итеративдүү өз ара аракеттенүү зарылдыгы.
2. Билимди көрсөтүү жана архитектура: Статикалык билим базаларынын чегинен чыккан, текшериле турган жана жаңыртыла турган билим архитектуралары.
3. Гетерогендүү AI ыкмаларын интеграциялоо: Машиналык үйрөнүү, түзүмдөлгөн билим жана LLM негизиндеги сүйлөшүү катмарларын чогуу колдоно алган гибрид системалар.
4. Күчтүүрөөк баалоо: Бир сеанстык колдонууга ыңгайлуулук тесттеринин ордуна узак мөөнөттүү үйрөнүү жетишкендиги, туура эмес түшүнүү жана ишенимдүүлүк өлчөмдөрү.

Билим архитектурасы жагынан эмгек retrieval-augmented generation (RAG) ыкмасын генеративдүү чыгыштарды текшерилген билим булактарына негиздөө үчүн келечекте бааланууга тийиш болгон ыкмалардын бири катары көрсөтөт. Бул серепте салыштырма түрдө далилденген артыкчылыктуу ыкма эмес, келечекке багытталган архитектуралык сунуш.

Булак жана Метод Эскертмеси

Каржылоо жана колдоо

Эмгек жарым-жартылай EPSRC PETRAS программасы тарабынан `EP/S035362/1` долбоор номери менен колдоого алынган. Ыраазычылык бөлүмүндө Najran University берген стипендия жана колдоо да белгиленет.

Маалыматтардын жеткиликтүүлүгү

Эмгекте түзүлгөн маалыматтар — киргизилген изилдөөлөрдөн чыгарылган жана коддолгон маалыматтар. Киргизилген эмгектердин тизмеси жана үйрөнүү түрү, колдонмо ыкмасы, баалоо өзгөчөлүктөрү сыяктуу чыгарылган өзгөрмөлөр Supplementary Materials ичинде берилгени билдирилет.

Этика жана кызыкчылыктардын кагылышы

Institutional Review Board жана маалыматтандырылган макулдук талаалары булакта “колдонулбайт” деп көрсөтүлгөн. Авторлор кызыкчылыктардын кагылышы жок экенин билдиришкен.

Автордук салымдар

Концептуалдаштыруу: Fatmah Alqarni жана Charith Perera. Методология: Fatmah Alqarni, Charith Perera жана Nada Alhirabi. Формалдуу анализ: Fatmah Alqarni. Маалыматтарды даярдоо: Fatmah Alqarni. Алгачкы долбоор: Fatmah Alqarni. Карап чыгуу жана түзөтүү: Fatmah Alqarni, Charith Perera жана Nada Alhirabi. Review: Omer Rana. Көзөмөл: Charith Perera жана Omer Rana. Каржылоону алуу: Charith Perera.

Булак ичиндеги жана методологиялык көңүл буруучу жагдайлар

• 38 эмгек акыркы серепке киргизилгени менен, 34 эмгек гана толук маалымат чыгарууга киргизилген.
• %79 ачык / %21 жашыруун үйрөнүү бөлүштүрүүсүнүн иш жүзүндөгү бөлгүчү 34; бул катыштар билим берүүнүн натыйжалуулугу эмес.
• Расмий эмгек деңгээлиндеги risk-of-bias баалоосу жүргүзүлгөн эмес.
• Сереп протоколу перспективдүү эмес, ретроспективдүү түрдө катталган.
• Англис тилиндеги гана эмгектер киргизилгендиктен тилдик бир жактуулук мүмкүнчүлүгү бар.
• Ачык/жашыруун үйрөнүү классификациясы теориялык аныктамаларга негизделгени менен, авторлор классификацияда субъективдүү элемент бар экенин кабыл алышат.
• Бир эмгек бир гана басымдуу үйрөнүү түрүнө таандык кылынган; бирок өз ара аракеттенүү өзгөчөлүктөрү ачык жана жашыруун категориялардын ортосунда дал келиши мүмкүн.
• Өз ара аракеттенүү пайыздары бири-бирин жокко чыгарган эмгек пайыздары эмес; жалпы модалдуулук көрүнүштөрү боюнча нормалдаштырылган.
• Таблица 6дагы “Number of Papers” тилкесинде сандын ордуна пайыздардын көрсөтүлүшү булакта редакциялык берүү бүдөмүктүгүн жаратат.
• Эмгектердин баалоо дизайндары, үлгү өлчөмдөрү, узактыгы жана өлчөмдөрү абдан гетерогендүү.
• Көп изилдөөлөр кыска мөөнөттүү эксперимент же бир сеанстык workshop колдонгон; узак мөөнөттүү үйрөнүү эффектине байланыштуу далил чектелүү.
• 38 эмгектин болгону төртөөсүндө LLM же генеративдүү жасалма интеллект колдонулгандыктан, жыйынтыктар заманбап LLM билим берүү ассистенттерин толук чагылдырбайт.
• Мета-аналитикалык эффект өлчөмү эсептелбегендиктен, ар башка AI билим берүү ыкмаларынын салыштырма педагогикалык артыкчылыгы аныкталган эмес.

Эмгектин эң ишенимдүү жыйынтыгы — жасалма интеллект билим берүү ассистенттери бир гана технологиялык категория эмес жана үйрөнүү колдоосун колдонулган AI алгоритмине гана карап түшүнүүгө болбойт. Колдонуучу AI менен кантип өз ара аракеттенери, колдоо аң-сезимдүү окутуубу же тажрыйба аркылуу кыйыр үйрөнүүбү, билим кантип көрсөтүлөрү, система кантип жаңыртылары жана үйрөнүү эффекти кантип бааланары бирге каралышы керек.

Тескерисинче, эмгек AI билим берүү ассистенттери жалпысынан салттуу окутуудан жогору экенин же LLMдер билим берүүдө ийгиликтүүрөөк экенин далилдебейт. Булак авторлорунун өз баалоосу да учурдагы адабиятта узагыраак мөөнөттүү, чоңураак жана ар түрдүү колдонуучу топторуна негизделген, үйрөнүү жетишкендигин түз өлчөгөн жана LLM чыгыштарынын тууралыгын текшерген күчтүү баалоо алкактары керек деген багытта.