Süni intellekt dəstəkli təhsil assistentləri yalnız tələbəyə bir sualın cavabını verən sistemlər deyil. Bəziləri birbaşa izah, istiqamətləndirmə, xəbərdarlıq və ya geribildirim təqdim edərək öyrənməni şüurlu şəkildə dəstəkləyir, bəziləri isə istifadəçinin sınaqdan keçirməsi, sual verməsi, sistem çıxışını müşahidə etməsi və ya bir fəaliyyət yerinə yetirməsi zamanı fərqinə varmadan bilik və bacarıq qazanmasına vasitəçilik edir. Bu sistematik icmal 2000–2024-cü illər arasında yayımlanmış 38 işi araşdıraraq AI təhsil assistentlərindəki bu iki öyrənmə formasını açıq öyrənmə və örtük öyrənmə kimi vahid taksonomiya altında təsnif edir.

İcmaldakı 38 işin 34-ü bütün dəyişənlər üzrə ətraflı məlumat çıxarışına daxil edilmişdir; qalan dörd iş yalnız tədqiqatın motivasiya nümunəsində istifadə edilmişdir. Tam çıxarış aparılan 34 işin 27-si əsasən açıq öyrənməni, 7-si isə örtük öyrənmə mexanizmlərini dəstəkləyən sistemlər kimi təsnif edilmişdir. Bu bölgü müvafiq olaraq təxminən %79 və %21-ə uyğun gəlir. Buradakı faizlər AI sistemlərinin öyrənmə uğuru və ya təhsildə təsir ölçüsü deyil; sistematik icmalda araşdırılan sistemlərin hansı öyrənmə mexanizminə aid edildiyini göstərən iş bölgüsüdür.

Açıq öyrənmə üçün tədqiqatçılar 11 qarşılıqlı əlaqə xüsusiyyəti müəyyən etmişlər: sual vermə, bəli/xeyr sualları, çoxseçimli suallar, sualları cavablandırma, istiqamətləndirmə, xəbərdarlıq mesajları, tapşırıq yaratma və ya həll etmə, tövsiyələr, bildirişlər, geribildirim və geribildirimi redaktə etmə. Örtük öyrənmədə isə dörd əsas xüsusiyyət müəyyən edilmişdir: sual vermə, sualları cavablandırma, fəaliyyət yerinə yetirmə və geribildirim. Eyni səthi qarşılıqlı əlaqə, məsələn “geribildirim”, istifadəçinin şüurlu öyrənmə məqsədi daşıyıb-daşımamasından və işdəki funksiyasından asılı olaraq hər iki kateqoriyada yer ala bilər.

Qarşılıqlı əlaqə modallıqlarında yazılı ünsiyyət ən geniş yayılmış formadır. Tədqiqatçılar 25 işdə yazılı, 19-da vizual, 7-də fəaliyyət əsaslı və 5-də danışıq əsaslı qarşılıqlı əlaqə müəyyən etmişlər. Bir iş birdən çox modallıq ehtiva edə bildiyi üçün bunlar bir-birini istisna edən qruplar deyil. Cəmi 56 modallıq hadisəsi üzərindən normallaşdırılmış bölgü yazılı qarşılıqlı əlaqə üçün %45, vizuallaşdırma üçün %34, fəaliyyət üçün %12 və danışıq üçün %9-dur.

İcmal eyni zamanda mühüm bir aktuallıq məhdudiyyəti ortaya qoyur. Araşdırılan 38 işin yalnız dördündə LLM və ya generativ süni intellekt istifadə olunur. Buna görə taksonomiya bu gün sürətlə yayılan LLM əsaslı təhsil assistentlərini qismən əhatə etsə də, sübut bazasının böyük hissəsi qayda əsaslı sistemlərdən, klassik maşın öyrənməsindən, ağıllı tədris sistemlərindən, çatbotlardan və daha erkən dövr AI alətlərindən ibarətdir.

Açıq öyrənmə ilə örtük öyrənmə arasındakı əsas fərq nədir?

İşdəki əsas fərq istifadəçinin öyrənmə prosesindəki şüurlu niyyətidir. Açıq öyrənmədə istifadəçi izah, təlimat, sual, geribildirim və ya tədris tapşırığı vasitəsilə birbaşa öyrənməyə yönəldilir. Örtük öyrənmədə isə bilik və ya bacarıq istifadəçinin bir fəaliyyət yerinə yetirməsi, AI ilə danışması, çıxışı müşahidə etməsi və ya sınaq–yanılma yolu ilə qarşılıqlı əlaqədə olması zamanı daha dolayı şəkildə qazanılır.

Tədqiqatçılar bu fərqi yalnız interfeys formasına əsasən müəyyən etməmişlər. Məsələn “sual vermə” və ya “geribildirim” həm açıq, həm də örtük öyrənmə daxilində görünə bilər. Təsnifatı müəyyən edən amil həmin qarşılıqlı əlaqənin müvafiq işdə hansı funksiyanı yerinə yetirməsidir. İstifadəçi şüurlu şəkildə məlumat almaq üçün sual verirsə, bu açıq öyrənmə; təbii qarşılıqlı əlaqə zamanı fərqinə varmadan bacarıq inkişaf etdirirsə, örtük öyrənmə kimi təsnif edilə bilər.

Açıq öyrənmədə müəyyən edilən 11 mexanizm

İcmal geribildirimi xüsusilə mərkəzi mexanizm kimi nəzərdən keçirir. Proqramlaşdırma təhsilində sintaksis və ya icra vaxtı səhvləri, mühəndislikdə problem həll etmə addımlarının düzgünlüyü, dil təhsilində qrammatika səhvləri və dizayn işlərində aşağı keyfiyyətli eskizin yaxşılaşdırılması kimi çox fərqli istifadə sahələrində geribildirimə rast gəlinir.

Bununla belə, tədqiqatçılar hər açıq öyrənmə xüsusiyyətini avtomatik olaraq müsbət hesab etmirlər. Məsələn, addım-addım istiqamətləndirmənin yeni başlayan istifadəçilərin səhvlərini azalda biləcəyini, lakin həddindən artıq strukturlaşdırılmış dəstək şəraitində müstəqil düşünmənin zəifləməsi riskini yarada biləcəyini müzakirə edirlər. Eyni şəkildə yalnız “səhv etdin” mesajı vermək, səhvin səbəbini izah etmirsə, dərin konseptual öyrənmə üçün kifayət etməyə bilər.

Örtük öyrənmədə müəyyən edilən dörd mexanizm

Fəaliyyət yerinə yetirmə xüsusilə AI təhsili sahəsində önə çıxmışdır. Tələbələrin vizual proqramlaşdırma mühitlərində alqoritmlərlə işləməsi, kod yazmadan maşın öyrənməsi təsnifatını sınaqdan keçirməsi və ya uşaqların danışıq agentinə heyvanlar haqqında məlumat öyrədib sonradan sistemin verdiyi cavabları müşahidə etməsi kimi nümunələr bu qrupa daxil edilmişdir.

Araşdırılan ədəbiyyat zamanla necə dəyişib?

İcmal 2000–2024 dövründə aydın tarixi dəyişiklik müşahidə edir. Erkən dövr işlərinin çoxu proqramlaşdırma, savadlılıq və strukturlaşdırılmış tədris kontekstlərində açıq öyrənmə xüsusiyyətlərinə fokuslanmışdır. 2019–2020-ci illər ətrafında səs əsaslı sistemlər və fəaliyyət yolu ilə öyrənmə nümunələri ilə örtük öyrənmə daha görünən hala gəlmişdir.

2021–2024 dövründə isə LLM və generativ süni intellekt istifadə edən sistemlər görünməyə başlamışdır. Tədqiqatçılar bu dövrdə açıq və örtük öyrənmə arasındakı sərhədlərin daha az kəskinləşdiyini; eyni sistemin həm birbaşa izah və geribildirim, həm də kəşf və təcrübə yolu ilə öyrənməni dəstəkləyə bildiyini qeyd edirlər.

Bununla belə, bu tarixi şərhin mühüm məhdudiyyəti var: sistematik icmalda yalnız dörd LLM/GenAI işi mövcuddur. Buna görə LLM dövründəki öyrənmə mexanizmlərinin yayılması və ya effektivliyi haqqında güclü kəmiyyət nəticəsi çıxarmaq mümkün deyil.

AI təhsil assistentləri hansı formalarda tətbiq olunub?

İş tətbiq yanaşmalarını dörd əsas qrupa ayırır:

1. Danışıq əsaslı AI: çatbot və ya conversational agent kimi istifadəçi ilə təbii dil üzərindən qarşılıqlı əlaqə quran sistemlər.
2. AI sistemləri: interaktiv sistemlər, ağıllı tədris sistemləri, təhsil platformaları və tövsiyə sistemləri.
3. AI assistance: tələbənin və ya dizaynerin tapşırığını asanlaşdıran köməkçi sistemlər.
4. AI alətləri: proqramlaşdırma, dövrə, vizuallaşdırma, AI tədrisi və ya dizayn kimi müəyyən tapşırıqları dəstəkləyən alətlər.

Bilik necə saxlanılır və yenilənir?

Araşdırılan sistemlərin bilik arxitekturaları olduqca heterojendir. Bəziləri sabit və ya dinamik verilənlər bazaları, bəziləri bilik bazaları, ontologiyalar və ya verilənlər dəstlərindən istifadə edir, bir çox erkən dövr işi isə bilik anbarının və ya yenilənmə mexanizminin detallarını bildirməmişdir.

Məsələn, bəzi çatbotlar istifadəçi girişini dialoq meneceri vasitəsilə bilik bazasındakı məzmunla uyğunlaşdırarkən, tövsiyə sistemləri tələbə, ali təhsil və iş məlumatlarını ontologiyalar vasitəsilə təmsil edə bilir. Daha yeni sistemlərdə dinamik istifadəçi qarşılıqlı əlaqələri qeydə alınır və ya LLM əsaslı generasiya strukturlaşdırılmış bilik mənbələri ilə birlikdə istifadə olunur.

Müəlliflərin müəyyən etdiyi tədqiqat boşluqlarından biri məhz budur: çox sayda iş bilik bazasının statik, yoxsa dinamik olduğunu və ya yenilənmə strategiyasının necə işlədiyini kifayət qədər açıqlamır.

Hansı alqoritmlərdən istifadə olunub?

İcmalda vahid dominant alqoritm yoxdur. Araşdırılan sistemlər təbii dil emalı, maşın öyrənməsi, dərin neyron şəbəkələri, qərar ağacları, tövsiyə alqoritmləri, kontekstual bandit üsulları, görüntü tanıma, klasterləşdirmə, bilik qrafları və daha yeni dövrdə LLM/GenAI komponentlərindən istifadə etmişdir.

Nümunələr arasında Dialogflow və Rasa əsaslı danışıq sistemləri, J48 qərar ağacından istifadə edən təhsil platforması, cooperative contextual bandit istifadə edən dizayn köməkçisi, görüntü emalı və dərin öyrənməyə əsaslanan eskiz çevirmə sistemi və GPT/ChatGPT və ya OpenAI API-lərindən istifadə edən 2024-cü il dövrünün təhsil/dizayn sistemləri vardır.

Beləliklə, iş “təhsildə ən yaxşı alqoritm budur” nəticəsinə gəlmir. Eyni öyrənmə mexanizmi bir-birindən xeyli fərqli texniki arxitekturalarla həyata keçirilə bilər.

İstifadəçilər AI ilə ən çox necə qarşılıqlı əlaqə qurur?

Yazılı qarşılıqlı əlaqə açıq şəkildə ən geniş yayılmış modallıqdır. Lakin faiz dəyərləri iş sayının birbaşa faizi deyil; bir araşdırmada birdən çox modallıq ola bildiyinə görə ümumi qarşılıqlı əlaqə hadisələri üzərindən normallaşdırılmışdır.

Mənbənin Cədvəl 6-da sütun “Number of Papers” kimi adlandırılsa da, xanalar %45, %9, %12 və %34 şəklində faizlər verir. Eyni bölmənin izah mətni isə faktiki iş saylarını 25, 5, 7 və 19 olaraq bildirir. Buna görə Verianla cədvəlində hər iki məlumat ayrı sütunlarda saxlanılmışdır.

LLM-lər təhsil assistentlərini necə dəyişir?

İcmala görə LLM və generativ süni intellekt sabit qaydalara və məhdud cavab axınlarına əsaslanan köhnə təhsil sistemlərindən daha çevik, kontekstə həssas və danışığa açıq sistemlərə keçid imkanı verir. Araşdırılan yeni sistemlərdə LLM-lər istifadəçi suallarına dinamik cavab vermək, izah yaratmaq, dizayn tövsiyəsi təqdim etmək və müxtəlif modallıqlar arasında qarşılıqlı əlaqə qurmaq məqsədilə istifadə olunmuşdur.

Müəlliflər bu çevikliyin açıq öyrənmədə fərdiləşdirilmiş izahı, istiqamətləndirilmiş sualı və adaptiv geribildirimi; örtük öyrənmədə isə sınaqdan keçirməklə, sual formasını dəyişməklə və sistem çıxışını müşahidə etməklə öyrənməni dəstəkləyə biləcəyini müdafiə edirlər.

Lakin iş LLM əsaslı təhsil assistentlərinin ənənəvi üsullardan ümumilikdə daha effektiv olduğunu göstərən meta-analiz aparmır. Üstəlik, daxil edilmiş tədqiqatlardan yalnız dördündə LLM/GenAI istifadə edilmişdir. Buna görə LLM bölməsindəki bir çox gələcək istiqamət mövcud icmalın güclü müqayisəli təsir sübutundan daha çox inkişaf etməkdə olan tədqiqat sahəsinə dair sintez və tövsiyədir.

LLM əsaslı təhsildə əsas risk nədir?

Mənbə iş LLM-lərin çevikliyinin yeni qiymətləndirmə problemi yaratdığını vurğulayır. Klassik sistemlərdə dəqiqlik, tapşırığı tamamlama və ya istifadəyə yararlılıq kimi ölçülər yetərli sayıla bildiyi halda, generativ sistemlərdə cavabın faktiki doğruluğu və etibarlılığı ayrıca qiymətləndirilməlidir.

Müəlliflər xüsusilə hallüsinasiya riskinə diqqət çəkirlər. Yanlış AI cavabının tənqidi qiymətləndirmə aparılmadan qəbul edilməsi öyrənənləri çaşdıra bilər; bu risk məxfilik, təhlükəsizlik və səhiyyə kimi yanlış yönləndirmənin ciddi nəticələr yarada biləcəyi sahələrdə daha kritik ola bilər. Buna görə LLM əsaslı təhsil assistentləri üçün qoruyucu mexanizmlər və etibarlı məlumata əsaslanan doğrulama tövsiyə olunur.

İşin dəstəklədiyi nəticələr

• Araşdırılan AI təhsil assistentlərində açıq öyrənmə mexanizmləri örtük öyrənmədən daha tez-tez təmsil olunur.
• Tam çıxarış aparılan 34 işin 27-si açıq, 7-si örtük öyrənmə üstünlüklü kimi təsnif edilmişdir.
• Açıq öyrənmə üçün 11, örtük öyrənmə üçün dörd qarşılıqlı əlaqə mexanizmindən ibarət taksonomiya yaradılmışdır.
• Eyni qarşılıqlı əlaqə xüsusiyyəti funksiyasından asılı olaraq açıq və ya örtük öyrənmədə fərqli rollar ala bilər.
• Yazılı qarşılıqlı əlaqə araşdırılan sistemlərdə ən çox görülən modallıqdır.
• Danışıq əsaslı qarşılıqlı əlaqə araşdırılan ədəbiyyatda nisbətən az təmsil olunur.
• Bilik saxlama və yenilənmə üsulları bir çox işdə natamam bildirilir.
• Qiymətləndirmə yanaşmaları iş dizaynı, nümunə, müddət və ölçülər baxımından olduqca heterojendir.
• LLM/GenAI sistemləri araşdırılan ədəbiyyatın yalnız kiçik hissəsini təşkil etdiyindən yeni nəsil təhsil assistentləri üçün əlavə sistematik tədqiqata ehtiyac vardır.

İşin dəstəkləmədiyi və ya sınaqdan keçirmədiyi nəticələr

• %79 dəyəri AI təhsil assistentlərinin %79 effektiv olması demək deyil.
• Açıq öyrənmənin örtük öyrənmədən pedaqoji baxımdan daha uğurlu olduğu sübut edilməmişdir.
• Yazılı qarşılıqlı əlaqənin səsli və ya vizual qarşılıqlı əlaqədən daha effektiv olduğu göstərilməmişdir; yalnız daha çox istifadə edildiyi müəyyən edilmişdir.
• LLM əsaslı təhsil assistentlərinin qayda əsaslı və ya klassik maşın öyrənməsi sistemlərindən ümumilikdə üstün olduğu sübut edilməmişdir.
• İş ümumi təsir ölçüsü hesablayan meta-analiz deyil.
• 38 işin hamısı eyni keyfiyyət səviyyəsində deyil və formal iş səviyyəli risk-of-bias qiymətləndirməsi aparılmamışdır.
• Qısamüddətli istifadəyə yararlılıq və ya iştirak nəticələri uzunmüddətli öyrənmə qazancı kimi qəbul edilə bilməz.
• Təklif edilən taksonomiyanın bütün mədəniyyətlər, təhsil səviyyələri, dillər və gələcək AI arxitekturaları üçün tam olduğu göstərilməmişdir.

Türkiyə baxımından nə ifadə edir?

Bu sistematik icmal Türkiyəyə məxsus tələbə populyasiyasını və ya türkcə təhsil assistentlərini ayrıca analiz qrupu kimi qiymətləndirmir. Buna görə %79–%21 bölgüsü və ya modallıq faizləri Türkiyədəki məktəblərin, universitetlərin və ya təhsil texnologiyalarının birbaşa profili kimi şərh edilə bilməz.

Bununla belə, iş Türkiyədə hazırlanacaq AI təhsil assistentinin yalnız “hansı model istifadə ediləcək?” sualı ilə dizayn edilməməli olduğuna işarə edən faydalı çərçivə təqdim edir. Sistemin öyrənməni birbaşa, yoxsa dolayı yolla dəstəkləyəcəyi, hansı geribildirim formalarından istifadə edəcəyi, biliklərin necə yenilənəcəyi, yazı–vizual–səs–fəaliyyət modallıqlarının necə birləşdiriləcəyi və öyrənmə nəticəsinin uzunmüddətli şəkildə necə doğrulanacağı ayrıca dizayn qərarlarıdır. Bunlar mənbə işdən çıxarılan dizayn ölçüləridir; Türkiyədə ayrıca yerli empirik doğrulama tələb edir.

İşin Metodu və Nəticələri

Sistematik icmal necə aparılıb?

İş PRISMA 2020 hesabat çərçivəsini və proqram mühəndisliyi ədəbiyyatında istifadə olunan snowballing üsullarını əsas götürmüşdür. İlkin axtarışlar iyun–sentyabr 2022 arasında aparılmış, noyabr 2023-də yenilənmiş və LLM əsaslı təhsil assistentlərindəki inkişafları tutmaq məqsədilə sentyabr–dekabr 2024 arasında əlavə axtarış edilmişdir.

Axtarışlar Google Scholar, ACM Digital Library, IEEE Xplore, MDPI, Springer və Taylor & Francis mənbələrində aparılmışdır. Tədqiqatçılar avtomatik axtarış, manual axtarış və irəli/geri snowballing üsullarını birlikdə istifadə etmişlər.

İlkin skrininqdə cəmi 16.335 qeyd müəyyən edilmişdir:

5685 təkrar qeyd və tarix filtri ilə 2500 qeyd çıxarıldıqdan sonra 8150 qeyd başlıq skrininqinə qalmışdır. Başlıq mərhələsində 8030 qeyd çıxarılmışdır. Qalan 120 qeydə snowballing yolu ilə 11 qeyd əlavə edilərək 131 hesabat tam mətn üçün axtarılmış, bütün hesabatlar əldə edilmişdir. Xülasə və nəticə araşdırılmasından sonra 73 iş çıxarılmış; 58 iş tam mətn uyğunluq qiymətləndirilməsinə daxil edilmiş və onlardan 20-si çıxarıldıqdan sonra 38 iş son icmala daxil edilmişdir.

20 tam mətn niyə çıxarıldı?

38 işin niyə yalnız 34-ü tam analiz edilib?

Tədqiqatçılar daxil edilmiş 38 işin 34-ü üçün nəşr ili, sahə, öyrənmə növü, qarşılıqlı əlaqə mexanizmi, tətbiq yanaşması, bilik təmsili, istifadəçi qrupu, alqoritm, qarşılıqlı əlaqə modallığı, qiymətləndirmə yanaşması, məlumat toplama üsulu, iştirakçı sayı və ölçülər kimi 15 dəyişəni tam çıxarmışlar.

Qalan dörd iş yalnız Bölmə 3-dəki motivasiya nümunəsini dəstəkləmək məqsədilə istifadə edilmiş və tam məlumat çıxarışına daxil edilməmişdir. Buna görə açıq/örtük öyrənmə bölgüsündə istifadə olunan 27 və 7 iş cəminin 34 olması metod bölməsi ilə uyğundur.

Bu fərq xüsusilə xülasədə “38 iş” ifadəsi ilə “%79 / %21” nəticələrinin eyni cümlədə görünməsi səbəbindən vacibdir. Faizlər arifmetik olaraq tam çıxarış aparılan 34 işə əsaslanır:

\[ \frac{27}{34}\times100 \approx 79.4\% \]

\[ \frac{7}{34}\times100 \approx 20.6\% \]

Məqalə bunları yuvarlaqlaşdıraraq %79 və %21 kimi bildirir.

İşlərin nəşr növləri

Mənbənin Şəkil 3-də araşdırılan ədəbiyyatın %50-si jurnal məqaləsi, %43-ü konfrans nəşri və %7-si veb-sayt mənbəsi kimi göstərilir. Nəşr sayının xüsusilə 2019–2020 dövründə nəzərəçarpacaq dərəcədə artdığı; sonradan bir qədər azalsa da erkən dövrlərin üzərində qaldığı qeyd edilir.

Bu bölgü sahənin böyümə meylini göstərir, lakin nəşr sayındakı dəyişiklik öyrənmənin effektivliyinin zamanla artması demək deyil.

Qiymətləndirmə üsulları nə qədər güclüdür?

İcmalda işlərin böyük hissəsinin eksperimental qiymətləndirmə istifadə etdiyi və kəmiyyət ilə keyfiyyət üsullarını birlikdə istifadə edən qarışıq dizaynların geniş yayıldığı görünür. İştirakçı sayları isə çox dəyişkəndir: bəzi tədqiqatlar yalnız 6–16 nəfərlik kiçik istifadəçi işlərinə əsaslanır, başqa bir çatbot işində isə 14.000 istifadəçi qarşılıqlı əlaqəsi bildirilmişdir.

Ölçülən nəticələr də standart deyil. İşlər istifadəyə yararlılıq, tapşırıq müddəti, tələbə özünəinamı, öyrənmə qazancı, problem həll etmə davranışı, iştirak, istifadəçi məmnuniyyəti, AI biliyi, dizayn keyfiyyəti və ya model dəqiqliyi kimi çox fərqli ölçülərdən istifadə etmişdir.

Bu heterogenlik səbəbindən sistematik icmal bütün işləri vahid öyrənmə təsir ölçüsündə birləşdirməmişdir. Müəlliflərin də vurğuladığı kimi, mövcud sübut qəti kəmiyyət effektivlik faizlərindən daha çox ümumi dizayn və tədqiqat meyllərini göstərir.

Formal risk-of-bias qiymətləndirməsi aparılıbmı?

Xeyr. İş formal iş səviyyəli risk-of-bias qiymətləndirməsi aparmadığını açıq şəkildə bildirir. Tədqiqatçılar bunun əvəzinə skrininq və seçim nəticələrinin digər müəlliflər tərəfindən nəzərdən keçirilməsi və başlanğıcda tək bir naşirə bağlı axtarış aparmaq əvəzinə Google Scholar-dan istifadə kimi proses tədbirləri tətbiq etmişlər.

Bu tədbirlər tədqiqat prosesini gücləndirə bilər, lakin iş səviyyəli metodoloji keyfiyyət qiymətləndirməsini əvəz etmir. Buna görə icmala daxil edilən kiçik nümunəli və ya məhdud qiymətləndirməli işlərlə daha güclü dizaynların sübut çəkisi kəmiyyət baxımından ayrılmamışdır.

Skrininq prosesində kim iştirak edib?

Metod bölməsində skrininq və seçim prosesinin birinci müəllif tərəfindən aparıldığı, dördüncü müəllif tərəfindən isə hər mərhələdə nəzərdən keçirilib doğrulandığı qeyd olunur. Riskin azaldılması izahının başqa hissəsində isə iş seçimlərinin ikinci və dördüncü müəlliflərlə birlikdə nəzərdən keçirildiyi və müzakirə edildiyi yazılır. Bu ifadələr mütləq bir-birini istisna etməsə də, mərhələlərdəki müstəqil qiymətləndirici rolunun ətraflı inter-rater əmsalı və ya ikiqat-kor skrininq protokolu ilə bildirilmədiyini göstərir.

Protokol nə vaxt qeydiyyata alınıb?

İcmal protokolunun Open Science Framework-də `8x4ed` qeyd identifikatoru ilə retrospektiv olaraq qeydiyyata alındığı bildirilir. Retrospektiv qeyd icmal üsulu üçün şəffaflıq qeydi təmin edir; lakin tədqiqat başlamazdan əvvəl aparılan prospektiv protokol qeydiyyatı ilə eyni metodoloji qorumanı vermir.

LLM dövrünün sübutu niyə məhduddur?

İşin öz məhdudiyyətlər bölməsində 38 tədqiqatın yalnız dördündə LLM və ya generativ AI istifadə edildiyi açıq şəkildə bildirilir. Buna görə yaradılan açıq/örtük öyrənmə taksonomiyası əsasən LLM-lərin geniş yayılmasından əvvəlki AI təhsil sistemlərini əks etdirir.

Müəlliflər gələcəkdə yalnız LLM əsaslı təhsil texnikalarını araşdıran ayrıca sistematik icmalın müasir AI təhsil assistentlərindəki öyrənmə mexanizmlərini daha təmsilçi şəkildə təsnif edə biləcəyini təklif edirlər.

Gələcək tədqiqatlar üçün dörd əsas boşluq

1. Danışıq əsaslı adaptivlik: Daha açıq dialoq, fərdiləşdirilmiş geribildirim və iterativ qarşılıqlı əlaqə ehtiyacı.
2. Bilik təmsili və arxitektura: Statik bilik bazalarının sərhədlərini aşan, doğrulana bilən və yenilənə bilən bilik arxitekturaları.
3. Heterogen AI yanaşmalarının inteqrasiyası: Maşın öyrənməsi, strukturlaşdırılmış bilik və LLM əsaslı danışıq qatlarını birlikdə istifadə edə bilən hibrid sistemlər.
4. Daha güclü qiymətləndirmə: Tək seanslı istifadəyə yararlılıq testləri əvəzinə uzunmüddətli öyrənmə qazancı, yanlış anlama və etibarlılıq ölçüləri.

Bilik arxitekturası baxımından iş retrieval-augmented generation (RAG) yanaşmasını generativ çıxışların doğrulanmış bilik mənbələrinə əsaslandırılması üçün gələcəkdə qiymətləndirilə biləcək üsullardan biri kimi göstərir. Bu, icmalda müqayisəli şəkildə sübut edilmiş üstün üsul deyil, gələcəyə yönəlmiş arxitektura təklifidir.

Mənbə və Metod Qeydi

Maliyyələşdirmə və dəstək

İş qismən EPSRC PETRAS proqramı tərəfindən `EP/S035362/1` layihə nömrəsi ilə dəstəklənmişdir. Təşəkkür bölməsində həmçinin Najran University tərəfindən verilən təqaüd və dəstək qeyd olunur.

Məlumatların əlçatanlığı

İşdə yaradılan məlumatlar daxil edilmiş tədqiqatlardan çıxarılmış və kodlaşdırılmış məlumatlardır. Daxil edilmiş işlərin siyahısı ilə öyrənmə növü, tətbiq yanaşması və qiymətləndirmə xüsusiyyətləri kimi çıxarılmış dəyişənlərin Supplementary Materials daxilində təqdim edildiyi bildirilir.

Etika və maraqlar toqquşması

Institutional Review Board və məlumatlandırılmış razılıq sahələri mənbədə “tətbiq edilmir” kimi göstərilmişdir. Müəlliflər maraqlar toqquşmasının olmadığını bəyan etmişlər.

Müəllif töhfələri

Konseptuallaşdırma: Fatmah Alqarni və Charith Perera. Metodologiya: Fatmah Alqarni, Charith Perera və Nada Alhirabi. Formal analiz: Fatmah Alqarni. Məlumatların idarəsi: Fatmah Alqarni. İlk qaralama: Fatmah Alqarni. Nəzərdən keçirmə və redaktə: Fatmah Alqarni, Charith Perera və Nada Alhirabi. Review: Omer Rana. Nəzarət: Charith Perera və Omer Rana. Maliyyələşdirmənin əldə edilməsi: Charith Perera.

Mənbədaxili və metodoloji diqqət nöqtələri

• 38 iş son icmala daxil edilsə də, yalnız 34 iş tam məlumat çıxarışına daxil edilmişdir.
• %79 açıq / %21 örtük öyrənmə bölgüsünün faktiki məxrəci 34-dür; bu nisbətlər təhsil effektivliyi deyil.
• Formal iş səviyyəli risk-of-bias qiymətləndirməsi aparılmamışdır.
• İcmal protokolu prospektiv deyil, retrospektiv olaraq qeydiyyata alınmışdır.
• Yalnız ingiliscə işlər daxil edildiyi üçün dil qərəzi ehtimalı vardır.
• Açıq/örtük öyrənmə təsnifatı nəzəri təriflərə əsaslansa da, müəlliflər təsnifatda subyektiv element olduğunu qəbul edirlər.
• Bir iş yalnız bir üstün öyrənmə növünə təyin edilmişdir; bununla belə qarşılıqlı əlaqə xüsusiyyətləri açıq və örtük kateqoriyalar arasında üst-üstə düşə bilər.
• Qarşılıqlı əlaqə faizləri bir-birini istisna edən iş faizləri deyil; ümumi modallıq hadisələri üzərindən normallaşdırılmışdır.
• Cədvəl 6-nın “Number of Papers” sütununda say əvəzinə faizlərin göstərilməsi mənbədə redaksiya xarakterli təqdimat qeyri-müəyyənliyi yaradır.
• İşlərin qiymətləndirmə dizaynları, nümunə ölçüləri, müddətləri və ölçüləri çox heterojendir.
• Bir çox tədqiqat qısamüddətli sınaq və ya tək seanslı workshop istifadə etmişdir; uzunmüddətli öyrənmə təsirinə dair sübut məhduddur.
• 38 işin yalnız dördündə LLM və ya generativ süni intellekt istifadə edildiyindən nəticələr müasir LLM təhsil assistentlərini tam təmsil etmir.
• Meta-analitik təsir ölçüsü hesablanmadığı üçün müxtəlif AI təhsil yanaşmalarının müqayisəli pedaqoji üstünlüyü müəyyən edilməmişdir.

İşin ən möhkəm nəticəsi budur ki, süni intellekt təhsil assistentləri vahid texnoloji kateqoriya deyil və öyrənmə dəstəyini yalnız istifadə olunan AI alqoritminə baxmaqla anlamaq mümkün deyil. İstifadəçinin AI ilə necə qarşılıqlı əlaqə qurduğu, dəstəyin şüurlu tədris, yoxsa təcrübə yolu ilə dolayı öyrənmə verdiyi, biliklərin necə təmsil olunduğu, sistemin necə yeniləndiyi və öyrənmə təsirinin necə qiymətləndirildiyi birlikdə nəzərdən keçirilməlidir.

Bunun əksinə, iş AI təhsil assistentlərinin ümumilikdə ənənəvi tədrisdən üstün olduğunu və ya LLM-lərin təhsildə daha uğurlu olduğunu sübut etmir. Mənbə müəlliflərinin öz qiymətləndirməsi də mövcud ədəbiyyatda daha uzunmüddətli, daha böyük və müxtəlif istifadəçi qruplarına əsaslanan, öyrənmə qazancını birbaşa ölçən və LLM çıxışlarının doğruluğunu yoxlayan daha güclü qiymətləndirmə çərçivələrinə ehtiyac olduğu istiqamətindədir.