MyBotBuddy, orta məktəb səviyyəsində proqramlaşdırma təhsilində mövzudan kənar sorğuları məhdudlaşdıran, tam həll vermək əvəzinə ipucu və izaha üstünlük verən, kurikulumla uyğun və strukturlaşdırılmış dəstək təqdim etməyi hədəfləyən generativ süni intellekt təhsil chatbotudur. Bu kəşfiyyat xarakterli tədqiqat 50 Sinqapur O-Level Computing şagirdinin MyBotBuddy ilə apardığı proqramlaşdırma dialoqlarının quruluşunu araşdırmış və bu quruluşların köməksiz ilkin testlə köməksiz yekun test arasındakı performans dəyişikliyi ilə necə əlaqəli olduğunu qiymətləndirmişdir. Şagird söhbətləri Epistemic Network Analysis (ENA), qayda əsaslı diskurs kodlaşdırması, təsviri sentiment analizi və məhdud keyfiyyət dialoq təhlili ilə analiz edilmişdir.

Şagirdlərin 26-sı yekun testdə daha yüksək bal toplayaraq “öyrənmə qazancı”, 15-i eyni bal toplayaraq “dəyişiklik yoxdur”, 9-u isə daha aşağı bal toplayaraq “öyrənmə itkisi” qrupunda təsnif edilmişdir. Öyrənmə qazancı qrupundakı dialoqlarda həll cəhdi, bilik töhfəsi, geribildirim və geribildirimdən sonra izah istəmə arasındakı əlaqələr daha aydın və təkrarlanan bir quruluş göstərmişdir. Xüsusilə həll cəhdi–bilik töhfəsi əlaqə çəkisi 2,6, həll cəhdi–geribildirim 2,5 və geribildirim–izah istəmə 2,4 kimi bildirilmişdir.

Sentiment qütbü qruplar arasında çox az fərqlənmişdir: öyrənmə qazancı qrupunda 0,05, dəyişiklik olmayan qrupda 0,07 və öyrənmə itkisi qrupunda 0,03. Tədqiqatçılar proqramlaşdırma dialoqlarında istifadə edilən texniki dilin ümumi təyinatlı sentiment analizi alətləri üçün uyğun olmaya biləcəyini vurğulayaraq bu fərqləri yalnız təsviri şəkildə şərh etmişlər.

Tədqiqatın əsas nəticəsi chatbotdan istifadə tezliyindən daha çox şagirdin chatbotla necə qarşılıqlı əlaqə qurmasının öyrənmə performansı qrupları ilə əlaqəli ola biləcəyidir. Lakin tədqiqat səbəb-nəticə əlaqəsini sübut etmir. Qruplar başlanğıc performansına görə düzəldilməmiş, inferensial statistik testlər aparılmamış, tədqiqat bir sessiya və bir proqramlaşdırma konteksti ilə məhdud qalmış, həmçinin ilkin testdə istifadə olunan ISBN-13 tapşırığı chatbot dəstəkli mərhələdə yenidən görülmüşdür. Buna görə nəticələr kəşfiyyat xarakterli və əlaqəli kimi qiymətləndirilməlidir.

Epistemik Şəbəkə Analizi Bu Tədqiqatda Nəyi Göstərdi?

Epistemik Şəbəkə Analizi (Epistemic Network Analysis, ENA) bu tədqiqatda şagird mesajlarında kodlaşdırılan problemin müəyyənləşdirilməsi, izah istəmə, həll cəhdi, geribildirim və bilik töhfəsi kimi diskurs xüsusiyyətlərinin eyni problem həlli prosesində nə dərəcədə birlikdə ortaya çıxdığını şəbəkə əlaqələri kimi ümumiləşdirmək üçün istifadə edilmişdir; əlaqə çəkiləri inferensial statistika deyil, qrup səviyyəsində təsviri birgə-ortayaçıxma gücləridir.

Niyə yalnız mesaj sayı kifayət deyil?

İki şagird chatbotla eyni sayda mesajlaşa bilər, lakin bu mesajlardan fərqli məqsədlərlə istifadə edə bilər. Bir şagird ard-arda hazır həll istəyə bildiyi halda, başqa bir şagird əvvəlcə öz həllini sınaya, geribildirim aldıqdan sonra səhvin səbəbini soruşa və sonra kodunu yenidən düzənləyə bilər. Mesaj sayı bu iki qarşılıqlı əlaqə tərzini bir-birindən ayırmır.

ENA-nın tədqiqatdakı rolu buna görə “neçə mesaj göndərildi?” sualından “hansı növ öyrənmə davranışları eyni dialoq daxilində bir-birinə bağlandı?” sualına keçməkdir.

MyBotBuddy necə bir chatbot kimi hazırlanmışdı?

MyBotBuddy kompüter elmləri və kodlaşdırma sahəsindəki sorğulara yönəlmiş təhsil chatbotudur. Mövzudan kənar istəklər filtrlənir və ya yenidən istiqamətləndirilir; beləliklə qarşılıqlı əlaqənin dərs məqsədləri ilə əlaqəli qalması hədəflənir.

Sistem tam həlli birbaşa verməkdənsə ipucu, izah və mərhələli yönləndirməyə üstünlük verəcək şəkildə qurulmuşdur. Tədqiqatçılar bu yanaşmanın həddən artıq yönləndirməni azaltmasını və şagirdin öz həll prosesində fəal qalmasını hədəfləmişlər.

Tədqiqat zamanı bütün şagirdlər eyni MyBotBuddy konfiqurasiyasından istifadə etmişlər. Fərdə xas çətinlik səviyyəsinin miqyaslanması və ya adaptiv persona aktivləşdirilməmişdir. Buna görə şagirdlər arasındakı dialoq fərqlərinin böyük hissəsi sistemin fərqli şəxslərə avtomatik olaraq fərqli çətinlik verməsindən deyil, şagirdlərin öz suallarından və yardım axtarma davranışlarından qaynaqlanmışdır.

Tədqiqatın üç araşdırma sualı

1. ENA ilə ölçülən şagird–chatbot dialoq quruluşları öyrənmə performansı qrupları arasında necə fərqlənir?
2. Öyrənmə qazancı qrupunu hansı diskurs əlaqələri daha aydın şəkildə xarakterizə edir?
3. Şagird mesajlarının sentiment qütbü öyrənmə qrupları arasında necə dəyişir və bu ölçü dialoq quruluşu ilə müqayisədə nə dərəcədə izahedicidir?

Nəzəri çərçivə

Müəlliflər nəticələri üç təhsil yanaşması əsasında şərh etmişlər: Vygotsky-nin Yaxın İnkişaf Zonası, konstruktivist öyrənmə yanaşması və Koqnitiv Yük Nəzəriyyəsi. Bu nəzəriyyələr birbaşa ölçülən və ya statistik olaraq sınanan dəyişənlər deyil; müşahidə olunan şagird–chatbot qarşılıqlı əlaqə nümunələrini izah etmək üçün istifadə edilən şərhedici çərçivələrdir.

Yaxın İnkişaf Zonası

Yaxın İnkişaf Zonası şagirdin təkbaşına edə bildiyi ilə rəhbərlik köməyi ilə edə biləcəyi arasındakı sahəni ifadə edir. Bu baxışdan təhsil chatbotu şagirdin əvəzinə problemi həll etməkdən daha çox, lazım olan anda məhdud yardım göstərən dəstək mexanizmi kimi düşünülə bilər.

Tədqiqatdakı öyrənmə qazancı qrupunda geribildirim, həll cəhdi və izah istəmə arasındakı güclü əlaqələr bu cür mərhələli dəstək dövrləri ilə uyğun hesab edilmişdir. Lakin tədqiqat şagirdlərin real “Yaxın İnkişaf Zonası” sərhədlərini birbaşa ölçməmişdir.

Konstruktivist öyrənmə

Konstruktivist yanaşmada şagird biliyi passiv şəkildə almaq əvəzinə sınaqdan keçirərək, səhvləri qiymətləndirərək və əvvəlki biliyi ilə yeni biliyi əlaqələndirərək qurur. Proqramlaşdırma kontekstində həll yazmaq, onu işə salmaq, səhv görmək, geribildirim almaq və yenidən cəhd etmək bu prosesə uyğun öyrənmə dövrüdür.

ENA-da həll cəhdi ilə bilik töhfəsinin birlikdə görünməsi şagirdlərin həll yaradarkən öz konseptual biliklərini ifadə etmələri ilə uyğun ola bilər. Lakin diskurs kodlarının birlikdə görünməsi zehni konsept dəyişiminin birbaşa ölçümü deyil.

Koqnitiv Yük Nəzəriyyəsi

Koqnitiv Yük Nəzəriyyəsi işçi yaddaşın məhdud tutumunu nəzərə alır. Yaxşı strukturlaşdırılmış chatbot mürəkkəb səhv mesajını izah etməklə və ya problemi daha kiçik addımlara bölməklə lazımsız koqnitiv yükü azalda bilər. Bunun əksinə, bütün həlli birbaşa vermək şagirdin problemi fəal şəkildə emal etməsini azalda bilər.

Bu tədqiqatda koqnitiv yük birbaşa ölçülməmişdir. Öyrənmə itkisi qrupundakı daha parçalı və ya gec izah istəyən dialoqlar yalnız Koqnitiv Yük Nəzəriyyəsi ilə uyğun ola biləcək nümunələr kimi müzakirə edilmişdir; yüksək koqnitiv yükün ölçüldüyü nəticəsi çıxarıla bilməz.

Diskurs kateqoriyaları necə yaradıldı?

Kodlaşdırma əvvəlcədən müəyyən edilmiş leksik göstəricilərə əsaslanan qayda əsaslı proses idi. Bir mesaj birdən çox kateqoriyaya təyin edilə bilirdi. Müəlliflər bu yanaşmanı şəffaflıq və təkrar istehsal edilə bilmə məqsədilə seçmiş, lakin bunun təsdiqlənmiş təbii dil klassifikatoru olmadığını xüsusi olaraq qeyd etmişlər.

Qayda əsaslı metod eyni qaydalar bütün söhbətlərə tətbiq edildiyi üçün deterministikdir. Buna görə avtomatik kodlaşdırma mərhələsində klassik kodlayıcılararası etibarlılıq hesablaması tətbiq edilməmişdir. Bununla belə metod sinonim və ya dolayı ifadələri qaçıra, praqmatik konteksti yetərincə tuta bilməyə və ya qeyri-müəyyən cümlələri yanlış təsnif edə bilər.

ENA əlaqə çəkisi nə deməkdir?

ENA əlaqə çəkisi iki diskurs kateqoriyasının kodlaşdırılmış söhbət məlumatlarında birlikdə görünmə gücünün ümumiləşdirilmiş göstəricisidir. Bu tədqiqatdakı 2,6 və ya 2,5 kimi rəqəmlər korrelyasiya əmsalı, ehtimal, faiz və ya səbəb-nəticə təsir ölçüsü deyil.

Mənbə heatmap-lərində verilən dəyərlər qrup səviyyəsində orta əlaqə çəkiləridir. Tədqiqat bu dəyərlər üçün inferensial əhəmiyyətlilik testləri aparmamışdır.

Figure 1: Öyrənmə qazancı qrupu

Bu qrup həll cəhdlərini həm bilik töhfəsi, həm də geribildirimlə güclü şəkildə əlaqələndirmiş və geribildirimdən sonra izah istəmə davranışından daha görünən şəkildə istifadə etmişdir. Müəlliflər bu quruluşu geribildirimin həllin inkişaf etdirilməsi prosesinə yenidən daxil edildiyi daha iterativ qarşılıqlı əlaqə ilə uyğun qiymətləndirirlər.

Bununla belə şəbəkə əlaqələri “şagirdin metakoqnisiyası ölçüldü” demək deyil. ENA görünən söhbət quruluşunu ümumiləşdirir; şagirdin zehni vəziyyətini birbaşa ölçmür.

Figure 2: Dəyişiklik olmayan qrup

Bu qrupun həll cəhdi–bilik töhfəsi əlaqəsi öyrənmə qazancı qrupundan belə daha yüksək tək əlaqə dəyərinə malikdir. Buna görə yalnız “ən güclü tək əlaqəyə” baxaraq öyrənmə nəticəsini izah etmək olmaz. Araşdırmanın əsas vurğusu şəbəkənin bütöv quruluşuna və geribildirim ilə izah dövrlərinin necə bağlandığına yönəlmişdir.

Mənbə bu qrupun qarşılıqlı əlaqəsini tapşırığa yönəlmiş, lakin daha az geri dönən və geribildirim üzərindən daha az iterativ quruluş kimi şərh edir.

Figure 3: Öyrənmə itkisi qrupu

Öyrənmə itkisi qrupunda geribildirimlə əlaqəli güclü əlaqələr olsa da, problemin müəyyənləşdirilməsi və izah istəmə ilə oxşar dərəcədə güclü bağlar müşahidə edilməmişdir. Müəlliflər bunun geribildirimin yanlış anlamanı diaqnostika etmək və ya strateji yardım axtarışını başlatmaq əvəzinə mövcud töhfələrə reaksiya və ya təsdiq kimi istifadə edilməsinə işarə edə biləcəyini bildirirlər.

Bu şərh səbəb-nəticə xarakterli deyil. Aşağı yekun test performansı chatbot istifadəsinin zərər verdiyini göstərmir.

Figure 4 nə göstərir?

Figure 4 öyrənmə performansı qruplarındakı orta əlaqə saylarını müqayisə edir. Mənbənin açıqlamasına görə öyrənmə itkisi qrupunun orta əlaqə sayı öyrənmə qazancı və dəyişiklik olmayan qruplardan daha aşağıdır.

Figure 4-dəki dəqiq sütun dəyərləri məqalənin düz mətnində bildirilmədiyi üçün Verianla bu qrafikdən yeni dəqiq rəqəmlər çıxarmır.

Fərdi şəbəkələr niyə vacibdir?

Appendix A-dakı Figure A1–A3 fərdi şagirdlərin ENA şəbəkələrini göstərir. Eyni nəticə qrupunda olan şagirdlərin belə tam eyni şəbəkə quruluşuna malik olmadığı görünür. Buna görə qrup ortalamaları tək bir “şagird tipi” və ya dəyişməz davranış profili kimi şərh edilməməlidir.

Sentiment analizi niyə ikinci dərəcəli saxlanıldı?

Tədqiqatda sentiment analizi TextBlob versiyası 0.19.0 ilə aparılmışdır. Ümumi təyinatlı sentiment lüğətləri gündəlik təbii dil üçün hazırlanmışdır; proqramlaşdırma söhbətləri isə səhv mesajları, kod terminləri və texniki ifadələr ehtiva edə bilər.

Bu nəticə xüsusilə vacibdir: ən yüksək orta müsbət dil balına malik qrup “dəyişiklik yoxdur” qrupudur. Buna görə şagird mesajlarının daha müsbət görünməsi daha yüksək öyrənmə qazancı demək deyil.

Tədqiqatın Metodu və Nəticələri

Şagird–Chatbot Qarşılıqlı Əlaqə Quruluşu Öyrənmə Qazancı ilə Necə Əlaqəli idi?

Bu məlumat dəstində öyrənmə qazancı göstərən şagirdlər həll cəhdlərini bilik töhfəsi və geribildirimlə birləşdirən, geribildirimdən sonra izah istəməyi əhatə edən daha əlaqəli və iterativ dialoq nümunələri nümayiş etdirmişlər; lakin tədqiqat başlanğıc performansını nəzarətdə saxlamadığı və inferensial test istifadə etmədiyi üçün bu quruluşların öyrənmə qazancına səbəb olduğu nəticəsinə gəlmək olmaz.

Araşdırma dizaynı

Tədqiqat kəşfiyyat xarakterli araşdırma dizaynına malikdir. Məqsəd MyBotBuddy ilə təbii şəkildə baş verən proqramlaşdırma söhbətlərindəki quruluşları müəyyənləşdirmək və bu quruluşları şagirdlərin ilkin test–yekun test dəyişikliyinə görə yaradılmış performans qrupları ilə müqayisə etməkdir.

İştirakçılar

Tədqiqata Sinqapurdakı O-Level Computing proqramından 50 şagird qatılmışdır. İştirak könüllü olmuş və şagird identifikatorları analizdən əvvəl anonimləşdirilmişdir.

Eksperimental tapşırıq ardıcıllığı

1. Şagirdlər xarici yardım olmadan ISBN-13 yoxlama kodlaşdırma ilkin testini tamamladılar.
2. Eyni ISBN-13 proqramlaşdırma problemi MyBotBuddy çıxışı ilə yenidən həll edildi.
3. Şagird–chatbot söhbətlərindəki bütün qarşılıqlı mesajlar qeydə alındı.
4. Chatbot dəstəyi aradan qaldırıldı.
5. Şagirdlər xarici yardım olmadan ISBN-10 yoxlama kodlaşdırma yekun testini tamamladılar.
6. Yekun test–ilkin test bal dəyişikliyindən istifadə edilərək üç öyrənmə performansı qrupu yaradıldı.

Tapşırıq dizaynındakı mümkün qarışdırıcı amillər

İlkin test və chatbot dəstəkli hissədə eyni ISBN-13 problemi istifadə edildiyinə görə şagird eyni tapşırığı ikinci dəfə görmüşdür. Buna görə məşq və ya tapşırığa tanışlıq təsiri chatbot dəstəyinin təsirindən tam ayrılıqda qiymətləndirilə bilməz.

Bundan əlavə yekun test ISBN-10 yoxlamasından istifadə etdiyinə görə ilkin testlə yekun test tam eyni proqramlaşdırma tapşırığı deyil. Bu fərq tapşırıq transferini tələb edir və performans azalması və ya artımının şərhinə əlavə qeyri-müəyyənlik gətirir.

Analiz proqram təminatı

Mətn emalı və əsas analitik proses Python 3.10.7 ilə aparılmışdır. Sentiment analizi üçün TextBlob 0.19.0 istifadə edilmişdir.

Qayda əsaslı diskurs kodlaşdırması

Şagird mesajları əvvəlcədən müəyyən edilmiş leksik göstəricilər əsasında bir və ya daha çox diskurs kateqoriyasına təyin edilmişdir. Bu sistem şəffaf və təkrar tətbiq oluna bilən kodlaşdırma təmin edir; lakin təbii dildə eyni mənanın fərqli formalarda ifadə olunması səbəbindən bəzi mesajlar nəzərdən qaça və ya yanlış kateqoriyaya təyin edilə bilər.

ENA matrisi

Kodlaşdırılmış kateqoriyalar daha sonra birgə-ortayaçıxma əlaqə matrislərinə çevrilmişdir. Əlaqələr şagirdin eyni problem həlli prosesində hansı diskurs xüsusiyyətlərini birlikdə istifadə etdiyini təmsil edir.

Metadata vasitəsilə hər şagirdin öyrənmə qazancı, dəyişiklik yoxdur və ya öyrənmə itkisi qrupuna aid olması barədə məlumat ENA əlaqələri ilə birləşdirilmişdir.

İnferensial test aparıldımı?

Xeyr. Mənbə yekun qrup müqayisələrində inferensial statistik test tətbiq edilmədiyini açıq şəkildə bildirir. Heatmap dəyərləri və qrup müqayisələri təsviridir.

Buna görə əlaqə çəkiləri üçün “statistik cəhətdən əhəmiyyətli dərəcədə daha yüksək” kimi ifadə işlədilməməlidir.

Keyfiyyət diskurs təhlili

ENA və avtomatik kodlaşdırmanı kontekst daxilində yoxlamaq məqsədilə 12 söhbətdən ibarət təbəqələşdirilmiş alt nümunə seçilmişdir: hər öyrənmə qrupundan dörd söhbət.

İki tədqiqatçı bu dialoqlarda reflektiv mühakimə, birbaşa cavab axtarışı, səhvi açıq ifadə etmə və metakoqnitiv özünənəzarət kimi xüsusiyyətləri müstəqil şəkildə kodlaşdırmış, fikir ayrılıqlarını müzakirə etməklə həll etmişdir.

Bu keyfiyyət qatının məqsədi ENA əlaqələrinin real söhbətlərdə necə ortaya çıxdığını qiymətləndirmək və açar söz əsaslı avtomatik kodlaşdırmanın qaçıra biləcəyi nüansları görünən etməkdir.

Öyrənmə qazancı qrupunun əsas nümunəsi

Öyrənmə qazancı qrupunda həll cəhdləri yalnız təklikdə edilməmiş; bilik töhfəsi və chatbot geribildirimi ilə birlikdə daha güclü əlaqələr göstərmişdir. Geribildirimdən sonra izah istəmə əlaqəsinin də güclü olması şagirdlərin geribildirimi yeni sorğulama və ya düzəliş dövrünə çevirdiyini düşündürən bir quruluş yaratmışdır.

Keyfiyyət təhlili də daha yüksək qazanc göstərən şagirdlərin qeyri-müəyyənliklərini daha tez-tez açıq şəkildə ifadə etməsi və chatbot istəklərindən sonra kodlarını yenidən düzənləməsi ilə ümumilikdə uyğun olmuşdur.

Dəyişiklik olmayan qrupun əsas nümunəsi

Bu qrupda bilik töhfəsi və həll cəhdi güclü şəkildə birlikdə görülmüş, lakin geribildirim və izah istəmə vasitəsilə baş verən yenidən qiymətləndirmə dövrü öyrənmə qazancı qrupundakı qədər mərkəzi görünməmişdir.

Buna görə mənbə qrup qarşılıqlı əlaqəsini daha xətti və tapşırığa yönəlmiş quruluş kimi şərh etmişdir. Lakin qrup daxilində fərdi fərqlər olduğuna görə bu təsvir bütün şagirdlərə eyni davranış profili kimi tətbiq edilə bilməz.

Öyrənmə itkisi qrupunun əsas nümunəsi

Bu qrupda da geribildirim və bilik töhfəsi arasında güclü əlaqə tapılmışdır. Buna görə yalnız “geribildirim istifadə olundumu?” sualı qrupları fərqləndirmək üçün kifayət deyil.

Fərq daha çox geribildirimin problemin müəyyənləşdirilməsi, hədəflənmiş izah istəmə və strateji özünü-düzəltmə dövrləri ilə nə dərəcədə inteqrasiya olunduğunda görünür.

Bununla belə daha aşağı yekun test balı chatbotun zərərli olduğunu göstərmir. Başlanğıc bacarığı, orta göstəriciyə qayıdış, tapşırıq transferi, yorğunluq və ya anlayışların qısa müddətdə tam möhkəmlənməməsi kimi alternativ izahlar mövcuddur.

Sentiment nəticələrinin sərhədi

Sentiment analizi qruplar arasında yalnız çox kiçik fərqlər göstərmişdir. Ən yüksək orta polarity “dəyişiklik yoxdur” qrupundadır; öyrənmə qazancı qrupunun polarity dəyəri daha aşağıdır.

Bu nəticə şagirdin texniki dialoqda müsbət sözlər işlətməsinin yüksək öyrənmə qazancını izah edən güclü göstərici olmadığını dəstəkləyir.

Qarşılıqlı əlaqə tezliyi ilə qarşılıqlı əlaqə quruluşu arasındakı fərq

Figure 4 öyrənmə itkisi qrupunda orta əlaqə sayının digər qruplardan daha aşağı olduğunu göstərir. Lakin məqalənin əsas çıxarışı sadəcə daha çox qarşılıqlı əlaqənin daha yaxşı olması deyil.

Öyrənmə qazancı qrupunun fərqləndirici xüsusiyyəti həll cəhdi, bilik, geribildirim və izah axtarışı arasındakı əlaqələrin daha sistemli geribildirim dövrü yaratmasıdır. Mənbə buna görə söhbət miqdarından daha çox qarşılıqlı əlaqənin keyfiyyətinə və quruluşuna diqqət yetirilməsini tövsiyə edir.

Təhsil chatbotları üçün mənbədən çıxarılan dizayn prinsipləri

Bu prinsiplər randomizə edilmiş şəkildə bir-birinə qarşı sınaqdan keçirilmiş chatbot siyasətləri deyil. Onlar mənbədəki ENA nümunələrindən və əlaqəli təhsil ədəbiyyatından çıxarılan ilkin dizayn hipotezləridir.

Təklif olunan çoxturlu dəstək dövrü

Tədqiqatın nəticələri ilə ən uyğun dizayn yanaşması “ipucu → şagird cəhdi → geribildirim → reflektiv sual → yeni şagird cəhdi” kimi çoxturlu dəstək ardıcıllıqlarıdır. Bu cür quruluş chatbotu avtomatik cavab mühərrikindən daha çox interaktiv tədris dəstəyinə yaxınlaşdıra bilər.

Lakin mövcud tədqiqat bu ardıcıllığın başqa chatbot strategiyasından səbəb-nəticə baxımından üstün olduğunu eksperimental şəkildə göstərməmişdir.

Tədqiqatın güclü tərəfləri

• Yalnız mesaj sayını deyil, dialoq quruluşunu araşdırması.
• Real şagird–chatbot söhbət qeydlərini analiz etməsi.
• ENA, sentiment analizi və keyfiyyət dialoq təhlilini birlikdə istifadə etməsi.
• Bütün şagirdlərdə eyni chatbot konfiqurasiyasından istifadə edərək sistemdən qaynaqlanan fərdiləşdirmə fərqini azaltması.
• Qayda əsaslı kodlaşdırma sisteminin şəffaf və təkrar tətbiq edilə bilən olması.
• Nəzəri izahlarla birbaşa ölçülmüş davranışları bir-birindən ayırmağa çalışması.
• Mənfi və ya aşağı performansı birbaşa chatbot zərəri ilə əlaqələndirməməsi.

Tədqiqatın məhdudiyyətləri

• Ümumi nümunə 50 şagirddən ibarətdir.
• Yalnız bir proqramlaşdırma konteksti və bir chatbot dəstəkli tapşırıq ardıcıllığı araşdırılmışdır.
• Tədqiqat yalnız bir sessiyalı qarşılıqlı əlaqələri əhatə edir; davranışların zamanla inkişafı məlum deyil.
• Öyrənmə qrupları başlanğıc balına görə düzəldilməmişdir.
• İlkin testdəki ISBN-13 tapşırığı chatbot mərhələsində təkrarlanmışdır; məşq və tapşırığa tanışlıq təsiri mümkündür.
• İlkin test ISBN-13, yekun test ISBN-10 olduğu üçün tapşırıq transferi təsiri nəticələrə təsir göstərə bilər.
• Qayda əsaslı açar söz kodlaşdırması sinonim ifadələri və ya praqmatik nüansları qaçıra bilər.
• TextBlob ümumi təyinatlı sentiment alətidir və texniki proqramlaşdırma söhbətlərinə tam uyğun olmaya bilər.
• ENA qrup müqayisələri üçün inferensial statistik testlər aparılmamışdır.
• Koqnitiv yük, özünütənzimləmə və ya metakoqnisiya birbaşa psixometrik şəkildə ölçülməmişdir.

Tədqiqatın dəstəklədiyi nəticələr

• Bu məlumat dəstində şagird–chatbot dialoq quruluşları öyrənmə performansı qrupları arasında fərqli nümunələr göstərmişdir.
• Öyrənmə qazancı qrupunda həll cəhdi, bilik töhfəsi, geribildirim və izah istəmə əlaqələri daha inteqrə olunmuş görünür.
• Öyrənmə itkisi qrupunun orta əlaqə sayı Figure 4-də digər qruplardan daha aşağı görünür.
• Sentiment polarity dəyərləri qruplar arasında yalnız kiçik fərqlər göstərmişdir.
• Dialoq quruluşu bu məlumat dəstində sentiment qütbündən və yalnız qarşılıqlı əlaqə tezliyindən daha izaholunan təsviri xüsusiyyət kimi görünür.
• Çoxturlu yönləndirmə və reflektiv suallar təhsil chatbotları üçün araşdırılmağa dəyər dizayn hipotezləridir.

Tədqiqatın dəstəkləmədiyi nəticələr

• MyBotBuddy-nin şagirdlərin proqramlaşdırma uğurunu səbəb-nəticə yolu ilə artırdığı sübut edilməmişdir.
• Öyrənmə itkisi qrupundakı performans azalmasının chatbot tərəfindən yaradıldığı göstərilməmişdir.
• Daha çox mesajlaşmanın təkbaşına daha yüksək öyrənmə qazancı verdiyi göstərilməmişdir.
• ENA əlaqələri şagirdlərin real koqnitiv yükünü və ya metakoqnisiyasını birbaşa ölçmür.
• 0,07-lik daha yüksək sentiment polarity daha yaxşı öyrənmə demək deyil.
• Tədqiqat nəticələri bütün şagirdlərə, bütün proqramlaşdırma tapşırıqlarına və ya bütün təhsil chatbotlarına ümumiləşdirilə bilməz.
• Təklif olunan chatbot dizayn strategiyaları randomizə nəzarətli şəkildə müqayisə edilməmişdir.

Gələcək tədqiqatlar

Müəlliflər uzunmüddətli məlumat toplanmasını, daha etibarlı diskurs kodlaşdırma sistemlərinin istifadəsini, başlanğıc performansının nəzarətdə saxlandığı analizləri və özünütənzimləmə ilə koqnitiv yük kimi konstruksiyaları birbaşa ölçən tədqiqatların aparılmasını tövsiyə edirlər.

Bundan əlavə çoxturlu scaffolding, reflektiv istəklər və mərhələli yardımın azaldılması kimi chatbot strategiyalarının birbaşa eksperimental dizaynlarla sınanması mövcud kəşfiyyat xarakterli əlaqələrin səbəb-nəticə hipotezlərinə çevrilə bilməsi baxımından vacibdir.

Etika

Tədqiqat Helsinki Bəyannaməsinə uyğun aparılmış və Nanyang Technological University Institutional Review Board tərəfindən IRB-2023-392 nömrəsi ilə 16 iyun 2023 tarixində təsdiqlənmişdir. Bütün iştirakçılardan məlumatlandırılmış razılıq alınmışdır. Şagird məlumatları analizdən əvvəl anonimləşdirilmişdir.

Mənbə və Metod Qeydi

Özgün tədqiqat: Decoding Student–Chatbot Dialogues: How Interaction Structure Is Associated with Learning Gains in AI-Assisted Programming.

Müəlliflər: Ean Teng Khor; Arunaksh Kapoor.

Məsul müəllif: Ean Teng Khor.

Qurum 1: National Institute of Education, Nanyang Technological University, Singapore.

Qurum 2: College of Computing and Data Science, Nanyang Technological University, Singapore.

Jurnal: AI in Education.

Nəşriyyat: MDPI, Basel, Switzerland.

Cild / nömrə / məqalə: 2(2), 15.

DOI: 10.3390/aieduc2020015.

Məqalə növü: Article; kəşfiyyat xarakterli, əlaqəli təhsil araşdırması və şagird–chatbot dialoq təhlili.

Tarixlər: Daxil olma 10 fevral 2026; düzəliş 19 mart 2026; qəbul 20 mart 2026; nəşr 09 may 2026.

Lisenziya: Creative Commons Attribution (CC BY).

İştirakçılar: 50 Singapore O-Level Computing şagirdi.

Əsas təhsil aləti: MyBotBuddy; proqramlaşdırma təhsilinə yönəlmiş, mövzu sahəsi məhdudlaşdırılmış, scaffold-driven təhsil GenAI chatbotu.

Test ardıcıllığı: Köməksiz ISBN-13 ilkin testi → MyBotBuddy dəstəkli ISBN-13 proqramlaşdırma tapşırığı → köməksiz ISBN-10 yekun testi.

Əsas analiz: Qayda əsaslı diskurs kodlaşdırması, Epistemic Network Analysis, təsviri TextBlob sentiment analizi və 12 transkriptlik təbəqələşdirilmiş keyfiyyət təhlili.

Proqram təminatı: Python 3.10.7; TextBlob 0.19.0.

Statistik sərhəd: Yekun qrup müqayisələrində inferensial statistik test tətbiq edilməmiş; müqayisələr təsviridir.

Etika: Nanyang Technological University Institutional Review Board, IRB-2023-392; 16 iyun 2023.

Razılıq: Bütün iştirakçılardan məlumatlandırılmış razılıq alınmışdır.

Məlumatların əlçatanlığı: Şagird məlumatları məxfilik və etik məhdudiyyətlər səbəbindən ictimaiyyətə açıq deyil.

Maliyyələşdirmə: Singapore Ministry of Education Academic Research Fund, RG89/22.

Maraq toqquşması: Müəlliflər maraq toqquşmasının olmadığını bəyan etmişlər.

Müəllif töhfələri: Konseptuallaşdırma və metodologiya Ean Teng Khor; doğrulama və formal analiz Ean Teng Khor ilə Arunaksh Kapoor; resurslar, nəzarət, layihə idarəetməsi və maliyyə əldə edilməsi Ean Teng Khor; ilkin layihə və nəzərdən keçirmə-redaktə hər iki müəllif tərəfindən həyata keçirilmişdir.

Əsas metodoloji məhdudiyyətlər: Kiçik və tək kontekstli nümunə, bir sessiya, başlanğıc balına görə düzəlişin aparılmaması, ilkin test tapşırığının chatbot mərhələsində təkrarlanması, ISBN-13 ilə ISBN-10 arasındakı tapşırıq transferi, qayda əsaslı diskurs kodlaşdırmasının məhdudiyyətləri və ümumi təyinatlı sentiment alətinin texniki proqramlaşdırma dialoqlarına tam uyğun olmamasıdır.

Nəzəri çərçivə qeydi: Yaxın İnkişaf Zonası, konstruktivist öyrənmə və Koqnitiv Yük Nəzəriyyəsi birbaşa sınanmış modellər deyil. Onlar tədqiqatda müşahidə olunan diskurs şəbəkələrini şərh etmək üçün istifadə edilən nəzəri linzalardır.

Figure 1–3 qeydi: Heatmap dəyərləri qrup səviyyəsində orta ENA əlaqə çəkiləridir; p-dəyəri, korrelyasiya əmsalı və ya səbəb-nəticə təsir ölçüsü deyil.

Figure 4 qeydi: Mənbənin figure caption-u öyrənmə itkisi qrupunun orta əlaqə sayının digər iki qrupdan aşağı olduğunu bildirir. Düz mətndə dəqiq qrup dəyərləri verilmədiyi üçün Verianla bu qrafikdən yeni rəqəmsal dəyər çıxarmır.

Appendix A qeydi: Fərdi ENA şəbəkələri eyni öyrənmə qrupu daxilindəki şagirdlərin də fərqli əlaqə quruluşlarına malik ola bildiyini göstərir; qrup ortalamaları dəyişməz şagird profilləri kimi şərh edilməməlidir.

Verianla yenidən anlatım qeydi: Bu mətn özgün nəşrin tam tərcüməsi və ya paraqraf səviyyəsində yenidən yazılması deyil. Mənbənin araşdırma problemi, nümunəsi, test ardıcıllığı, chatbot xüsusiyyətləri, diskurs kodlaşdırma sistemi, ENA nəticələri, sentiment analizi, keyfiyyət təhlili, təhsil şərhləri və metodoloji məhdudiyyətləri qorunaraq müstəqil və öyrədici Azərbaycan dilində elmi nüvə yaradılmışdır. Mənbə dialoq nümunələri və fiqur dizaynları eynilə yenidən yayımlanmamışdır.