MyBotBuddy, lise düzeyindeki programlama eğitiminde konu dışı sorguları sınırlayan, tam çözüm vermek yerine ipucu ve açıklamaya öncelik veren, müfredatla uyumlu ve yapılandırılmış destek sağlamayı amaçlayan bir üretken yapay zekâ eğitim chatbotudur. Bu keşifsel araştırma, 50 Singapur O-Level Computing öğrencisinin MyBotBuddy ile gerçekleştirdiği programlama diyaloglarının yapısını incelemiş ve bu yapıların yardımsız ön test ile yardımsız son test arasındaki performans değişimiyle nasıl ilişkili olduğunu değerlendirmiştir. Öğrenci konuşmaları Epistemic Network Analysis (ENA), kural tabanlı söylem kodlama, betimsel duygu analizi ve sınırlı bir nitel diyalog incelemesiyle analiz edilmiştir.

Öğrencilerin 26'sı son testte daha yüksek puan alarak “öğrenme kazanımı”, 15'i aynı puanı alarak “değişim yok”, 9'u daha düşük puan alarak “öğrenme kaybı” grubunda sınıflandırılmıştır. Öğrenme kazanımı grubundaki diyaloglarda çözüm denemesi, bilgi katkısı, geri bildirim ve geri bildirim sonrasında açıklama isteme arasındaki bağlantılar daha belirgin ve yinelemeli bir yapı göstermiştir. Özellikle çözüm denemesi–bilgi katkısı bağlantı ağırlığı 2,6, çözüm denemesi–geri bildirim 2,5 ve geri bildirim–açıklama isteme 2,4 olarak raporlanmıştır.

Duygu kutbu gruplar arasında çok az farklılık göstermiştir: öğrenme kazanımı grubunda 0,05, değişim olmayan grupta 0,07 ve öğrenme kaybı grubunda 0,03. Araştırmacılar programlama diyaloglarında kullanılan teknik dilin genel amaçlı duygu analiz araçları için uygun olmayabileceğini vurgulayarak bu farkları yalnız betimsel biçimde yorumlamıştır.

Çalışmanın temel sonucu, chatbot kullanım sıklığından çok öğrencinin chatbotla nasıl bir etkileşim kurduğunun öğrenme performansı gruplarıyla ilişkili olabileceğidir. Ancak çalışma nedensellik kanıtlamaz. Gruplar başlangıç performansına göre düzeltilmemiş, çıkarımsal istatistik testleri yapılmamış, çalışma tek bir oturum ve tek bir programlama bağlamıyla sınırlı kalmış, ayrıca ön testte kullanılan ISBN-13 görevi chatbot destekli aşamada yeniden görülmüştür. Bu nedenle sonuçlar keşifsel ve ilişkisel olarak değerlendirilmelidir.

Epistemik Ağ Analizi Bu Çalışmada Neyi Gösterdi?

Epistemik Ağ Analizi (Epistemic Network Analysis, ENA), bu çalışmada öğrenci mesajlarında kodlanan problem tanımlama, açıklama isteme, çözüm denemesi, geri bildirim ve bilgi katkısı gibi söylem özelliklerinin aynı problem çözme sürecinde ne ölçüde birlikte ortaya çıktığını ağ bağlantıları olarak özetlemek için kullanılmıştır; bağlantı ağırlıkları çıkarımsal istatistik değil, grup düzeyindeki betimsel eş-oluşum güçleridir.

Neden yalnız mesaj sayısı yeterli değildir?

İki öğrenci chatbotla aynı sayıda mesajlaşabilir ancak bu mesajları farklı amaçlarla kullanabilir. Bir öğrenci art arda hazır çözüm isteyebilirken başka bir öğrenci önce kendi çözümünü deneyebilir, geri bildirim aldıktan sonra hatanın nedenini sorabilir ve daha sonra kodunu yeniden düzenleyebilir. Mesaj sayısı bu iki etkileşim tarzını birbirinden ayırmaz.

ENA'nın çalışmadaki rolü, bu nedenle “kaç mesaj gönderildi?” sorusundan “hangi tür öğrenme davranışları aynı diyalog içinde birbirine bağlandı?” sorusuna geçmektir.

MyBotBuddy nasıl bir chatbot olarak tasarlandı?

MyBotBuddy, bilgisayar bilimi ve kodlama alanındaki sorgulara odaklanan bir eğitim chatbotudur. Konu dışı istemler filtrelenmekte veya yeniden yönlendirilmekte, böylece etkileşimin ders hedefleriyle ilişkili kalması amaçlanmaktadır.

Sistem tam çözümü doğrudan vermekten çok ipucu, açıklama ve kademeli yönlendirmeye öncelik verecek biçimde yapılandırılmıştır. Araştırmacılar bu yaklaşımın aşırı yönlendirmeyi azaltmasını ve öğrencinin kendi çözüm sürecinde etkin kalmasını hedeflemiştir.

Çalışma sırasında bütün öğrenciler aynı MyBotBuddy konfigürasyonunu kullanmıştır. Kişiye özgü zorluk düzeyi ölçeklemesi veya adaptif persona etkinleştirilmemiştir. Bu nedenle öğrenciler arasındaki diyalog farklılıklarının büyük bölümü sistemin farklı kişilere otomatik olarak farklı zorluk vermesinden değil, öğrencilerin kendi soruları ve yardım arama davranışlarından kaynaklanmıştır.

Çalışmanın üç araştırma sorusu

1. ENA ile ölçülen öğrenci–chatbot diyalog yapıları öğrenme performansı grupları arasında nasıl farklılaşmaktadır?
2. Öğrenme kazanımı grubunu hangi söylem bağlantıları daha belirgin biçimde karakterize etmektedir?
3. Öğrenci mesajlarının duygu kutbu öğrenme grupları arasında nasıl değişmektedir ve bu ölçüm diyalog yapısına kıyasla ne kadar açıklayıcıdır?

Teorik çerçeve

Yazarlar bulguları üç eğitim yaklaşımı üzerinden yorumlamıştır: Vygotsky'nin Yakınsal Gelişim Alanı, yapılandırmacı öğrenme yaklaşımı ve Bilişsel Yük Kuramı. Bu teoriler doğrudan ölçülen veya istatistiksel olarak sınanan değişkenler değildir; gözlenen öğrenci–chatbot etkileşim örüntülerini açıklamak için kullanılan yorumlayıcı çerçevelerdir.

Yakınsal Gelişim Alanı

Yakınsal Gelişim Alanı, öğrencinin tek başına yapabildiğiyle rehberlik yardımıyla yapabileceği arasındaki alanı ifade eder. Eğitim chatbotu bu bakış açısından öğrencinin yerine problemi çözmekten çok, gerektiği anda sınırlı yardım sağlayan bir destek mekanizması olarak düşünülebilir.

Çalışmadaki öğrenme kazanımı grubunda geri bildirim, çözüm denemesi ve açıklama isteme arasındaki güçlü bağlantılar bu tür kademeli destek döngüleriyle uyumlu bulunmuştur. Ancak araştırma öğrencilerin gerçek “Yakınsal Gelişim Alanı” sınırlarını doğrudan ölçmemiştir.

Yapılandırmacı öğrenme

Yapılandırmacı yaklaşımda öğrenci bilgiyi pasif biçimde almak yerine deneyerek, yanlışları değerlendirerek ve önceki bilgisiyle yeni bilgiyi ilişkilendirerek oluşturur. Programlama bağlamında çözüm yazmak, çalıştırmak, hata görmek, geri bildirim almak ve yeniden denemek bu sürece uygun bir öğrenme döngüsüdür.

ENA'da çözüm denemesi ile bilgi katkısının birlikte görülmesi, öğrencilerin çözüm üretirken kendi kavramsal bilgilerini ifade etmeleriyle uyumlu olabilir. Ancak söylem kodlarının birlikte görülmesi, zihinsel kavram değişiminin doğrudan ölçümü değildir.

Bilişsel Yük Kuramı

Bilişsel Yük Kuramı çalışma belleğinin sınırlı kapasitesini dikkate alır. İyi yapılandırılmış bir chatbot, karmaşık hata mesajını açıklayarak veya problemi daha küçük adımlara ayırarak gereksiz bilişsel yükü azaltabilir. Buna karşılık doğrudan bütün çözümü vermek, öğrencinin problemi aktif biçimde işlemesini azaltabilir.

Bu çalışmada bilişsel yük doğrudan ölçülmemiştir. Öğrenme kaybı grubundaki daha parçalı veya geç açıklama isteyen diyaloglar yalnız Bilişsel Yük Kuramıyla uyumlu olabilecek örüntüler olarak tartışılmıştır; yüksek bilişsel yükün ölçüldüğü sonucu çıkarılamaz.

Söylem kategorileri nasıl oluşturuldu?

Kodlama önceden belirlenmiş sözcüksel göstergelere dayanan kural tabanlı bir işlemdi. Bir mesaj birden fazla kategoriye atanabiliyordu. Yazarlar bu yaklaşımı şeffaflık ve yeniden üretilebilirlik amacıyla seçmiş, ancak bunun geçerlenmiş bir doğal dil sınıflandırıcısı olmadığını özellikle belirtmiştir.

Kural tabanlı yöntem, aynı kurallar bütün konuşmalara uygulandığı için deterministiktir. Bu nedenle otomatik kodlama aşamasında klasik kodlayıcılar arası güvenilirlik hesabı uygulanmamıştır. Bununla birlikte yöntem, eş anlamlı veya dolaylı ifadeleri kaçırabilir, pragmatik bağlamı yeterince yakalayamayabilir veya belirsiz cümleleri yanlış sınıflandırabilir.

ENA bağlantı ağırlığı ne anlama gelir?

ENA bağlantı ağırlığı, iki söylem kategorisinin kodlanmış konuşma verilerinde birlikte görülme gücünün toplulaştırılmış bir göstergesidir. Bu çalışmadaki 2,6 veya 2,5 gibi sayılar korelasyon katsayısı, olasılık, yüzde veya nedensel etki büyüklüğü değildir.

Kaynak heatmap'lerinde verilen değerler grup düzeyindeki ortalama bağlantı ağırlıklarıdır. Çalışma bu değerler için çıkarımsal anlamlılık testleri gerçekleştirmemiştir.

Figure 1: Öğrenme kazanımı grubu

Bu grup, çözüm denemelerini hem bilgi katkısıyla hem geri bildirimle güçlü biçimde bağlamış ve geri bildirimin ardından açıklama isteme davranışını daha görünür biçimde kullanmıştır. Yazarlar bu yapıyı geri bildirimin çözüm geliştirme sürecine yeniden sokulduğu daha yinelemeli bir etkileşimle uyumlu değerlendirmektedir.

Bununla birlikte ağ bağlantıları “öğrencinin üstbilişi ölçüldü” anlamına gelmez. ENA, görünen konuşma yapısını özetler; öğrencinin zihinsel durumunu doğrudan ölçmez.

Figure 2: Değişim olmayan grup

Bu grubun çözüm denemesi–bilgi katkısı bağlantısı, öğrenme kazanımı grubundan bile daha yüksek bir tekil bağlantı değerine sahiptir. Dolayısıyla yalnız “en güçlü tek bağlantıya” bakarak öğrenme sonucu açıklanamaz. Araştırmanın asıl vurgusu ağın bütün yapısı ve geri bildirim ile açıklama döngülerinin nasıl bağlandığı üzerindedir.

Kaynak, bu grubun etkileşimini göreve odaklı fakat daha az geri dönüşlü ve geri bildirim üzerinden daha az yinelemeli bir yapı olarak yorumlamaktadır.

Figure 3: Öğrenme kaybı grubu

Öğrenme kaybı grubunda geri bildirimle ilişkili güçlü bağlantılar bulunmasına rağmen problem tanımlama ve açıklama isteme ile benzer derecede güçlü bağlar görülmemiştir. Yazarlar bunun geri bildirimin yanlış anlamayı teşhis etmek veya stratejik yardım aramayı başlatmak yerine mevcut katkılara verilen tepki veya doğrulama biçiminde kullanılmasına işaret edebileceğini belirtmektedir.

Bu yorum nedensel değildir. Düşük son test performansı chatbot kullanımının zarar verdiğini göstermez.

Figure 4 ne gösteriyor?

Figure 4, öğrenme kazanımı gruplarındaki ortalama bağlantı sayılarını karşılaştırmaktadır. Kaynak açıklamasına göre öğrenme kaybı grubunun ortalama bağlantı sayısı öğrenme kazanımı ve değişim olmayan gruplardan daha düşüktür.

Figure 4'teki kesin sütun değerleri makalenin düz metninde raporlanmadığından Verianla bu grafikten yeni kesin sayılar türetmemektedir.

Bireysel ağlar neden önemli?

Appendix A'daki Figure A1–A3, bireysel öğrencilerin ENA ağlarını göstermektedir. Aynı sonuç grubunda bulunan öğrencilerin bile birebir aynı ağ yapısına sahip olmadığı görülmektedir. Grup ortalamaları bu nedenle tek bir “öğrenci tipi” veya değişmez davranış profili gibi yorumlanmamalıdır.

Duygu analizi neden ikincil tutuldu?

Çalışmada duygu analizi TextBlob sürüm 0.19.0 ile yapılmıştır. Genel amaçlı duygu sözlükleri günlük doğal dil için geliştirilmiştir; programlama konuşmaları ise hata mesajları, kod terimleri ve teknik ifadeler içerebilir.

Bu sonuç özellikle önemlidir: en yüksek ortalama olumlu dil skoruna sahip grup “değişim yok” grubudur. Bu nedenle öğrencinin mesajlarının daha olumlu görünmesi, daha yüksek öğrenme kazanımı anlamına gelmemektedir.

Çalışmanın Yöntemi ve Bulguları

Öğrenci–Chatbot Etkileşim Yapısı Öğrenme Kazanımıyla Nasıl İlişkiliydi?

Bu veri setinde öğrenme kazanımı gösteren öğrenciler, çözüm denemelerini bilgi katkısı ve geri bildirimle bağlayan, geri bildirimin ardından açıklama istemeyi içeren daha bağlantılı ve yinelemeli diyalog örüntüleri sergilemiştir; ancak çalışma başlangıç performansını kontrol etmediği ve çıkarımsal test kullanmadığı için bu yapıların öğrenme kazanımına neden olduğu sonucuna varılamaz.

Araştırma tasarımı

Çalışma keşifsel bir araştırma tasarımına sahiptir. Amaç MyBotBuddy ile doğal biçimde gerçekleşen programlama konuşmalarındaki yapıları belirlemek ve bu yapıları öğrencilerin ön test–son test değişimine göre oluşturulan performans gruplarıyla karşılaştırmaktır.

Katılımcılar

Araştırmaya Singapur'daki O-Level Computing programından 50 öğrenci katılmıştır. Katılım gönüllüydü ve öğrenci kimlikleri analiz öncesinde anonimleştirilmiştir.

Deneysel görev sırası

1. Öğrenciler dış yardım olmadan ISBN-13 doğrulama kodlama ön testini tamamladı.
2. Aynı ISBN-13 programlama problemi MyBotBuddy erişimiyle yeniden çözüldü.
3. Öğrenci–chatbot konuşmalarının bütün karşılıklı mesajları kaydedildi.
4. Chatbot desteği kaldırıldı.
5. Öğrenciler dış yardım olmadan ISBN-10 doğrulama kodlama son testini tamamladı.
6. Son test–ön test puan değişimi kullanılarak üç öğrenme performansı grubu oluşturuldu.

Görev tasarımındaki olası karıştırıcılar

Ön test ile chatbot destekli bölümde aynı ISBN-13 problemi kullanıldığı için öğrenci aynı görevi ikinci kez görmüştür. Dolayısıyla pratik veya göreve aşinalık etkisi chatbot desteğinin etkisinden tamamen ayrılamaz.

Ayrıca son test ISBN-10 doğrulamasını kullandığından ön test ile son test birebir aynı programlama görevi değildir. Bu farklılık görev transferi gerektirir ve performans düşüşü ya da artışının yorumuna ek belirsizlik getirir.

Analiz yazılımı

Metin işleme ve ana analitik süreç Python 3.10.7 ile yürütülmüştür. Duygu analizi için TextBlob 0.19.0 kullanılmıştır.

Kural tabanlı söylem kodlama

Öğrenci mesajları önceden tanımlanmış sözcüksel göstergeler üzerinden bir veya daha fazla söylem kategorisine atanmıştır. Bu sistem şeffaf ve tekrar uygulanabilir bir kodlama sağlar; ancak doğal dilde aynı anlamın farklı biçimlerde ifade edilmesi nedeniyle bazı mesajlar kaçırılabilir veya yanlış kategoriye atanabilir.

ENA matrisi

Kodlanan kategoriler daha sonra eş-oluşum bağlantı matrislerine dönüştürülmüştür. Bağlantılar öğrencinin hangi söylem özelliklerini aynı problem çözme sürecinde birlikte kullandığını temsil eder.

Metadata üzerinden her öğrencinin öğrenme kazanımı, değişim yok veya öğrenme kaybı grubuna ait olduğu bilgisi ENA bağlantılarıyla birleştirilmiştir.

Çıkarımsal test yapıldı mı?

Hayır. Kaynak, nihai grup karşılaştırmalarında çıkarımsal istatistiksel test uygulanmadığını açıkça belirtmektedir. Heatmap değerleri ve grup karşılaştırmaları betimseldir.

Bu nedenle bağlantı ağırlıkları için “istatistiksel olarak anlamlı biçimde daha yüksek” gibi bir ifade kullanılmamalıdır.

Nitel söylem analizi

ENA ve otomatik kodlamayı bağlam içinde kontrol etmek amacıyla 12 konuşmadan oluşan tabakalı bir alt örneklem seçilmiştir: her öğrenme grubundan dört konuşma.

İki araştırmacı bu diyaloglarda yansıtıcı muhakeme, doğrudan cevap arama, hatayı açıkça ifade etme ve üstbilişsel öz-izleme gibi özellikleri bağımsız biçimde kodlamış; anlaşmazlıkları tartışarak çözmüştür.

Bu nitel katmanın amacı ENA bağlantılarının gerçek konuşmalarda nasıl ortaya çıktığını değerlendirmek ve anahtar sözcük tabanlı otomatik kodlamanın kaçırabileceği nüansları görünür kılmaktır.

Öğrenme kazanımı grubunun temel örüntüsü

Öğrenme kazanımı grubunda çözüm denemeleri yalnız tek başına yapılmamış; bilgi katkısı ve chatbot geri bildirimiyle birlikte daha güçlü bağlar göstermiştir. Geri bildirimden sonra açıklama isteme bağlantısının da güçlü olması, öğrencilerin geri bildirimi yeni bir sorgulama veya düzeltme döngüsüne dönüştürdüğünü düşündüren bir yapı oluşturmuştur.

Nitel inceleme de daha yüksek kazanım gösteren öğrencilerin belirsizliklerini daha sık açık biçimde ifade etmesi ve chatbot istemlerinden sonra kodlarını yeniden düzenlemesiyle genel olarak uyumlu bulunmuştur.

Değişim olmayan grubun temel örüntüsü

Bu grupta bilgi katkısı ve çözüm denemesi güçlü biçimde birlikte görülmüş, ancak geri bildirim ile açıklama isteme üzerinden gerçekleşen yeniden değerlendirme döngüsü öğrenme kazanımı grubundaki kadar merkezi görünmemiştir.

Bu nedenle kaynak grup etkileşimini daha doğrusal ve göreve odaklı bir yapı olarak yorumlamıştır. Fakat grup içinde bireysel farklılıkların bulunması nedeniyle bu tanım bütün öğrencilere aynı davranış profili olarak uygulanamaz.

Öğrenme kaybı grubunun temel örüntüsü

Bu grupta da geri bildirim ve bilgi katkısı arasında güçlü bir ilişki bulunmuştur. Dolayısıyla yalnız “geri bildirim kullanıldı mı?” sorusu grupları ayırmak için yeterli değildir.

Fark daha çok geri bildirimin problem tanımlama, hedefli açıklama isteme ve stratejik öz-düzeltme döngüleriyle ne ölçüde bütünleştiğinde görünmektedir.

Yine de daha düşük son test puanı chatbotun zararlı olduğunu göstermez. Başlangıç yetkinliği, ortalamaya dönüş, görev transferi, yorgunluk veya kavramların kısa süre içinde tam pekişmemiş olması gibi alternatif açıklamalar bulunmaktadır.

Sentiment sonuçlarının sınırı

Duygu analizi gruplar arasında yalnız çok küçük farklar göstermiştir. En yüksek ortalama polarity “değişim yok” grubundadır; öğrenme kazanımı grubunun polarity değeri daha düşüktür.

Bu sonuç, öğrencinin teknik diyalogda olumlu kelimeler kullanmasının yüksek öğrenme kazanımını açıklayan güçlü bir gösterge olmadığını desteklemektedir.

Etkileşim sıklığı ile etkileşim yapısı arasındaki fark

Figure 4 öğrenme kaybı grubunda ortalama bağlantı sayısının diğer gruplardan daha düşük olduğunu göstermektedir. Ancak makalenin ana çıkarımı yalnız daha fazla etkileşimin daha iyi olduğu değildir.

Öğrenme kazanımı grubunun ayırt edici özelliği, çözüm denemesi, bilgi, geri bildirim ve açıklama arama arasındaki bağlantıların daha sistematik bir geri besleme döngüsü oluşturmasıdır. Kaynak bu nedenle sohbet miktarından çok etkileşim kalitesi ve yapısının dikkate alınmasını önermektedir.

Eğitim chatbotları için kaynakta türetilen tasarım ilkeleri

Bu ilkeler randomize biçimde birbirine karşı test edilmiş chatbot politikaları değildir. Kaynaktaki ENA örüntüleri ve ilgili eğitim literatüründen türetilen ön tasarım hipotezleridir.

Önerilen çok turlu destek döngüsü

Çalışmanın bulgularıyla en uyumlu tasarım yaklaşımı “ipucu → öğrenci denemesi → geri bildirim → yansıtıcı soru → yeni öğrenci denemesi” gibi çok turlu destek dizileridir. Bu tür bir yapı chatbotu otomatik cevap motorundan çok etkileşimli öğretim desteğine yaklaştırabilir.

Ancak mevcut çalışma bu dizinin başka bir chatbot stratejisinden nedensel olarak üstün olduğunu deneysel biçimde göstermemiştir.

Çalışmanın güçlü yönleri

• Yalnız mesaj sayısını değil diyalog yapısını incelemesi.
• Gerçek öğrenci–chatbot konuşma kayıtlarını analiz etmesi.
• ENA, duygu analizi ve nitel diyalog incelemesini birlikte kullanması.
• Bütün öğrencilerde aynı chatbot konfigürasyonunu kullanarak sistem kaynaklı kişiselleştirme farkını azaltması.
• Kural tabanlı kodlama sisteminin şeffaf ve yeniden uygulanabilir olması.
• Teorik açıklamalar ile doğrudan ölçülmüş davranışları birbirinden ayırmaya çalışması.
• Olumsuz veya düşük performansı doğrudan chatbot zararına bağlamaması.

Çalışmanın sınırlılıkları

• Toplam örneklem 50 öğrencidir.
• Tek bir programlama bağlamı ve tek bir chatbot destekli görev dizisi incelenmiştir.
• Çalışma yalnız tek oturumluk etkileşimleri kapsamaktadır; davranışların zaman içindeki gelişimi bilinmemektedir.
• Öğrenme grupları başlangıç puanına göre düzeltilmemiştir.
• Ön testteki ISBN-13 görevi chatbot aşamasında tekrar edilmiştir; pratik ve görev aşinalığı etkisi mümkündür.
• Ön test ISBN-13, son test ISBN-10 olduğu için görev transferi etkisi sonuçları etkileyebilir.
• Kural tabanlı anahtar sözcük kodlaması eş anlamlı ifadeleri veya pragmatik nüansları kaçırabilir.
• TextBlob genel amaçlı bir duygu aracıdır ve teknik programlama konuşmalarına tam uyumlu olmayabilir.
• ENA grup karşılaştırmaları için çıkarımsal istatistik testleri yapılmamıştır.
• Bilişsel yük, öz-düzenleme veya üstbiliş doğrudan psikometrik olarak ölçülmemiştir.

Çalışmanın desteklediği sonuçlar

• Bu veri setinde öğrenci–chatbot diyalog yapıları öğrenme performansı grupları arasında farklı örüntüler göstermiştir.
• Öğrenme kazanımı grubunda çözüm denemesi, bilgi katkısı, geri bildirim ve açıklama isteme bağlantıları daha bütünleşik görünmektedir.
• Öğrenme kaybı grubunun ortalama bağlantı sayısı Figure 4'te diğer gruplardan daha düşük görünmektedir.
• Duygu polarity değerleri gruplar arasında yalnız küçük farklar göstermiştir.
• Diyalog yapısı bu veri setinde duygu kutbundan ve yalnız etkileşim sıklığından daha açıklayıcı bir betimsel özellik olarak görünmektedir.
• Çok turlu yönlendirme ve yansıtıcı sorular eğitim chatbotları için araştırılmaya değer tasarım hipotezleridir.

Çalışmanın desteklemediği sonuçlar

• MyBotBuddy'nin öğrencilerin programlama başarısını nedensel olarak artırdığı kanıtlanmamıştır.
• Öğrenme kaybı grubundaki performans düşüşünün chatbot tarafından oluşturulduğu gösterilmemiştir.
• Daha fazla mesajlaşmanın tek başına daha yüksek öğrenme kazanımı sağladığı gösterilmemiştir.
• ENA bağlantıları öğrencilerin gerçek bilişsel yükünü veya üstbilişini doğrudan ölçmemektedir.
• 0,07'lik daha yüksek sentiment polarity daha iyi öğrenme anlamına gelmemektedir.
• Çalışma sonuçları bütün öğrenciler, bütün programlama görevleri veya bütün eğitim chatbotları için genellenemez.
• Önerilen chatbot tasarım stratejileri randomize kontrollü biçimde karşılaştırılmamıştır.

Gelecek araştırmalar

Yazarlar uzunlamasına veri toplanmasını, daha geçerli söylem kodlama sistemlerinin kullanılmasını, başlangıç performansının kontrol edildiği analizleri ve öz-düzenleme ile bilişsel yük gibi yapıları doğrudan ölçen çalışmalar yapılmasını önermektedir.

Ayrıca çok turlu scaffolding, yansıtıcı istemler ve kademeli yardım azaltma gibi chatbot stratejilerinin doğrudan deneysel tasarımlarla sınanması, mevcut keşifsel ilişkilerin nedensel hipotezlere dönüşebilmesi açısından önemlidir.

Etik

Çalışma Helsinki Bildirgesi doğrultusunda yürütülmüş ve Nanyang Technological University Institutional Review Board tarafından IRB-2023-392 numarasıyla 16 Haziran 2023 tarihinde onaylanmıştır. Bütün katılımcılardan bilgilendirilmiş onam alınmıştır. Öğrenci verileri analizden önce anonimleştirilmiştir.

Kaynak ve Yöntem Notu

Özgün çalışma: Decoding Student–Chatbot Dialogues: How Interaction Structure Is Associated with Learning Gains in AI-Assisted Programming.

Yazarlar: Ean Teng Khor; Arunaksh Kapoor.

Sorumlu yazar: Ean Teng Khor.

Kurum 1: National Institute of Education, Nanyang Technological University, Singapore.

Kurum 2: College of Computing and Data Science, Nanyang Technological University, Singapore.

Dergi: AI in Education.

Yayınevi: MDPI, Basel, Switzerland.

Cilt / sayı / makale: 2(2), 15.

DOI: 10.3390/aieduc2020015.

Makale türü: Article; keşifsel, ilişkisel eğitim araştırması ve öğrenci–chatbot diyalog analizi.

Tarihler: Alınma 10 Şubat 2026; revizyon 19 Mart 2026; kabul 20 Mart 2026; yayın 09 Mayıs 2026.

Lisans: Creative Commons Attribution (CC BY).

Katılımcılar: 50 Singapore O-Level Computing öğrencisi.

Ana eğitim aracı: MyBotBuddy; programlama eğitimine odaklı, konu alanı sınırlandırılmış, scaffold-driven eğitimsel GenAI chatbotu.

Test dizisi: Yardımsız ISBN-13 ön testi → MyBotBuddy destekli ISBN-13 programlama görevi → yardımsız ISBN-10 son testi.

Ana analiz: Kural tabanlı söylem kodlama, Epistemic Network Analysis, betimsel TextBlob sentiment analizi ve 12 transkriptlik tabakalı nitel inceleme.

Yazılım: Python 3.10.7; TextBlob 0.19.0.

İstatistiksel sınır: Nihai grup karşılaştırmalarında çıkarımsal istatistik testi uygulanmamış; karşılaştırmalar betimseldir.

Etik: Nanyang Technological University Institutional Review Board, IRB-2023-392; 16 Haziran 2023.

Onam: Bütün katılımcılardan bilgilendirilmiş onam alınmıştır.

Veri erişilebilirliği: Öğrenci verileri gizlilik ve etik kısıtlamalar nedeniyle kamuya açık değildir.

Finansman: Singapore Ministry of Education Academic Research Fund, RG89/22.

Çıkar çatışması: Yazarlar çıkar çatışması bulunmadığını beyan etmiştir.

Yazar katkıları: Kavramsallaştırma ve metodoloji Ean Teng Khor; doğrulama ve biçimsel analiz Ean Teng Khor ile Arunaksh Kapoor; kaynaklar, gözetim, proje yönetimi ve finansman edinimi Ean Teng Khor; özgün taslak ve inceleme-düzenleme her iki yazar tarafından yürütülmüştür.

Temel yöntemsel sınırlılıklar: Küçük ve tek bağlamlı örneklem, tek oturum, başlangıç puanı için düzeltme yapılmaması, ön test görevinin chatbot aşamasında tekrar edilmesi, ISBN-13 ile ISBN-10 arasındaki görev transferi, kural tabanlı söylem kodlamasının sınırlılıkları ve genel amaçlı sentiment aracının teknik programlama diyaloglarına tam uyumlu olmamasıdır.

Teorik çerçeve notu: Yakınsal Gelişim Alanı, yapılandırmacı öğrenme ve Bilişsel Yük Kuramı doğrudan sınanan modeller değildir. Çalışmada gözlenen söylem ağlarını yorumlamak için kullanılan teorik lenslerdir.

Figure 1–3 notu: Heatmap değerleri grup düzeyindeki ortalama ENA bağlantı ağırlıklarıdır; p-değeri, korelasyon katsayısı veya nedensel etki büyüklüğü değildir.

Figure 4 notu: Kaynak figure caption öğrenme kaybı grubunun ortalama bağlantı sayısının diğer iki gruptan düşük olduğunu bildirir. Düz metinde kesin grup değerleri verilmediği için Verianla bu grafikten yeni sayısal değer üretmemektedir.

Appendix A notu: Bireysel ENA ağları, aynı öğrenme grubu içindeki öğrencilerin de farklı bağlantı yapılarına sahip olabildiğini göstermektedir; grup ortalamaları değişmez öğrenci profilleri olarak yorumlanmamalıdır.

Verianla yeniden anlatım notu: Bu metin özgün yayının tam çevirisi veya paragraf düzeyinde yeniden yazımı değildir. Kaynağın araştırma problemi, örneklemi, test dizisi, chatbot özellikleri, söylem kodlama sistemi, ENA bulguları, duygu analizi, nitel inceleme, eğitimsel yorumları ve yöntemsel sınırları korunarak bağımsız ve öğretici bir Türkçe bilimsel çekirdek oluşturulmuştur. Kaynak diyalog örnekleri ve figür tasarımları birebir yeniden yayımlanmamıştır.