Bu tədqiqat, proqram mühəndisliyi tələbələrinin yalnız proqramlaşdırma öğrenmekle kalmayıp proqram təminatıını geliştirecekleri iş sahəsinı və bu alanı modellemek üçün gereken metodleri kısa müddətde öğrenmeleri sualnuna fokuslanmaktadır. Araşdırmada 29 magistr tələbəsi, kriptovalyuta arbitrajı alanındaki əsas maliyyə kavramlarını və Sahə Yönümlü Dizayn yaklaşımını öğrenmek üzəre dərs materiallarıyle özelleştirilmiş bir ChatGPT müəllimi kullanmıştır.

Uygulama, Carnegie Mellon University Silicon Valley’deki bir funksional proqramlaşdırma dersinin iki həftəlık dizayn mərhələsinda gerçekleştirilmiştir. Tələbəlerin ekipler hâlinde geliştirdiği “ArbitrageGainer” adlı avtomatik kriptovalyuta arbitraj sprompti üçün əvvəl maliyyə alanını anlamaları, ardından hadisə fırtınası, komandalar, xarici spromptlər, iş axınları və məhdud kontekstlər kimi Sahə Yönümlü Dizayn öğelerini belirlemeleri gerekmiştir.

Özel süni intellekt müəllimi GPT-3.5 Turbo üzərine kurulmuş; ders slaytları, layihə tələbləri və nümunə bir tələbə dizaynıyla əsaslendirilmiştir. Tələbəlere üç ayrı dərsdən əvvəl fəaliyyətte ikişer standart prompt məlumatlmiş, söhbət qeydlarını xaricia aktarmaları və kısa bilik yoxlaması hesabatlarını tamamlamaları istenmiştir. Böylece təxminən 174 standart prompt-cavab cütü oluşmuştur. Araşdırmacı bunların 60’ını, yani yüzde 34,5’ini tabakalı təsadüfi nümunəeyle dəyərlendirmiştir.

Cavabların dəqiqlik puanı yüzde 98,9, konuya uyğunluk puanı yüzde 92,2 və pedaqoji dəyər puanı yüzde 89,4 olaraq bildirilmişdir. Koqnitiv yük baxımından ortalama yüzde 82,78 elde edilirken, tələbəni həvəsləndirmə və sonraki adıma yönlendirme olaraq tanımlanan dəstəkləyicilik yalnız yüzde 37,78’de kalmıştır. İncelenen 60 cavabta araşdırmacının “halüsinasyon və ya səhv bilik” olaraq sınıflandırdığı bir daxilierik bulunmamış; iki cavabta tələbəyi önemli ölçüde yanıltmayan küçük səhvlık aşkar edilmişdir.

Tələbəlerin süni intellekt yardımıyla sahə biliyi öğrenme və Sahə Yönümlü Dizayn uygulama konusundaki öz-yetərlilikleri uygulama sonrasında əhəmiyyətli ölçüde yüksəlmiştir. Bununla belə tədqiqat bir nəzarət qrupu daxiliermemektedir. Süni intellekt etkinlikleri; kısa ders anlatımları, ekip tədqiqatları, zorunlu bilik kontrolleri və qiymət təşviqiyle eyni dövrde tətbiq edilmişdir. Bu səbəbdən etimad artımının yalnız süni intellekt müəlliminden mənbəlandığı söylenemez.

Araşdırmanın en önemli çıktısı, süni intellekt müəlliminin uğur yüzdelerinden çok, təhsilcilər üçün oluşturulan 17 maddəlik uygulama rehberidir. Dərs materiallarınden oluşan kontrollü bilik qələviası kullanmak, cavab ayrıntısını və uzunluğunu sərhədlandırmak, nümunəleri əvvəlden denetlemek, bilinsultyen terimleri engellemek, tələbəyi tək bir əhəmiyyətli davam sualına yönlendirmek və tədqiqatyı küçük bir dərs kreditiyle desteklemek əsas önerilər arasındadır.

Araşdırmanın əsas problemi nədir?

Proqram mühəndisliyi təhsili yalnız proqramlaşdırma dillerini və kod üretimini kapsamaz. Bir proqram təminatı geliştiricinin, çözüm üreteceği iş sahəsindaki kavramları, aktorleri, kuralları, olayları və sərhədlərı anlaması lazımdır. Finans, səhiyyə, üretim və ya lojistik kimi bir alanda əsas kavramlar anlaşılmadan düzgün tələblər modeli və proqram təminatı arxitekturası oluşturmak gücleşir.

Bu gereksinim təhsil ortamında iki önemli sualn doğurmaktadır:

• Tələbəler proqram təminatı geliştirme metodleriyle birlikte yabancı oldukları uygulama alanlarını da kısa müddətde öğrenmek zorundadır.
• Müəllimin ders sırasında her tələbəye və ya ekibe şəxsselleştirilmiş izah və anlık geri bildirim sağlaması ölçeklenebilir deyil.

Tədqiqatda əvvəlki ders dövrlərinde müəllimin ekipler arasında dolaşmasına rağmen qələviı sualların ders sonuna kaldığı və qələviı tələbə gruplarıyla ek olaraq 10-30 dakika ilgilənmek gerektiği qeyd edilmişdir. Araşdırmacının ders bağlamında tapşırıqlendirilən tədris assistentinın sinif daxilii desteğe katılmaması da bireysel yardım açığını büyütmüştür.

Araşdırmanın əsas amacı, dərs materialları ilə məhdudlaşdırılmış bir məhsuldar süni intellekt müəlliminin bu yardım açığını azaltıp azaltamayacağını incelemektir. Tədqiqatda birbaşa “süni intellekt tələbələrin sınav uğursını artırdı mı?” sualsu değil, şu üç araşdırma sualsu ele alınmıştır:

1. Süni intellekt destekli öğrenme, tələbələrin dizayn mərhələsina hazırlanması üçün ne ölçüde yüksek kaliteli destek sağlamıştır?
2. Pedaqoji dəyər, koqnitiv yük və dəstəkləyicilik baxımından süni intellekt müəlliminin cavabları nasıl bir keyfiyyətik göstermiştir?
3. Ders ortamındaki süni intellekt destekli öğrenmenin etkililiğini hangi öğretim uygulamaları artırabilir?

Ders və proje bağlamı

Uygulama, 2024 sonbahar dövrindeki 12 birimlik bir yüksek lisenziya funksional proqramlaşdırma dersinde gerçekleştirilmiştir. Ders, Carnegie Mellon University Silicon Valley’deki Proqram təminatı Mühendisliği programının çekirdek derslerinden biridir. Haftada iki yüz yüze oturum yapılmış və her oturum 1 saat 50 dakika sürmüştür.

Dersin amaçlarından biri, funksional proqramlaşdırmayı uygulamalı bdaxiliimde öğretmek və endüstriyel bağlamlarda nasıl kullanılabiləceğini göstermektir. Tələbəler üç və ya dört şəxslik ekipler hâlinde “ArbitrageGainer” adlı gerçekçi bir avtomatik ticarət sprompti üzərinde çalışmıştır.

ArbitrageGainer projesi kriptovalyuta arbitrajına əsaslanır. Tələbəlerin yalnız proqramlaşdırma yapması kifayətli deyil; şu tür alan kavramlarını anlamaları gerekmiştir:

• Kriptovalyuta borsaları və piqanun məlumat servisleri,
• Alış və satış fiyatları arasındakı fərq,
• Fərqlı borsalar arasında oluşan arbitraj fırsatları,
• Emir, qalıq, haqq və əməliyyat gerçekleştirme meqanizmaları,
• Xarici spromptlər və API asılılıqları,
• Otomatik əməliyyat spromptindeki iş hadisələri və komandalar.

Proje dört adet ikişer həftəlık aşamaya ayrılmıştır. İncelenen tədqiqat yalnız ilk aşamayı əhatə edir. Bu aşamada tələbələr işlevsel gereksinimleri Sahə Yönümlü Dizayn modeline dönüştürmüş; sonraki uygulama və kodlama aşamaları tədqiqatya dâhil edilmemiştir.

Sahə Yönümlü Dizayn neden istifadə edilmişdir?

Sahə Yönümlü Dizayn və ya Domain-Driven Design, proqram təminatıın yapısını və istifadə olunan dili əsas iş sahəsinın kavramlarıyla uyğun hâle getirmeyi amaçlayan bir modelleme yaklaşımıdır. Teknik ekip ilə alan uzmanlarının eyni kavramlar üzərinde anlaşmasını destekler.

Tədqiqatda DDD kavramları təxminən 30 dakikalık kısa ders anlatımlarıyla adım adım tanıtılmıştır. Her anlatımdan sonra tələbələr Miro lövhəsi üzərinde ekip tədqiqatsı yapmıştır. Uygulamalar şu öğeleri kapsamıştır:

• Hadisə fırtınasıyla iş hadisələrinın belirlenmesi,
• Olayların zaman sırasına yerleştirilmesi,
• Olayları başlatan komandaların çıkarılması,
• Çözüm kapsamı xariciındaki xarici spromptlərin belirlenmesi,
• İş axınlarının sözde kodla sənədlenmesi,
• Məhdud kontekstlərın oluşturulması.

Önceki derslerde tələbələrin layihə tələblərinde adları açıqça gecen kriptovalyuta borsası və piqanun məlumatsi API’si kimi xarici spromptləri dahi modelden çıkaramadığı gözlenmiştir. Süni intellekt etkinliklerinden birinde bu səbəbdən avtomatik ticarət spromptindeki tipik alt sprompt və komponentlerin suallduğu özel bir prompt istifadə edilmişdir.

Bazı bireysel hesabatlarda səhvlıklar sürmesine rağmen ekiplerin nihai dizayn teslimlerinde bütün xarici spromptləri düzgün belirlediği bildirilmişdir. Bununla belə tədqiqatda əvvəlki dövrle kontrollü müqayisə yapılmadığından bu iyiləşmenin yalnız süni intellekt etkinliğinin sonucu olduğu qanıtlanmamaktadır.

İştirakçılar kimlerden oluşmuştur?

Dersi tamamlayan 29 magistr tələbəsinin tamamı tədqiqatya gönüllü olaraq katılmıştır. Lisans gecmişleri şöyledir:

• Bilgisayar Bilimleri: 15 tələbə,
• Elektrik və Bilgisayar Mühendisliği: 4 tələbə,
• Proqram təminatı Mühendisliği: 3 tələbə,
• Diğer mühendislik, maliyyə və ya matematik alanları: 7 tələbə.

Finans konusunda daha belirgin təcrübəimi bulunan tələbələr arasında beş fərdi investor, maliyyəal texnologiya sektöründe çalışmış iki tələbə və maliyyə və ya ekonomi yan dalına sahip bir tələbə yer almıştır. Sahə Yönümlü Dizayn təcrübəimi ise üç tələbəde əvvəlki derslerden, iki tələbəde endüstriyel təcrübəimden gelmiştir.

Şəkil 1: Tələbəlerin başlanğıc biliksi

PDF’nin ikinci səhifəsındaki Şəkil 1, tələbələrin maliyyə və DDD konularındaki öz-bildirimlerini iki dairesel grafikle göstərir.

Finans alanında tələbələrin yüzde 69’u, DDD alanında ise yüzde 77’si biliksini “hdaxili yok” və ya “pivəz” olaraq tanımlamıştır. Bu dağılım, süni intellekt etkinliklerinin iləri səviyyə uzmanlık yerine başlanğıc və orta səviyyə hazırlık məqsədilə kullanıldığını göstərir.

Süni intellekt etkinlikleri ders programına nasıl yerleştirilmiştir?

Araşdırmacı, tələbələrin süni intellekt tədqiqatsını isteğe bağlı bir ek ödev olaraq görməsini önlemek üçün ders dizaynında üç dəyişiklik yapmıştır:

• Süni intellekt kullanımını açıq bir ders öyrənmə nəticəsi halına getirmiştir.
• Etkinliklerin amacı və ders üçündeki rolü tələbələre tekrar tekrar açıqlanmıştır.
• Bütün süni intellekt etkinlikleri zorunlu və dərs kreditiyle mükafatlendirilən tədqiqatlar halına getirilmiştir.

Belirlenen öyrənmə nəticəsi, tələbələrin generativ süni intellektyı sahə biliyi edinsultk və ortak bir projede DDD’yi düzgün uygulamak üçün kullanmasını gerektirmiştir.

Üniversite ayrıca dersin ilk həftəsında bütün tələbələrin 90-120 dakikalık bir generativ süni intellekt okuryazarlığı modülünü tamamlamasını promptiştir. Ders notunun yüzde 1’ine qarşılık gelen bu modül; süni intellekt spromptlerinin tədqiqat ilkeleri, etik və bağlamsal konular ilə sualmlu kullanım stratejilərini kapsamıştır.

İki həftəlık etkinlik takvimi

Her süni intellekt etkinliğinden sonra tələbələrin söhbət transkriptiyle birlikte bilik yoxlaması və kısa refleksiya hesabatı teslim etmesi gerekmiştir. Hesabatun ilk seferde gecer sailması üçün bütün bilik yoxlaması suallarının kısa gerekçelerle düzgün cavablanması və söhbət qeydinın eklenmesi şartı aranmıştır.

Tələbəlerin təxminən yüzde 93’ünün üç hesabatu da beklenen zamanda teslim ettiği və ilk teslimde gectiği qeyd edilmişdir. Bu nisbət, derse hazırlığın yüksek olduğunu göstərir; ancaq zorunlu tədqiqat və qiymət təşviqinin katılım üzərindeki etkisi ayrı olaraq ölçülmemiştir.

Özel ChatGPT müəllimi nasıl yapılandırılmıştır?

Öğretmen GPT-3.5 Turbo kullanılarak yaradılmışdır. Model iki bdaxiliimde özelleştirilmiştir:

1. Öğretmenin rolünü, tapşırıqlerini, sərhədlərinı, yapması və yapmaması gerekenleri açıqlayan ayrıntılı bir sprompt promptu istifadə edilmişdir.
2. Ders slaytları, layihə spesifikasiyası və nümunə tələbə DDD çözümü ChatGPT bilik yapılandırmasına yüklenmiştir.

Sprompt promptinde şu öğeler aşkar edilmişdir:

• Öğretmen şəxsliği və bağlamı,
• Birincil mənbə olaraq dərs materiallarıni kullanma talimatı,
• Desteklenecek öğrenme tapşırıqleri,
• Məhdudiyyətlar və qanunklanan davranışlar,
• İstenen cavab bdaxiliimi və anlatım özellikleri,
• Ders terminolojisine bağlı kalma kuralları.

Müəllim, dövr başlamadan əvvəl beklenen tələbə etkiləşimlerini temsil eden komut dosyalı denemelerle yapılandırmayı tekrar tekrar sınamıştır. Her sürüm beş denemede dəyərlendirilmiş; cavablar düzgün ders terminolojisi, sonraki atölye üçün kifayətli derinlik və düşük miktarda kalıp metin üretene qədər düzenlenmiştir.

Yapılandırma dördüncü sürümde sonlandırılmış və birinci etkinliğin başlangıcında dondurulmuştur. Bu qərar tələbələr arasında tutarlılık sağlamış, ancaq fərqlı etkiləşim bdaxiliimlerine uyarlanma olasılığını azaltmıştır.

Tələbəler kimlik düzgünlaması bulunmayan ortak bir müəllim örneğine erişmiştir. Modelin sıcaklık və ya diğer üretim parametreleri ChatGPT arayüzünde dəyiştiriləmediği üçün varsailan dəyərler istifadə edilmişdir. GPT-3.5 ilə başka modeller arasında müqayisə aparılmamışdır.

Hangi məlumatler toplanmıştır?

Tədqiqatda üç zaman noktasından məlumat elde edilmiştir:

• Uygulama əvvəlsi: Tələbə gecmişi, maliyyə, funksional proqramlaşdırma və DDD təcrübəimi ilə beş öz-yetərlilik ifadesi.
• Uygulama sırasında: Standart promptlerin söhbət qeydları, bilik kontrolleri və tələbə yansıtma hesabatları.
• Uygulama sonrası: Dövr sonu tələbə görüşleri və öz-yetərlilik ölçməleri.

Öz-yetərlilik təhlilindeki iki əsas ölçüt şunlardır:

• “Alan biliksi edinsultk üçün generativ süni intellektyı kullanabilirim.”
• “Ortak bir projede DDD’yi düzgün uygulamak üçün generativ süni intellektyı kullanabilirim.”

“Gerçek iş gereksinimleri üçün alan odaklı bir model tasarlayabilirim” ifadesi üçüncü və keşifsel bir ölçüt olaraq istifadə edilmişdir. Bu ifade süni intellektya birbaşa atıfta bulunmadığından elde edilən gelişmenin proje uygulamasından və ya kısa derslerden mənbəlanması mümkündür.

Konuşma məlumatsi və nümunəe metodi

Her tələbənin üç etkinlikte ikişer standart prompt çalıştırması planlanmıştır:

\[ 29 \times 3 \times 2 = 174 \]

Böylece təxminən 174 standart prompt-cavab cütü oluşmuştur. Her etkinlikteki iki prompt birlikte bir söhbət birimi olaraq kabul edilmiş və toplam:

\[ 29 \times 3 = 87 \]

söhbət birimi elde edilmiştir.

Her oturumdan təsadüfi 10 söhbət birimi seçilmiştir. Böylece üç oturumdan toplam 30 söhbət birimi və 60 prompt-cavab cütü dəyərlendirilmiştir.

Aşağıdaki nisbət məqaləde ayrı bir denklem olaraq məlumatlmemiş, nümunə nisbətını izahk üçün eklenmiştir:

\[ \text{Örnekleme oranı} =\frac{60}{174}\times100 \approx34{,}5\% \]

Nümunəleme random.org aracılığıyla, oturumlara görə tabakalı və yerine koymadan aparılmışdır. İki standart promptin birlikte seçilmesi söhbət daxilii bağlamın korunmasını; her oturumdan eşit sayıda birim alınması ise maliyyə, əsas DDD və iləri DDD konularının temsil edilmesini sağlamıştır.

Tələbəlerin öz seçtiği izləmə suallarına izin məlumatlmiş, ancaq bu suallar standart olmadıkları üçün dəyərlendirmeye alınmamıştır. Buna görə nəticələr gerçek və serbest bdaxiliimli süni intellekt kullanımının tamamını değil, əvvəlden belirlenen promptlere məlumatlen cavabları temsil etmektedir.

Cavablar hangi ölçütlerle dəyərlendirilmiştir?

Her cavab 0 ilə 3 arasında beş ölçüta puanlanmıştır:

Dəstəkləyicilik araşdırmacının oluşturduğu bir vekil ölçüttür. Kısa övgü və ya düzgünlama ilə sonraki adımı keşfetme davetinin birleşimi olaraq tərif edilmişdir. Geçerliği düzgünlanmış psikolojik bir duygu və ya motivasyon ölçeği deyil.

Boyutların yüzdeye çevrilməsini izahk üçün kullanılabiləcek ilişki aşağıdadır. Bu ifade məqaləde denklem olaraq sunulmamıştır:

\[ \text{Boyut yüzdesi} =\frac{\sum_{i=1}^{n}s_i}{3n}\times100 \]

Burada s_i her cavabın 0-3 arasındakı puanı, n ise dəyərlendirilən cavab sayısıdır.

Qiymətləndirməyi kim yaptı?

Temel puanlamayı dersin müəllimi və tədqiqatın yazarı gerçekleştirmiştir. Yazar, ders bağlamını və beklenen terminolojiyi en iyi bilən şəxs olmasına qarşın tek dəyərlendirici olması müşahidəci yanlılığı riski doğurmaktadır.

Tutarlılık kontrolü üçün dersi daha əvvəl almış iki təhsilli tədris assistenti, her oturumdan beş olmak üzəre eyni 15 söhbət qeydinı müstəqil bdaxiliimde puanlamıştır. Değerlendiricilər əvvəl anonimleştirilmiş beş qeyd üzərinde 90 dakikalık rubrik kalibrasiyau yapmıştır.

Müəllim ilə iki asistan arasındakı çəkili Cohen kappa dəyərleri şöyledir:

• Birinci tədris assistenti: κ=0,76,
• İkinci tədris assistenti: κ=0,78.

Tam eşleşme yüzde 72-74, en çox bir puan fərqlılıkla eşleşme yüzde 99,3 olaraq bildirilmişdir. Bu dəyərler incelenen alt kümede güclü bir tutarlılığa işaret eder; bütün 60 cavab iki və ya üç dəyərlendirici tarafından puanlanmamıştır.

Cavabların düzgünluğu

Doğruluk ortalaması yüzde 98,9’dur. Şəkil 3’e görə cavabların təxminən yüzde 97’si 3, yüzde 3’ü 2 puan almıştır. Bu dağılım 58 cavabın tam, iki cavabın küçük səhvlık ehtiva edən səviyyəde dəyərlendirilmesiyle uyğundur.

Araşdırmacı, incelenen nümunəde bütünüyle səhv və ya tələbəyi yanıltacak bir “halüsinasyon” saptamadığını bildirir. İki küçük sualn şunlardır:

• İleri DDD konularında “domain service” kavramına ilişkin ikinci dərəcəli internet mənbəlarında da görülebilən, kısmen yanıltıcı bir tanımlama,
• Bir nümunəte istifadə olunan olay adının belirtilən məhdud bağlama tam olaraq uymaması.

Bu nəticə, GPT-3.5’in genel olaraq yüzde 98,9 düzgün olduğu mənasına gəlmir. Ölçüm; altı standart prompt, dərs materialları ilə məhdudlaşdırılmış bir bilik qələviası və tək bir ders bağlamındaki 60 cavab üçün gecerlidir.

Cavabların ilgi səviyyəsi

İlgi səviyyəsi ortalaması yüzde 92,2’dir. Şəkil 3’e görə cavabların təxminən yüzde 77’si en yüksek, yüzde 23’ü ikinci səviyyə puanı almış; hdaxilibir cavab 0 və ya 1 puana düşmemiştir.

Konuya uyğunluğu düşüren üç sualn aşkar edilmişdir:

• Bilgi tabanında qələviı destekleyici maliyyə kavramlarının əskik olması,
• Cavabın tələbənin proje kapsamının xariciına taşması,
• Giriş, tekrar və nəticə paragraflarının cevaba yeni bilik eklemeden metni uzatması.

Tələbəler, modelin proje izahsını bilmesinin cavabları daha kısa və bağlama uyğun hâle getirdiğini bildirmiştir. Bazı tələbələr ise gereksiz daxilierik arasından yararlı bölməü seçmenin zor olabildiğini söylemiştir.

Pedaqoji dəyər

Pedaqoji dəyər ortalaması yüzde 89,4’tür. Şəkil 3’te cavabların yüzde 70’i 3, təxminən yüzde 28’i 2 və təxminən yüzde 2’si 1 puan almıştır.

Cavabların çoğu düzgün terimler, yapılandırılmış izah və en az bir nümunə daxiliermiştir. Soyut konularda iki nümunə kullanıldığı da olmuştur. Yalnızca bir cavab, avtomatik arbitraj spromptindeki tipik komponentleri izahdan genel baş örtüyülar hâlinde sıraladığı üçün 1 puan almıştır.

Tələbəler iki zıt sualn bildirmiştir:

• Bazı izahların başlanğıc seviyesindeki tələbə üçün çox teknik olması,
• Bazı izahların konuyu bilən tələbə üçün çox yüzeysel kalması.

Bu sualn, tək bir standart ayrıntı səviyyəsinin fərqlı ön bilikye sahip bütün tələbələr üçün uyğun olmayacağını göstərir.

Koqnitiv yük

Koqnitiv yük ölçüunun ortalaması yüzde 82,78’dir. Şəkil 3’te təxminən yüzde 55 en yüksek, yüzde 38 ikinci və yüzde 7 üçüncü səviyyəde görünmektedir. Düşük puanlar; cavabın uzunluğu, tekrar, açıqlanmayan terimler və çox sayıda nümunəle ilişkiləndirilmiştir.

Araşdırmacı metinde cavabların yüzde 5’ini “bunaltıcı” olaraq tərif edirken Şəkil 3’te en düşük gözlenen dağılım təxminən yüzde 7’dir. Bu küçük fərq, hesabatdaki sayısal tutarsızlıklardan biridir.

Belirlenen əsas koqnitiv yük mənbəları şunlardır:

• Giriş, ana gövde və nəticəta eyni noktanın tekrar edilmesi,
• Ders bilik qələviasında bulunmayan terimlerin açıqlanmadan kullanılması,
• Bturşu bir kavram üçün gereğinden çox nümunə məlumatlmesi,
• Cavabın tələbənin istediği ayrıntı səviyyəsine uyum sağlamaması.

Dəstəkləyicilik neden düşük kalmıştır?

Destek və həvəsləndirmə ortalaması yalnız yüzde 37,78’dir. Şəkil 3’e görə cavabların təxminən yüzde 87’si 1, yüzde 13’ü 2 puan almış; hdaxilibir cavab en yüksek destek səviyyəsine ulaşmamıştır.

Model çoğunlukla neytral və bilik aktaran bir üslup kullanmıştır. Tələbənin sualsunu olumlu bdaxiliimde düzgünlayan, çabasını tanıyan və ya belirli bir sonraki adıma davet eden ifadeler seyrektir.

Cesaretlendirici ifadelerin çoğu, standart promptin tələbənin bir tapşırıqi tamamladığını açıqça belirttiği üçüncü etkinlikte görülmüşdür. Bu durum destekleyici tonun modelden özliğinden değil, promptdeki bağlamsal işaretten doğduğunu düşündürmektedir.

Düşük dəstəkləyicilik, məlumatlen biliknin səhv olduğu mənasına gəlmir. Ancaq müəllimin yalnız düzgün cavab vermek yerine tələbənin devam eden öğrenme müddətcini de desteklemesi amaçlanıyorsa, sprompt promptunde hafif bir müəllimlik və ya koçluk tonu açıqça tanımlanmalıdır.

Şəkil 3 və metindeki sayısal tutarsızlıklar

PDF’nin yedinci səhifəsındaki Şəkil 3, ölçüların puan dağılımını göstərir. Şəkil və bildirilən ortalamalar birlikte dəyərlendirildiğinde təxminən dağılım şöyledir:

Şəkildeki dağılımlar və ortalamalar matematiksel olaraq birbirine yakındır. Buna qarşılık ana metinde:

• İlgi səviyyəsinde en yüksek puan alanların nisbətı yüzde 82,5,
• Pedaqoji dəyərde en yüksek puan alanların nisbətı yüzde 77,5

olaraq yazılmıştır. Bu nisbətlar Şəkil 3’le uyuşmamaktadır.

Ayrıca iki küçük səhvlık 60 cavabın:

\[ \frac{2}{60}\times100=3{,}33\% \]

nisbətına qarşılık gelir. Özet bölməünde 2/60 və yüzde 3,3 düzgün bdaxiliimde məlumatlirken tartımma bölməünde yüzde 1,1 yazılmıştır. Bu hata nəticələrın ana yönünü dəyiştirmez, ancaq hesabatlama düzgünluğu qayğıından belirtilmelidir.

Öz-yetərlilik nəticələrı

Tələbəlerin öz-yetərlilikleri uygulama əvvəlsi və sonrası eşleştirilmiş təhlille qarşılaştırılmıştır.

F(1,22) dəyəri ilk maddə üçün 23, F(1,21) dəyərleri ise diğer maddəler üçün 22 eşleştirilmiş müşahidəe işaret etmektedir. Bu səbəbdən öz-yetərlilik təhlilleri 29 tələbənin tamamını kapsamamaktadır. Eksik eşleştirilmiş cavabların səbəbləri ayrıntılı olaraq izah edilməmişdir.

Kısmi eta kare, toplam dəyişimin ne kadarının zaman və ya uygulama əvvəlsi-sonrası fərqıyla ilişkiləndirildiğini gösteren bir etki büyüklüğüdür. Eşleştirilmiş Cohen d_z ise ortalama dəyişimi bireyler arası dəyişkenliğe görə standartlaştırır. Bildirilən dəyərler küçük bir statistik fərqtan daha büyük, uygulamalı olaraq belirgin etimad artımlarına işaret etmektedir.

Ancaq öz-yetərlilik becerinin özsi deyil. Tələbə özni daha yetkin hissederkən nesnel bir dizayn sınavında eyni ölçüde gelişme göstermeyebilir. Tədqiqatda müstəqil, kör puanlanan bir kifayətlik testi və ya nəzarət qrupu yoxdur.

Şəkil 2: Uygulama əvvəlsi və sonrası etimad

PDF’nin altıncı səhifəsındaki Şəkil 2, süni intellektyla sahə biliyi edinsult və DDD uygulama maddəlerinin grup ortalamalarını yüzde 95 etimad aralıklarıyla göstərir.

Grafikten təxminən olaraq:

• Alan biliksi edinsult etimadinin 58 səviyyəsinden 85 civarına,
• DDD uygulama etimadinin 51 səviyyəsinden 77 civarına

yüksəldiği okunmaktadır. Bu dəyərler grafikten təxminən olaraq okunmuştur; ana metinde qəti ortalamalar tablo hâlinde məlumatlmemiştir. Dikey hata çubukları yüzde 95 etimad aralıklarını göstərir.

Öz-yetərlilik artımı neden nedensel nəticə deyil?

Süni intellekt müəllimi təkbaşına tətbiq edilməmişdir. Aynı dövrde tələbələr:

• Kısa DDD dersleri almış,
• Ekip olaraq gerçek proje üzərinde çalışmış,
• Miro lövhəsinda hadisə fırtınası yapmış,
• Bilgi kontrolü suallarını cavablamış,
• Öğretim üyesinden və ya diğer mənbəlardan yardım almış,
• Zorunlu və notlandırılan etkinliklere katılmıştır.

Bu ortak uygulamalar birbirinden ayrılmadığı üçün gözlenen etimad artımı süni intellekt destekli bütün öğrenme ortamıyla əlaqəlidir. “ChatGPT öz-yeterliği şu qədər artırdı” bdaxiliiminde nedensel bir ifade tədqiqat tarafından desteklenmemektedir.

Öğretim dizaynında istifadə olunan nəzəri çərçivəler

Araşdırmacı nəticələrı üç öğrenme kuramı üzərindən yorumlamıştır:

Bilişsel Yük Kuramı

Gereksiz tekrar, aşırı uzunluk, çox sayıda nümunə və açıqlanmayan terimler tələbənin tədqiqat belleğini öğrenmeye katkısı olmayan daxilierikle doldurabilir. Cavab uzunluğunu və nümunə sayısını sərhədlayan önerilər bu çərçivəye əsaslanır.

ICAP çərçivəsi

ICAP, tələbənin katılımını pasif, aktif, yapıcı və etkiləşimli səviyyəlerde ele alır. Tələbənin yalnız cavabı okuması aktif səviyyəde kalabilir. Modelin belirli bir davam sualı və ya uygulama tapşırıqi müddəasi, tələbəyi yapıcı və etkiləşimli katılıma yönlendirebilir.

Öz-yetərlilik

Tələbənin bir tapşırıqi başarabiləceğine ilişkin inancı, öğrenmeye devam etmesini və zor tapşırıqlerde ısrarını etkiləyebilir. Araşdırmacı, düşük destekleyiciliğin qələviı tələbələrde etimad artımını sərhədlandırmış olabiləceğini irəli sürür. Bu olasılık birbaşa təcrübəsel olaraq sınanmamıştır.

Təklif edilən 17 öğretim uygulaması

En yüksek kaldıraçlı beş uygulama

PDF’nin dokuzuncu səhifəsındaki Cədvəl 3, uygulama maliyeti və fərqlı proqram mühəndisliyi derslerine aktarılabilirlik qayğıından beş uygulamayı en yüksek əvvəllikli olaraq seçmektedir:

Tədqiqatın güclü tərəfləri nelerdir?

• Süni intellekt müəllimini gerçek bir ders və gerçek ekip projesi üçünde dəyərlendirmektedir.
• Programlama desteği yerine sahə biliyi və proqram təminatı modelleme kimi daha az incelenen beceriləre fokuslanmaktadır.
• Öğretmeni ders slaytları, layihə tələbləri və nümunə teslimle əsaslendirmektedir.
• Standart promptler kullanarak tələbələr arasında qarşılaştırılabilir məlumat üretmektedir.
• Oturumlara görə tabakalı təsadüfi nümunəeyle üç konu alanının temsil edilmesini sağlamaktadır.
• Doğruluğu tek ölçüt olaraq kullanmayıp ilgi, pedaqoji dəyər, koqnitiv yük və destekleyiciliği birlikte dəyərlendirmektedir.
• İki tədris assistentiyla alt küme üzərinde dəyərlendirici tutarlılığını kontrol etmektedir.
• Yalnızca olumlu nəticələrı değil, dəstəkləyicilik, uzunluk, jargon və nümunə uyumsuzluğu sualnlarını da hesabatlamaktadır.
• Nəticələrı təhsilcilərin birbaşa uygulayabiləceği 17 maddəlik rehbere dönüştürmektedir.
• Tədqiqatın nedensel olmadığını və öz-yeterliğin beceriyle eyni anlama gelmediğini açıqça bildirir.
• Promptler, yapılandırma, anonimleştirilmiş qeydlar, rubrik və təhlil betiklerini ehtiva edən replikasiya paketi sunduğunu bildirmektedir.

Tədqiqatın məhdudlıkları nelerdir?

• Tek qurum və tek ders: Nəticəlar yalnız Carnegie Mellon Silicon Valley’deki bir yüksek lisenziya dersi bağlamından gelmektedir.
• Küçük iştirakçı sayısı: Toplam 29 tələbə mövcuddur.
• Kontrol grubu yokluğu: Aynı etkinlikleri süni intellekt kullanmadan tamamlayan müqayisə grubu yoxdur.
• Nedensel ayrım yokluğu: Kısa dersler, ekip uygulaması, bilik kontrolleri və qiymət təşviqi süni intellektyla eyni dövrde tətbiq edilmişdir.
• Öz-yetərlilik ölçməü: Güven artımı birbaşa bilik və ya dizayn becerisi artımı deyil.
• Eksik eşleştirilmiş sorğuler: Öz-yetərlilik təhlilleri 29 yerine 22 və ya 23 tələbəye əsaslanır.
• Standart promptler: Serbest və təbiətl tələbə söhbətları yerine əvvəlden belirlenmiş altı prompt dəyərlendirilmiştir.
• Takip suallarının xariciarıda bırakılması: Süni intellekt müəlliminin etkiləşimli öğretim performansı tam olaraq ölçülmemiştir.
• Tek model: Yalnızca GPT-3.5 Turbo kullanılmış; başka modellerle müqayisə aparılmamışdır.
• Model sürümü: 2024 dövrindeki GPT-3.5 davranışı güncel modelleri temsil etmeyebilir.
• Tek əsas dəyərlendirici: Bütün nümunəi dərs müəllimi puanlamıştır.
• Tavan etkisi: Doğruluk və ilgi puanları çok yüksek olduğundan rubrik küçük kalite fərqlarını ayırt etmekte zorlanabilir.
• Dəstəkləyicilik ölçeği: Geçerliği düzgünlanmış psikolojik bir ölçek değil, araşdırmacının tanımladığı vekil ölçüttür.
• Zorunlu katılım: Ders kredisi yüksek katılım sağlarken tələbələri yüzeysel bdaxiliimde etkinliği tamamlamaya da teşvik edebilir.
• Ortak və kimlik düzgünlamasız müəllim: Kullanıcı səviyyəsi şəxsselleştirme və etimadli erişim dəyərlendirilmemiştir.
• Bilgi tabanı əskikleri: Bazı maliyyə və iləri DDD konularının yeterince kapsanmaması cavab kalitesini etkiləmiştir.
• Sayısal hesabatlama sualnları: Mətndeki qələviı yüzdeler Şəkil 3 və əsas aritmetikle uyuşmamaktadır.
• Uzun dövr nəticələrı: Tələbəlerin bilikyi həftəlar və ya aylar sonra koruyup korumadığı ölçülmemiştir.
• Mahremiyet və izleme: Konuşma kaydı toplamanın tələbə məxfiliyi üzərindeki etkisi ayrıntılı olaraq incelenmemiştir.

Tədqiqat neyi desteklemektedir?

• Dərs materiallarıyle əsaslendirilmiş və prompt kurallarıyla sərhədlandırılmış bir süni intellekt müəllimi, incelenen standart suallara yüksek dəqiqlikta cavab verebilir.
• Süni intellekt, kısa və yoğun bir dizayn mərhələsindan əvvəl tələbələre sahə biliyi və modelleme kavramları konusunda isteğe bağlı zamanlarda destek sağlayabilir.
• Bilgi tabanı, cavab uzunluğu, terim kullanımı və nümunə seçimi müəllim kalitesini önemli ölçüde etkiləyen yapılandırma unsurlarıdır.
• Doğru və ilgili cavablar avtomatik olaraq destekleyici və ya motive edici müəllimlik mənasına gəlmir.
• Süni intellekt destekli etkinliklerin açıq bir öyrənmə nəticəsi, küçük dərs krediti və bilik yoxlamasıyle programa yerleştirilmesi katılımı artırabilir.
• Tələbəler uygulama sonrasında süni intellektyla sahə biliyi edinsult və DDD uygulama konusunda daha yüksek etimad bildirmiştir.
• Kısa söhbət qeydları və bturşu rubrik, müəllimin kullanımını izlemek və kaliteyi dəyərlendirmek üçün uygulanabilir bir iş akışı oluşturabilir.
• Öğretim asistanlarının ortak nümunəlerle kalibre edilmesi daha büyük sınıflarda dəyərlendirme iş yükünün paylaşılmasını destekleyebilir.

Tədqiqat neyi sübut etmir?

• Süni intellekt müəlliminin tələbələrin nesnel sınav və ya dizayn performansını artırdığını sübut etmir.
• Öz-yetərlilik artımının yalnız ChatGPT kullanımından mənbəlandığını göstərmir.
• GPT-3.5’in genel təhsil suallarında yüzde 98,9 dəqiqlikla çalıştığını göstərmir.
• Ders materyaliyle əsaslendirilən bütün süni intellekt spromptlerinin halüsinasyonsuz olacağını sübut etmir.
• Öğretmenin müəllim və ya tədris assistentinın yerini tamamen alabiləceğini göstərmir.
• Serbest, uzun və beklenmedik tələbə söhbətlarında eyni kalite səviyyəsinin korunacağını göstərmir.
• Nəticəların lisenziya tələbələrine, büyük sınıflara və ya proqram mühəndisliyi xariciındaki alanlara birbaşa aktarılabiləceğini sübut etmir.
• Destekleyici ifadelerin öğrenmeyi və ya uğuryı artıracağını təcrübəsel olaraq göstərmir.
• Ders kredisi məlumatlmesinin yüzeysel kullanım riskinden daha çox yarar sağladığını ayrı bir təcrübəle göstərmir.
• Güncel və ya daha güclü dil modellerinin eyni yapılandırmayla daha iyi nəticə vereceğini sübut etmir.
• Süni intellekt kullanımının etik, məxfilik və akademik dürüstlük sualnlarını çözdüğünü göstərmir.

Proqram mühəndisliyi təhsili baxımından önemi

Tədqiqatın əsas katkısı, süni intellektyı kod yazan bir yardımcıdan əvvəl “dizayna hazırlık aracı” olaraq ele almasıdır. Bir proqram təminatı projesinde səhv alan modeli, daha sonra yazılan kod düzgün olsa bilə spromptin səhv problemi çözmesine neden ola bilər.

Dərs materiallarıyle məhdud bir süni intellekt müəllimi şu tür hazırlık tapşırıqlerinde kullanılabilir:

• Tələbənin yabancı olduğu iş sahəsindaki əsas terimleri izahk,
• Proje gereksinimlerindeki aktorleri və xarici spromptləri fərq ettirmek,
• Modelleme kavramlarını tələbənin projesiyle ilişkiləndirmek,
• Sınıf tədqiqatsından əvvəl ortak bir başlanğıc səviyyəsi oluşturmak,
• Müəllimin tekrar eden əsas izahlara ayırdığı zamanı azaltmak.

Ancaq müəllimin yalnız cavab veren bir sprompt olaraq değil, ders akışıyla bütünleşmiş bir araç olaraq tasarlanması lazımdır. Bilgi kontrolü, yansıtma, amaçlı davam sualı və müəllim auditi olmadan tələbənin cavabı yalnız kopyalaması mümkündür.

Təklif edilən benimseme yolu

Araşdırmacı, süni intellekt destekli öğretimi ilk kez kullanacak dersler üçün aşamalı bir yol müddəaktedir:

1. Süni intellekt kullanımını açıq bir öyrənmə nəticəsiyla tanımlamak.
2. Toplam ders notunun yüzde 1-2’si kimi küçük bir kredi ayırmak.
3. Bturşu bir kalite və bilik yoxlaması rubriği uygulamak.
4. Her tələbə və ya ekipten tək bir amaçlı davam sualı promptek.
5. Tələbə sayısı təxminən 30’u gectiğinde kısa söhbət qeydi şablonu kullanmak.
6. Öğretim asistanlarını ortak nümunəlerle kalibre etmek.
7. Düşük kaliteli və ya riskli cavabları avtomatik sınıflandırmayla işaretleyip nihai qərarı müəllime bırakmak.

Gelecek tədqiqat önerilərinde fərqlı proqram mühəndisliyi konuları və sınıf büyüklüklerinde çoğaltma, serbest izləmə suallarının kalite-yük dengesinin dəyərlendirilmesi və rubriğe dayalı yarı avtomatik kalite taraması mövcuddur.

Tədqiqatın Metodi və Nəticələrı

Teknik metod özeti

Cavab kalitesi tapıntıları

Öz-yetərlilik tapıntıları

• Süni intellektyla sahə biliyi edinsult öz-yeterliğinde büyük artım: F(1,22)=24,41; p<0,001; kısmi η²=0,53; d_z≈1,03.
• Süni intellektyla ortaq layihəde DDD uygulama öz-yeterliğinde büyük artım: F(1,21)=14,81; p<0,001; kısmi η²=0,41; d_z≈0,82.
• Genel DDD modeli oluşturma öz-yeterliğinde çok büyük artım: F(1,21)=45,82; p<0,001; kısmi η²=0,69; d_z≈1,44.
• Üçüncü maddə süni intellektya birbaşa atıfta bulunmadığından keşifsel nəticə olaraq dəyərlendirilmiştir.
• Analizler 29 tələbənin tamamını değil, 22 və ya 23 eşleştirilmiş cavabı əhatə edir.

Nəticəların teknik yorumu

En güclü nəticə, dərs materiallarıyle əsaslendirilmiş bir süni intellekt müəlliminin belirli və əvvəlden tasarlanmış suallar üçün yüksek dəqiqlikta və konuya uyğun cavab sağlayabilmesidir. Bu nəticə, bilik qələviasının kapsamı və prompt kısıtlarıyla yakından əlaqəlıdır.

Pedagojik kalite yalnız düzgün bilikyle belirlenmemektedir. Cavabın uzunluğu, istifadə olunan terimlerin tələbə seviyesine uyğunluğu, nümunəlerin proje bağlamıyla eşleşmesi və tələbəyi əhəmiyyətli bir sonraki adıma yönlendirmesi ayrı dizayn problemleridir.

Öz-yetərlilik artımları təhsil ortamının olumlu bir göstəricisidir; ancaq nəzarət qrupu və obyektiv yetərlilik testi bulunmadığından öğrenme uğursına ilişkin səbəbiyyət sübutu deyil. Tədqiqatın tapıntıları, süni intellektnın müəllimi dəyiştirmesinden çok, müəllimin tasarladığı ders akışında ölçeklenebilir bir hazırlık katmanı oluşturmasını desteklemektedir.

Hesabatlanan yüzdelerdeki küçük tutarsızlıklar ana örüntüyü dəyiştirmemektedir: dəqiqlik, ilgi və pedaqoji dəyər yüksek; dəstəkləyicilik düşüktür. Bununla belə çoğaltma tədqiqatlarında ham puan dağılımlarının və hesaplama betiklerinin açıq bdaxiliimde yayımlanması nəticələrın denetlenebilirliğini güclendirecektir.

Mənbə və Metod Notu

Tədqiqatın tam orijinal adı: From Domain Understanding to Design Readiness: a playbook for GenAI-supported learning in Software Engineering

Yazar: Rafal Wlodarski.

Eş katkı və ya ortaq birinci müəllif: Tek yazarlı tədqiqat olduğundan ortaq töhfə durumu yoxdur.

Sorumlu yazar: PDF’de ayrıca “corresponding author” işareti istifadə edilməmişdir. Tek yazarın rafal.wlodarski@sv.cmu.edu e-posta ünvanı məlumatlmiştir.

Qurumsal əlaqə: Electrical & Computer Engineering, Carnegie Mellon University Silicon Valley, Mountain View, California, ABŞ.

Yazarın qurumsal tapşırıqi: Assistant Teaching Professor, Electrical and Computer Engineering, Carnegie Mellon University.

Mənbə türü: Gerçek ders uygulaması, cavab kalitesi dəyərlendirmesi, öz-yetərlilik təhlili və öğretim uygulamaları ehtiva edən hüquqemli konfrans məqaləsi.

Konferans: Companion Proceedings of the 34th ACM Symposium on the Foundations of Software Engineering, FSE Companion ’26.

Konferans bölməü: Software Engineering Education.

Konferans tarixi və yeri: 5-9 Temmuz 2026; Montreal, Quebec, Kanada.

Sayfalar: 1078-1088.

Yayın ilı: 2026.

Yayınevi: Association for Computing Machinery.

DOI: 10.1145/3803437.3805783.

ACM ISBN: 979-8-4007-2636-1/26/07.

Hüquqemlik durumu: Tədqiqat FSE 2026 Software Engineering Education programında kabul edilmiş və ACM konferans bildiriləri üçünde yayımlanmıştır. Konferans çağrısı bu bölməde ikiqat anonim qiymətləndirmə müddətci uygulandığını bildirir.

Lisans: Creative Commons Attribution 4.0 International.

Resmî ACM əlaqəsı:https://dl.acm.org/doi/10.1145/3803437.3805783

Resmî konferans programı:https://conf.researchr.org/track/fse-2026/fse-2026-software-engineering-education

ArXiv sürümü: arXiv:2604.00120v1; 31 Mart 2026.

ArXiv DOI’si: 10.48550/arXiv.2604.00120. Bu DOI preprint sürümüne aittir; tədqiqatın ilkin yayımlanmış DOI’si ACM DOI’sidir.

Resmî arXiv əlaqəsı:https://arxiv.org/abs/2604.00120

Finansman: Tədqiqat, Generative Artificial Intelligence Teaching as Research Fellowship kapsamında maliyyəe edilmiştir. Eberly ekibine uygulamanın gerçekleştirilmesine verdiği destek üçün teşekkür edilmiştir.

Çoğaltma paketi: Tədqiqat; standart promptlar, müəllim yapılandırması, rubrik materyalleri, izin məlumatlen ölçüde kimliksizleştirilmiş söhbət və puanlar ilə təhlil betiklerinin ek materyal olaraq sunulduğunu bildirmektedir. PDF üçünde birbaşa açıq depo ünvanı gösterilmemiştir.

Tədqiqatın əsas məhdudlıkları; tek qurum və küçük nümunə, nəzarət qrupu bulunmaması, öz-yeterliğin birbaşa beceri olmaması, bütün cavabların tek uzman tarafından puanlanması, yalnız standart promptlarin dəyərlendirilmesi, GPT-3.5’in başka modellerle qarşılaştırılmaması və kısa uygulama müddətsidir.

Tədqiqat, süni intellekt müəlliminin insan müəllimin yerini alabiləceğini və ya tələbələrin nesnel dizayn becerisini təkbaşına artırdığını sübut etmir. Nəticələr, dərs materialları ilə məhdudlaşdırılmış və diqqətle yapılandırılmış bir süni intellekt müəlliminin kısa müddətli sahə biliyi və modelleme hazırlığında təhsili tamamlayıcı bir araç olaraq kullanılabiləceğini göstərir.