Bu tədqiqat generativ süni intellekt (Generative Artificial Intelligence, GenAI) alətlərinin yuxarı səviyyəli bakalavr/başlanğıc magistratura biokimya kursunda elmi yazı tapşırığına inteqrasiyasını araşdıran kəşfiyyat xarakterli təhsil tədqiqatıdır. GenAI dəstəkli yazı tapşırığı tələbələrin ChatGPT, U-M GPT, U-M Maizey və LearningClues alətlərindən istifadə edərək mövzu inkişaf etdirməsini, prompt hazırlamasını, 500 sözlük süni intellekt dəstəkli ilkin mətn yaratmasını, mənbələri yoxlamasını, ilkin mətni öz yazıları ilə 1000 sözlük yekun mətnə çevirməsini və təcrübələrini sinifdə qiymətləndirməsini əhatə edirdi. Fall 2024 dövründə kursa 25 tələbə qeydiyyatdan keçmişdi; ilkin və yekun sorğuların təhlili 22 könüllü iştirakçının cavablarına əsaslandı. Tədqiqat tələbələrin özünəhesabatlarını və açıq uclu cavablarını araşdırmışdır; nəzarətli öyrənmə nailiyyəti eksperimenti və ya transformer model performansı testi deyil.

İştirakçıların %82-si kursdan əvvəl GenAI alətlərindən istifadə etdiyini bildirdi. Kurs ərzində ChatGPT ən çox istifadə olunan alətlərdən biri olduğu halda, tələbələrin %64-ü növbəti tələbə qrupu üçün U-M GPT-ni tövsiyə etdi. Alət istifadəsində faydalılıq və əvvəlcədən tanışlıq önə çıxarkən, bir aləti gələcək üçün tövsiyə etməkdə tapşırığa uyğunluq, çıxış keyfiyyəti, etibar və məxfilik kimi meyarlar daha qabarıq oldu.

Tələbələrin %68-i GenAI dəstəkli yazı tapşırığını ənənəvi yazı tapşırıqları ilə müqayisədə ümumilikdə müsbət qiymətləndirdi. İştirakçıların %82-si gələcəkdə GenAI yazı alətlərindən istifadə etməyi planlaşdırdığını bildirdi. Ən güclü özünəhesabat qazancları prompt engineering bacarıqları və prompt savadlılığı ilə əlaqəli idi. Bunun əksinə, düzgün biblioqrafiya yaratmaq mühüm problem olaraq qaldı: tələbələrin %41-i biblioqrafiyanı düzəltmək üçün promptu dəyişdirdiyini, lakin yalnız %27-si yekun süni intellekt çıxışında uyğun biblioqrafiya əldə etdiyini bildirdi.

Nəticələrin şərhində mühüm məhdudiyyət vardır. Tədqiqat bir biokimya kursundakı 22 könüllü iştirakçıya, əsasən özünəhesabat məlumatlarına və qısamüddətli yazı tapşırığına əsaslanır. Nəzarət qrupu və ya randomizə edilmiş AI/nəzarət müqayisəsi olmadığından, tədqiqat GenAI istifadəsinin tələbələrin kimya biliyini və ya akademik nailiyyətini səbəbli şəkildə artırdığını sübut etmir. Nəticələr bu konkret kurs kontekstində tələbə təcrübəsi, etibarı, seçimləri, prompt savadlılığı və etik məlumatlılıqla bağlı ilkin meyllərdir.

Bu Tədqiqat Transformer Əsaslı Modellərin Texniki Performansını Ölçdümü?

Xeyr. Məqalənin başlığında transformer əsaslı modellər vurğulansa da, tədqiqatın eksperimental diqqəti böyük dil modelini öyrətmək, kimyəvi proqnoz dəqiqliyini ölçmək və ya müxtəlif transformer arxitekturalarını müqayisə etmək deyil; tədqiqat GenAI alətlərinin biokimya yazı tapşırığında istifadəsini və tələbələrin bu alətlərlə bağlı təcrübə, etibar, seçim və AI savadlılığı üzrə özünəhesabatlarını araşdırır.

Tədqiqat problemi

Generativ süni intellekt alətləri elmi məlumat axtarışı, xülasələşdirmə, yazı, fikir yaratma və geribildirim alma kimi tapşırıqları asanlaşdıra bilər. Bununla yanaşı, elmi düzgünlük, uydurulmuş və ya yanlış mənbələr, akademik dürüstlük, məlumat məxfiliyi, qərəz və tələbənin öz düşünmə/yazma bacarıqlarının qorunması kimi problemlər də meydana çıxır.

Buna görə tədqiqatın əsas problemi “tələbələr GenAI-dən istifadə etməlidirmi?” ikili sualından daha genişdir. Tədqiqat tələbələrin GenAI-dən necə istifadə etdiyini, hansı alətləri niyə seçdiyini, istifadədən sonra öz bacarıqlarını necə qiymətləndirdiyini və etibar ilə etik narahatlıqların texnologiyanın qəbulunu necə formalaşdırdığını araşdırır.

AI savadlılığı bu tədqiqatda nə deməkdir?

Tədqiqatdakı AI savadlılığı yalnız çatbota sual yaza bilmək demək deyil. Kurs dizaynında GenAI-nin güclü və məhdud tərəflərini anlamaq, effektiv prompt hazırlamaq, süni intellekt çıxışını tənqidi qiymətləndirmək, məlumat və mənbələri yoxlamaq, etik və akademik dürüstlük problemlərini tanımaq və süni intellekt çıxışını tələbənin öz elmi düşüncəsi ilə yenidən işləmək əsas komponentlərdir.

Bu yanaşma UNESCO AI Competencies Framework, informasiya savadlılığı yanaşmaları və konstruktivist öyrənmə prinsipləri ilə əlaqələndirilmişdir. Tələbələr yalnız çıxışı istehlak etmək əvəzinə prompt hazırlama, çıxışı qiymətləndirmə, yoxlama, yenidən yazma və refleksiya mərhələlərində fəal iştirak etmişlər.

Tədqiqat sualları

1. Akademik yazıda GenAI istifadəsinin tələbələr tərəfindən qavranılan faydaları və çətinlikləri nələrdir?
2. Tanışlıq, istifadə asanlığı və etibar tələbələrin alət seçimi və gələcəkdə AI istifadə etmək niyyəti ilə necə əlaqəlidir?
3. GenAI dəstəkli tapşırıqdan sonra tələbələrin özünəhesabatla ölçülən etibar və bacarıqlarında hansı dəyişikliklər müşahidə olunur?

GenAI Dəstəkli Yazı Tapşırığı Necə Hazırlandı?

Tapşırıq beş mərhələli öyrənmə prosesi idi: əvvəlcə GenAI və prompt savadlılığı haqqında təlim verildi, sonra tələbələr GenAI ilə mövzu yaratdı, 500 sözlük AI dəstəkli ilkin mətn hazırladı, məzmunu və mənbələri yoxlayaraq ilkin mətni öz yazıları ilə 1000 sözlük yekun mətnə çevirdi və son mərhələdə yeddi dəqiqəlik təqdimatla təcrübələrini əks etdirib həmyaşıd/müəllim geribildirimi aldı.

1. Təlim mərhələsi

Kimya kitabxanaçısının keçdiyi giriş dərsində böyük dil modelləri və müxtəlif GenAI alətləri təqdim edildi. Prompt savadlılığı, GenAI-nin etik problemləri və süni intellekt tərəfindən yaradılan fakt və mənbələrin necə yoxlanacağı müzakirə edildi.

2. İlkin tətbiq

Tələbələr məqalə mövzusu və ya yazı ideyası yaratmaq üçün GenAI alətlərindən istifadə etdilər. Bu hissənin məqsədi süni intellekti yekun müəllif kimi istifadə etməkdən daha çox, ideyanı inkişaf etdirmək və tədqiqata başlamaq üçün qarşılıqlı əlaqə qurmaq idi.

3. Genişləndirilmiş tətbiq

Tələbələr 500 sözlük, mətn daxilində istinad və biblioqrafiya olan GenAI dəstəkli ilkin mətn hazırladılar. Bu prosesdə kimya kitabxanaçısı və ya tədris assistenti ilə fərdi prompt-engineering dəstəyi almaq imkanı təqdim edildi.

4. Yoxlama və tələbə müəllifliyi

500 sözlük AI dəstəkli ilkin mətn birbaşa yekun tapşırıq kimi təqdim edilmədi. Tələbələr məlumatı və istinadları yoxladı, mətnin axınını və üslubunu redaktə etdi, öz yazılarını əlavə etdi və mətni təxminən 1000 sözlük yekun işə çevirdi.

5. Refleksiya

Tələbələr təxminən yeddi dəqiqəlik təqdimatlarda redaktə etdikləri məqalələri və GenAI təcrübələrini siniflə paylaşdılar. Həmyaşıd və müəllim geribildirimi son təqdimatdan əvvəl məzmun və mənbələrin yenidən qiymətləndirilməsində istifadə edildi.

Tədqiqatda təklif olunan dörd GenAI aləti

Bu platforma təsvirləri tədqiqatın aparıldığı dövrdə məqalədə müəyyən edilən funksiyaları əks etdirir. GenAI xidmətləri sürətlə dəyişə bildiyi üçün bu xüsusiyyətlər cari məhsul spesifikasiyalarının müstəqil təsdiqi kimi oxunmamalıdır.

Tələbələrin GenAI Aləti Seçiminə Hansı Amillər Təsir Etdi?

Şəkil 1-ə görə faktiki alət istifadəsində ən çox qeyd olunan amil faydalılıq (%50) olduğu halda, alət tövsiyəsində tapşırığa uyğunluq (%41) önə çıxdı; çıxış keyfiyyəti yalnız tövsiyə kontekstində %36 ilə nəzərəçarpacaq oldu, etibar isə istifadədə %14 və tövsiyədə %23 nisbətində kodlaşdırıldı.

Bu faizlər açıq uclu cavabların kodlaşdırılmış kateqoriyalarıdır və vahid məcburi seçim bölgüsü kimi toplanmamalıdır. Eyni tələbənin cavabı bir neçə əsaslandırmanı ehtiva edə bilər.

İstifadə ilə tövsiyə niyə eyni deyildi?

ChatGPT tələbələrin əvvəlcədən ən çox tanış olduğu alət idi və kurs daxilində/xaricində istifadədə güclü şəkildə üstün tutuldu. Lakin tələbələr növbəti tələbə qrupları üçün U-M GPT-ni daha çox tövsiyə etdilər. Müəlliflər bu fərqi gündəlik istifadə davranışı ilə gələcəyə yönəlik tövsiyə qərarında nəzərə alınan etibar, məxfilik, çıxış keyfiyyəti və tapşırığa uyğunluq arasındakı fərqlə izah edirlər.

Bu nəticə “U-M GPT-nin elmi düzgünlüyü ChatGPT-dən yüksəkdir” demək deyil. Tədqiqat iki sistemin eyni suallara verdiyi cavabları nəzarətli benchmark ilə müqayisə etməmişdir. Nəticə tələbə seçimi və qavrayışı ilə bağlıdır.

Məxfilik niyə vacib idi?

Məqalədə U-M GPT və U-M Maizey-nin University of Michigan mühitində istifadəçi girişlərinin model təlimi üçün yenidən istifadə edilməməsi və şəxsi məlumatların xarici tərəflərə açıqlanmaması üzrə hazırlanmış institusional məxfilik xüsusiyyətləri vurğulanmışdır. Tələbələrin xüsusilə daha yüksək akademik risk kimi qavranılan essay-generation tapşırıqlarında U-M GPT-yə yönəlməsi müəlliflər tərəfindən etibar və risk qəbulu kontekstində müzakirə edilmişdir.

Tanışlıq nə qədər vacib idi?

Kursdan əvvəl iştirakçıların %82-si daha əvvəl GenAI istifadə etdiyini, %68-i isə mövcud ChatGPT hesabının olduğunu bildirdi. ChatGPT ilə yüksək tanışlıq alətin kurs daxilində və xaricində tez-tez istifadə olunması ilə yanaşı gedirdi. Bununla belə, tələbələr gələcəyə yönəlik alət tövsiyəsində tanışlıqdan çox tapşırığa uyğunluğu, keyfiyyəti, faydalılığı və etibarı önə çıxardılar.

Tədqiqatın Metodu və Nəticələri

Kurs və nümunə

Tədqiqat University of Michigan-da Fall 2024 dövründə keçirilən “Nucleic Acids Biochemistry—The RNA (and DNA) World Within” adlı Biol/Chem 455/505 kursunda aparıldı. Kurs yuxarı səviyyəli bakalavr və başlanğıc magistratura tələbələrini əhatə edirdi.

Yekun sorğuda iştirak üçün iki əlavə bal verilmiş və bu, yekun kurs qiymətinin təxminən %1-nə uyğun gəlmişdir. Sorğuda iştirak könüllü kimi təsvir edilmişdir.

Nümunənin akademik bölgüsü

Bakalavr tələbələrinin əksəriyyəti son kurs və üçüncü kurs səviyyəsində idi. Səkkiz tələbə Biomolecular Sciences, yeddi tələbə Biochemistry sahəsində təhsil alırdı; bir bakalavr tələbəsi Chemistry ixtisasında idi. Beş magistratura tələbəsinin üçü chemical biology, biri inorganic chemistry və biri organic chemistry sahəsində idi.

Bu bölgü özgün başlıqdakı “Graduate Education” ifadəsinə baxmayaraq, araşdırılan sinfin əksəriyyətinin bakalavr tələbələrindən ibarət olduğunu göstərir.

Məlumatların toplanması

Tədqiqatçılar qapalı və açıq uclu sualları əhatə edən ilkin və yekun sorğudan istifadə etdilər. Sorğular 2023-cü ildə aparılan əvvəlki pilot tədqiqatda sınaqdan keçirilmiş və tələbə geribildirimləri əsasında təkmilləşdirilmişdi.

Qapalı uclu suallar təsviri kəmiyyət təhlili ilə qiymətləndirildi. Açıq uclu cavablar induktiv kodlaşdırma yanaşması ilə təsnif edildi.

Kodlayıcılararası etibarlılıq

Az sayda mümkün cavab kateqoriyası olan kodlarda fikir ayrılıqları müzakirə yolu ilə həll edildi. Daha geniş kateqoriya dəstlərində iki kodlayıcı arasındakı etibarlılığı qiymətləndirmək üçün Cohen's kappa (κ) istifadə edildi.

Tədqiqat κ ≥ 0,70 dəyərini qəbul edilə bilən razılaşma üçün hədd kimi istifadə etdi. κ dəyərinin 0,70-dən aşağı qaldığı bəzi kodlaşdırma kateqoriyalarında kodlaşdırma yanaşması yenidən nəzərdən keçirildi, müstəqil kodlaşdırma təkrarlandı və etibarlılıq yenidən qiymətləndirildi.

Statistik yanaşma

Tədqiqatın kiçik və kəşfiyyat xarakterli nümunəsi səbəbindən təhlillər təsviri şəkildə hazırlanmışdır. Müəlliflər bu təhlillərin statistik ümumiləşdirmə məqsədi daşımadığını açıq şəkildə bildirirlər. Təsviri təhlillər SPSS version 30 ilə aparıldı.

Kursdan əvvəl və kurs daxilində GenAI istifadəsi

Kurs daxilində istifadə, kompüter kodu yaratma istisna olmaqla, tələbələrin kursdan əvvəlki gözləntilərinin əksəriyyətini aşdı. Ən böyük dəyişikliklərdən biri outline hazırlamada idi: kursdan əvvəl istifadə %18 olduğu halda kurs daxilində %91-ə yüksəldi.

Ümumi tələbə təcrübəsi

Tələbələrin %68-i GenAI dəstəkli yazı tapşırığını ənənəvi yazı tapşırıqları ilə müqayisədə ümumilikdə müsbət, %32-si mənfi qiymətləndirdi.

Məlumat axtarışı müsbət təcrübə bildirən tələbələrlə ən güclü şəkildə birlikdə görünən istifadə sahələrindən biri idi. Bunun əksinə, outline hazırlama, fikir yaratma, GenAI əsaslı 500 sözlük essay hazırlama və ədəbiyyatı araşdırma kimi tapşırıqlarda mənfi təcrübə bildirən tələbə nisbətinin daha yüksək olduğu alt qruplar vardı.

Bu müqayisələr səbəbli deyil. Məsələn, “outline hazırlamaq mənfi təcrübəyə səbəb oldu” nəticəsi bu məlumatlardan çıxarıla bilməz; yalnız iki özünəhesabat kateqoriyasının eyni tələbələrdə birlikdə müşahidə olunma meyli bildirilir.

Özünəinam və bilik qazancları

Şəkil 2 tələbələrin GenAI ilə qarşılıqlı əlaqəyə dair özünəhesabat etibar və bilik qazanclarını göstərir. Ən böyük irəliləyişlər prompt-engineering bacarıqlarına inam və prompt savadlılığı biliklərində müşahidə edilmişdir.

GenAI bias-ını tanıma, mexanizmlərini anlama və bəzi etik sahələr daha aşağı qazanc bildirilən mövzulardır. Müəlliflər bunun bir hissəsini tələbələrin bu sahələrdə əvvəlcədən məlumatlı olması, bir hissəsini isə kursun bu mövzulara məhdud tətbiq ayırması ilə izah edirlər.

Şəkil 2-nin əsas məqalədəki qrafikində dəqiq orta dəyərlərin hamısı rəqəm etiketi ilə verilmədiyi üçün Verianla bu sütunların hündürlüyündən yeni dəqiq dəyər yaratmır.

Gələcəkdə GenAI istifadə etmək niyyəti

Tələbələrin 18-i (%82) gələcəkdə GenAI yazı alətlərindən istifadə etməyi planlaşdırdığını bildirdi. Gələcəkdə istifadə niyyəti bildirən tələbələrin %78-i GenAI dəstəkli tapşırıqla ümumilikdə müsbət, %22-si isə mənfi təcrübə yaşamışdı.

Müsbət təcrübə yaşayan tələbələrin %93-ü gələcəkdə GenAI istifadə etməyi planlaşdırdığını bildirdi. Başlanğıcda GenAI istifadə etmək istəmədiyini deyən dörd tələbənin yarısı kurs sonunda gələcəkdə istifadə etməyi düşündüyünü bildirdi.

Prompt savadlılığı

Tələbələrin %82-si prompt-engineering bacarıqlarında inkişaf hiss etdiyini bildirdi. Açıq uclu cavablarda prompt savadlılığını tapşırığın ən dəyərli qazanclarından biri kimi seçən tələbələr də vardı.

Tədqiqatın mühüm tədris mesajlarından biri yaxşı prompt hazırlamağın birdəfəlik əmr yazmaq işi olmamasıdır. Tələbələrin əksəriyyəti istənilən formatı, mənbəni, detal səviyyəsini və ya əhatəni təmin etmək üçün ilkin promptlarını dəyişməli oldu.

Prompt dəyişikliklərinin uğuru

Bu cədvəl promptu dəyişən tələbələrin uğur nisbətini bir-bir çevrilmə ehtimalı kimi göstərmir. Şəkil 4-ün iki seriya faizi müxtəlif sorğu cavablarını xülasələşdirir. Bununla belə, biblioqrafiya tələbələrin GenAI çıxışında ən çətin yoxlama sahələrindən biri kimi açıq şəkildə önə çıxır.

Elmi düzgünlüyə dair tələbə qiymətləndirməsi

Tələbələr GenAI tərəfindən yaradılan essay-lərin elmi düzgünlüyünü orta hesabla 3,2/5 qiymətləndirdi. Şkala 1 = “highly inaccurate” ilə 5 = “highly accurate” arasında müəyyən edilmişdi. Müəlliflər bu nəticəni GenAI çıxışlarında mənbə və məzmun yoxlamasının hələ də zəruri olduğunu göstərən nəticə kimi müzakirə edirlər.

Tələbə narahatlıqları necə dəyişdi?

Cədvəldəki ilk iki faiz sütunu eyni sualın iki zaman nöqtəsindəki birbaşa prevalens ölçümü deyil. Birinci sütun kursdan əvvəl bildirilən narahatlıqları, ikinci sütun isə kurs zamanı mənfi təcrübələrdə bildirilən kateqoriyaları təmsil edir. Buna görə, məsələn, %82 və %27 dəyərləri birbaşa “plagiat narahatlığı %82-dən %27-yə düşdü” kimi şərh edilə bilməz. Dəyişikliyin istiqaməti ayrıca Q19 maddəsindəki median kateqoriya ilə verilmişdir və plagiat narahatlığı üçün bu istiqamət artımdır.

Yaradıcılıq narahatlığı

Bəzi tələbələr GenAI tərəfindən təklif olunan dil və yazı formasının öz üslublarına təsir edə biləcəyini, bir dəfə AI tərəfindən yaradılmış nümunə mətn gördükdən sonra ondan müstəqil yazmağın çətinləşə bildiyini bildirdilər. Müəlliflər 2023-dən 2024-ə tələbə münasibətində yalnız səmərəlilik və maraqdan GenAI-nin məhdudiyyətlərini, yoxlama ehtiyacını və yaradıcılığa mümkün təsirlərini daha tənqidi qiymətləndirən istiqamətə diqqət çəkirlər.

Fall 2023 və Fall 2024 fərqli tələbə kohortlarıdır. Buna görə illər arasındakı faizlər eyni fərdlərdə zamanla baş vermiş longitudinal dəyişiklik kimi şərh edilməməlidir.

2023 və 2024 arasındakı kəşfiyyat müqayisəsi

2024-cü ildə GenAI dəstəkli tapşırıq haqqında ümumilikdə mənfi təcrübə bildirən tələbələrin nisbəti %32 olduğu halda, əvvəlki 2023 tədqiqatında %22 idi. Gələcək kurslarda GenAI əvəzinə fənn mövzularına daha çox diqqət ayrılmasını tövsiyə edənlərin nisbəti isə %9-dan %27-yə yüksəlmişdi.

Müəlliflər bu dəyişikliyi tələbələrin GenAI-ni daha tənqidi və realist şəkildə qiymətləndirməyə başlaması ilə əlaqələndirirlər. Lakin bu, iki il arasında nəzarətli və ya uyğunlaşdırılmış kohort eksperimenti deyil.

Tədqiqatın güclü tərəfləri

• GenAI istifadəsini birbaşa kimya/biokimya mövzu tədrisinə yerləşdirməsi.
• Yalnız istifadə tezliyini deyil, faydalılıq, tanışlıq, etibar, məxfilik, tapşırığa uyğunluq və çıxış keyfiyyəti kimi qəbul amillərini araşdırması.
• Qapalı uclu kəmiyyət cavablarını açıq uclu tələbə şərhləri ilə birlikdə qiymətləndirməsi.
• Keyfiyyət kodlaşdırmasında Cohen's κ ilə kodlayıcılararası etibarlılığı yoxlaması.
• AI tərəfindən yaradılan mətnin yoxlanmasını və tələbənin öz yazısı ilə yenidən işlənməsini tapşırığın məcburi hissəsinə çevirməsi.
• Prompt savadlılığını etik məlumatlılıq və məlumat yoxlaması ilə birlikdə nəzərdən keçirməsi.

Tədqiqatın məhdudiyyətləri

• Yalnız bir University of Michigan biokimya kursuna əsaslanır.
• Təhlildə yalnız 22 tələbə iştirak etmişdir.
• İştirak könüllüdür və GenAI-yə daha çox marağı olan tələbələrin seçmə qərəzi yaratması mümkündür.
• Əsas məlumat mənbəyi özünəhesabat sorğularıdır; bildirilən etibar və ya bilik artımı real davranış və ya obyektiv öyrənmə artımı ilə eyni deyil.
• Nəzarət qrupu yoxdur.
• AI istifadə edən və etməyən tələbələr randomizə edilməyib.
• Tapşırıq qısamüddətli və məhdud əhatəlidir; uzunmüddətli bacarıq qazanımı qiymətləndirilməyib.
• İştirakçılar yuxarı səviyyəli bakalavr və başlanğıc magistratura tələbələridir; digər təhsil səviyyələrinə birbaşa ümumiləşdirilə bilməz.
• Müxtəlif GenAI alətlərinin cavab dəqiqliyi standart ortaq benchmark üzrə müqayisə edilməyib.

Tədqiqatın dəstəklədiyi nəticələr

• Bu kurs kontekstində tələbələrin böyük hissəsi GenAI ilə daha çox qarşılıqlı əlaqə qurmuşdur.
• Tələbələr prompt-engineering inamında və prompt savadlılığında özünəhesabat artımı bildirmişlər.
• Tələbələrin əksəriyyəti gələcəkdə GenAI yazı alətlərindən istifadə etməyi planlaşdırır.
• Alət istifadəsində faydalılıq və tanışlıq; alət tövsiyəsində tapşırığa uyğunluq, keyfiyyət, etibar və məxfilik mühüm amillərdir.
• Biblioqrafiya düzgünlüyü və kifayət qədər məzmun dərinliyi GenAI dəstəkli elmi yazıda mühüm çətinliklər olaraq qalmışdır.
• Tələbələr GenAI-nin etik, ekoloji, akademik dürüstlük və yaradıcılıq təsirləri barədə tənqidi narahatlıqlar inkişaf etdirmişlər.

Tədqiqatın dəstəkləmədiyi nəticələr

• GenAI-nin tələbələrin biokimya biliyini səbəbli şəkildə artırdığı sübut edilməyib.
• GenAI istifadəsinin imtahan və ya laboratoriya performansını artırdığı ölçülməyib.
• U-M GPT-nin ChatGPT-dən texniki baxımdan daha düzgün olduğu göstərilməyib.
• ChatGPT-nin U-M GPT-dən təhsil baxımından daha effektiv olduğu göstərilməyib.
• Tələbələrin özünəhesabat inam artımı obyektiv bacarıq balına bərabər deyil.
• Nəticələr bütün kimya tələbələrinə və ya bütün universitetlərə ümumiləşdirilə bilməz.
• Məqalə yeni transformer modeli hazırlamamış və transformer arxitekturalarının kimyəvi tapşırıq performansını benchmark etməmişdir.

Etik komitə və məlumatlandırılmış razılıq

University of Michigan Health Sciences and Behavioral Sciences Institutional Review Board tədqiqatın IRB nəzarətindən azad olduğuna qərar verdi. Protokol nömrəsi HUM00245013-dür. Tədqiqatda iştirak edən bütün şəxslərdən məlumatlandırılmış razılıq alınmışdır.

Maraqların toqquşması

University of Michigan tədqiqatda istifadə olunan texnologiyalardan biri ilə əlaqəli LearningClues üzərində maliyyə marağına malikdir. Kevyn Collins-Thompson bu texnologiyalardan birinin həmmüəllifi və LearningClues, Inc.-in qismən sahibidir. İştirakçılara bu maraqların toqquşması bildirilib, Collins-Thompson məlumatlandırılmış razılıq prosesində birbaşa iştirak etməyib və University of Michigan Institutional Conflict of Interest Committee tərəfindən 3 aprel 2024-cü ildə maraqların toqquşmasını idarəetmə planı təsdiqlənib.

Gələcək tədqiqatlar

Müəlliflər daha böyük nümunələrlə təsdiqləmə aparılmasını, AI ilə və AI olmadan informasiya savadlılığının müqayisəsini, GenAI-nin uzunmüddətli öyrənmə və bacarıq inkişafına təsirinin qiymətləndirilməsini, akademik dürüstlük davranışlarının daha birbaşa araşdırılmasını və müxtəlif fənləri əhatə edən tədqiqatların aparılmasını təklif edirlər.

Mənbə və Metod Qeydi

Özgün tədqiqat: Integrating AI Literacy in Chemistry Graduate Education: Harnessing the Power of Transformer-Based Models.

Müəlliflər: Yulia V. Sevryugina; Kevyn Collins-Thompson; Nils G. Walter.

Məsul müəllif: Yulia V. Sevryugina.

Qurum 1: Taubman Health Sciences Library, University of Michigan, Ann Arbor, Michigan, USA.

Qurum 2: School of Information, University of Michigan, Ann Arbor, Michigan, USA.

Qurum 3: Department of Electrical Engineering and Computer Science, College of Engineering, University of Michigan, Ann Arbor, Michigan, USA.

Qurum 4: Department of Chemistry, University of Michigan, Ann Arbor, Michigan, USA.

Jurnal: AI in Education.

Nəşriyyatçı: MDPI, Basel, Switzerland.

Cild / nömrə / məqalə: 2(2), 14.

DOI: 10.3390/aieduc2020014.

Məqalə növü: Resenziyalı Article; kiçik nümunəli, kəşfiyyat/proof-of-concept təhsil tədqiqatı.

Tarixlər: Qəbul olunma 15 yanvar 2026; reviziya 07 mart 2026; qəbul 13 aprel 2026; nəşr 04 may 2026.

Lisenziya: Creative Commons Attribution (CC BY).

Tədqiqat dövrü: Fall 2024.

Kurs: Biol/Chem 455/505 — Nucleic Acids Biochemistry—The RNA (and DNA) World Within.

Nümunə: Kursa qeydiyyatdan keçmiş 25 tələbə; təhlildə 22 könüllü tələbə (%88 cavab nisbəti).

Başlıq–nümunə qeydi: Özgün başlıq “Graduate Education” ifadəsini istifadə edir, lakin təhlil qrupunun yalnız 5-i (%23) magistratura tələbəsidir; qalan iştirakçılar bakalavr tələbələridir. Buna görə nəticələr yalnız magistratura tələbəsi nümunəsi kimi təsvir edilməməlidir.

Məlumat toplama: İlkin və yekun sorğu; qapalı və açıq uclu suallar.

Kəmiyyət təhlili: Təsviri təhlil; SPSS version 30.

Keyfiyyət təhlili: İnduktiv kodlaşdırma; uyğun kateqoriyalarda iki kodlayıcı üçün Cohen's κ; qəbul edilə bilən razılaşma həddi κ ≥ 0,70.

Etika: University of Michigan Health Sciences and Behavioral Sciences Institutional Review Board; IRB oversight-dan azad, HUM00245013.

Razılıq: Bütün iştirakçılardan məlumatlandırılmış razılıq alınmışdır.

Maliyyələşdirmə: Center for Academic Innovation at the University of Michigan, Ann Arbor.

Məlumatların əlçatanlığı: Mənbənin Data Availability Statement bölməsi Chemistry Librarian Lecture mənbəsinə istinad edir. Supplementary Materials daxilində bibliometrik təhlil, tapşırıq təlimatları, sorğu aləti, məlumat təhlili iş vərəqi, Figure S1 və Tables S1–S15 olduğu bildirilir. Məqalə fərdi səviyyədə xam tələbə sorğu cavablarının açıq məlumat dəsti kimi yayımlandığını bildirmir.

Maraqların toqquşması: University of Michigan-ın LearningClues, Inc. üzərində maliyyə marağı vardır. Kevyn Collins-Thompson müvafiq texnologiyalardan birinin həmmüəllifi və LearningClues, Inc.-in qismən sahibidir. University of Michigan tərəfindən maraqların toqquşmasını idarəetmə planı tətbiq edilmişdir.

Müəllif töhfələri: Konseptuallaşdırma Yulia V. Sevryugina və Nils G. Walter; metodologiya Yulia V. Sevryugina, Kevyn Collins-Thompson və Nils G. Walter; proqram təminatı Kevyn Collins-Thompson; yoxlama və formal təhlil Yulia V. Sevryugina; resurslar üç müəllif; ilkin layihə Yulia V. Sevryugina; nəzərdən keçirmə-redaktə üç müəllif; vizuallaşdırma və nəzarət Yulia V. Sevryugina; layihə idarəetməsi Yulia V. Sevryugina və Nils G. Walter; maliyyələşdirmənin əldə edilməsi üç müəllif tərəfindən həyata keçirilmişdir.

Əsas metodoloji məhdudiyyət: Bir kurs, 22 iştirakçı, könüllü iştirak, özünəhesabat ağırlıqlı məlumat, qısa müddət və nəzarət qrupunun olmaması nəticələrin səbəbli və geniş populyasiyaya ümumiləşdirilə bilən şərhini məhdudlaşdırır.

Şəkil 1 şərh qeydi: Məqalənin xülasəsi etibarı xüsusilə güclü meyar kimi vurğulayır. Bununla yanaşı, əsas mətn və Şəkil 1-də alət tövsiyəsi üçün ən çox kodlaşdırılan amil tapşırığa uyğunluq (%41), ardınca çıxış keyfiyyəti (%36), faydalılıq və etibar (%23 hər biri) kimi görünür. Buna görə etibar mərkəzi amildir, lakin Şəkil 1-də təkbaşına ən yüksək rəqəmsal tövsiyə kateqoriyası deyil.

Platforma versiyası qeydi: Məqalənin ChatGPT, U-M GPT, U-M Maizey və LearningClues xüsusiyyətlərinə dair təsvirləri tədqiqat dövrünə aiddir. Sürətlə dəyişən GenAI məhsullarının cari xüsusiyyətləri kimi ümumiləşdirilməməlidir.

Verianla yenidən izah qeydi: Bu mətn özgün tədqiqatın tam tərcüməsi deyil. Tədqiqat sualları, təhsil müdaxiləsi, tələbə nümunəsi, sorğu metodu, kodlaşdırma yanaşması, qrafik və cədvəl məlumatları, nəticələr, məhdudiyyətlər, etik məlumatlar və maraqların toqquşması qorunaraq müstəqil Azərbaycan dilində elmi öyrənmə qatı yaradılmışdır. Tələbələrin birbaşa sitatları yenidən yayımlanmamış; onların məzmunu yalnız elmi nəticə səviyyəsində izah edilmişdir.