Utafiti huu ni uchunguzi wa kielimu wa kiuchunguzi unaotathmini ujumuishaji wa zana za akili bandia zalishi (Generative Artificial Intelligence, GenAI) katika zoezi la uandishi wa kisayansi kwenye kozi ya biokemia ya kiwango cha juu cha shahada ya kwanza/mwanzo wa uzamili. Zoezi la uandishi linalosaidiwa na GenAI lilihusisha wanafunzi kutumia ChatGPT, U-M GPT, U-M Maizey na LearningClues kuendeleza mada, kuunda prompt, kuandaa rasimu ya maneno 500 inayosaidiwa na akili bandia, kuthibitisha vyanzo, kubadilisha rasimu hiyo kwa maandishi yao wenyewe kuwa matini ya mwisho ya maneno 1000, na kutathmini uzoefu wao darasani. Katika kipindi cha Fall 2024, wanafunzi 25 walikuwa wamejiandikisha katika kozi; uchanganuzi wa dodoso za kabla na baada ulitegemea majibu ya washiriki 22 wa kujitolea. Utafiti ulitathmini taarifa binafsi za wanafunzi na majibu ya maswali ya wazi; si jaribio linalodhibitiwa la mafanikio ya ujifunzaji wala jaribio la utendaji wa modeli za transformer.

%82 ya washiriki waliripoti kuwa walikuwa wametumia zana za GenAI kabla ya kozi. Wakati wa kozi, ChatGPT ilikuwa miongoni mwa zana zilizotumiwa mara nyingi zaidi, huku %64 ya wanafunzi wakipendekeza U-M GPT kwa kundi linalofuata la wanafunzi. Katika matumizi ya zana, manufaa na mazoea ya awali vilijitokeza, ilhali katika kupendekeza zana kwa matumizi ya baadaye vigezo kama kufaa kwa kazi, ubora wa matokeo, uaminifu na faragha vilikuwa wazi zaidi.

%68 ya wanafunzi walitathmini kwa ujumla kwa mtazamo chanya zoezi la uandishi linalosaidiwa na GenAI ikilinganishwa na kazi za kawaida za uandishi. %82 ya washiriki walisema wanapanga kutumia zana za uandishi za GenAI katika siku zijazo. Mafanikio makubwa zaidi yaliyoripotiwa binafsi yalihusiana na ujuzi wa prompt engineering na uelewa wa prompt. Kwa upande mwingine, kutengeneza bibliografia sahihi kuliendelea kuwa tatizo muhimu: %41 ya wanafunzi waliripoti kubadilisha prompt ili kurekebisha marejeo, lakini ni %27 pekee waliopata bibliografia inayofaa katika matokeo ya mwisho ya akili bandia.

Kuna kikomo muhimu katika kutafsiri matokeo haya. Utafiti unategemea washiriki 22 wa kujitolea katika kozi moja ya biokemia, hasa data ya kujiripoti na zoezi la uandishi la muda mfupi. Kwa kuwa hakuna kundi la udhibiti au ulinganisho wa AI/udhibiti uliogawanywa kwa nasibu, utafiti hauonyeshi kwa ushahidi wa kisababishi kwamba matumizi ya GenAI yanaongeza maarifa ya kemia au mafanikio ya kitaaluma ya wanafunzi. Matokeo ni mielekeo ya awali kuhusu uzoefu, uaminifu, mapendeleo, uelewa wa prompt na ufahamu wa kimaadili wa wanafunzi katika muktadha huu maalumu wa kozi.

Je, Utafiti Huu Ulipima Utendaji wa Kiufundi wa Modeli Zinazotegemea Transformer?

Hapana. Ingawa kichwa cha makala kinasisitiza modeli zinazotegemea transformer, lengo la majaribio halikuwa kufundisha modeli kubwa ya lugha, kupima usahihi wa utabiri wa kikemia au kulinganisha usanifu tofauti wa transformer; utafiti unachunguza matumizi ya zana za GenAI katika zoezi la uandishi wa biokemia na taarifa binafsi za wanafunzi kuhusu uzoefu, uaminifu, mapendeleo na uelewa wao wa AI kuhusiana na zana hizo.

Tatizo la utafiti

Zana za akili bandia zalishi zinaweza kurahisisha kazi kama kutafuta taarifa za kisayansi, kufupisha, kuandika, kuzalisha mawazo na kupokea mrejesho. Hata hivyo, changamoto kama usahihi wa kisayansi, vyanzo vilivyobuniwa au visivyo sahihi, uadilifu wa kitaaluma, faragha ya data, upendeleo na kulinda uwezo wa mwanafunzi wa kufikiri/kuandika mwenyewe pia hujitokeza.

Kwa hiyo, tatizo kuu la utafiti ni pana kuliko swali la chaguo mbili la “je, wanafunzi wanapaswa kutumia GenAI?”. Utafiti unachunguza jinsi wanafunzi wanavyotumia GenAI, kwa nini wanachagua zana fulani, jinsi wanavyotathmini ujuzi wao baada ya matumizi, na jinsi uaminifu pamoja na wasiwasi wa kimaadili unavyounda kukubalika kwa teknolojia.

Uelewa wa AI unamaanisha nini katika utafiti huu?

Uelewa wa AI katika utafiti huu haumaanishi tu uwezo wa kuandika swali kwa chatbot. Katika muundo wa kozi, vipengele vya msingi ni kuelewa nguvu na mipaka ya GenAI, kuunda prompt yenye ufanisi, kutathmini kwa kina matokeo ya akili bandia, kuthibitisha taarifa na vyanzo, kutambua masuala ya kimaadili na uadilifu wa kitaaluma, na kuchakata upya matokeo ya akili bandia kwa kutumia fikra za kisayansi za mwanafunzi mwenyewe.

Mtazamo huu ulihusishwa na UNESCO AI Competencies Framework, mikabala ya uelewa wa taarifa na kanuni za ujifunzaji wa ujenzi maarifa. Badala ya kutumia matokeo tu, wanafunzi walishiriki kikamilifu katika hatua za kuunda prompt, kutathmini matokeo, kuthibitisha, kuandika upya na kutafakari.

Maswali ya utafiti

1. Ni manufaa na changamoto gani za matumizi ya GenAI katika uandishi wa kitaaluma zinazoonekana kwa wanafunzi?
2. Mazoea, urahisi wa matumizi na uaminifu vinahusianaje na uchaguzi wa zana na nia ya wanafunzi kutumia AI katika siku zijazo?
3. Ni mabadiliko gani yanaonekana katika uaminifu na ujuzi wa wanafunzi unaopimwa kwa kujiripoti baada ya zoezi linalosaidiwa na GenAI?

Zoezi la Uandishi Linalosaidiwa na GenAI Lilibuniwaje?

Zoezi lilikuwa mchakato wa ujifunzaji wa hatua tano: kwanza wanafunzi walifundishwa kuhusu GenAI na uelewa wa prompt, kisha walitumia GenAI kuzalisha mada, wakatengeneza rasimu ya maneno 500 inayosaidiwa na AI, wakathibitisha maudhui na vyanzo na kuibadilisha kwa maandishi yao wenyewe kuwa matini ya mwisho ya maneno 1000, na katika hatua ya mwisho walitafakari uzoefu wao kupitia uwasilishaji wa dakika saba na kupokea mrejesho kutoka kwa wenzao/mwalimu.

1. Hatua ya ufundishaji

Katika kipindi cha utangulizi kilichotolewa na mkutubi wa kemia, modeli kubwa za lugha na zana mbalimbali za GenAI zilitambulishwa. Uelewa wa prompt, masuala ya kimaadili ya GenAI na jinsi ya kuthibitisha ukweli na vyanzo vinavyozalishwa na akili bandia vilijadiliwa.

2. Matumizi ya awali

Wanafunzi walitumia zana za GenAI kuzalisha mada ya makala au wazo la uandishi. Madhumuni ya sehemu hii yalikuwa kuingiliana na akili bandia kwa ajili ya kuendeleza mawazo na kuanza utafiti, badala ya kuitumia kama mwandishi wa mwisho.

3. Matumizi yaliyopanuliwa

Wanafunzi waliunda rasimu ya maneno 500 inayosaidiwa na GenAI iliyojumuisha marejeo ndani ya matini na bibliografia. Katika mchakato huu, walipewa nafasi ya kupata msaada wa mtu mmoja kwa mmoja wa prompt-engineering kutoka kwa mkutubi wa kemia au msaidizi wa ufundishaji.

4. Uthibitishaji na uandishi wa mwanafunzi

Rasimu ya maneno 500 inayosaidiwa na AI haikuwasilishwa moja kwa moja kama kazi ya mwisho. Wanafunzi walikagua taarifa na marejeo, wakahariri mtiririko na mtindo wa matini, wakaongeza maandishi yao wenyewe na kuibadilisha kuwa kazi ya mwisho ya takriban maneno 1000.

5. Tafakari

Katika mawasilisho ya takriban dakika saba, wanafunzi walishiriki na darasa makala walizorekebisha na uzoefu wao wa GenAI. Mrejesho wa wenzao na wa mwalimu ulitumika kutathmini upya maudhui na vyanzo kabla ya uwasilishaji wa mwisho.

Zana nne za GenAI zilizopendekezwa katika utafiti

Maelezo haya ya majukwaa yanaakisi kazi zilizoelezwa katika makala wakati wa kipindi ambacho utafiti ulifanywa. Kwa kuwa huduma za GenAI zinaweza kubadilika haraka, vipengele hivi havipaswi kusomwa kama uthibitishaji huru wa vipimo vya sasa vya bidhaa.

Ni Mambo Gani Yaliyoathiri Uchaguzi wa Zana za GenAI wa Wanafunzi?

Kulingana na Kielelezo 1, katika matumizi halisi ya zana jambo lililotajwa mara nyingi zaidi lilikuwa manufaa (%50), ilhali katika kupendekeza zana kufaa kwa kazi (%41) kuliongoza; ubora wa matokeo ulijitokeza kwa %36 katika muktadha wa mapendekezo pekee, huku uaminifu ukikodishwa kwa %14 katika matumizi na %23 katika mapendekezo.

Asilimia hizi ni kategoria zilizokodishwa kutoka majibu ya maswali ya wazi na hazipaswi kujumlishwa kana kwamba ni mgawanyo mmoja wa chaguo la lazima. Jibu la mwanafunzi mmoja linaweza kuwa na sababu zaidi ya moja.

Kwa nini matumizi na mapendekezo hayakuwa sawa?

ChatGPT ilikuwa zana ambayo wanafunzi waliifahamu zaidi kabla ya kozi na ilipendelewa sana katika matumizi ndani/nje ya kozi. Hata hivyo, wanafunzi walipendekeza U-M GPT zaidi kwa makundi ya wanafunzi yajayo. Waandishi wanaeleza tofauti hii kwa kutofautisha tabia ya matumizi ya kila siku na vigezo vinavyozingatiwa katika maamuzi ya mapendekezo ya baadaye, kama uaminifu, faragha, ubora wa matokeo na kufaa kwa kazi.

Matokeo haya hayamaanishi kwamba “usahihi wa kisayansi wa U-M GPT ni wa juu kuliko ChatGPT”. Utafiti haukulinganisha majibu ya mifumo hiyo miwili kwa maswali yaleyale kwa kutumia benchmark iliyodhibitiwa. Matokeo yanahusu mapendeleo na mtazamo wa wanafunzi.

Kwa nini faragha ilikuwa muhimu?

Makala ilisisitiza vipengele vya faragha vya kitaasisi vya U-M GPT na U-M Maizey katika mazingira ya University of Michigan, vilivyoundwa ili pembejeo za watumiaji zisitumiwe tena kufundisha modeli na taarifa binafsi zisifichuliwe kwa wahusika wa nje. Mwelekeo wa wanafunzi kuelekea U-M GPT hasa katika kazi za essay-generation zilizochukuliwa kuwa na hatari kubwa zaidi ya kitaaluma ulijadiliwa na waandishi katika muktadha wa uaminifu na kukubalika kwa hatari.

Mazoea yalikuwa muhimu kwa kiwango gani?

Kabla ya kozi, %82 ya washiriki waliripoti kuwa walikuwa wametumia GenAI hapo awali, na %68 walikuwa na akaunti iliyopo ya ChatGPT. Mazoea makubwa na ChatGPT yaliambatana na matumizi yake ya mara kwa mara ndani na nje ya kozi. Hata hivyo, katika mapendekezo ya zana kwa siku zijazo wanafunzi walisisitiza zaidi kufaa kwa kazi, ubora, manufaa na uaminifu kuliko mazoea.

Mbinu na Matokeo ya Utafiti

Kozi na sampuli

Utafiti ulifanywa katika kozi ya Biol/Chem 455/505 yenye kichwa “Nucleic Acids Biochemistry—The RNA (and DNA) World Within” iliyofundishwa katika University of Michigan katika kipindi cha Fall 2024. Kozi ilijumuisha wanafunzi wa kiwango cha juu cha shahada ya kwanza na wa mwanzo wa uzamili.

Pointi mbili za ziada zilitolewa kwa kushiriki katika dodoso la mwisho na hili lilikuwa sawa na takriban %1 ya alama ya mwisho ya kozi. Ushiriki katika dodoso ulielezwa kuwa wa hiari.

Mgawanyo wa kitaaluma wa sampuli

Wanafunzi wengi wa shahada ya kwanza walikuwa katika mwaka wa mwisho au wa tatu. Wanafunzi wanane walikuwa wakisoma Biomolecular Sciences, saba Biochemistry; mwanafunzi mmoja wa shahada ya kwanza alikuwa na taaluma kuu ya Chemistry. Kati ya wanafunzi watano wa uzamili, watatu walikuwa katika chemical biology, mmoja inorganic chemistry na mmoja organic chemistry.

Mgawanyo huu unaonyesha kwamba licha ya matumizi ya kauli “Graduate Education” katika kichwa asili, wengi wa darasa lililochunguzwa walikuwa wanafunzi wa shahada ya kwanza.

Ukusanyaji wa data

Watafiti walitumia dodoso la kabla na baada lenye maswali ya kufungwa na ya wazi. Dodoso hizo zilikuwa zimejaribiwa katika utafiti wa majaribio wa awali uliofanywa mwaka 2023 na kuboreshwa kwa kuzingatia mrejesho wa wanafunzi.

Maswali ya kufungwa yalitathminiwa kwa uchanganuzi wa maelezo wa kiasi. Majibu ya maswali ya wazi yaliainishwa kwa mkabala wa ukodishaji wa kiinduktivu.

Uaminifu kati ya wakodishaji

Katika kodi zilizokuwa na idadi ndogo ya kategoria zinazowezekana za majibu, tofauti zilitatuliwa kwa majadiliano. Katika seti pana zaidi za kategoria, Cohen's kappa (κ) ilitumika kutathmini uaminifu kati ya wakodishaji wawili.

Utafiti ulitumia κ ≥ 0,70 kama kizingiti cha makubaliano yanayokubalika. Katika baadhi ya kategoria za ukodishaji ambapo κ ilikuwa chini ya 0,70, mkabala wa ukodishaji ulipitiwa upya, ukodishaji huru ulirudiwa na uaminifu ukatathminiwa tena.

Mkabala wa takwimu

Kwa sababu sampuli ya utafiti ilikuwa ndogo na ya kiuchunguzi, uchanganuzi uliundwa kuwa wa maelezo. Waandishi wanasema wazi kwamba uchanganuzi huu haukulenga ujanibishaji wa kitakwimu. Uchanganuzi wa maelezo ulifanywa kwa SPSS version 30.

Matumizi ya GenAI kabla ya kozi na ndani ya kozi

Matumizi ndani ya kozi, isipokuwa kuunda msimbo wa kompyuta, yalizidi matarajio mengi ya wanafunzi kabla ya kozi. Mojawapo ya mabadiliko makubwa zaidi yalikuwa katika kuunda outline: matumizi kabla ya kozi yalikuwa %18, yakapanda hadi %91 ndani ya kozi.

Uzoefu wa jumla wa wanafunzi

%68 ya wanafunzi walitathmini zoezi la uandishi linalosaidiwa na GenAI kwa ujumla kwa mtazamo chanya ikilinganishwa na kazi za kawaida za uandishi, huku %32 wakilitathmini vibaya.

Kutafuta taarifa kulikuwa mojawapo ya maeneo ya matumizi yaliyoonekana kwa nguvu zaidi pamoja na wanafunzi walioripoti uzoefu chanya. Kwa upande mwingine, kulikuwa na vikundi vidogo vyenye asilimia kubwa zaidi ya wanafunzi walioripoti uzoefu hasi katika kazi kama kuunda outline, kuzalisha mawazo, kuunda essay ya maneno 500 inayotegemea GenAI na kupitia fasihi.

Ulinganisho huu si wa kisababishi. Kwa mfano, haiwezekani kuhitimisha kutoka kwa data hizi kwamba “kuunda outline kulisababisha uzoefu hasi”; kinachoripotiwa ni mwelekeo tu wa kategoria mbili za taarifa binafsi kuonekana pamoja kwa wanafunzi wale wale.

Kujiamini na mafanikio ya maarifa

Kielelezo 2 kinaonyesha mafanikio ya kujiamini na maarifa yaliyoripotiwa binafsi na wanafunzi kuhusu mwingiliano na GenAI. Maendeleo makubwa zaidi yalionekana katika kujiamini kwa ujuzi wa prompt-engineering na maarifa ya uelewa wa prompt.

Kutambua GenAI bias, kuelewa mifumo yake na baadhi ya maeneo ya kimaadili yalikuwa mada zilizoripoti mafanikio madogo zaidi. Waandishi wanaeleza sehemu ya hali hii kwa wanafunzi kuwa tayari na maarifa katika maeneo hayo, na sehemu nyingine kwa kozi kutoa mazoezi machache katika mada hizo.

Kwa kuwa si wastani wote kamili uliowekwa lebo za namba kwenye grafu ya Kielelezo 2 katika makala kuu, Verianla haitengenezi thamani mpya kamili kutokana na urefu wa nguzo hizo.

Nia ya kutumia GenAI katika siku zijazo

Wanafunzi 18 (%82) waliripoti kwamba wanapanga kutumia zana za uandishi za GenAI katika siku zijazo. Kati ya wanafunzi waliotaja nia ya matumizi ya baadaye, %78 walikuwa na uzoefu wa jumla chanya na zoezi linalosaidiwa na GenAI, huku %22 wakiwa na uzoefu hasi.

%93 ya wanafunzi waliokuwa na uzoefu chanya waliripoti kwamba wanapanga kutumia GenAI katika siku zijazo. Nusu ya wanafunzi wanne ambao mwanzoni walisema hawakutaka kutumia GenAI waliripoti mwishoni mwa kozi kwamba walikuwa wanafikiria kuitumia baadaye.

Uelewa wa prompt

%82 ya wanafunzi waliripoti kuhisi kuboreka katika ujuzi wao wa prompt-engineering. Katika majibu ya wazi, pia kulikuwa na wanafunzi waliotaja uelewa wa prompt kama mojawapo ya mafanikio yenye thamani zaidi ya zoezi.

Mojawapo ya ujumbe muhimu wa kielimu wa utafiti ni kwamba kutengeneza prompt nzuri si kazi ya kuandika amri mara moja. Wanafunzi wengi walilazimika kurekebisha prompt zao za kwanza ili kupata muundo, chanzo, kiwango cha maelezo au upeo unaotakiwa.

Mafanikio ya mabadiliko ya prompt

Jedwali hili halionyeshi kiwango cha mafanikio cha wanafunzi waliobadilisha prompt kama uwezekano wa uhamisho wa moja kwa moja. Asilimia za mfululizo miwili katika Kielelezo 4 zinafupisha majibu tofauti ya dodoso. Hata hivyo, bibliografia inajitokeza wazi kama mojawapo ya maeneo magumu zaidi ya kuthibitisha katika matokeo ya GenAI kwa wanafunzi.

Tathmini ya wanafunzi kuhusu usahihi wa kisayansi

Wanafunzi walikadiria usahihi wa kisayansi wa essay zilizotengenezwa na GenAI kwa wastani wa 3,2/5. Kipimo kilielezwa kutoka 1 = “highly inaccurate” hadi 5 = “highly accurate”. Waandishi wanajadili matokeo haya kama ushahidi kwamba uthibitishaji wa vyanzo na maudhui bado ni muhimu katika matokeo ya GenAI.

Wasiwasi wa wanafunzi ulibadilikaje?

Safu mbili za kwanza za asilimia katika jedwali si vipimo vya moja kwa moja vya ueneaji wa swali lilelile katika nyakati mbili. Safu ya kwanza inawakilisha wasiwasi uliotajwa kabla ya kozi, na ya pili inawakilisha kategoria zilizotajwa katika uzoefu hasi wakati wa kozi. Kwa hiyo, kwa mfano, thamani za %82 na %27 haziwezi kufasiriwa moja kwa moja kama “wasiwasi kuhusu wizi wa kazi ulipungua kutoka %82 hadi %27”. Mwelekeo wa mabadiliko umetolewa kwa kategoria ya median katika kipengee tofauti cha Q19, na kwa wasiwasi wa wizi wa kazi mwelekeo huo ni kuongezeka.

Wasiwasi kuhusu ubunifu

Baadhi ya wanafunzi walisema kwamba lugha na mtindo wa uandishi unaopendekezwa na GenAI unaweza kuathiri mtindo wao wenyewe, na kwamba baada ya kuona mfano wa matini uliotengenezwa na AI inaweza kuwa vigumu kuandika kwa kujitegemea. Waandishi wanaangazia mabadiliko ya mtazamo wa wanafunzi kutoka 2023 hadi 2024, kutoka kuzingatia tu ufanisi na udadisi hadi kutathmini kwa ukosoaji zaidi mipaka ya GenAI, hitaji la uthibitishaji na athari zake zinazowezekana kwa ubunifu.

Fall 2023 na Fall 2024 ni makundi tofauti ya wanafunzi. Kwa hiyo, asilimia za miaka hiyo hazipaswi kufasiriwa kama mabadiliko ya longitudinal yaliyotokea kwa watu wale wale baada ya muda.

Ulinganisho wa kiuchunguzi kati ya 2023 na 2024

Mwaka 2024, asilimia ya wanafunzi walioripoti uzoefu wa jumla hasi kuhusu zoezi linalosaidiwa na GenAI ilikuwa %32, ikilinganishwa na %22 katika utafiti wa awali wa 2023. Asilimia ya waliopendekeza kozi zijazo zizingatie zaidi mada za taaluma badala ya GenAI iliongezeka kutoka %9 hadi %27.

Waandishi wanahusisha mabadiliko haya na wanafunzi kuanza kutathmini GenAI kwa ukosoaji na uhalisia zaidi. Hata hivyo, hili si jaribio la cohort linalodhibitiwa au lililolinganishwa kati ya miaka hiyo miwili.

Nguvu za utafiti

• Kuweka matumizi ya GenAI moja kwa moja ndani ya ufundishaji wa mada za kemia/biokemia.
• Kuchunguza si tu mara kwa mara za matumizi bali pia sababu za kukubalika kama manufaa, mazoea, uaminifu, faragha, kufaa kwa kazi na ubora wa matokeo.
• Kutathmini majibu ya kiasi ya maswali yaliyofungwa pamoja na maoni ya wazi ya wanafunzi.
• Kukagua uaminifu kati ya wakodishaji katika ukodishaji wa ubora kwa kutumia Cohen's κ.
• Kufanya uthibitishaji wa matini iliyotengenezwa na AI na kuichakata upya kwa maandishi ya mwanafunzi mwenyewe kuwa sehemu ya lazima ya zoezi.
• Kushughulikia uelewa wa prompt pamoja na ufahamu wa kimaadili na uthibitishaji wa taarifa.

Mapungufu ya utafiti

• Unategemea kozi moja ya biokemia ya University of Michigan.
• Wanafunzi 22 pekee walishiriki katika uchanganuzi.
• Ushiriki ulikuwa wa hiari, na inawezekana wanafunzi waliovutiwa zaidi na GenAI wakasababisha upendeleo wa uteuzi.
• Chanzo kikuu cha data ni dodoso za kujiripoti; ongezeko la kujiamini au maarifa lililoripotiwa si sawa na ongezeko halisi la tabia au ujifunzaji wa objektifu.
• Hakuna kundi la udhibiti.
• Wanafunzi waliotumia na wasiotumia AI hawakugawanywa kwa nasibu.
• Zoezi lilikuwa la muda mfupi na upeo mdogo; ukuaji wa ujuzi wa muda mrefu haukutathminiwa.
• Washiriki ni wanafunzi wa kiwango cha juu cha shahada ya kwanza na wa mwanzo wa uzamili; matokeo hayawezi kuhamishwa moja kwa moja kwenye viwango vingine vya elimu.
• Usahihi wa majibu ya zana tofauti za GenAI haukulinganishwa kwa benchmark ya kawaida ya pamoja.

Matokeo yanayoungwa mkono na utafiti

• Katika muktadha huu wa kozi, sehemu kubwa ya wanafunzi ilishirikiana zaidi na GenAI.
• Wanafunzi waliripoti ongezeko la kujiamini kwa prompt-engineering na uelewa wa prompt.
• Wanafunzi wengi wanapanga kutumia zana za uandishi za GenAI katika siku zijazo.
• Katika matumizi ya zana, manufaa na mazoea; katika mapendekezo ya zana, kufaa kwa kazi, ubora, uaminifu na faragha ni mambo muhimu.
• Usahihi wa bibliografia na kina cha kutosha cha maudhui viliendelea kuwa changamoto muhimu katika uandishi wa kisayansi unaosaidiwa na GenAI.
• Wanafunzi waliendeleza wasiwasi wa ukosoaji kuhusu athari za kimaadili, kimazingira, uadilifu wa kitaaluma na ubunifu za GenAI.

Matokeo yasiyoungwa mkono na utafiti

• Haijathibitishwa kwamba GenAI huongeza maarifa ya biokemia ya wanafunzi kwa njia ya kisababishi.
• Haikupimwa kama matumizi ya GenAI huongeza utendaji wa mitihani au maabara.
• Haikuonyeshwa kwamba U-M GPT ni sahihi zaidi kiufundi kuliko ChatGPT.
• Haikuonyeshwa kwamba ChatGPT ni bora zaidi kielimu kuliko U-M GPT.
• Ongezeko la kujiamini lililoripotiwa na wanafunzi si sawa na alama ya objektifu ya ujuzi.
• Matokeo hayawezi kujumlishwa kwa wanafunzi wote wa kemia au vyuo vikuu vyote.
• Makala haikuunda modeli mpya ya transformer wala kufanya benchmark ya utendaji wa usanifu wa transformer katika kazi za kemia.

Kamati ya maadili na ridhaa iliyoarifiwa

University of Michigan Health Sciences and Behavioral Sciences Institutional Review Board iliamua kwamba utafiti umeondolewa katika usimamizi wa IRB. Nambari ya itifaki ni HUM00245013. Ridhaa iliyoarifiwa ilipatikana kutoka kwa watu wote walioshiriki katika utafiti.

Mgongano wa maslahi

University of Michigan ina maslahi ya kifedha katika LearningClues inayohusishwa na mojawapo ya teknolojia zilizotumika katika utafiti. Kevyn Collins-Thompson ni mvumbuzi mwenza wa mojawapo ya teknolojia hizo na mmiliki wa sehemu wa LearningClues, Inc. Washiriki walijulishwa kuhusu mgongano huu wa maslahi, Collins-Thompson hakushiriki moja kwa moja katika mchakato wa ridhaa iliyoarifiwa, na University of Michigan Institutional Conflict of Interest Committee iliidhinisha mpango wa usimamizi wa mgongano wa maslahi tarehe 3 Aprili 2024.

Utafiti wa baadaye

Waandishi wanapendekeza uthibitishaji kwa sampuli kubwa zaidi, kulinganisha uelewa wa taarifa kwa kutumia AI na bila AI, kutathmini athari za GenAI kwa ujifunzaji na maendeleo ya ujuzi wa muda mrefu, kuchunguza moja kwa moja zaidi tabia za uadilifu wa kitaaluma, na kufanya tafiti zinazojumuisha taaluma tofauti.

Maelezo ya Chanzo na Mbinu

Utafiti asili: Integrating AI Literacy in Chemistry Graduate Education: Harnessing the Power of Transformer-Based Models.

Waandishi: Yulia V. Sevryugina; Kevyn Collins-Thompson; Nils G. Walter.

Mwandishi wa mawasiliano: Yulia V. Sevryugina.

Taasisi 1: Taubman Health Sciences Library, University of Michigan, Ann Arbor, Michigan, USA.

Taasisi 2: School of Information, University of Michigan, Ann Arbor, Michigan, USA.

Taasisi 3: Department of Electrical Engineering and Computer Science, College of Engineering, University of Michigan, Ann Arbor, Michigan, USA.

Taasisi 4: Department of Chemistry, University of Michigan, Ann Arbor, Michigan, USA.

Jarida: AI in Education.

Mchapishaji: MDPI, Basel, Switzerland.

Juzuu / toleo / makala: 2(2), 14.

DOI: 10.3390/aieduc2020014.

Aina ya makala: Article iliyopitiwa na wataalamu; utafiti wa kielimu wa sampuli ndogo, wa kiuchunguzi/proof-of-concept.

Tarehe: Ilipokelewa 15 Januari 2026; marekebisho 07 Machi 2026; kukubaliwa 13 Aprili 2026; kuchapishwa 04 Mei 2026.

Leseni: Creative Commons Attribution (CC BY).

Kipindi cha utafiti: Fall 2024.

Kozi: Biol/Chem 455/505 — Nucleic Acids Biochemistry—The RNA (and DNA) World Within.

Sampuli: Wanafunzi 25 waliojiandikisha katika kozi; wanafunzi 22 wa kujitolea katika uchanganuzi (%88 kiwango cha majibu).

Dokezo la kichwa–sampuli: Kichwa asili kinatumia kauli “Graduate Education” lakini ni 5 tu (%23) wa kundi la uchanganuzi walio wanafunzi wa uzamili; washiriki wengine ni wanafunzi wa shahada ya kwanza. Kwa hiyo, matokeo hayapaswi kuelelezwa kama sampuli ya wanafunzi wa uzamili pekee.

Ukusanyaji wa data: Dodoso la kabla na baada; maswali ya kufungwa na ya wazi.

Uchanganuzi wa kiasi: Uchanganuzi wa maelezo; SPSS version 30.

Uchanganuzi wa ubora: Ukodishaji wa kiinduktivu; Cohen's κ kwa wakodishaji wawili katika kategoria zinazofaa; kizingiti cha makubaliano yanayokubalika κ ≥ 0,70.

Maadili: University of Michigan Health Sciences and Behavioral Sciences Institutional Review Board; imeondolewa katika IRB oversight, HUM00245013.

Ridhaa: Ridhaa iliyoarifiwa ilipatikana kutoka kwa washiriki wote.

Ufadhili: Center for Academic Innovation at the University of Michigan, Ann Arbor.

Upatikanaji wa data: Sehemu ya Data Availability Statement ya chanzo inarejelea chanzo cha Chemistry Librarian Lecture. Inaelezwa kwamba Supplementary Materials zinajumuisha uchanganuzi wa bibliometriki, maelekezo ya zoezi, chombo cha dodoso, karatasi ya kazi ya uchanganuzi wa data, Figure S1 na Tables S1–S15. Makala haisemi kwamba majibu ghafi ya mtu mmoja mmoja ya dodoso za wanafunzi yalichapishwa kama seti ya data wazi.

Mgongano wa maslahi: University of Michigan ina maslahi ya kifedha katika LearningClues, Inc. Kevyn Collins-Thompson ni mvumbuzi mwenza wa mojawapo ya teknolojia husika na mmiliki wa sehemu wa LearningClues, Inc. Mpango wa usimamizi wa mgongano wa maslahi ulitekelezwa na University of Michigan.

Michango ya waandishi: Uundaji wa dhana Yulia V. Sevryugina na Nils G. Walter; mbinu Yulia V. Sevryugina, Kevyn Collins-Thompson na Nils G. Walter; programu Kevyn Collins-Thompson; uthibitishaji na uchanganuzi rasmi Yulia V. Sevryugina; rasilimali waandishi wote watatu; rasimu ya awali Yulia V. Sevryugina; mapitio na uhariri waandishi wote watatu; uwasilishaji wa picha na usimamizi Yulia V. Sevryugina; usimamizi wa mradi Yulia V. Sevryugina na Nils G. Walter; upatikanaji wa ufadhili ulifanywa na waandishi wote watatu.

Kikomo kikuu cha kimbinu: Kozi moja, washiriki 22, ushiriki wa hiari, data inayotegemea zaidi kujiripoti, muda mfupi na kutokuwepo kwa kundi la udhibiti vinaweka mipaka katika tafsiri ya kisababishi na ujanibishaji wa matokeo kwa idadi pana.

Dokezo la tafsiri ya Kielelezo 1: Muhtasari wa makala unasisitiza uaminifu kama kigezo chenye nguvu hasa. Hata hivyo, katika matini kuu na Kielelezo 1, jambo lililokodishwa mara nyingi zaidi kwa pendekezo la zana ni kufaa kwa kazi (%41), likifuatiwa na ubora wa matokeo (%36), manufaa na uaminifu (%23 kila moja). Kwa hiyo, uaminifu ni jambo kuu lakini si peke yake kategoria yenye thamani ya juu zaidi ya namba katika Kielelezo 1.

Dokezo la toleo la jukwaa: Maelezo ya makala kuhusu vipengele vya ChatGPT, U-M GPT, U-M Maizey na LearningClues yanahusu kipindi cha utafiti. Hayapaswi kujumlishwa kama vipengele vya sasa vya bidhaa za GenAI zinazobadilika haraka.

Dokezo la usimulizi upya wa Verianla: Matini hii si tafsiri kamili ya utafiti asili. Safu huru ya kujifunza kisayansi kwa Kiswahili imeundwa huku maswali ya utafiti, afua ya kielimu, sampuli ya wanafunzi, mbinu ya dodoso, mkabala wa ukodishaji, data za grafu na jedwali, matokeo, mapungufu, taarifa za maadili na mgongano wa maslahi vikihifadhiwa. Nukuu za moja kwa moja za wanafunzi hazijachapishwa tena; maudhui yake yameelezwa tu katika kiwango cha matokeo ya kisayansi.