Wasaidizi wa elimu wanaoungwa mkono na akili bandia si mifumo inayompa mwanafunzi jibu la swali pekee. Baadhi yao hutoa maelezo ya moja kwa moja, mwongozo, onyo au mrejesho ili kusaidia ujifunzaji kwa makusudi, huku mingine ikiwezesha mtumiaji kupata maarifa na ujuzi bila kutambua moja kwa moja, kwa kujaribu, kuuliza maswali, kutazama matokeo ya mfumo au kutekeleza shughuli fulani. Mapitio haya ya kimfumo yanachunguza tafiti 38 zilizochapishwa kati ya 2000–2024 na kuainisha aina hizi mbili za ujifunzaji katika wasaidizi wa elimu wa AI chini ya taksonomia ya pamoja kama ujifunzaji dhahiri na ujifunzaji fiche.

Kati ya tafiti 38 katika mapitio, 34 ziliingizwa katika uchimbaji wa kina wa data kwa vigezo vyote; tafiti nne zilizobaki zilitumiwa tu katika mfano wa motisha wa utafiti. Kati ya tafiti 34 zilizofanyiwa uchimbaji kamili wa data, 27 ziliainishwa kama mifumo inayounga mkono zaidi ujifunzaji dhahiri, na 7 kama mifumo inayounga mkono mbinu za ujifunzaji fiche. Mgawanyo huu unalingana kwa takriban %79 na %21 mtawalia. Asilimia hizi si kiwango cha mafanikio ya kujifunza cha mifumo ya AI wala ukubwa wa athari katika elimu; zinaonyesha mgawanyo wa tafiti kulingana na aina ya mbinu ya ujifunzaji ambayo mifumo iliyochunguzwa iliainishwa ndani yake.

Kwa ujifunzaji dhahiri, watafiti walibainisha vipengele 11 vya mwingiliano: kuuliza maswali, maswali ya ndiyo/hapana, maswali ya chaguo nyingi, kujibu maswali, kutoa mwongozo, ujumbe wa onyo, kuzalisha au kutatua kazi, mapendekezo, arifa, mrejesho na kuhariri mrejesho. Katika ujifunzaji fiche, vipengele vinne vikuu vilibainishwa: kuuliza maswali, kujibu maswali, kutekeleza shughuli na mrejesho. Mwingiliano uleule wa juu juu, kwa mfano “mrejesho”, unaweza kuonekana katika makundi yote mawili kulingana na kama mtumiaji ana kusudi la kujifunza kwa makusudi na kulingana na kazi yake katika utafiti husika.

Katika modali za mwingiliano, mawasiliano ya maandishi ndiyo yaliyoenea zaidi. Watafiti walibaini mwingiliano wa maandishi katika tafiti 25, wa kuona katika 19, unaotegemea vitendo katika 7 na unaotegemea mazungumzo katika 5. Kwa kuwa utafiti mmoja unaweza kujumuisha zaidi ya modali moja, haya si makundi yanayotengana. Mgawanyo uliosawazishwa kwa jumla ya matukio 56 ya modali ni %45 kwa mwingiliano wa maandishi, %34 kwa uonyeshaji wa kuona, %12 kwa vitendo na %9 kwa mazungumzo.

Mapitio pia yanaonyesha kikomo muhimu cha uhalisia wa sasa. Ni tafiti nne tu kati ya 38 zilizochunguzwa zinazotumia LLM au akili bandia zalishi. Kwa hiyo, ingawa taksonomia inawagusa kwa kiasi wasaidizi wa elimu wanaotegemea LLM ambao wanaenea kwa kasi leo, sehemu kubwa ya msingi wa ushahidi inatokana na mifumo inayotegemea sheria, ujifunzaji wa mashine wa kawaida, mifumo ya ufundishaji mahiri, chatbot na zana za AI za awali.

Tofauti ya msingi kati ya ujifunzaji dhahiri na ujifunzaji fiche ni ipi?

Tofauti ya msingi katika utafiti ni nia ya mtumiaji ya kujifunza kwa ufahamu. Katika ujifunzaji dhahiri, mtumiaji huelekezwa moja kwa moja kujifunza kupitia maelezo, maelekezo, swali, mrejesho au kazi ya kielimu. Katika ujifunzaji fiche, maarifa au ujuzi hupatikana kwa njia isiyo ya moja kwa moja wakati mtumiaji anafanya shughuli, anazungumza na AI, anaangalia matokeo au anaingiliana kwa kujaribu na kukosea.

Watafiti hawakufanya utofauti huu kwa kutazama tu aina ya kiolesura. Kwa mfano, “kuuliza swali” au “mrejesho” unaweza kuonekana katika ujifunzaji dhahiri na fiche. Kinachoamua uainishaji ni kazi ambayo mwingiliano huo unatekeleza katika utafiti husika. Ikiwa mtumiaji anauliza swali kwa makusudi ili kupata taarifa, hilo linaweza kuainishwa kama ujifunzaji dhahiri; ikiwa anakuza ujuzi bila kutambua wakati wa mwingiliano wa kawaida, linaweza kuainishwa kama ujifunzaji fiche.

Mbinu 11 zilizobainishwa katika ujifunzaji dhahiri

Mapitio yanauchukulia mrejesho kama mbinu ya msingi hasa. Mrejesho unaonekana katika matumizi mengi tofauti, kutoka makosa ya sintaksia au wakati wa utekelezaji katika elimu ya programu, usahihi wa hatua za kutatua matatizo katika uhandisi, makosa ya sarufi katika elimu ya lugha hadi kuboresha mchoro wenye ubora wa chini katika kazi za kubuni.

Hata hivyo, watafiti hawachukulii kila kipengele cha ujifunzaji dhahiri kama chanya moja kwa moja. Kwa mfano, wanajadili kwamba mwongozo wa hatua kwa hatua unaweza kupunguza makosa ya watumiaji wanaoanza, lakini msaada uliopangwa kupita kiasi unaweza kuleta hatari ya kudhoofisha hoja huru. Vivyo hivyo, kutoa ujumbe wa “umekosea” pekee bila kueleza sababu ya kosa huenda usitoshe kwa ujifunzaji wa kina wa dhana.

Mbinu nne zilizobainishwa katika ujifunzaji fiche

Kutekeleza shughuli kulijitokeza hasa katika elimu ya AI. Mifano ni pamoja na wanafunzi kufanya kazi na algoriti katika mazingira ya programu za kuona, kujaribu uainishaji wa ujifunzaji wa mashine bila kuandika msimbo, au watoto kumfundisha wakala wa mazungumzo taarifa kuhusu wanyama na baadaye kutazama majibu ya mfumo.

Fasihi iliyochunguzwa imebadilikaje kwa muda?

Mapitio yanaona mabadiliko ya wazi ya kihistoria katika kipindi cha 2000–2024. Tafiti nyingi za awali zilizingatia vipengele vya ujifunzaji dhahiri katika programu, kusoma na kuandika, na mazingira ya ufundishaji yaliyo na muundo. Karibu na 2019–2020, ujifunzaji fiche ulianza kuonekana zaidi kupitia mifumo ya sauti na mifano ya kujifunza kupitia shughuli.

Katika kipindi cha 2021–2024, mifumo inayotumia LLM na akili bandia zalishi ilianza kuonekana. Watafiti wanaeleza kwamba katika kipindi hiki mipaka kati ya ujifunzaji dhahiri na fiche ilianza kupungua ukali; mfumo mmoja unaweza kuunga mkono maelezo na mrejesho wa moja kwa moja pamoja na kujifunza kupitia ugunduzi na uzoefu.

Hata hivyo, tafsiri hii ya kihistoria ina kikomo muhimu: kuna tafiti nne tu za LLM/GenAI katika mapitio ya kimfumo. Kwa hiyo haiwezekani kutoa hitimisho thabiti la kiasi kuhusu kuenea au ufanisi wa mbinu za ujifunzaji katika enzi ya LLM.

Wasaidizi wa elimu wa AI wametekelezwa katika aina zipi?

Utafiti unagawa mikabala ya utekelezaji katika makundi manne makuu:

1. AI ya mazungumzo: mifumo kama chatbot au conversational agent inayowasiliana na mtumiaji kupitia lugha ya kawaida.
2. Mifumo ya AI: mifumo shirikishi, mifumo mahiri ya ufundishaji, majukwaa ya elimu na mifumo ya mapendekezo.
3. AI assistance: mifumo ya kusaidia inayorahisisha kazi ya mwanafunzi au mbunifu.
4. Zana za AI: zana zinazosaidia kazi mahususi kama programu, saketi, uonyeshaji wa kuona, kufundisha AI au kubuni.

Maarifa huhifadhiwa na kusasishwa vipi?

Miundo ya maarifa ya mifumo iliyochunguzwa ni tofauti sana. Baadhi hutumia hifadhidata tuli au zinazobadilika, baadhi hutumia misingi ya maarifa, ontolojia au seti za data, huku tafiti nyingi za mapema zikiwa hazijaripoti maelezo ya hifadhi ya maarifa au mbinu ya kusasisha.

Kwa mfano, baadhi ya chatbot hulinganisha ingizo la mtumiaji na maudhui katika msingi wa maarifa kupitia msimamizi wa mazungumzo; mifumo ya mapendekezo inaweza kuwakilisha taarifa za mwanafunzi, elimu ya juu na kazi kupitia ontolojia. Katika mifumo mipya zaidi, mwingiliano unaobadilika wa watumiaji hurekodiwa au uzalishaji unaotegemea LLM hutumiwa pamoja na vyanzo vya maarifa vilivyo na muundo.

Moja ya mapengo ya utafiti yaliyotajwa na waandishi ni hili hasa: tafiti nyingi hazielezi vya kutosha kama msingi wa maarifa ni tuli au unaobadilika, au mkakati wa kusasisha unafanya kazi vipi.

Algoriti zipi zimetumiwa?

Hakuna algoriti moja inayotawala katika mapitio. Mifumo iliyochunguzwa imetumia uchakataji wa lugha asilia, ujifunzaji wa mashine, mitandao ya kina ya neva, miti ya maamuzi, algoriti za mapendekezo, mbinu za contextual bandit, utambuzi wa picha, upangaji wa makundi, grafu za maarifa na katika kipindi kipya vipengele vya LLM/GenAI.

Mifano inajumuisha mifumo ya mazungumzo inayotegemea Dialogflow na Rasa, jukwaa la elimu linalotumia mti wa maamuzi wa J48, msaidizi wa kubuni anayetumia cooperative contextual bandit, mfumo wa kubadilisha michoro unaotegemea uchakataji wa picha na ujifunzaji wa kina, na mifumo ya elimu/ubunifu ya kipindi cha 2024 inayotumia GPT/ChatGPT au OpenAI API.

Kwa hiyo utafiti hauhitimishi kwamba “algoriti bora zaidi katika elimu ni hii.” Mbinu ileile ya ujifunzaji inaweza kutekelezwa kwa usanifu wa kiufundi unaotofautiana sana.

Watumiaji huingiliana zaidi na AI kwa njia gani?

Mwingiliano wa maandishi ndio modali inayotumika zaidi kwa mbali. Hata hivyo, thamani za asilimia si asilimia ya moja kwa moja ya idadi ya tafiti; kwa kuwa utafiti mmoja unaweza kuwa na modali nyingi, zimesawazishwa kwa jumla ya matukio ya mwingiliano.

Ingawa safu ya Jedwali 6 katika chanzo imepewa jina “Number of Papers”, seli zinaonyesha asilimia %45, %9, %12 na %34. Maandishi ya maelezo katika sehemu hiyo hiyo yanaripoti idadi halisi za tafiti kama 25, 5, 7 na 19. Kwa hiyo katika jedwali la Verianla taarifa zote mbili zimehifadhiwa katika safu tofauti.

LLM zinabadilishaje wasaidizi wa elimu?

Kulingana na mapitio, LLM na akili bandia zalishi zinawezesha kuhama kutoka mifumo ya elimu ya zamani inayotegemea sheria zisizobadilika na mtiririko mdogo wa majibu kwenda kwenye mifumo yenye kubadilika zaidi, inayotambua muktadha na iliyo wazi kwa mazungumzo. Katika mifumo mipya iliyochunguzwa, LLM zimetumika kutoa majibu yanayobadilika kwa maswali ya mtumiaji, kuzalisha maelezo, kutoa mapendekezo ya ubunifu na kuwezesha mwingiliano kati ya modali tofauti.

Waandishi wanaeleza kwamba unyumbufu huu unaweza kusaidia maelezo yaliyobinafsishwa, maswali yaliyoelekezwa na mrejesho unaobadilika katika ujifunzaji dhahiri; na katika ujifunzaji fiche unaweza kusaidia kujifunza kwa kujaribu, kubadilisha muundo wa swali na kutazama matokeo ya mfumo.

Hata hivyo, utafiti haujafanya meta-analysis inayoonyesha kwamba wasaidizi wa elimu wanaotegemea LLM kwa ujumla wana ufanisi zaidi kuliko mbinu za jadi. Zaidi ya hayo, ni tafiti nne tu zilizojumuishwa zilizotumia LLM/GenAI. Kwa hiyo, mielekeo mingi ya baadaye katika sehemu ya LLM ni usanisi na mapendekezo kuhusu eneo la utafiti linalokua kuliko ushahidi imara wa kulinganisha athari kutoka katika mapitio haya.

Hatari kuu katika elimu inayotegemea LLM ni ipi?

Utafiti chanzo unasisitiza kwamba unyumbufu wa LLM huleta tatizo jipya la tathmini. Katika mifumo ya kawaida, vipimo kama usahihi, ukamilishaji wa kazi au urahisi wa matumizi vinaweza kuonekana kuwa vya kutosha, lakini katika mifumo zalishi ukweli wa majibu na uaminifu wake lazima pia vitathminiwe kando.

Waandishi wanaangazia hasa hatari ya hallucination. Kukubali jibu lisilo sahihi la AI bila tathmini ya kina kunaweza kuwapotosha wanaojifunza; hatari hii inaweza kuwa muhimu zaidi katika maeneo kama faragha, usalama na afya ambapo mwongozo usio sahihi unaweza kuwa na matokeo makubwa. Kwa hiyo, taratibu za kinga na uthibitishaji unaotegemea taarifa za kuaminika unapendekezwa kwa wasaidizi wa elimu wanaotegemea LLM.

Matokeo yanayoungwa mkono na utafiti

• Katika wasaidizi wa elimu wa AI waliokaguliwa, mbinu za ujifunzaji dhahiri zinawakilishwa mara nyingi zaidi kuliko ujifunzaji fiche.
• Kati ya tafiti 34 zenye uchimbaji kamili, 27 ziliainishwa kuwa na ujifunzaji dhahiri unaotawala na 7 kuwa na ujifunzaji fiche unaotawala.
• Taksonomia yenye mbinu 11 za mwingiliano kwa ujifunzaji dhahiri na mbinu nne kwa ujifunzaji fiche imeundwa.
• Kipengele kilekile cha mwingiliano kinaweza kuwa na majukumu tofauti katika ujifunzaji dhahiri au fiche kulingana na kazi yake.
• Mwingiliano wa maandishi ndio modali inayoonekana zaidi katika mifumo iliyochunguzwa.
• Mwingiliano unaotegemea mazungumzo umewakilishwa kwa kiwango kidogo katika fasihi iliyochunguzwa.
• Mbinu za kuhifadhi na kusasisha maarifa zimeripotiwa kwa upungufu katika tafiti nyingi.
• Mikabala ya tathmini ni tofauti sana kwa muundo wa utafiti, sampuli, muda na vipimo.
• Kwa kuwa mifumo ya LLM/GenAI inawakilisha sehemu ndogo tu ya fasihi iliyochunguzwa, utafiti zaidi wa kimfumo unahitajika kwa wasaidizi wa elimu wa kizazi kipya.

Matokeo ambayo utafiti hauungi mkono au haujajaribu

• Thamani ya %79 haimaanishi kwamba wasaidizi wa elimu wa AI wana ufanisi wa %79.
• Haijathibitishwa kwamba ujifunzaji dhahiri una mafanikio zaidi kielimu kuliko ujifunzaji fiche.
• Haijaonyeshwa kwamba mwingiliano wa maandishi una ufanisi zaidi kuliko wa sauti au wa kuona; imebainika tu kwamba unatumiwa mara nyingi zaidi.
• Haijathibitishwa kwamba wasaidizi wa elimu wanaotegemea LLM kwa ujumla ni bora kuliko mifumo inayotegemea sheria au ujifunzaji wa mashine wa kawaida.
• Utafiti si meta-analysis inayokokotoa ukubwa wa athari wa pamoja.
• Tafiti zote 38 haziko katika kiwango sawa cha ubora na hakuna tathmini rasmi ya risk-of-bias katika kiwango cha utafiti iliyofanywa.
• Matokeo ya muda mfupi ya urahisi wa matumizi au ushiriki hayawezi kuchukuliwa kama faida ya kujifunza ya muda mrefu.
• Haijaonyeshwa kwamba taksonomia iliyopendekezwa ni kamili kwa tamaduni zote, viwango vya elimu, lugha na usanifu wa AI wa siku zijazo.

Ina maana gani kwa Uturuki?

Mapitio haya ya kimfumo hayatathmini idadi maalumu ya wanafunzi wa Uturuki au wasaidizi wa elimu wa Kituruki kama kundi tofauti la uchambuzi. Kwa hiyo mgawanyo wa %79–%21 au asilimia za modali haziwezi kutafsiriwa kama wasifu wa moja kwa moja wa shule, vyuo vikuu au teknolojia za elimu nchini Uturuki.

Hata hivyo, utafiti unatoa mfumo muhimu unaoonyesha kwamba msaidizi wa elimu wa AI utakaoendelezwa nchini Uturuki haupaswi kubuniwa kwa swali la “ni modeli gani itatumika?” pekee. Ikiwa mfumo utasaidia kujifunza moja kwa moja au kwa njia isiyo ya moja kwa moja, utatumia aina gani za mrejesho, maarifa yatasasishwaje, modali za maandishi–picha–sauti–vitendo zitaunganishwaje, na mafanikio ya kujifunza yatathibitishwaje kwa muda mrefu ni maamuzi tofauti ya ubunifu. Haya ni vipimo vya kubuni vinavyotokana na utafiti chanzo; vinahitaji uthibitishaji wa majaribio wa ndani nchini Uturuki.

Mbinu na Matokeo ya Utafiti

Mapitio ya kimfumo yalifanywaje?

Utafiti ulitumia mfumo wa kuripoti wa PRISMA 2020 na mbinu za snowballing zinazotumika katika fasihi ya uhandisi wa programu. Utafutaji wa awali ulifanywa kati ya Juni–Septemba 2022, ukasasishwa Novemba 2023, na utafutaji wa ziada ukafanywa kati ya Septemba–Desemba 2024 ili kunasa maendeleo katika wasaidizi wa elimu wanaotegemea LLM.

Utafutaji ulifanywa katika Google Scholar, ACM Digital Library, IEEE Xplore, MDPI, Springer na Taylor & Francis. Watafiti walitumia kwa pamoja utafutaji wa kiotomatiki, utafutaji wa mikono na mbinu za snowballing za mbele/nyuma.

Katika uchunguzi wa awali, jumla ya rekodi 16.335 zilibainishwa:

Baada ya kuondoa rekodi 5685 zilizojirudia na rekodi 2500 kwa kichujio cha tarehe, rekodi 8150 zilibaki kwa uchunguzi wa vichwa. Katika hatua ya vichwa rekodi 8030 ziliondolewa. Rekodi 11 ziliongezwa kwa snowballing kwenye rekodi 120 zilizobaki, hivyo ripoti 131 zilitafutwa kwa maandishi kamili na ripoti zote zilipatikana. Baada ya uchunguzi wa muhtasari na hitimisho, tafiti 73 ziliondolewa; tafiti 58 ziliingizwa katika tathmini ya ustahiki wa maandishi kamili na baada ya kuondoa 20 kati yake, tafiti 38 ziliingizwa katika mapitio ya mwisho.

Kwa nini maandishi kamili 20 yaliondolewa?

Kwa nini ni tafiti 34 tu kati ya 38 zilichambuliwa kikamilifu?

Watafiti walichimba kikamilifu vigezo 15 kwa tafiti 34 kati ya 38 zilizojumuishwa, kama mwaka wa uchapishaji, eneo, aina ya ujifunzaji, mbinu ya mwingiliano, mkabala wa utekelezaji, uwakilishi wa maarifa, kundi la watumiaji, algoriti, modali ya mwingiliano, mkabala wa tathmini, njia ya kukusanya data, idadi ya washiriki na vipimo.

Tafiti nne zilizobaki zilitumiwa tu kusaidia mfano wa motisha katika Sehemu ya 3 na hazikuingizwa katika uchimbaji kamili wa data. Kwa hiyo jumla ya tafiti 27 na 7 zinazotumiwa katika mgawanyo wa ujifunzaji dhahiri/fiche kuwa 34 inaendana na sehemu ya mbinu.

Tofauti hii ni muhimu hasa kwa sababu usemi “tafiti 38” na matokeo ya “%79 / %21” yanaonekana katika sentensi moja katika muhtasari. Kihesabu, asilimia zinategemea tafiti 34 zilizo na uchimbaji kamili:

\[ \frac{27}{34}\times100 \approx 79.4\% \]

\[ \frac{7}{34}\times100 \approx 20.6\% \]

Makala inazungusha thamani hizi na kuripoti %79 na %21.

Aina za machapisho ya tafiti

Katika Kielelezo 3 cha chanzo, %50 ya fasihi iliyochunguzwa inaonyeshwa kuwa makala za majarida, %43 machapisho ya mikutano na %7 vyanzo vya tovuti. Inaelezwa kwamba idadi ya machapisho iliongezeka sana hasa katika kipindi cha 2019–2020; baadaye ilipungua kwa kiasi lakini ikabaki juu kuliko vipindi vya awali.

Mgawanyo huu unaonyesha mwenendo wa ukuaji wa eneo, lakini mabadiliko ya idadi ya machapisho hayamaanishi kwamba ufanisi wa ujifunzaji uliongezeka kwa muda.

Mbinu za tathmini zina nguvu kiasi gani?

Katika mapitio, sehemu kubwa ya tafiti inaonekana kutumia tathmini ya majaribio na miundo mchanganyiko inayotumia pamoja mbinu za kiasi na ubora imeenea. Idadi ya washiriki ni tofauti sana: baadhi ya tafiti zinategemea tafiti ndogo za watumiaji zenye watu 6–16 tu, wakati utafiti mwingine wa chatbot uliripoti mwingiliano 14.000 wa watumiaji.

Matokeo yaliyopimwa pia hayajawekwa kiwango kimoja. Tafiti zimetumia vipimo tofauti sana kama urahisi wa matumizi, muda wa kazi, kujiamini kwa mwanafunzi, mafanikio ya kujifunza, tabia ya kutatua matatizo, ushiriki, kuridhika kwa mtumiaji, maarifa ya AI, ubora wa ubunifu au usahihi wa modeli.

Kwa sababu ya utofauti huu, mapitio ya kimfumo hayakuunganisha tafiti zote katika ukubwa mmoja wa athari ya ujifunzaji. Kama waandishi wanavyosisitiza, ushahidi uliopo unaonyesha zaidi mielekeo ya jumla ya ubunifu na utafiti kuliko asilimia mahususi za ufanisi.

Je, tathmini rasmi ya risk-of-bias ilifanywa?

Hapana. Utafiti unaeleza wazi kwamba haukufanya tathmini rasmi ya risk-of-bias katika kiwango cha utafiti. Badala yake, watafiti walitumia hatua za mchakato kama matokeo ya uchunguzi na uteuzi kukaguliwa na waandishi wengine na kutumia Google Scholar badala ya kuanza na utafutaji unaotegemea mchapishaji mmoja.

Hatua hizi zinaweza kuimarisha mchakato wa utafiti lakini hazichukui nafasi ya tathmini ya ubora wa kimetodolojia katika kiwango cha utafiti. Kwa hiyo, uzito wa ushahidi wa tafiti zenye sampuli ndogo au tathmini finyu na miundo yenye nguvu zaidi haukutenganishwa kwa kiasi.

Nani alifanya kazi gani katika mchakato wa uchunguzi?

Sehemu ya mbinu inaeleza kwamba mchakato wa uchunguzi na uteuzi ulifanywa na mwandishi wa kwanza na ukakaguliwa na kuthibitishwa na mwandishi wa nne katika kila hatua. Katika sehemu nyingine ya maelezo ya kupunguza hatari, imeandikwa kwamba uteuzi wa tafiti ulikaguliwa na kujadiliwa pamoja na waandishi wa pili na wa nne. Ingawa kauli hizi si lazima zipingane, zinaonyesha kwamba jukumu la mtathmini huru katika hatua mbalimbali halikuripotiwa kwa mgawo wa kina wa inter-rater au itifaki ya uchunguzi wa upofu mara mbili.

Itifaki ilisajiliwa lini?

Inaelezwa kwamba itifaki ya mapitio ilisajiliwa katika Open Science Framework kwa kitambulisho cha `8x4ed` kwa njia ya retrospective. Usajili wa retrospective hutoa rekodi ya uwazi kwa mbinu ya mapitio; hata hivyo hautoi ulinzi uleule wa kimetodolojia kama usajili wa prospective wa itifaki kabla ya utafiti kuanza.

Kwa nini ushahidi wa enzi ya LLM ni mdogo?

Katika sehemu ya vikwazo vya utafiti wenyewe, inaelezwa wazi kwamba ni tafiti nne tu kati ya 38 zilizotumia LLM au generative AI. Kwa hiyo taksonomia ya ujifunzaji dhahiri/fiche iliyoundwa inaakisi hasa mifumo ya elimu ya AI ya kabla ya kuenea kwa LLM.

Waandishi wanapendekeza kwamba mapitio tofauti ya kimfumo ya baadaye yanayochunguza mbinu za elimu zinazotegemea LLM pekee yanaweza kuainisha kwa uwakilishi zaidi mbinu za ujifunzaji katika wasaidizi wa elimu wa AI wa kisasa.

Mapengo manne makuu kwa utafiti wa baadaye

1. Urekebishaji wa mazungumzo: Hitaji la mazungumzo yaliyo wazi zaidi, mrejesho uliobinafsishwa na mwingiliano wa kurudiarudia.
2. Uwakilishi wa maarifa na usanifu: Miundo ya maarifa inayoweza kuthibitishwa na kusasishwa inayopita mipaka ya misingi tuli ya maarifa.
3. Ujumuishaji wa mikabala tofauti ya AI: Mifumo mseto inayoweza kutumia pamoja ujifunzaji wa mashine, maarifa yaliyo na muundo na tabaka za mazungumzo zinazotegemea LLM.
4. Tathmini yenye nguvu zaidi: Badala ya vipimo vya urahisi wa matumizi vya kikao kimoja, kupima mafanikio ya kujifunza ya muda mrefu, uelewa potofu na uaminifu.

Kwa upande wa usanifu wa maarifa, utafiti unaonyesha retrieval-augmented generation (RAG) kama mojawapo ya mbinu zinazoweza kutathminiwa siku zijazo ili kuyafanya matokeo zalishi yategemee vyanzo vya maarifa vilivyothibitishwa. Hii si mbinu bora iliyothibitishwa kwa ulinganisho katika mapitio, bali ni pendekezo la usanifu la siku zijazo.

Maelezo ya Chanzo na Mbinu

Ufadhili na msaada

Utafiti uliungwa mkono kwa sehemu na programu ya EPSRC PETRAS kwa namba ya mradi `EP/S035362/1`. Sehemu ya shukrani pia inataja ufadhili wa masomo na msaada uliotolewa na Najran University.

Upatikanaji wa data

Data zilizozalishwa katika utafiti ni taarifa zilizotolewa na kuwekewa misimbo kutoka katika tafiti zilizojumuishwa. Inaelezwa kwamba orodha ya tafiti zilizojumuishwa pamoja na vigezo vilivyotolewa kama aina ya ujifunzaji, mkabala wa utekelezaji na vipengele vya tathmini vimetolewa katika Supplementary Materials.

Maadili na mgongano wa maslahi

Sehemu za Institutional Review Board na ridhaa iliyoarifiwa zimeonyeshwa katika chanzo kuwa “hazitumiki”. Waandishi wametangaza kwamba hakuna mgongano wa maslahi.

Michango ya waandishi

Uundaji wa dhana: Fatmah Alqarni na Charith Perera. Metodolojia: Fatmah Alqarni, Charith Perera na Nada Alhirabi. Uchambuzi rasmi: Fatmah Alqarni. Usimamizi wa data: Fatmah Alqarni. Rasimu ya kwanza: Fatmah Alqarni. Mapitio na uhariri: Fatmah Alqarni, Charith Perera na Nada Alhirabi. Review: Omer Rana. Usimamizi: Charith Perera na Omer Rana. Upatikanaji wa ufadhili: Charith Perera.

Masuala ya kuzingatia ndani ya chanzo na kimetodolojia

• Ingawa tafiti 38 ziliingizwa katika mapitio ya mwisho, ni tafiti 34 tu zilizoingizwa katika uchimbaji kamili wa data.
• Kiashiria halisi cha mgawanyo wa %79 ujifunzaji dhahiri / %21 ujifunzaji fiche ni 34; viwango hivi si ufanisi wa elimu.
• Hakuna tathmini rasmi ya risk-of-bias katika kiwango cha utafiti iliyofanywa.
• Itifaki ya mapitio ilisajiliwa kwa retrospective, si prospective.
• Kwa kuwa tafiti za Kiingereza pekee ndizo zilijumuishwa, kuna uwezekano wa upendeleo wa lugha.
• Ingawa uainishaji wa ujifunzaji dhahiri/fiche unategemea ufafanuzi wa kinadharia, waandishi wanakubali kwamba una kipengele cha ubinafsi.
• Utafiti mmoja ulipewa aina moja tu kuu ya ujifunzaji; hata hivyo, vipengele vya mwingiliano vinaweza kuingiliana kati ya makundi ya dhahiri na fiche.
• Asilimia za mwingiliano si asilimia za tafiti zinazotengana; zimesawazishwa kwa jumla ya matukio ya modali.
• Kuonyesha asilimia badala ya idadi katika safu ya “Number of Papers” ya Jedwali 6 kunaleta utata wa uwasilishaji wa uhariri katika chanzo.
• Miundo ya tathmini, ukubwa wa sampuli, muda na vipimo vya tafiti ni tofauti sana.
• Tafiti nyingi zilitumia majaribio ya muda mfupi au workshop za kikao kimoja; ushahidi wa athari za kujifunza za muda mrefu ni mdogo.
• Kwa kuwa ni tafiti nne tu kati ya 38 zilizotumia LLM au akili bandia zalishi, matokeo hayawakilishi kikamilifu wasaidizi wa elimu wa kisasa wanaotegemea LLM.
• Kwa kuwa hakuna ukubwa wa athari wa meta-analytical uliokokotolewa, ubora wa kulinganisha wa kielimu kati ya mikabala tofauti ya AI haujabainishwa.

Hitimisho imara zaidi la utafiti ni kwamba wasaidizi wa elimu wa akili bandia si kundi moja la kiteknolojia na msaada wa ujifunzaji hauwezi kueleweka kwa kutazama tu algoriti ya AI inayotumiwa. Jinsi mtumiaji anavyoingiliana na AI, kama msaada ni ufundishaji wa makusudi au ujifunzaji usio wa moja kwa moja kupitia uzoefu, jinsi maarifa yanavyowakilishwa, jinsi mfumo unavyosasishwa na jinsi athari ya ujifunzaji inavyotathminiwa lazima yazingatiwe kwa pamoja.

Kinyume chake, utafiti haujathibitisha kwamba wasaidizi wa elimu wa AI kwa ujumla ni bora kuliko ufundishaji wa jadi au kwamba LLM zina mafanikio zaidi katika elimu. Tathmini ya waandishi wa chanzo wenyewe pia inaelekea kwenye hitaji la mifumo yenye nguvu zaidi ya tathmini katika fasihi iliyopo: ya muda mrefu zaidi, inayotegemea makundi makubwa na tofauti zaidi ya watumiaji, inayopima moja kwa moja mafanikio ya kujifunza na inayokagua usahihi wa matokeo ya LLM.