Mfumo wa Maoni wa Sehemu Tatu (Tripartite Feedback Framework), ni mfumo wa kinadharia wa mgawanyo wa majukumu kati ya binadamu na AI unaogawanya kazi za maoni kwa ripoti changamano zilizoandikwa katika elimu ya juu katika madaraja matatu kulingana na asili yake ya kiepistemiki: ukaguzi wa kiwango cha chini wa muundo/uwasilishaji, uthibitishaji wa kiwango cha kati wa ukweli, na tathmini ya kiwango cha juu ya kiuchambuzi. Utafiti hauwasilishi mfumo mpya wa AI wala jaribio la wanafunzi; badala yake unaunganisha nadharia zilizopo za maoni, fasihi kuhusu uwezo na mipaka ya AI, na mahitaji ya vitendo ya kutathmini ripoti changamano ili kupendekeza mipaka ya kiutendaji kuhusu kazi zipi zinaweza kusaidiwa na teknolojia na zipi zinapaswa kubaki chini ya uamuzi wa kitaaluma wa binadamu.

Katika mfumo huu, maoni ya kiwango cha chini yanahusu vipengele vinavyoweza kulinganishwa na kanuni zilizo wazi, kama vile muundo, marejeleo, sarufi, uthabiti wa kimuundo na uwazi wa kiwango cha sentensi. Maoni ya kiwango cha kati yanajumuisha kazi finyu za uthibitishaji, kama vile kama hesabu imefanywa kwa usahihi, kama jambo fulani linaendana na chanzo chenye mamlaka, au kama utaratibu ulio wazi umetumika. Maoni ya kiwango cha juu yanahusu tathmini za kitaaluma zinazotegemea muktadha, kama vile ubora wa hoja, ufaafu wa mbinu, kufikiri kwa kina, usanisi, ufahamu wa taaluma na hoja asilia.

Utafiti unasema kwamba AI inaweza kuwa na jukumu la kusaidia hasa katika uthibitishaji wa kiwango cha kati ikiwa tu masharti matano yatatimizwa kwa pamoja: hazina ya maarifa iliyochaguliwa na msahihishaji, mamlaka ya mwisho ya binadamu, kazi za uthibitishaji zilizoainishwa kwa uwazi pekee, uwazi kuhusu chanzo cha maoni, na usalama/uadilifu-by-design. Mbinu kama Retrieval-Augmented Generation (RAG) zinaweza kupunguza eneo la makosa ya ukweli, lakini kwa kuwa haziondoi hallucination, hazibadilishi usimamizi wa binadamu.

Kikomo muhimu zaidi cha tafsiri ya utafiti ni kwamba mfumo huu bado haujathibitishwa kwa njia ya kimajaribio kwenye mfumo unaofanya kazi au sampuli ya wanafunzi. Hakuna ongezeko lililopimwa katika ufanisi, ujifunzaji wa wanafunzi, haki, kiwango cha makosa ya AI au ubora wa maoni lililoripotiwa. Badala yake, mwandishi anaeleza kwa undani ni ushahidi gani unapaswa kukusanywa katika majaribio ya awali na tathmini zinazodhibitiwa za baadaye.

Kwa nini maoni katika elimu ya juu ni tatizo gumu?

Ripoti changamano za wanafunzi zinahitaji shughuli nyingi tofauti za tathmini kwa wakati mmoja. Mwanataaluma anaweza, katika ripoti hiyo hiyo, kukagua muundo wa marejeleo, kuchunguza kama hesabu ni sahihi, kupima ufaafu wa mbinu iliyotumiwa na kutathmini jinsi mwanafunzi alivyotafsiri matokeo kwa nguvu. Ingawa kazi hizi zote huitwa “maoni”, hazina muundo sawa wa kiakili na kiepistemiki.

Chanzo kinajadili kwamba hali hii ya vipengele vingi huleta matatizo mawili makuu. Kwanza, wafanyakazi wa kitaaluma hulazimika kubadilisha fikra mara kwa mara kati ya ukaguzi rahisi wa kanuni na hoja ya kina ya kitaaluma. Pili, chini ya idadi kubwa ya wanafunzi, shinikizo la muda linaweza kufanya iwe vigumu kutoa maoni kwa wakati, kwa kina na kwa uthabiti.

Kwa nini uelewa wa maoni ni tofauti na kutoa tu “jibu sahihi”?

Makala inategemea fasihi inayosisitiza kwamba maoni si tu kitendo cha kumtumia mwanafunzi orodha ya makosa. Mwanafunzi anahitaji kuelewa maana ya maoni, kupima uaminifu wa vyanzo tofauti, kutumia mapendekezo katika kazi yake na kujenga uwezo wa kutathmini utendaji wake mwenyewe kadiri muda unavyopita.

Mtazamo huu unaweka maoni yanayosaidiwa na AI mbele ya swali muhimu la kipedagogia: je, marekebisho ya kiotomatiki yaliyo ya haraka na sahihi yanakuza uwezo wa mwanafunzi kujitathmini, au yanamfanya ategemee uthibitishaji wa nje? Mfumo unapendekeza kutathmini thamani ya AI si kwa mzigo wa kazi au kasi pekee, bali pia kwa athari hii ya ujifunzaji.

Mfumo wa Maoni wa Sehemu Tatu ni Nini na Viwango Vitatu Vinatenganishwaje?

Mfumo wa Maoni wa Sehemu Tatu hugawanya kazi za maoni katika madaraja matatu ya kiepistemiki: ukaguzi wa kanuni rasmi, uthibitishaji finyu wa ukweli, na tathmini ya kitaaluma ya kifasiri; kazi za kiwango cha chini zinafaa zaidi kwa teknolojia, kazi za kiwango cha kati ziko wazi kwa msaada wa AI chini ya masharti makali tu, na kazi za kiwango cha juu zinachukuliwa kuwa jukumu la uamuzi wa kitaaluma wa binadamu.

Maoni ya kiwango cha chini

Maoni ya kiwango cha chini hukagua namna ya mawasiliano ya kitaaluma badala ya kutathmini moja kwa moja maudhui ya kisayansi ya kazi ya mwanafunzi. Viwango vya marejeleo kama APA au IEEE, mahitaji ya kimuundo na kanuni za sarufi vinaweza kukaguliwa dhidi ya kiwango maalumu cha marejeleo.

Hata hivyo, makala inaweka mpaka maalumu kuhusu dhana ya “uwazi”. Sentensi inaweza kuwa ngumu kueleweka kwa sababu ya sintaksia au uchaguzi wa maneno, jambo ambalo linaweza kuwa tatizo la juu juu. Lakini ikiwa wazo lenyewe halina uthabiti, uhusiano wa kimantiki kati ya dhana haujajengwa, au haijulikani kwa kiwango cha dhana mwanafunzi alimaanisha nini, hilo linaweza kuwa tatizo la uamuzi wa kiwango cha juu. Kwa hiyo si kila tatizo la “clarity” linaweza kupunguzwa kuwa uotomatishaji wa kiwango cha chini.

Maoni ya kiwango cha kati

Maoni ya kiwango cha kati yanagusa maudhui lakini ni tofauti na uamuzi wa ubora wa kitaaluma ulio wazi kwa tafsiri. Mifano ni kukagua kama mwanafunzi ametumia namba sahihi katika fomula iliyoainishwa, amewasilisha kwa usahihi thamani rejea inayojulikana, au amefuata utaratibu wa wazi wa maabara.

Katika kazi hizi, tendo kuu la kiakili si “tathmini” bali “uthibitishaji”. Mfumo hulinganisha dai la mwanafunzi na maarifa yaliyowekwa mapema au seti ya majibu yanayokubalika.

Maoni ya kiwango cha juu

Maoni ya kiwango cha juu hayachunguzi tu kama mwanafunzi amepata matokeo sahihi, bali pia kama amechagua mbinu sahihi ya kisayansi, jinsi alivyotafsiri ushahidi, kama ametambua mapungufu, na jinsi alivyo tathmini kwa nguvu maelezo mbadala.

Kwa mujibu wa msimamo wa kikanuni wa makala, tathmini ya aina hii si tatizo la kiufundi la uainishaji pekee. Inahusisha wajibu wa kitaaluma unaohusiana na kiwango cha elimu cha mwanafunzi, kanuni za taaluma, muktadha wa utafiti na maendeleo yake. Kwa hiyo, kutokabidhi uamuzi wa kitaaluma wa kiwango cha juu kwa mfumo wa kialgorithimu ni mojawapo ya kanuni kuu za mfumo huu.

Kwa nini viwango vitatu si tu “rahisi, kati, ngumu”?

Katika mfumo huu, viwango vitatu si mpangilio wa ugumu. Hesabu tata sana inaweza kuwa ya uthibitishaji wa kiwango cha kati, ilhali uhalalishaji wa kisayansi wa aya fupi unaweza kuhitaji uamuzi wa kitaaluma wa kiwango cha juu.

Tofauti inategemea hadhi ya kiepistemiki ya tendo: je, ukaguzi unafanywa dhidi ya kanuni iliyo wazi, uthibitishaji dhidi ya maarifa yaliyowekwa, au tathmini ya ubora na ufaafu kulingana na muktadha?

Mfano wa ripoti ya maabara ya kemia

Chanzo kinaeleza mgawanyo huu wa sehemu tatu kupitia ripoti ya maabara ya kemia. Kutambua kichwa cha kielelezo kilichokosekana ni kiwango cha chini. Kukagua kama mavuno yaliyohesabiwa ni sahihi kwa mujibu wa fomula na thamani rejea sahihi ni kiwango cha kati. Kutathmini kama mbinu iliyochaguliwa inafaa katika masharti ya jaribio na kama mwanafunzi amehalalisha uchaguzi wake vya kutosha ni kiwango cha juu.

Mfano huu unaonyesha kwamba kitu kilekile cha kisayansi kinaweza kuulizwa kwa maswali matatu tofauti. Fomula inaweza kuwa imetumika kwa usahihi, lakini fomula isiyofaa kwa jaribio hilo inaweza kuwa imechaguliwa. La kwanza ni uthibitishaji, la pili ni tathmini ya kifasiri.

Mipaka Mitano ya Lazima ya Matumizi ya AI katika Kiwango cha Kati ni Ipi?

Msaada wa AI wa kiwango cha kati unaingia ndani ya mfumo ikiwa tu kanuni zote tano zimetimizwa kwa pamoja: hazina finyu ya maarifa inayodhibitiwa na msahihishaji, mamlaka ya mwisho isiyo na masharti ya binadamu, kazi za uthibitishaji zilizo na mipaka wazi pekee, uwazi wa chanzo/mchakato, na kanuni za usalama-uadilifu-by-design; chanzo hakichukulii kutimizwa kwa kanuni nne huku moja ikiwa haijatimizwa kuwa kunatosha.

Kanuni 1: Hazina ya maarifa iliyochaguliwa na msahihishaji

Hazina ya maarifa ambayo AI itatumia kwa uthibitishaji inapaswa kuundwa kutoka vyanzo vyenye mamlaka kama maelekezo ya kazi, rubriki, mwongozo wa maabara, mifano iliyofanyiwa kazi, vitabu vya kiada vyenye leseni na nyenzo za somo. Mfumo haupaswi kuleta kwa hiari yake taarifa mpya za uthibitishaji kutoka intaneti au kumbukumbu ya modeli iliyofunzwa mapema.

Lengo la kanuni hii ni kuzuia modeli kuchukulia jibu “linaloonekana kuwa la busara kwa ujumla” kuwa jibu sahihi katika muktadha wa somo. Dhana hiyo hiyo inaweza kutumiwa katika moduli tofauti chini ya dhana au mipaka tofauti ya mbinu.

Kanuni 2: Mamlaka ya mwisho ya binadamu

Msahihishaji binadamu hapaswi kupoteza mamlaka ya kukubali, kubadilisha au kukataa maoni yaliyotolewa na AI. Katika mtazamo wa chanzo, usimamizi wa binadamu si tahadhari ya muda ambayo inaweza kuondolewa AI inapokuwa imefanikiwa vya kutosha; ni msingi wa uwajibikaji wa kitaaluma.

Ikiwa maoni yasiyo sahihi ya AI yataathiri matokeo ya kitaaluma ya mwanafunzi, inapaswa kuwa wazi ni nani anayewajibika. Mfumo unaweka wajibu huu kwa binadamu katika mlolongo wa tathmini ya kitaaluma badala ya kuusambaza kwa teknolojia.

Kanuni 3: Uthibitishaji finyu

Ili kazi iingie katika kiwango cha kati, masharti manne lazima yatimizwe kwa wakati mmoja:

1. Vigezo vya tathmini vinapaswa kuwa wazi na vimeandikwa.
2. Kazi inapaswa kufanya ulinganisho wa moja kwa moja dhidi ya maarifa yaliyowekwa na isitake uamuzi wa kifasiri.
3. Isihitajike kutathmini ubora wa mbinu nyingi mbadala lakini zenye uhalali sawa.
4. Lazima kuwe na jibu moja sahihi au seti iliyowekwa mapema ya majibu yanayokubalika.

Ikiwa hata moja ya masharti haya manne hayajatimizwa, kazi inaondoka katika eneo la uotomatishaji wa kiwango cha kati na kuhamishwa kwa tathmini ya binadamu.

Kanuni 4: Uwazi na chanzo cha maoni

Mwanafunzi anapaswa kujua maoni yametoka wapi. “Hesabu hii ilikaguliwa na mfumo unaosaidiwa na AI dhidi ya vyanzo vilivyoainishwa vya somo” na “Ufaafu wa mbinu hii ulitathminiwa na msahihishaji wa kitaaluma” hazina hadhi sawa ya kiepistemiki.

Mfumo unaona tofauti hii kuwa sehemu ya uelewa wa maoni wa mwanafunzi. Chanzo kinapofichwa, mwanafunzi hawezi kujifunza ni kwa kiwango gani aina tofauti za maoni zinaaminika na jinsi anavyopaswa kufanya kazi nazo.

Kanuni 5: Usalama na uadilifu wa tathmini

Makala inachukulia prompt injection na maagizo yaliyofichwa ndani ya hati kuwa tishio la moja kwa moja kwa mfumo wa tathmini. Maandishi meupe au madogo sana, maagizo yaliyosimbwa kwa hexadecimal/Base64/Unicode, maudhui yaliyowekwa ndani ya picha, metadata au maoni yanayolenga kudhibiti tabia ya mfumo yanatolewa kama mifano.

Miongoni mwa ulinzi unaopendekezwa ni usafishaji wa pembejeo kwa tabaka nyingi, ufuatiliaji wa mifumo ya kutiliwa shaka, sera wazi za uadilifu wa kitaaluma, ukaguzi huru wa usalama na kubuni mfumo kwa dhana kwamba utafanya kazi si tu chini ya matumizi yenye nia njema bali pia chini ya shambulio la makusudi.

Je, RAG Hutatua Tatizo la Makosa ya Ukweli na Hallucination ya AI?

Hapana. Retrieval-Augmented Generation (RAG) inaweza kupunguza eneo la makosa kwa kuunganisha jibu la AI na vyanzo vilivyochaguliwa na msahihishaji, lakini kwa kuwa matatizo kama kutopatikana kwa kifungu kinachofaa, kifungu kisicho sahihi kuchukuliwa kuwa chenye mamlaka, chanzo sahihi kutafsiriwa vibaya na modeli, au kutokuwa na uhakika katika chanzo kuhamishiwa kwenye modeli yanaendelea, chanzo hakikubali RAG kuwa dhamana ya usahihi.

Jukumu la RAG katika mfumo

Jukumu kuu la RAG ni kuhakikisha modeli inategemea nyenzo za somo zilizofafanuliwa kwa ajili ya tathmini badala ya taarifa zisizo na uhakika kutoka intaneti wazi au kumbukumbu ya kiparameta. Hii ni muhimu hasa kwa uthibitishaji wa hesabu, utaratibu au thamani rejea.

Hata hivyo, uwepo wa safu ya RAG haufanyi usimamizi wa binadamu usiwe wa lazima. Modeli inaweza kupata hati sahihi lakini kuitafsiri vibaya, au kukosa hali muhimu ya kipekee iliyo katika sehemu nyingine. Kwa hiyo RAG ni mojawapo tu ya zana za usanifu zinazosaidia kuweka mipaka kwenye hazina ya maarifa katika kanuni tano za mipaka.

Kwa nini uthibitishaji wa AI unabuniwa kama “kuashiria” badala ya “uamuzi”?

Chanzo kinapendekeza kwamba mfumo wa kiwango cha kati, kadiri iwezekanavyo, uashirie kutokulingana kunakowezekana kwa msahihishaji binadamu badala ya kutoa hukumu ya “mwanafunzi amekosea”. Mbinu hii hupunguza uwezekano wa kosa la modeli kuathiri moja kwa moja mwanafunzi kama matokeo ya kitaaluma.

Kuunganisha mifumo inayotegemea kanuni na modeli ya lugha katika ukaguzi wa hesabu, vitengo na uthabiti ulio wazi pia ni mojawapo ya chaguo za usanifu mseto zinazopendekezwa.

Kuhamisha kwa tathmini ya binadamu katika hali ya kutokuwa na uhakika

Kazi inaweza kuonekana kuwa ya ukweli lakini ikawa na uchaguzi wa mbinu au tafsiri ya kimuktadha ndani yake. Ikiwa mfumo hauwezi kutofautisha hili kwa kuaminika, chaguo la msingi la mfumo si kufanya uamuzi wa kiotomatiki bali kuhamisha kesi kwa tathmini ya binadamu.

Mbinu na Matokeo ya Utafiti

Mtazamo wa utafiti

Makala si ripoti ya jaribio la wanafunzi wala bidhaa ya tathmini inayofanya kazi. Mfumo umetengenezwa kutokana na uchambuzi wa kurudia wa maeneo matatu makuu ya maarifa: nadharia za maoni na ujifunzaji; fasihi ya kimajaribio kuhusu uwezo na mipaka ya AI katika muktadha wa elimu; na matatizo ya vitendo yanayokabiliwa katika kutathmini ripoti changamano kwa kiasi kikubwa.

Chanzo kinaeleza mchakato wa maendeleo kupitia hatua tano zilizounganishwa:

1. Mapitio ya kimfumo ya fasihi ya nadharia ya maoni ili kubaini kazi mbalimbali za kipedagogia za maoni katika ujifunzaji.
2. Uchunguzi wa mazoea ya tathmini ya ripoti na ulinganishaji wa kazi maalumu za maoni na mahitaji ya kiakili pamoja na hadhi ya kiepistemiki.
3. Mapitio ya tafiti kuhusu uwezo wa sasa wa AI na mipaka ya kiteknolojia ya muda wa karibu.
4. Ufafanuzi wa masharti ya mipaka yanayoweza kuruhusu matumizi ya teknolojia huku uamuzi wa kitaaluma ukilindwa.
5. Kujumuisha usalama na usawa katika mfumo kama vikwazo vya kubuni tangu mwanzo, si kama hatua za kuongeza baadaye.

Chanzo kinaweka mkabala huu si kama agizo la matumizi kwa wote, bali kama zana ya uchambuzi inayoruhusu taasisi kufanya maamuzi ndani ya muktadha wao wa taaluma na hatari.

Tafsiri ya uwezo wa sasa wa teknolojia kwa viwango vitatu

Njia ya utekelezaji ya hatua nne

Mchakato wa RAF Unaunganishaje Maoni ya Binadamu na AI?

Mchakato wa Report Assessment & Feedback (RAF) hutengeneza rasimu za maoni ya kiwango cha chini na cha kati kutoka katika ripoti ya mwanafunzi kupitia mfumo na kuziwasilisha kwa msahihishaji binadamu kwa ukaguzi; maoni ya kiwango cha juu huandaliwa moja kwa moja na binadamu, na baada ya vyanzo vitatu kuunganishwa, Final Feedback Report inayoibuka huidhinishwa tena na binadamu kabla ya kutumwa kwa mwanafunzi.

Pembejeo za RAF

Mchakato wa RAF unahitaji pembejeo kuu tatu: ripoti changamano ya mwanafunzi; orodha inayoainisha ni hoja zipi za ukweli mfumo utakagua na kwa uzito gani wa jamaa; na rubriki ambayo mwanataaluma binadamu atatumia katika tathmini ya kiwango cha juu.

Uzalishaji wa LLF na ILF

Mfumo huchambua ripoti na kutengeneza ripoti mbili za kina:

• Low-Level Feedback (LLF): maoni ya muundo na uwasilishaji.
• Intermediate-Level Feedback (ILF): maoni ya uthibitishaji wa ukweli yaliyowekewa mipaka mapema.

Matokeo yote mawili hayatumwi kwa mwanafunzi moja kwa moja. Msahihishaji binadamu huyakagua na kubadilisha au kukataa sehemu anazoona zinahitaji hivyo.

HLF kuandaliwa na binadamu

High-Level Feedback (HLF), ni maoni kuhusu hoja ya kina ya mwanafunzi, uchaguzi wa mbinu, usanisi na ubora wa fikra za kitaaluma, na katika modeli ya chanzo huandaliwa na wafanyakazi wa kitaaluma.

Ripoti ya mwisho ya maoni

Baada ya LLF, ILF na HLF kuunganishwa, maoni hupangwa kulingana na kiwango cha umuhimu na Final Feedback Report (FFR) huundwa. Msahihishaji binadamu anaweza kukagua na kubadilisha FFR tena, na humtumia mwanafunzi tu toleo analoliona linafaa.

Kwa hiyo mtiririko wa RAF si mstari rahisi wa uotomatishaji wa aina ya “AI inatoa alama, binadamu anakagua”. AI huzalisha msaada katika baadhi ya kazi ndogo pekee, wakati uamuzi wa kitaaluma wa kiwango cha juu na wajibu wa maoni ya mwisho yatakayowasilishwa kwa mwanafunzi hubaki kwa binadamu.

Marudio ya Human-in-the-Loop

Dhana ya kuanzia ya chanzo ni usimamizi wa marudio ya juu. Kupunguza usimamizi kunapaswa kuzingatiwa tu baada ya tathmini za kimfumo kuonyesha kuwa uaminifu, usalama na haki viko katika kiwango kinachokubalika.

Ujifunzaji wa mwanafunzi huja kabla ya ufanisi

Makala haifanyi kupungua kwa mzigo wa kazi kuwa kipimo pekee cha mafanikio ya mfumo. Swali kuu la tathmini ni kama ujifunzaji wa mwanafunzi unalindwa au kuboreshwa ikilinganishwa na mazoea ya sasa.

Mfumo unaweza kusahihisha kosa la sarufi mara moja; lakini ikiwa mwanafunzi hajifunzi kwa nini alifanya kosa, marekebisho ya haraka yanaweza kuwa na thamani ndogo ya kipedagogia. Vivyo hivyo, AI kuashiria kosa la hesabu kunaweza kukuza tabia ya mwanafunzi kujikagua au, kinyume chake, kumfanya ategemee uthibitishaji wa nje. Ni athari ipi hutokea inapaswa kupimwa kimajaribio.

Mabadiliko ya utaalamu wa kitaaluma

Chanzo pia kinaibua hatari kwamba ukaguzi wa kawaida unapokuwa wa kiotomatiki, wanataaluma wanaweza kupunguza mgusano wao na undani wa kazi za wanafunzi. Mgusano huu wa kina unaweza kuwa mojawapo ya vyanzo vya ufahamu wa kipedagogia wa kiwango cha juu.

Kwa hiyo, kuhamisha kazi za kiwango cha chini na cha kati kwa teknolojia hakuboreshi kiotomatiki tathmini ya kiwango cha juu. Namna muda uliookolewa unavyotumiwa na jinsi utaalamu wa kitaaluma unavyoathiriwa pia vinapaswa kufuatiliwa katika muundo wa uthibitishaji.

Uhuru wa mwanafunzi na uelewa wa maoni

Maoni ya vyanzo vingi yanaweza kutoa manufaa fulani: marekebisho ya haraka zaidi, mitazamo tofauti kuhusu kazi hiyo hiyo, na ufahamu wazi wa kazi inayofanywa na vyanzo tofauti vya maoni.

Kwa upande mwingine, mwanafunzi anaweza kuyaona matokeo ya AI kuwa na mamlaka kupita kiasi, kutumia kidogo uwezo wa kujitathmini, kuyapa maoni ya kialgorithimu thamani ndogo kuliko maoni ya binadamu, au kuchanganyikiwa anapokutana na vyanzo vinavyokinzana. Hakuna matokeo haya yaliyopimwa kimajaribio katika makala.

Usalama na udanganyifu

Kwa sababu mfumo wa tathmini unaosaidiwa na AI huchakata moja kwa moja hati zinazowasilishwa na wanafunzi, maandishi, picha au metadata ndani ya hati yanaweza kuwa njia ya amri kwa modeli. Chanzo kinaona hatari hii si tatizo la kiufundi la usalama pekee, bali pia tatizo la uadilifu wa kitaaluma linaloathiri uhalali wa tathmini.

Gharama za usalama zikiongezeka sana, faida ya kasi au uwezo wa kupanuka inayotolewa na AI inaweza kutoweka. Kwa hiyo, ukweli kwamba mfumo unaweza kufanya kazi kitaalamu haumaanishi kwamba una maana kitaasisi au unaweza kutekelezwa kwa namna yenye maana ya kiuchumi.

Usawa na haki

Uthabiti wa kialgorithimu haumaanishi moja kwa moja haki. Upendeleo katika data ya mafunzo, njia zisizo za kawaida za kujieleza, utofauti wa lugha, uhoji wa kitamaduni, ulemavu na tofauti za ufikiaji wa teknolojia kati ya taasisi zinaweza kuwaathiri wanafunzi kwa namna tofauti.

Mfumo unapendekeza fairness audit za mara kwa mara, kuweka kumbukumbu wazi za shughuli za mfumo, kuruhusu wanafunzi kupinga maoni wanayoona kuwa si sahihi au si ya haki, na kufuatilia matokeo daima katika ngazi ya makundi madogo ya kidemografia.

Je, Mfumo Huu Umethibitishwa Kimajaribio?

Hapana. Makala inawasilisha Mfumo wa Maoni wa Sehemu Tatu kama pendekezo la kinadharia, bila kuripoti mfumo unaofanya kazi wa LLM/RAG, kundi la majaribio la wanafunzi, jaribio la usahihi au kipimo cha kuokoa muda; badala yake inasema kwamba uthibitishaji wa baadaye wa kimajaribio unapaswa kupima kwa pamoja ufanisi, uthabiti, ubora wa maoni, ujifunzaji wa mwanafunzi, usalama na usawa.

Vipimo vinavyopendekezwa vya uthibitishaji wa kiasi

Uthibitishaji wa ubora unaopendekezwa

Vikundi lengwa vya wanafunzi vinapaswa kuchunguza uwazi, manufaa, uaminifu wa maoni na uzoefu wa kufanya kazi na vyanzo tofauti. Mahojiano na wafanyakazi wa kitaaluma yanapaswa kuchunguza mabadiliko ya mzigo wa kazi, mchakato wa uamuzi wa kitaaluma, imani katika matokeo ya AI na jinsi muda unaookolewa kutokana na uotomatishaji unavyotumiwa kwa kweli.

Tathmini ya mchakato pia inapaswa kurekodi marekebisho yanayotokea wakati wa utekelezaji, aina za makosa, matukio ya usalama, mifumo ya marekebisho na athari za usawa.

Ulinganisho unaodhibitiwa

Chanzo kinapendekeza moduli zinazotumia mfumo zilinganishwe na moduli za udhibiti zinazofanana kwa taaluma, kiwango cha kitaaluma, ukubwa wa kohorti na uzoefu wa timu ya tathmini.

Muundo wa nasibu unaodhibitiwa, ukiwezekana, unaweza kutoa ushahidi wenye nguvu zaidi wa kisababishi. Pale ambapo hauwezekani kiutendaji au kimaadili, miundo ya kiutendaji zaidi inaweza kuzingatiwa, kama ulinganisho wa kabla-na-baada kati ya miaka ya masomo au kutumia mfumo katika baadhi ya kazi na maoni ya kawaida katika nyingine ndani ya kohorti hiyo hiyo.

Jukumu la majaribio madogo

Tathmini kamili ya mbinu mseto inaweza kuhitaji miundombinu mingi, muda wa wafanyakazi na mchakato wa kimaadili. Majaribio madogo yanaweza kuanza na viashiria vya gharama ndogo kama muda wa maoni, kiwango cha makosa yaliyoashiriwa au ulinganifu wa binadamu–AI.

Hata hivyo, chanzo kinapendekeza majaribio madogo yasibadilishwe kuwa hitimisho la “mfumo umethibitishwa”; yaripotiwe tu kama ushahidi unaolingana na upeo wake.

Mapungufu

Kizuizi cha kwanza: Mpaka kati ya uthibitishaji wa kiwango cha kati na tathmini ya kiwango cha juu unaweza kuwa wenye ukungu zaidi katika matumizi halisi kuliko katika ufafanuzi wa kinadharia. Hasa katika ripoti zenye muundo wa majaribio ulio wazi, uchaguzi wa mbinu unaobishaniwa au tafsiri nyingi halali za data, kazi zinazoonekana kuwa za ukweli zinaweza kuwa na vipengele vya siri vya kifasiri.

Kizuizi cha pili: Haijajaribiwa kama kanuni tano za mipaka zinaweza kutekelezwa kwa wakati mmoja katika taasisi hiyo hiyo. Gharama halisi ya hazina ya maarifa inayochaguliwa na binadamu, usimamizi wa marudio ya juu na ukaguzi wa usalama inaweza kupunguza au kuondoa faida ya ufanisi inayotarajiwa kutoka kwa AI.

Kizuizi cha tatu: Mfumo umetengenezwa hasa kwa ripoti za maabara, utafiti, usanifu na visa katika STEM na sayansi za jamii. Haupaswi kujumlishwa moja kwa moja kwa aina nyingine kama insha, jalada, tasnifu na uandishi tafakari.

Kizuizi cha nne: Ni dhana ya kinadharia kwamba maoni ya vyanzo vingi yataimarisha uelewa wa maoni wa mwanafunzi. Muundo huo huo unaweza kumweka mwanafunzi mbele ya taarifa nyingi zaidi, kuongeza mkanganyiko au kugeuza maoni kuwa “uhamishaji wa marekebisho” wa upande mmoja.

Kizuizi cha tano: Dhana za usalama hazijajaribiwa kimajaribio. Ikiwa mbinu za mashambulizi zitakua haraka kuliko ulinzi wa kitaasisi, msaada wa AI wa kiwango cha kati unaweza kuwa usio endelevu kiutendaji hata kama unawezekana kiteknolojia.

Kizuizi cha sita: Hakuna jaribio linalofanya kazi katika utafiti. Haijulikani ni LLM ipi itatumika, muundo wa prompt utakuwaje, RAG itasanidiwaje na jinsi mambo haya yatakavyobadilisha kiwango cha makosa katika ripoti halisi za wanafunzi.

Kizuizi cha saba: Usawa si tatizo lililotatuliwa. Hasara za kimfumo katika makundi tofauti ya wanafunzi zinaweza kueleweka tu kwa kufuatilia daima matokeo yaliyotenganishwa katika matumizi halisi.

Hitimisho linaloungwa mkono na lisiloungwa mkono na utafiti

Maelezo ya Chanzo na Mbinu

Kikomo cha aina ya utafiti: Chanzo hakiripoti sampuli mpya ya wanafunzi, mfumo unaofanya kazi wa tathmini ya AI, LLM benchmark, jaribio la nasibu, kiwango cha makosa au athari ya ujifunzaji. Mchango wa makala ni uainishaji wa kinadharia, kanuni za mipaka ya kiutendaji na muundo wa uthibitishaji wa baadaye.

Mbinu ya kuendeleza fasihi: Mwandishi anatambua mapitio ya kimfumo ya fasihi ya nadharia ya maoni kama moja ya hatua tano za kuunda mfumo. Hata hivyo, aina kuu ya chapisho si mapitio huru ya kimfumo wala meta-analysis, bali ni makala ya mfumo wa kinadharia/kidhana.

Kikomo cha RAG: Retrieval-Augmented Generation inachukuliwa, kwa mujibu wa maandishi ya chanzo, kama kizuizi cha usanifu kinachoweza kupunguza hallucination; haiwasilishwi kama dhamana ya usahihi.

Kikomo cha Human-in-the-Loop: Marudio ya usimamizi wa binadamu yanaweza kutofautiana kulingana na muktadha; hata hivyo, katika utekelezaji wa awali, usimamizi wa marudio ya juu unapendekezwa na kupunguzwa kwake kunapaswa kuhalalishwa kwa ushahidi wa kutosha kuhusu uaminifu, usalama na haki.

Dokezo la Kielelezo 1: Mchoro asili wa mtiririko wa RAF katika ukurasa wa 16 unaonyesha mchakato wa human-in-the-loop unaoanzia kwenye ripoti ya mwanafunzi, rubriki ya kiwango cha juu na orodha ya ukaguzi wa ukweli, kisha uzalishaji wa LLF/ILF, marekebisho ya binadamu, HLF inayotengenezwa na binadamu, kuunganishwa kwa aina tatu za maoni na kufikia Final Feedback Report iliyoidhinishwa na binadamu. Ikiwa itachorwa upya kwa Verianla, badala ya nakala ya pikseli ya kielelezo cha chanzo, inapaswa kutumiwa mchoro asilia wa mchakato unaohifadhi mgawanyo huohuo wa kazi ya kisayansi.

Kikomo kikuu cha uthibitishaji: Uwezekano wa kutekeleza kanuni tano za mipaka kwa wakati mmoja katika taasisi halisi, kiwango ambacho tofauti ya kiwango cha kati–juu inaweza kudumishwa katika taaluma mbalimbali, utendaji wa mifumo ya RAG/LLM katika ripoti halisi, athari kwa uelewa wa maoni wa mwanafunzi na matokeo ya usawa bado hayajathibitishwa kimajaribio.