Shaxsiylashtirilgan oʻrganish yoʻli (Personalized Learning Path, PLP), muayyan oʻrganuvchining maqsadlari, kognitiv darajasi, mazmun va media afzalliklari hamda vaqt cheklovlari hisobga olinib oʻquv materiallari tanlanadigan va pedagogik aloqalariga koʻra tartiblanadigan shaxsga xos oʻquv materiallari ketma-ketligidir. Ushbu tadqiqot PLP dizaynini eksperimental qoʻllab-quvvatlovi zaif “oʻrganish uslublari” yondashuviga emas, Multimedia orqali oʻrganishning kognitiv nazariyasiga (Cognitive Theory of Multimedia Learning, CTML) asoslaydi; CTML tamoyillarini miqdoriy oʻquv materiali va PLP rubrikalariga aylantirib, material tanlash va materiallarni tartiblashni ikkita koʻp maqsadli optimallashtirish muammosi sifatida ifodalaydi.

Tadqiqotda kompyuter fanlari sohasidan olingan 67 ta bilim tugunli bilim grafigi, 365 ta real oʻquv materiali va 12 nafar magistratura talabalaridan olingan oʻrganuvchi profillari qoʻllanadi. Oʻquv materiallarini tanlash Non-Dominated Sorting Genetic Algorithm II (NSGA-II) yordamida, tanlangan materiallarni tartiblash esa Random Hill Climber (RHC) va Simulated Annealing (SA) algoritmlari bilan bajarilgan. Umumiy tanlash muammosi Subset Sum’dan keltirish orqali NP-toʻliq; umumiy koʻpdan-koʻpga tartiblash muammosining interleaving va prerequisite tarkibiy qismlari ham alohida-alohida NP-toʻliq ekani koʻrsatilgan.

Manbaning 8-jadvaliga koʻra, 12 ta talaba profilining yakuniy integrallashgan PLP rubrika oʻrtachalari 4 ballik shkala boʻyicha 3,19 dan 3,54 gacha oʻzgaradi. Eng past qiymat Student 11 uchun 3,19, eng yuqori qiymat esa Student 9 uchun 3,54. RHC va SA tartiblash algoritmlari umuman olganda yuqori rubrika ballarini hosil qilgan; ayniqsa RHC koʻplab talaba profillarida uchala tartiblash mezonining barchasida 4,00 ballga erishgan.

Bu natijalar CTML asosidagi optimallashtirish jarayoni belgilangan rubrika boʻyicha yuqori balli PLPlarni hosil qila olishini koʻrsatadi; biroq talabalar ushbu yoʻllar orqali amalda yaxshiroq oʻrganishini koʻrsatmaydi. Tadqiqotda talabalarning oʻrganish natijalarini taqqoslaydigan inson ishtirokidagi tajriba oʻtkazilmagan, PLP rubrikasini haqiqiy oʻrganish natijalari bilan tasdiqlash kelajakdagi tadqiqotga qoldirilgan.

Tadqiqotning asosiy muammosi

Onlayn taʼlim tizimi yuzlab yoki minglab oʻquv materiallariga ega boʻlishi mumkin. Barcha talabalar bir xil materiallarni bir xil tartibda koʻrishi ularning turli bilim darajalari, maqsadlari, vaqti va afzalliklarini hisobga olmaydi. PLP yondashuvi bu muammoni har bir talaba uchun alohida materiallar quyi toʻplami va alohida oʻrganish ketma-ketligini yaratish orqali hal qilishga urinadi.

Biroq shaxsiylashtirish qaysi pedagogik qoida asosida amalga oshirilishi muhim masala. Manba avvalgi PLP tadqiqotlarida oʻrganish uslublari keng qoʻllanganini, ammo bu yondashuv taʼlim va psixologiya adabiyotida kuchli empirik asosga ega emasligini taʼkidlaydi.

Ushbu tadqiqotning taklifi PLP dizaynini ilmiy jihatdan kuchliroq oʻrganish nazariyasiga bogʻlashdir. CTML inson axborotni vizual va eshitish kanallari orqali qayta ishlashi, ishchi xotira cheklanganligi va uzoq muddatli oʻrganish uchun faol kognitiv qayta ishlash zarurligini qabul qiladi. Shu sabab material faqat talaba “afzal koʻrgan shaklda” boʻlishi emas, balki kognitiv yuk, tuzilmalashtirish va mazmunli oʻrganishni qoʻllab-quvvatlaydigan tarzda ishlab chiqilishi muhimdir.

CTML Tamoyillari Oʻrganish Algoritmiga Qanday Aylantiriladi?

Tadqiqot CTMLni bevosita algoritmga kodlash oʻrniga avval oʻquv materiallari va butun PLPni baholaydigan rubrikalarga aylantiradi. Materiallar multimedia, coherence, worked example, segmenting, signaling, spatial contiguity, temporal contiguity, modality, redundancy, personalization, voice va sourcing tamoyillari boʻyicha baholanadi; bu ballar keyin koʻp maqsadli tanlash muammosining dizayn oʻzgaruvchilariga aylantiriladi.

CTMLning uch kognitiv maqsadi

Manba taʼlim dizaynida CTMLning uchta keng kognitiv maqsadini asos qilib oladi:

• Keraksiz kognitiv qayta ishlashni kamaytirish: Talabaning cheklangan ishchi xotirasini oʻrganish maqsadiga aloqasiz axborotga sarflashining oldini olish.
• Asosiy qayta ishlashni boshqarish: Murakkab mazmunni talabaning ishchi xotira chegaralariga mos tarzda tuzilmalashtirishni qoʻllab-quvvatlash.
• Generativ kognitiv qayta ishlashni qoʻllab-quvvatlash: Talabaning yangi axborotni avvalgi bilim bilan faol bogʻlab, aqliy sxema yaratishini osonlashtirish.

Oʻquv materiali rubrikasi

Tadqiqotda qoʻllangan 365 ta oʻquv materiali inson tadqiqotchilar tomonidan CTMLga muvofiqlik jihatidan toʻrt darajali shkala bilan baholangan. 4 eng yuqori muvofiqlikni, 1 eng past muvofiqlikni; 2 va 3 esa oraliq muvofiqlik darajalarini ifodalaydi.

Toʻrt ballik tuzilma ongli tanlovdir: neytral oʻrta nuqta qoʻllanmaydi va kengroq shkalalar yuzaga keltirishi mumkin boʻlgan sunʼiy aniqlikdan qochiladi.

PLP rubrikasining tanlash mezonlari

Asosiy tanlash tenglamalari

Nomzod PLP ichidagi materiallar \(\chi_j \in \{0,1\}\) qaror oʻzgaruvchilari bilan tanlanadi. \(\chi_j=1\), \(j\)-chi oʻquv materiali PLPga kiritilganini bildiradi.

Oʻrtacha CTML qiymati:

\[ V_p = \frac{\sum_{j=1}^{n}\chi_j v_j} {|p|} \]

Oʻrtacha qiyinchilik mosligi:

\[ D_p = \frac{\sum_{j=1}^{n}\chi_j d_j} {|p|} \]

Oʻrtacha afzallik qiymati:

\[ O_p = \frac{\sum_{j=1}^{n}\chi_j o_j} {|p|} \]

PLPning umumiy davomiyligi:

\[ T_p=\sum_{j=1}^{n}\chi_j t_j \]

Bu yerda \(v_j\) materialning CTML qiymati; \(d_j\) qiyinchilik mosligi; \(o_j\) oʻrganuvchi afzalligi qiymati va \(t_j\) material davomiyligidir.

Materiallar orasidagi semantik moslik qanday hisoblanadi?

Har bir materialning matnli tavsifi Sentence-BERT all-mpnet-base-v2 modeli yordamida 768 oʻlchamli vektorga aylantiriladi. Material juftlarining cosine similarity qiymatlari hisoblanib [0,1] oraligʻiga normallashtiriladi va materiallararo cohesiveness qiymati hosil qilinadi.

Bu qoʻllanish oʻquv materialining pedagogik toʻgʻriligini avtomatik ravishda oʻlchamaydi. Model faqat material tavsiflarining semantik oʻxshashligidan PLP ichida birgalikda foydalanish mumkinligini baholovchi mezonlardan biri sifatida foydalanishga xizmat qiladi.

Uchta maʼlumot tuzilmasi birgalikda shaxsiylashtirishni qanday yaratadi?

12 ta talaba profilining asosiy farqlari

Manba izchilligi qaydi: Soʻrov usulida talabalardan koʻpi bilan 5 ta maqsadli KN tanlash soʻralgani aytilgan boʻlsa-da, Student 3 va Student 7 uchun mos ravishda 18 va 15 ta maqsadli KN qayd etilgan. Manba bu farq qanday yuzaga kelganini alohida tushuntirmaydi.

PLP Tanlash va Tartiblash Muammolari Nega NP-Toʻliq?

Tadqiqotning umumiy koʻp maqsadli material tanlash muammosi NP-toʻliq; chunki faqat umumiy vaqt cheklovi qoldirilganda ham NP-toʻliq Subset Sum muammosi polinom vaqt ichida ushbu muammoga keltirilishi mumkin. Koʻpdan-koʻpga material–bilim tuguni munosabatidagi tartiblash muammosi ham interleaving yoki prerequisite maqsadlaridan faqat bittasi faol boʻlganda ham NP-toʻliq boʻlishi mumkin. Aksincha, faqat qiyinlik boʻyicha tartiblash oddiy saralash algoritmi bilan polinom vaqt ichida yechilishi mumkin.

Material tanlash: Subset Sum keltirishi

Manba avval nomzod yechimning barcha cheklovlari polinom vaqt ichida tekshirilishi mumkinligini koʻrsatib, tanlash muammosi NP ichida ekanini asoslaydi. Soʻng Subset Sum muammosidagi har bir sonni oʻquv materiali davomiyligiga aylantirib, minimal va maksimal PLP davomiyligini bir xil maqsadli qiymatga tenglashtiradi.

Bu holda yaroqli PLP topish, davomiyliklari aynan maqsadli yigʻindini beradigan materiallar quyi toʻplamini topishga teng boʻladi. Subset Sum NP-toʻliq va keltirish polinom vaqt ichida bajarilishi mumkin boʻlgani sabab tanlash muammosi NP-qiyin; ayni paytda NP ichida boʻlgani uchun NP-toʻliqdir.

Tartiblashdagi uch maqsad

Materiallar tanlangach, ikkinchi muammo tanlangan materiallarni pedagogik jihatdan mos ketma-ketlikka keltirishdir. Manba uchta buzilish mezonini minimallashtiradi:

Tartiblash algoritmlari ishlatadigan normallashtirilgan birlashtirilgan fitness:

\[ fitness = \frac{ H_p/H_M + R_p/R_M + I_p/I_M }{3} \]

Bu yerda \(H_M\), \(R_M\) va \(I_M\) tegishli mezonlarning mumkin boʻlgan maksimal buzilish qiymatlaridir. Har bir tarkibiy qism [0,1] oraligʻiga keltiriladi va pastroq fitness yaxshiroq tartiblash degan maʼnoni anglatadi.

Koʻpdan-koʻpga va koʻpdan-birga nega muhim?

Bu natija “shaxsiylashtirilgan oʻrganish yoʻli har qanday holatda hisoblash juda qiyin boʻlgan muammodir” degani emas. Umumiy muammo sinfi NP-toʻliq boʻlishi mumkin, biroq muayyan maʼlumot tuzilmalari, yagona maqsadlar yoki koʻpdan-birga material dizaynlari polinom vaqt ichida yechilishi mumkin.

Tadqiqot Usuli va Natijalari

Design Science Research tuzilmasi

Tadqiqot umuman Design Science Research Process for Information Systems yondashuviga muvofiq tuzilgan. Tadqiqot ketma-ketligi quyidagi mantiqqa amal qiladi: ilmiy jihatdan tasdiqlangan oʻrganish nazariyasini tanlash; nazariyani miqdoriy rubrikalarga aylantirish; tanlash va tartiblash muammolarini matematik tarzda aniqlash; ularning murakkabligini isbotlash; real maʼlumotlardan muammo namunalari yaratish; algoritmlarni ishga tushirish; natijalarni rubrika va statistik testlar bilan baholash.

Manbaning oʻz usul jadvalida inson tajribalari joriy baholash bosqichida mavjud emasligi alohida koʻrsatilgan. Bu kamchilik faqat texnik tafsilot emas, balki tadqiqotning pedagogik talqin chegarasidir.

NSGA-II bilan oʻquv materialini tanlash

Material tanlash 365 ta ikkilik qaror oʻzgaruvchisidan iborat xromosomadan foydalanadigan PyGAD NSGA-II ilovasi bilan amalga oshirilgan. Toʻqqizta xom maqsad algoritm sezgirroq qidiruv olib borishi uchun uchta birlashtirilgan maqsadga aylantirilgan.

Normallashtirilgan qiymatlardan hisoblangan ikkita uzluksiz muvofiqlik koʻrsatkichi quyidagilar:

\[ LM\_Compliance = 3\left( \frac{V_N+D_N+O_N+T_N+E_N}{5} \right)+1 \]

\[ KN\_Compliance = 3\left( \frac{B_N+M_N+C_N+S_N}{4} \right)+1 \]

LM_Compliance, tanlangan materiallarning talabaga mosligini; KN_Compliance, ushbu materiallar talabaning oʻrganish maqsadlarini qanchalik yaxshi qondirishini oʻlchaydi. Uchinchi maqsad boʻlgan Rubric_Average, toʻqqizta PLP rubrika kategoriyasining oʻrtachasidir.

NSGA-II parametrlari

Manba ichidagi farq: Parametr qidiruvi tavsifida 0,90 crossover ehtimoli talabalar populyatsiyasida eng yuqori oʻrtacha rubrika ballini bergani aytilgan boʻlsa-da, foydalanilgan konfiguratsiya roʻyxatida 0,84 yozilgan. Manba yakuniy konfiguratsiyada nega boshqa qiymat qoʻllanganini izohlamaydi.

Boshlangʻich populyatsiya

NSGA-II boshlangʻich populyatsiyasi butunlay tasodifiy 365 bit yaratish oʻrniga muammo tuzilmasidan foydalanadigan protsedura bilan tuzilgan. Algoritm avval maqsadli bilim tugunlarini qamrab oladigan materiallarni tasodifiy tanlaydi. Barcha maqsadlar qamrab olingan, ammo umumiy davomiylik minimal vaqtdan past boʻlsa, qolgan materiallar orasidan qoʻshimcha tanlov qiladi.

10.000 ketma-ket urinishda vaqt cheklovini qondiradigan xromosoma yaratilmasa, qolgan populyatsiya uchun vaqt chegarasi yumshatilib, maqsadli KNlarni qamrab olish ustuvorligi saqlanadi. Bu dizayn genetik algoritmning boshidan mutlaqo maʼnosiz material kombinatsiyalariga vaqt sarflashini kamaytirishni maqsad qiladi.

RHC va Simulated Annealing bilan tartiblash

Har ikkala tartiblash algoritmi tasodifiy materiallar ketma-ketligi bilan boshlanadi. RHC ikkita tasodifiy indeksdagi materiallarni almashtiradi va yangi yechim yaxshiroq fitness bersa, oʻzgarishni saqlab qoladi. SA xuddi shu qoʻshnichilik harakatidan foydalanadi, biroq ayniqsa dastlabki iteratsiyalarda yomonroq yechimni maʼlum ehtimol bilan qabul qilib, lokal optimumdan chiqishni maqsad qiladi.

SAning sovish koeffitsiyenti manbada:

\[ \alpha = \left( \frac{T_m}{T_1} \right)^{1/(m-1)} \]

koʻrinishida hisoblangan. \(T_1=0,95\), \(T_m=0,01\) va \(m=10.000\) uchun \(\alpha=0,9995467\) olingan.

Dispersiya uchun χ² testi

Algoritmlar stoxastik boʻlgani sabab, 30 ta takrordagi natijalar talabaga xos tuzilishga ega boʻlmagan tasodifiy natijalardan iboratmi-yoʻqmi tekshirish uchun bir tomonlama bir-dispersiyali χ² testi qoʻllangan. Ahamiyatlilik darajasi \(p=0,05\).

Toʻrt ballik diskret tekis taqsimot uchun bitta rubrika kategoriyasining kutilgan dispersiyasi 1,25 deb olingan. Toʻqqizta tanlash kategoriyasi oʻrtachasi uchun kutilgan qiymat:

\[ \sigma^2_{selection} = \frac{1,25}{9} \approx 0,139 \]

Uchta tartiblash kategoriyasi uchun:

\[ \sigma^2_{sequencing} = \frac{1,25}{3} \approx 0,417 \]

Manba kritik dispersiyani:

\[ \chi^2 = \frac{(n-1)s^2}{\sigma^2} \]

munosabat bilan hisoblaydi. 30 ta namuna uchun 29 erkinlik darajasida \(\chi^2=17,708\) ishlatilgan. Shunga koʻra matndagi hisob:

\[ s^2_{selection} = \frac{17,708 \times 0,139}{29} = 0,0849 \]

\[ s^2_{sequencing} = \frac{17,708 \times 0,417}{29} = 0,254 \]

Manba ichidagi sonli nomuvofiqlik: Xuddi shu paragrafning keyingi jumlasida tanlash muammosi uchun qabul qilish chegarasi 0,8049 deb yozilgan. Bu qiymat yuqoridagi 0,0849 hisobiga mos kelmaydi. Verianla bu ikki qiymatni bitta “tuzatilgan” qiymat sifatida birlashtirmaydi.

Algoritmlar 12 ta Talaba Profili Uchun Qanday Natija Berdi?

Manbaning 8-jadvalida NSGA-II bilan tanlangan va RHC bilan tartiblangan PLPlarning integrallashgan rubrika oʻrtachalari 3,19–3,54 / 4 oraligʻida. Student 9 eng yuqori 3,54, Student 11 esa eng past 3,19 qiymatini olgan. Shunga qaramay, barcha talabalar bir xil quyi mezonlarda kuchli emas; ayrim profillarda vaqt, mavzu muvozanati yoki segmenting oʻrtasida aniq Pareto murosalari mavjud.

Student 7 va Student 11: vaqt–mavzu muvozanati ziddiyati

Student 7 va Student 11ning tanlash natijalarida ayniqsa time interval va topic balance mezonlari oʻrtasida manfiy bogʻliqlik kuzatilgan. Student 7da 15 ta maqsadli KN va 30–90 daqiqalik vaqt chegarasi bor; Student 11da esa beshta maqsad va 10–60 daqiqalik vaqt chegarasi mavjud.

Algoritm barcha maqsadli mavzularga materiallarni yanada muvozanatli taqsimlaganda vaqt chegarasidan oshish xavfi ortadi; vaqtni qatʼiyroq ushlaganda esa mavzular taqsimoti buzilishi mumkin. Manba buni koʻp maqsadli optimallashtirishdagi haqiqiy Pareto murosasiga misol sifatida talqin qiladi.

Student 5: moslik va topic balance oʻrtasidagi murosa

Student 5da mavzu muvozanati balli CTMLga moslik, qiyinchilik mosligi va oʻrganuvchi afzalligi mosligi bilan teskari yoʻnalishda oʻzgargan. Boshqacha aytganda, algoritm ayrim ishga tushirishlarda materiallarning talabaga kuchli mosligini, boshqalarida esa maqsadli mavzular oʻrtasida yanada muvozanatli taqsimotni ustun qoʻygan.

Student 1: uzoq vaqt chegarasining taʼsiri

Student 1 uchun minimal vaqt 2400 daqiqa, maksimal vaqt 4800 daqiqa. Manba bu profil yechimlari taxminan 80 ta materialni oʻz ichiga olishini bildiradi. Bunday katta toʻplam talaba maqsadlarini qamrab oladigan yetarli material topilmaganda coherence va topic balance kabi mezonlar oʻrtasida yangi ziddiyatlar yaratgan.

SA va RHC tartiblash natijalari

Student 1 SA va RHC oʻrtasidagi eng aniq farqni koʻrsatadi. Taxminan 80 ta materialli katta yechim toʻplamida SAnining baʼzan yomonroq qoʻshni yechimlarni qabul qilishi kamchilikka aylangan; SAnining difficulty va prerequisite oʻrtachalari mos ravishda taxminan 3,01 va 3,42, integrallashgan tartiblash balli esa 3,48 boʻlgan. RHC esa ayni profil uchun 4,00 oʻrtachaga erishgan.

Kichikroq materiallar toʻplamida SA ayrim holatlarda RHCdan biroz yaxshiroq natija bera olgan. Manba buni SAnining lokal optimumlardan chiqish xususiyati kichik muammo namunalari uchun foydali boʻlishi mumkinligiga ishora sifatida talqin qiladi.

Umuman NP-toʻliq boʻlgan tartiblash muammosi tajribalarda nega oson koʻrindi?

Manba tanlash bosqichidagi segmenting va topic balance maqsadlari keyingi tartiblash muammosini tabiiy ravishda osonlashtirgan boʻlishi mumkinligini taʼkidlaydi. Segmenting maqsadi kam sonli KNni qamrab oladigan kichikroq va maqsadli materiallarni afzal koʻradi; natijada ayrim koʻpdan-koʻpga tuzilmalar amalda koʻpdan-birga tuzilmalarga yaqinlashishi mumkin.

Topic balance maqsadi esa oʻquv materiallarini maqsadli KNlar oʻrtasida yanada muvozanatli taqsimlaydi. Bu tuzilma, ayniqsa interleaving buzilishlarini kamaytirishni osonlashtirishi mumkin. Natijada umumiy matematik muammo NP-toʻliq boʻlsa-da, ushbu 12 ta real talaba profili uchun NSGA-II hosil qilgan materiallar toʻplami tartiblash nuqtai nazaridan nisbatan oson muammo namunalariga aylangan.

Ushbu Tadqiqot CTML Asosidagi PLPlar Talabalar Yaxshiroq Oʻrganishini Isbotlaydimi?

Yoʻq. Tadqiqot CTML tamoyillari matematik maqsadlarga aylantirilishi va algoritmlar ushbu maqsadlar boʻyicha yuqori balli shaxsiylashtirilgan oʻrganish yoʻllarini yaratishi mumkinligini koʻrsatadi; biroq talabalar CTML asosidagi PLPlar bilan yuqoriroq oʻrganish, eslab qolish yoki transfer natijasiga erishganini bevosita sinamagan. Manba bu inson orqali tasdiqlashni tadqiqotning keyingi bosqichiga qoldiradi.

Rubrika validligi hali inson oʻrganishi bilan tasdiqlanmagan

365 ta materialning CTML ballari tadqiqotchilar tomonidan berilgan. Rubrika dizaynida ham, materiallarni inson tomonidan baholashda ham xato boʻlishi mumkin. Shu sabab manba CTML rubrikasi qoʻshimcha sinov va takomillashtirishni talab qilishini aniq taʼkidlaydi.

Elaboration + difficulty + interleaving farazi

Tartiblash muammosi elaboration/prerequisite, osondan qiyinga oʻtish va interleaving maqsadlarini birgalikda yaxshilash kuchliroq talaba natijalarini berishi haqidagi farazga asoslanadi.

Bu faraz oʻrganish adabiyoti bilan asoslangan boʻlsa-da, ushbu maqolada talabalar ikki xil tartiblash shartiga ajratilib taqqoslanmagan. Shuning uchun uch mezonni birgalikda optimallashtirishning haqiqiy oʻrganishdagi ustunligi hali eksperimental natija emas.

365 ta material miqyosi cheklovi

Manba 365 ta materialli havza nisbatan kichik ekanini va kattaroq qidiruv makonlarida algoritm xulqini qayta tekshirish kerakligini bildiradi. Kattaroq va metadata jihatidan xilma-xilroq materiallar havzalari talabaga yaxshiroq mos PLPlarni yaratishi mumkin; biroq ular tanlash muammosining hisoblash yukini ham oshirishi mumkin.

NSGA-IIdan tashqari algoritmlar

Tadqiqot toʻqqizta tanlash mezonini uchta birlashtirilgan maqsadga jamlagach NSGA-IIdan foydalangan. Kelajakdagi tadqiqotlarda maqsadlarni birlashtirmasdan, koʻp sonli maqsadlar uchun moʻljallangan NSGA-III kabi usullar bilan natijalarni taqqoslash tavsiya etiladi.

Namuna cheklovi

Oʻrganuvchi profillari faqat 12 nafar magistratura talabalaridan olingan. Bu son algoritmik muammo namunalari yaratish uchun qoʻllangan; talabalar demografik yoki pedagogik populyatsiyasini ifodalovchi keng taʼlim namunasi emas.

Tadqiqot qoʻllab-quvvatlaydigan va qoʻllab-quvvatlamaydigan xulosalar

Manba va Usul Haqida Izoh

Muallif hissalari: Konseptuallashtirish Sean Mochocki va Mark Reith; metodologiya Sean Mochocki, Mark Reith va Jonathan Zemmer; tadqiqot Sean Mochocki; formal tahlil Sean Mochocki, John Jasper va Laurence D. Merkle; resurslar Mark Reith; dasturiy taʼminot Sean Mochocki; nazorat Mark Reith; dastlabki qoralama Sean Mochocki; koʻrib chiqish va tahrirlash Mark Reith, Paolo J. Singh, Ralucca Gera, Gilbert Peterson, Brett Borghetti, John Jasper va Laurence D. Merkle tomonidan bajarilgan.

Maʼlumot va qayta ishlab chiqarish imkoniyati: Manba rubrikalar, maʼlumotlar paketi va algoritm kodlari ochiq ekanini bildiradi. Bu matematik va algoritmik natijalarni mustaqil qayta tekshirishni osonlashtiradi.

Institutsional fikr chegarasi: Maqolada bildirilgan fikrlar mualliflarga tegishli ekani va United States Air Force, Department of Defense yoki United States Governmentning rasmiy siyosati yoki fikrini ifodalamaydi, deb qayd etilgan.

Asosiy metodologik cheklov: Tadqiqotning yakuniy pedagogik tasdiqlash bosqichi boʻlgan inson oʻrganishi tajribasi oʻtkazilmagan. PLP rubrikasining yuqori ball berishi talaba yaxshiroq oʻrganganini anglatmaydi.

Manba ichidagi sonli qaydlar: NSGA-II crossover qidiruvida 0,90 eng yaxshi deb yozilgan boʻlsa, yakuniy parametr roʻyxati 0,84ni beradi; tanlash dispersiyasi hisobida 0,0849 olingan boʻlsa, keyingi qabul jumlasida 0,8049 yozilgan; tadqiqot davomida 12 ta talaba profili ishlatilgan boʻlsa-da, conclusion bir joyda 11 talaba deydi. Bu farqlar Verianla tomonidan jimlik bilan tuzatilmagan.