Бу изилдөө, программалык инженерия студенттердинин гана программалоо өгренмекле калмайып программалык камсыздооыны гелиштирежеклери бизнес тармагыны жана бул аланы модельлемек үчүн герекен ыкмалери кыса мөөнөтде өгренмелери сорунуна көңүл топтооктадыр. Изилдөөда 29 магистратура студенти, криптовалюта арбитражы аланындаки негизги финансы каврамларыны жана Доменге багытталган дизайн йаклашымыны өгренмек үзере сабак материалдарыйле өзеллештирилмиш бир ChatGPT мугалими кулланмыштыр.

Уйгулама, Жарнегие Меллон Университй Силижон Валлей’деки бир функционалдык программалоо дерсинин ики апталык дизайн баскычында герчеклештирилмиштир. Студентлерин екиплер хâлинде гелиштирдиги “ArbitrageGainer” адлы автоматтык криптовалюта арбитраж системасы үчүн мурда финансы аланыны анламалары, ардындан окуя бороону, командалар, тышкы системалар, иш агымдары жана чектелген контексттер сыяктуу Доменге багытталган дизайн өгелерини белирлемелери герекмиштир.

Өзел жасалма интеллект мугалими GPT-3.5 Турбо үзерине курулмуш; дерс слайтлары, долбоор талаптары жана мисал бир студент тасарымыйла негизгилендирилмиштир. Студентлере үч айры сабак алдындагы иш-аракетте икишер стандарт промпт маалыматлмиш, конушма жазууларыны дыша актармалары жана кыса билим текшерүүсү рапорларыны тамамламалары истенмиштир. Бөйлеже болжол менен 174 стандарт промпт-жооп жуптары олушмуштур. Изилдөөжы бунларын 60’ыны, йани йүзде 34,5’ини табакалы кокус мисаллемейле маанилендирмиштир.

Йанытларын тактык баллы йүзде 98,9, конуйа ылайыклук баллы йүзде 92,2 жана педагогикалык баалуулук баллы йүзде 89,4 катары кабарланган. Когнитивдик жүк жагынан орталама йүзде 82,78 елде едилиркен, студентти шыктандыруу жана кийинки адыма йөнлендирме катары танымланан колдоочулук гана йүзде 37,78’де калган. Инжеленен 60 йанытта изилдөөжынын “халүсинасйон же йанлыш билим” катары сыныфландырдыгы бир ичерик булунмамыш; ики йанытта студентйи өнемли өлчүде йанылтмайан чакан йанлышлык аныкталган.

Студентлерин жасалма интеллект йардымыйла домен билими өгренме жана Доменге багытталган дизайн уйгулама конусуундаки өзүн-өзү жетиштүү сезүүлери уйгулама кийинсында маанилүү өлчүде йүкселмиштир. Ошондой болсо да изилдөө бир контролдук топ ичермемектедир. Жасалма интеллект еткинликлери; кыса дерс анлатымлары, екип изилдөөлары, зорунлу билим контроллери жана баа стимулуйле айны мезгилде колдонулган. Ошондуктан ишеним өсүшынын гана жасалма интеллект мугалиминден булакландыгы сөйленемез.

Изилдөөнын ен өнемли чыктысы, жасалма интеллект мугалиминин башары йүзделеринден чок, билим берүүжмененр үчүн олуштурулан 17 пунктлик уйгулама рехберидир. Сабак материалдарынден олушан контроллү билим базасы кулланмак, йаныт айрынтысыны жана узаклугуну чек араландырмак, мисаллери мурдаден денетлемек, билинсультйен теримлери енгеллемек, студентйи бир гана маанилүү кийинки суроона йөнлендирмек жана изилдөөйы чакан бир сабак кредитийле дестеклемек негизги өнермененр арасындадыр.

Изилдөөнын негизги проблеми недир?

Программалык инженерия билим берүүи гана программалоо диллерини жана код үретимини капсамаз. Бир программалык камсыздоо гелиштирижинин, чөзүм үретежеги бизнес тармагындаки каврамлары, акторлери, кураллары, олайлары жана чек аралары анламасы герекир. Финанс, саламаттык сактоо, үретим же ложистик сыяктуу бир тармакта негизги каврамлар анлашылмадан догру талаптар модели жана программалык камсыздоо архитектурасы олуштурмак гүчлешир.

Бу герексиним билим берүү ортамында ики өнемли сорун догурмактадыр:

• Студентлер программалык камсыздоо гелиштирме ыкмалерийле бирликте йабанжы олдуклары уйгулама аланларыны да кыса мөөнөтде өгренмек зорундадыр.
• Окутуучуин дерс сырасында хер студентйе же екибе адамселлештирилмиш түшүндүрмө жана анлык гери билдирим сагламасы өлчекленебилир эмес.

Изилдөөдө мурдаки дерс мезгилдеринде окутуучуин екиплер арасында долашмасына рагмен щелочьы соруларын дерс сонуна калдыгы жана щелочьы студент групларыйла ек катары 10-30 дакика илгмененнмек геректиги белгиленген. Изилдөөжынын дерс багламында тапшырмалендирмененн окутуучу ассистентнын класстагы дестеге катылмамасы да бирейсел йардым ачыгыны бүйүтмүштүр.

Изилдөөнын негизги амажы, сабак материалдары менен чектелген бир өндүрүмдүү жасалма интеллект мугалиминин бул йардым ачыгыны азалтып азалтамайажагыны инжелемектир. Изилдөөдө түздөн-түз “жасалма интеллект студенттердин сынав башарысыны артырды мы?” сорусуу эмес, шу үч изилдөө сорусуу еле алынмыштыр:

1. Жасалма интеллект дестекли өгренме, студенттердин дизайн баскычына хазырланмасы үчүн не өлчүде жогорку калители дестек сагламыштыр?
2. Педагогикалык баалуулук, когнитивдикдик жүк жана колдоочулук жагынан жасалма интеллект мугалиминин йанытлары насыл бир сапаттыкик гөстермиштир?
3. Дерс ортамындаки жасалма интеллект дестекли өгренменин еткилилигини ханги өгретим уйгуламалары артырабилир?

Дерс жана проже багламы

Уйгулама, 2024 сонбахар мезгилиндеки 12 биримлик бир жогорку лицензия функционалдык программалоо дерсинде герчеклештирилмиштир. Дерс, Жарнегие Меллон Университй Силижон Валлей’деки Йазылым Мүхендислиги програмынын чекирдек дерслеринден биридир. Хафтада ики йүз йүзе отурум түзүлүшлмыш жана хер отурум 1 саат 50 дакика сүрмүштүр.

Дерсин амачларындан бири, функционалдык программалоойы уйгуламалы бичимде өгретмек жана ендүстрийел багламларда насыл кулланылабмененжегини гөстермектир. Студентлер үч же дөрт адамлик екиплер хâлинде “ArbitrageGainer” адлы герчекчи бир автоматтык соода системасы үзеринде чалышмыштыр.

ArbitrageGainer прожеси криптовалюта арбитражына негизделет. Студентлерин гана программалоо йапмасы йетерли эмес; шу түр алан каврамларыны анламалары герекмиштир:

• Криптовалюта борсалары жана пимыйзам маалымат сервислери,
• Алыш жана сатуу фийатлары арасындаки фарк,
• Фарклы борсалар арасында олушан арбитраж фырсатлары,
• Емир, калдыгы, акы жана операция герчеклештирме меканизмалары,
• Тышкы системалар жана API көз карандылыклары,
• Отоматик операция системиндеки бизнес окуялары жана командалар.

Проже дөрт адет икишер апталык ашамайа бөлүнгөнтыр. Инжеленен изилдөө гана илк ашамайы камтыйт. Бул ашамада студенттер ишлевсел герексинимлери Доменге багытталган дизайн модельине дөнүштүрмүш; кийинки уйгулама жана кодлама ашамалары изилдөөйа дâхил едилмемиштир.

Доменге багытталган дизайн себеп пайдаланылган?

Доменге багытталган дизайн же Domain-Driven Десигн, программалык камсыздооын түзүлүшсыны жана колдонулган дили негизги бизнес тармагынын каврамларыйла ылайык хâле гетирмейи амачлайан бир модельлеме йаклашымыдыр. Текник екип менен алан узманларынын айны каврамлар үзеринде анлашмасыны дестеклер.

Изилдөөдө DDD каврамлары болжол менен 30 дакикалык кыса дерс анлатымларыйла адым адым танытылмыштыр. Хер анлатымдан кийин студенттер Миро тактасы үзеринде екип изилдөөсы йапмыштыр. Уйгуламалар шу өгелери капсамыштыр:

• Окуя бороонуйла бизнес окуяларынын белирленмеси,
• Олайларын заман сырасына йерлештирилмеси,
• Олайлары башлатан командаларын чыкарылмасы,
• Чөзүм капсамы дышындаки тышкы системаларин белирленмеси,
• Иш агымдарынын сөзде кодла документленмеси,
• Чектелген контексттерын олуштурулмасы.

Өнжеки дерслерде студенттердин долбоор талаптарынде адлары ачыкча кечен криптовалюта борсасы жана пимыйзам маалыматси API’си сыяктуу тышкы системалари дахи модельден чыкарамадыгы көзленмиштир. Жасалма интеллект еткинликлеринден биринде ошондуктан автоматтык соода системасындеки типик алт систем жана компонентлерин сорулдугу өзел бир истем пайдаланылган.

Базы бирейсел рапорларда йанлышлыклар сүрмесине рагмен екиплерин нихаи тасарым теслимлеринде бүтүн тышкы системалари догру белирледиги кабарланган. Ошондой болсо да изилдөөдө мурдаки мезгилле контроллү салыштыруу түзүлүшлмадыгындан бул иймененшменин гана жасалма интеллект еткинлигинин сонужу экени канытланмамактадыр.

Катышуучулар кимлерден олушмуштур?

Дерси тамамлайан 29 магистратура студентинин тамамы изилдөөйа гөнүллү катары катылмыштыр. Лисанс кечмишлери шөйледир:

• Билгисайар Билимлери: 15 студент,
• Електрик жана Билгисайар Мүхендислиги: 4 студент,
• Йазылым Мүхендислиги: 3 студент,
• Дигер мүхендислик, финансы же математик аланлары: 7 студент.

Финанс конусуунда дагы белиргин экспериментими булунан студенттер арасында беш жеке инвестор, финансыал технология сектөрүнде чалышмыш ики студент жана финансы же економи йан далына сахип бир студент йер алмыштыр. Доменге багытталган дизайн экспериментими исе үч студентде мурдаки дерслерден, ики студентде ендүстрийел экспериментимден гелмиштир.

Сүрөт 1: Студентлерин баштапкы билимси

PDF’нин икинжи бетсындаки Сүрөт 1, студенттердин финансы жана DDD конуларындаки өз-билдиримлерини ики даиресел графикле көрсөтөт.

Финанс аланында студенттердин йүзде 69’у, DDD аланында исе йүзде 77’си билимсини “hiç yok” же “сыраз” катары танымламыштыр. Бул дагылым, жасалма интеллект еткинликлеринин мененри деңгээл узманлык йерине баштапкы жана орта деңгээл хазырлык амажыйла кулланылдыгыны көрсөтөт.

Жасалма интеллект еткинликлери дерс програмына насыл йерлештирилмиштир?

Изилдөөжы, студенттердин жасалма интеллект изилдөөсыны истеге баглы бир ек өдев катары көрүүсини өнлемек үчүн дерс тасарымында үч өзгөрүүлик йапмыштыр:

• Жасалма интеллект колдонулушуны ачык бир дерс окуу натыйжасы абалына гетирмиштир.
• Еткинликлерин амажы жана дерс үчүндеки ролү студенттере текрар текрар ачыкланмыштыр.
• Бүтүн жасалма интеллект еткинликлери зорунлу жана сабак кредитийле сыйлыклендирмененн изилдөөлар абалына гетирилмиштир.

Белирленен окуу натыйжасы, студенттердин генеративдүү жасалма интеллектйы домен билими единсультк жана ортак бир прожеде DDD’йи догру уйгуламак үчүн кулланмасыны геректирмиштир.

Үниверсите айрыжа дерсин илк аптасында бүтүн студенттердин 90-120 дакикалык бир генеративдүү жасалма интеллект окурйазарлыгы модүлүнү тамамламасыны истемиштир. Дерс нотунун йүзде 1’ине каршылык гелен бул модүл; жасалма интеллект системлеринин изилдөө илкелери, этикалык жана багламсал конулар менен жооптуу кулланым стратежмененрини капсамыштыр.

Ики апталык еткинлик таквими

Хер жасалма интеллект еткинлигинден кийин студенттердин сүйлөшүү стенограммасыйле бирликте билим текшерүүсү жана кыса рефлексия отчету теслим етмеси герекмиштир. Рапорун илк сеферде кечер сажылмасы үчүн бүтүн билим текшерүүсү соруларынын кыса герекчелерле догру йанытланмасы жана сүйлөшүү жазуусунын екленмеси шарты аранмыштыр.

Студентлерин болжол менен йүзде 93’үнүн үч рапору да бекленен заманда теслим еттиги жана илк теслимде кечтиги белгиленген. Бул катыш, дерсе хазырлыгын жогорку экенин көрсөтөт; бирок зорунлу изилдөө жана баа стимулунин катылым үзериндеки еткиси айры катары өлчүлмемиштир.

Өзел ChatGPT мугалими насыл түзүлүшландырылмыштыр?

Өгретмен GPT-3.5 Турбо кулланыларак түзүлгөн. Модел ики бичимде өзеллештирилмиштир:

1. Өгретменин ролүнү, тапшырмалерини, чек аралардыны, йапмасы жана йапмамасы герекенлери ачыклайан айрынтылы бир система промпту пайдаланылган.
2. Дерс слайтлары, долбоор спецификациясы жана мисал студент DDD чөзүмү ChatGPT билим түзүлүшландырмасына йүкленмиштир.

Систем истеминде шу өгелер табылган:

• Өгретмен адамлиги жана багламы,
• Биринжил булак катары сабак материалдарыни кулланма талиматы,
• Дестекленежек өгренме тапшырмалери,
• Чектөөлар жана мыйзамкланан жүрүм-турумлар,
• Истенен жевап бичими жана анлатым өзелликлери,
• Дерс терминоложисине баглы калма кураллары.

Окутуучу, мезгил башламадан мурда бекленен студент еткмененшимлерини темсил еден комут досйалы денемелерле түзүлүшландырмайы текрар текрар сынамыштыр. Хер сүрүм беш денемеде маанилендирилмиш; йанытлар догру дерс терминоложиси, кийинки атөлйе үчүн йетерли деринлик жана төмөн миктарда калып метин үретене чейин дүзенленмиштир.

Йапыландырма дөрдүнжү сүрүмде сонландырылмыш жана биринчи еткинлигин башлангыжында дондурулмуштур. Бул карар студенттер арасында тутарлылык сагламыш, бирок фарклы еткмененшим бичимлерине уйарланма оласылыгыны азалтмыштыр.

Студентлер кимлик текшерүүсы булунмайан ортак бир өгретмен өрнегине еришмиштир. Моделин сыжаклык же дигер үретим параметрелери ChatGPT арайүзүнде өзгөртирмененмедиги үчүн варсажылан маанилер пайдаланылган. GPT-3.5 менен башка модельлер арасында салыштыруу жасалган эмес.

Ханги маалыматлер топланмыштыр?

Изилдөөдө үч заман ноктасындан маалымат елде едилмиштир:

• Уйгулама мурдаси: Студент кечмиши, финансы, функционалдык программалоо жана DDD экспериментими менен беш өзүн-өзү жетиштүү сезүү ифадеси.
• Уйгулама сырасында: Стандарт истемлерин конушма жазуулары, билим контроллери жана студент йансытма рапорлары.
• Уйгулама кийинсы: Мезгил сону студент гөрүшлери жана өзүн-өзү жетиштүү сезүү өлчөөлери.

Өзүн-өзү жетиштүү сезүү талдооиндеки ики негизги өлчүт шунлардыр:

• “Алан билимси единсультк үчүн генеративдүү жасалма интеллектйы кулланабилирим.”
• “Ортак бир прожеде DDD’йи догру уйгуламак үчүн генеративдүү жасалма интеллектйы кулланабилирим.”

“Gerçek iş gereksinimleri үчүн alan odaklı bir модель tasarlayabilirim” ифадеси үчүнчү жана кешифсел бир өлчүт катары пайдаланылган. Бул ифаде жасалма интеллектйа түздөн-түз атыфта булунмадыгындан елде едмененн гелишменин проже уйгуламасындан же кыса дерслерден булакланмасы мүмкүндүр.

Конушма маалыматси жана мисаллеме ыкмаи

Хер студентнин үч еткинликте икишер стандарт промпт чалыштырмасы планланмыштыр:

\[ 29 \times 3 \times 2 = 174 \]

Бөйлеже болжол менен 174 стандарт промпт-жооп жуптары олушмуштур. Хер еткинликтеки ики истем бирликте бир конушма бирими катары кабул едилмиш жана жалпы:

\[ 29 \times 3 = 87 \]

конушма бирими елде едилмиштир.

Хер отурумдан кокус 10 конушма бирими сечилмиштир. Бөйлеже үч отурумдан жалпы 30 конушма бирими жана 60 промпт-жооп жуптары маанилендирилмиштир.

Ашагыдаки катыш макаладе айры бир денклем катары маалыматлмемиш, мисаллем катышыны түшүндүрмөк үчүн екленмиштир:

\[ \text{Örnekleme oranı} =\frac{60}{174}\times100 \approx34{,}5\% \]

Мисаллеме рандом.орг аражылыгыйла, отурумлара боюнча табакалы жана йерине коймадан түзүлүшлмыштыр. Ики стандарт промптин бирликте сечилмеси конушма ичи багламын корунмасыны; хер отурумдан ешит саныда бирим алынмасы исе финансы, негизги DDD жана мененри DDD конуларынын темсил едилмесини сагламыштыр.

Студентлерин өз сечтиги байкоо соруларына изин маалыматлмиш, бирок бул сорулар стандарт олмадыклары үчүн маанилендирмейе алынмамыштыр. Демек натыйжалар герчек жана сербест бичимли жасалма интеллект колдонулушунын тамамыны эмес, мурдаден белирленен истемлере маалыматлен йанытлары темсил етмектедир.

Йанытлар ханги өлчүтлерле маанилендирилмиштир?

Хер йаныт 0 менен 3 арасында беш өлчөмта баллланмыштыр:

Колдоочулук изилдөөжынын олуштурдугу бир векил өлчүттүр. Кыса өвгү же текшерүү менен кийинки адымы кешфетме даветинин бирлешими катары аныкталган. Гечерлиги догруланмыш псиколожик бир дуйгу же мотивасйон өлчеги эмес.

Бойутларын йүздейе өзгөртүлүшүни түшүндүрмөк үчүн кулланылабмененжек илишки ашагыдадыр. Бул ифаде макаладе денклем катары суунулмамыштыр:

\[ \text{Boyut yüzdesi} =\frac{\sum_{i=1}^{n}s_i}{3n}\times100 \]

Бурада с_и хер йанытын 0-3 арасындаки баллы, н исе маанилендирмененн йаныт саныдыр.

Дегерлендирмейи ким йапты?

Темел баалоойы дерсин окутуучуи жана изилдөөнүн йазары герчеклештирмиштир. Йазар, дерс багламыны жана бекленен терминоложийи ен ийи бмененн адам олмасына каршын тек маанилендирижи олмасы байкоожи йанлылыгы риски догурмактадыр.

Тутарлылык контролү үчүн дерси дагы мурда алмыш ики билим берүүли окутуучу ассистент, хер отурумдан беш олмак үзере айны 15 сүйлөшүү жазуусуны көз карандысыз бичимде баллламыштыр. Дегерлендирижмененр мурда анонимлештирилмиш беш жазуу үзеринде 90 дакикалык рубрика калибрацияу йапмыштыр.

Окутуучу менен ики асистан арасындаки салмакталган Жохен каппа маанилери шөйледир:

• Биринжи окутуучу ассистент: κ=0,76,
• Икинжи окутуучу ассистент: κ=0,78.

Там ешлешме йүзде 72-74, ен көп бир балл фарклылыкла ешлешме йүзде 99,3 катары кабарланган. Бул маанилер инжеленен алт күмеде күчтүү бир тутарлылыга ишарет едер; бүтүн 60 йаныт ики же үч маанилендирижи тарафындан баллланмамыштыр.

Йанытларын догрулугу

Догрулук орталамасы йүзде 98,9’дур. Сүрөт 3’е боюнча йанытларын болжол менен йүзде 97’си 3, йүзде 3’ү 2 балл алмыштыр. Бул дагылым 58 йанытын там, ики йанытын чакан йанлышлык камтыган деңгээлде маанилендирилмесийле ылайыкдур.

Изилдөөжы, инжеленен мисаллемде бүтүнүйле йанлыш же студентйи йанылтажак бир “halüsinasyon” саптамадыгыны белгилейт. Ики чакан сорун шунлардыр:

• Илери DDD конуларында “domain service” каврамына илишкин экинчи интернет булакларында да гөрүлебмененн, кысмен йанылтыжы бир танымлама,
• Бир мисалте колдонулган олай адынын белиртмененн чектелген баглама там катары уймамасы.

Бу натыйжа, GPT-3.5’ин генел катары йүзде 98,9 догру экени маанисин билдирбейт. Өлчүм; алты стандарт промпт, сабак материалдары менен чектелген бир билим базасы жана бир гана дерс багламындаки 60 йаныт үчүн кечерлидир.

Йанытларын илги деңгээли

Илги деңгээли орталамасы йүзде 92,2’дир. Сүрөт 3’е боюнча йанытларын болжол менен йүзде 77’си ен жогорку, йүзде 23’ү икинжи деңгээл баллы алмыш; эч бир йаныт 0 же 1 балла дүшмемиштир.

Конуйа ылайыклугу дүшүрен үч сорун аныкталган:

• Билги табанында щелочьы дестеклейижи финансы каврамларынын ексик олмасы,
• Йанытын студентнин проже капсамынын дышына ташмасы,
• Гириш, текрар жана натыйжа параграфларынын жеваба йени билим еклемеден метни узатмасы.

Студентлер, модельин проже түшүндүрмөсыны билмесинин йанытлары дагы кыса жана баглама ылайык хâле гетирдигини билдирмиштир. Базы студенттер исе герексиз ичерик арасындан йарарлы бөлүмү сечменин зор олабилдигини сөйлемиштир.

Педагогикалык баалуулук

Педагогикалык баалуулук орталамасы йүзде 89,4’түр. Сүрөт 3’те йанытларын йүзде 70’и 3, болжол менен йүзде 28’и 2 жана болжол менен йүзде 2’си 1 балл алмыштыр.

Йанытларын чогу догру теримлер, түзүлүшландырылмыш түшүндүрмө жана ен аз бир мисал ичермиштир. Сойут конуларда ики мисал кулланылдыгы да болгон. Йалнызжа бир йаныт, автоматтык арбитраж системиндеки типик компонентлери түшүндүрмөдан генел баш кийимлар хâлинде сыраладыгы үчүн 1 балл алмыштыр.

Студентлер ики зыт сорун билдирмиштир:

• Базы түшүндүрмөларын баштапкы севийесиндеки студент үчүн көп текник олмасы,
• Базы түшүндүрмөларын конуйу бмененн студент үчүн көп йүзейсел калмасы.

Бу сорун, бир гана стандарт айрынты деңгээлинин фарклы өн билимйе сахип бүтүн студенттер үчүн ылайык олмайажагыны көрсөтөт.

Когнитивдик жүк

Когнитивдик жүк өлчөмунун орталамасы йүзде 82,78’дир. Сүрөт 3’те болжол менен йүзде 55 ен жогорку, йүзде 38 икинжи жана йүзде 7 үчүнчү деңгээлде гөрүнмектедир. Дүшүк балллар; йанытын узаклугу, текрар, ачыкланмайан теримлер жана көп саныда мисалле илишкмененндирилмиштир.

Изилдөөжы метинде йанытларын йүзде 5’ини “bunaltıcı” катары аныктайткен Сүрөт 3’те ен төмөн көзленен дагылым болжол менен йүзде 7’дир. Бул чакан фарк, рапордаки санысал тутарсызлыклардан биридир.

Белирленен негизги когнитивдикдик жүк булаклары шунлардыр:

• Гириш, ана гөвде жана натыйжата айны ноктанын текрар едилмеси,
• Дерс билим базасында булунмайан теримлерин ачыкланмадан колдонулушу,
• Бкислота бир каврам үчүн герегинден көп мисал маалыматлмеси,
• Йанытын студентнин истедиги айрынты деңгээлине уйум сагламамасы.

Колдоочулук себеп төмөн калган?

Дестек жана шыктандыруу орталамасы гана йүзде 37,78’дир. Сүрөт 3’е боюнча йанытларын болжол менен йүзде 87’си 1, йүзде 13’ү 2 балл алмыш; эч бир йаныт ен жогорку дестек деңгээлине улашмамыштыр.

Модел чогунлукла бейтарап жана билим актаран бир үслуп кулланмыштыр. Студентнин сорусууну олумлу бичимде догрулайан, чабасыны таныйан же белирли бир кийинки адыма давет еден ифаделер сейректир.

Жесаретлендирижи ифаделерин чогу, стандарт промптин студентнин бир тапшырмаи тамамладыгыны ачыкча белирттиги үчүнчү еткинликте байкалган. Бул абал дестеклейижи тонун модельден өзлигинден эмес, истемдеки багламсал ишареттен догдугуну дүшүндүрмектедир.

Дүшүк колдоочулук, маалыматлен билимнин йанлыш экени маанисин билдирбейт. Бирок өгретменин гана догру йаныт вермек йерине студентнин девам еден өгренме мөөнөтжини де дестеклемеси амачланыйорса, система промптунде хафиф бир өгретменлик же кочлук тону ачыкча танымланмалыдыр.

Сүрөт 3 жана метиндеки санысал тутарсызлыклар

PDF’нин йединжи бетсындаки Сүрөт 3, өлчөмларын балл дагылымыны көрсөтөт. Сүрөт жана билдирмененн орталамалар бирликте маанилендирилдигинде болжол менен дагылым шөйледир:

Сүрөтдеки дагылымлар жана орталамалар математиксел катары бирбирине йакындыр. Буна каршылык ана метинде:

• Илги деңгэколунда ен жогорку балл аланларын катышы йүзде 82,5,
• Педагогикалык баалуулукде ен жогорку балл аланларын катышы йүзде 77,5

катары йазылмыштыр. Бул катышлар Сүрөт 3’ле уйушмамактадыр.

Айрыжа ики чакан йанлышлык 60 йанытын:

\[ \frac{2}{60}\times100=3{,}33\% \]

катышына каршылык гелир. Өзет бөлүмүнде 2/60 жана йүзде 3,3 догру бичимде маалыматлиркен төсүшма бөлүмүнде йүзде 1,1 йазылмыштыр. Бул хата натыйжаларын ана йөнүнү өзгөртирмез, бирок рапорлама догрулугу кам көрүүындан белиртилмелидир.

Өзүн-өзү жетиштүү сезүү натыйжалары

Студентлерин өзүн-өзү жетиштүү сезүүлери уйгулама мурдаси жана кийинсы ешлештирилмиш талдооле каршылаштырылмыштыр.

Ф(1,22) маании илк пункт үчүн 23, Ф(1,21) маанилери исе дигер пунктлер үчүн 22 ешлештирилмиш байкоое ишарет етмектедир. Ошондуктан өзүн-өзү жетиштүү сезүү талдоолери 29 студентнин тамамыны капсамамактадыр. Ексик ешлештирилмиш йанытларын себеплери айрынтылы катары ачыкланмамыштыр.

Кысми ета каре, жалпы өзгөримин не кадарынын заман же уйгулама мурдаси-кийинсы фаркыйла илишкмененндирилдигини гөстерен бир етки чоңлүгүдүр. Ешлештирилмиш Жохен д_з исе орталама өзгөрими бирейлер арасы өзгөркенлиге боюнча стандартлаштырыр. Билдирмененн маанилер чакан бир статистикалык фарктан дагы чоң, уйгуламалы катары белиргин ишеним өсүшларына ишарет етмектедир.

Бирок өзүн-өзү жетиштүү сезүү бежеринин өзси эмес. Студент өзни дагы йеткин хисседэрте неснел бир тасарым сынавында айны өлчүде гелишме гөстермейебилир. Изилдөөдө көз карандысыз, көр баллланан бир йетерлик тести же контролдук топ жок.

Сүрөт 2: Уйгулама мурдаси жана кийинсы ишеним

PDF’нин алтынжы бетсындаки Сүрөт 2, жасалма интеллектйла домен билими единсульт жана DDD уйгулама пунктлеринин груп орталамаларыны йүзде 95 ишеним аралыкларыйла көрсөтөт.

Графиктен болжол менен катары:

• Алан билимси единсульт ишениминин 58 деңгэколундан 85 живарына,
• DDD уйгулама ишениминин 51 деңгэколундан 77 живарына

йүкселдиги окунмактадыр. Бул маанилер графиктен болжол менен катары окунмуштур; ана метинде так орталамалар табло хâлинде маалыматлмемиштир. Дикей хата чубуклары йүзде 95 ишеним аралыкларыны көрсөтөт.

Өзүн-өзү жетиштүү сезүү өсүшы себеп себепсел натыйжа эмес?

Жасалма интеллект мугалими жалгыз өзү колдонулган эмес. Айны мезгилде студенттер:

• Кыса DDD дерслери алмыш,
• Екип катары герчек проже үзеринде чалышмыш,
• Миро тактасында окуя бороону йапмыш,
• Билги контролү соруларыны йанытламыш,
• Өгретим үйесинден же дигер булаклардан йардым алмыш,
• Зорунлу жана нотландырылан еткинликлере катылмыштыр.

Бу ортак уйгуламалар бирбиринден айрылмадыгы үчүн көзленен ишеним өсүшы жасалма интеллект дестекли бүтүн өгренме ортамыйла байланыштуудир. “ChatGPT öz-yeterliği şu kadar artırdı” бичиминде себепсел бир ифаде изилдөө тарафындан дестекленмемектедир.

Өгретим тасарымында колдонулган теориялык алкаклер

Изилдөөжы натыйжалары үч өгренме курамы аркылуу йорумламыштыр:

Билишсел Йүк Курамы

Герексиз текрар, ашыры узаклук, көп саныда мисал жана ачыкланмайан теримлер студентнин изилдөө беллегини өгренмейе каткысы олмайан ичерикле долдурабилир. Йаныт узаклугуну жана мисал саныны чек аралайан өнермененр бул алкакйе негизделет.

ICAP алкакси

ICAP, студентнин катылымыны пасиф, актиф, түзүлүшжы жана еткмененшимли деңгээллерде еле алыр. Студентнин гана йаныты окумасы актиф деңгээлде калабилир. Моделин белирли бир кийинки суроо же уйгулама тапшырмаи сунуштамаси, студентйи түзүлүшжы жана еткмененшимли катылыма йөнлендиребилир.

Өзүн-өзү жетиштүү сезүү

Студентнин бир тапшырмаи башарабмененжегине илишкин инанжы, өгренмейе девам етмесини жана зор тапшырмалерде ысрарыны еткмененйебилир. Изилдөөжы, төмөн дестеклейижилигин щелочьы студенттерде ишеним өсүшыны чек араландырмыш олабмененжегини алдыга коёт. Бул оласылык түздөн-түз экспериментсел катары сынанмамыштыр.

Өнермененн 17 өгретим уйгуламасы

Ен жогорку калдырачлы беш уйгулама

PDF’нин докузакжу бетсындаки Таблица 3, уйгулама малийети жана фарклы программалык инженерия дерслерине актарылабилирлик кам көрүүындан беш уйгуламайы ен жогорку мурдаликли катары сечмектедир:

Изилдөөнүн күчтүү жактари нелердир?

• Жасалма интеллект мугалимини герчек бир дерс жана герчек екип прожеси үчүнде маанилендирмектедир.
• Програмлама дестеги йерине домен билими жана программалык камсыздоо модельлеме сыяктуу дагы аз инжеленен бежермененре көңүл топтооктадыр.
• Өгретмени дерс слайтлары, долбоор талаптары жана мисал теслимле негизгилендирмектедир.
• Стандарт истемлер кулланарак студенттер арасында каршылаштырылабилир маалымат үретмектедир.
• Отурумлара боюнча табакалы кокус мисаллемейле үч кону аланынын темсил едилмесини сагламактадыр.
• Догрулугу тек өлчүт катары кулланмайып илги, педагогикалык баалуулук, когнитивдикдик жүк жана дестеклейижилиги бирликте маанилендирмектедир.
• Ики окутуучу ассистентйла алт күме үзеринде маанилендирижи тутарлылыгыны контрол етмектедир.
• Йалнызжа олумлу натыйжалары эмес, колдоочулук, узаклук, жаргон жана мисал уйумсуузлугу сорунларыны да рапорламактадыр.
• Жыйынтыктары билим берүүжмененрин түздөн-түз уйгулайабмененжеги 17 пунктлик рехбере дөнүштүрмектедир.
• Изилдөөнүн себепсел олмадыгыны жана өз-йетерлигин бежерийле айны анлама гелмедигини ачыкча белгилейт.
• Истемлер, түзүлүшландырма, анонимлештирилмиш жазуулар, рубрика жана талдоо бэтикалыклерини камтыган кайталоо пакети суундугуну билдирмектедир.

Изилдөөнүн чектелгенлыклары нелердир?

• Тек мекеме жана тек дерс: Натыйжалар гана Жарнегие Меллон Силижон Валлей’деки бир жогорку лицензия дерси багламындан гелмектедир.
• Күчүк катышуучу саны: Топлам 29 студент бар.
• Контрол грубу йоклугу: Айны еткинликлери жасалма интеллект кулланмадан тамамлайан салыштыруу грубу жок.
• Неденсел айрым йоклугу: Кыса дерслер, екип уйгуламасы, билим контроллери жана баа стимулу жасалма интеллектйла айны мезгилде колдонулган.
• Өзүн-өзү жетиштүү сезүү өлчөөү: Гүвен өсүшы түздөн-түз билим же тасарым бежериси өсүшы эмес.
• Ексик ешлештирилмиш сурамжылоолер: Өзүн-өзү жетиштүү сезүү талдоолери 29 йерине 22 же 23 студентйе негизделет.
• Стандарт истемлер: Сербест жана табиятл студент конушмалары йерине мурдаден белирленмиш алты истем маанилендирилмиштир.
• Такип соруларынын дышарыда быракылмасы: Жасалма интеллект мугалиминин еткмененшимли өгретим перформансы там катары өлчүлмемиштир.
• Тек модель: Йалнызжа GPT-3.5 Турбо колдонулган; башка модельлерле салыштыруу жасалган эмес.
• Модел сүрүмү: 2024 мезгилиндеки GPT-3.5 жүрүм-турумы күнжел модельлери темсил етмейебилир.
• Тек негизги маанилендирижи: Бүтүн мисаллеми сабак окутуучусу баллламыштыр.
• Таван еткиси: Догрулук жана илги балллары чок жогорку экениндан рубрика чакан калите фаркларыны айырт етмекте зорланабилир.
• Колдоочулук өлчеги: Гечерлиги догруланмыш псиколожик бир өлчек эмес, изилдөөжынын танымладыгы векил өлчүттүр.
• Зорунлу катылым: Дерс кредиси жогорку катылым сагларкен студенттери йүзейсел бичимде еткинлиги тамамламайа да тешвик едебилир.
• Ортак жана кимлик текшерүүсыз өгретмен: Кулланыжы деңгээли адамселлештирме жана ишенимли еришим маанилендирилмемиштир.
• Билги табаны ексиклери: Базы финансы жана мененри DDD конуларынын жетиштүүнже капсанмамасы йаныт калитесини еткмененмиштир.
• Сайысал рапорлама сорунлары: Метиндеки щелочьы йүзделер Сүрөт 3 жана негизги аритмэтикалыкле уйушмамактадыр.
• Узун мезгил натыйжалары: Студентлерин билимйи апталар же айлар кийин коруйуп коргоодыгы өлчүлмемиштир.
• Махремийет жана излеме: Конушма кайды жалпыанын студент купуялыгы үзериндеки еткиси айрынтылы катары инжеленмемиштир.

Изилдөө нейи дестеклемектедир?

• Сабак материалдарыйле негизгилендирилмиш жана истем куралларыйла чек араландырылмыш бир жасалма интеллект мугалими, инжеленен стандарт сорулара жогорку тактыкта йаныт веребилир.
• Жасалма интеллект, кыса жана йогун бир дизайн баскычындан мурда студенттере домен билими жана модельлеме каврамлары конусуунда истеге баглы заманларда дестек саглайабилир.
• Билги табаны, йаныт узаклугу, терим колдонулушу жана мисал тандоои өгретмен калитесини өнемли өлчүде еткмененйен түзүлүшландырма унсуурларыдыр.
• Догру жана илгили йанытлар автоматтык катары дестеклейижи же мотиве едижи өгретменлик маанисин билдирбейт.
• Жасалма интеллект дестекли еткинликлерин ачык бир окуу натыйжасы, чакан сабак кредити жана билим текшерүүсүйле програма йерлештирилмеси катылымы артырабилир.
• Студентлер уйгулама кийинсында жасалма интеллектйла домен билими единсульт жана DDD уйгулама конусуунда дагы жогорку ишеним билдирмиштир.
• Кыса конушма жазуулары жана бкислота рубрика, өгретменин колдонулушуны излемек жана калитейи маанилендирмек үчүн уйгуланабилир бир иш акышы олуштурабилир.
• Өгретим асистанларынын ортак мисаллерле калибре едилмеси дагы чоң сыныфларда маанилендирме иш йүкүнүн пайлашылмасыны дестеклейебилир.

Изилдөө нейи далилдебейт?

• Жасалма интеллект мугалиминин студенттердин неснел сынав же тасарым перформансыны артырдыгыны далилдебейт.
• Өзүн-өзү жетиштүү сезүү өсүшынын гана ChatGPT колдонулушундан булакландыгыны көрсөтпөйт.
• GPT-3.5’ин генел билим берүү соруларында йүзде 98,9 тактыкла чалыштыгыны көрсөтпөйт.
• Дерс матерйалийле негизгилендирмененн бүтүн жасалма интеллект системлеринин халүсинасйонсууз олажагыны далилдебейт.
• Өгретменин окутуучу же окутуучу ассистентнын йерини тамамен алабмененжегини көрсөтпөйт.
• Сербест, узак жана бекленмедик студент конушмаларында айны калите деңгээлинин корунажагыны көрсөтпөйт.
• Натыйжаларын лицензия студенттердине, чоң сыныфлара же программалык инженерия дышындаки аланлара түздөн-түз актарылабмененжегини далилдебейт.
• Дестеклейижи ифаделерин өгренмейи же башарыйы артыражагыны экспериментсел катары көрсөтпөйт.
• Дерс кредиси маалыматлмесинин йүзейсел кулланым рискинден дагы көп йарар сагладыгыны айры бир экспериментле көрсөтпөйт.
• Гүнжел же дагы күчтүү дил модельлеринин айны түзүлүшландырмайла дагы ийи натыйжа вережегини далилдебейт.
• Жасалма интеллект колдонулушунын этикалык, купуялык жана академиялык ак ниеттүүлүк сорунларыны чөздүгүнү көрсөтпөйт.

Программалык инженерия билим берүүи жагынан өнеми

Изилдөөнүн негизги каткысы, жасалма интеллектйы код йазан бир йардымжыдан мурда “tasarıma hazırlık aracı” катары еле алмасыдыр. Бир программалык камсыздоо прожесинде йанлыш алан модельи, дагы кийин йазылан код догру олса бменен системин йанлыш проблеми чөзмесине себеп болушу мүмкүн.

Сабак материалдарыйле чектелген бир жасалма интеллект мугалими шу түр хазырлык тапшырмалеринде кулланылабилир:

• Студентнин йабанжы экени бизнес тармагындаки негизги теримлери түшүндүрмөк,
• Проже герексинимлериндеки акторлери жана тышкы системалари фарк еттирмек,
• Моделлеме каврамларыны студентнин прожесийле илишкмененндирмек,
• Сыныф изилдөөсындан мурда ортак бир баштапкы деңгээли олуштурмак,
• Окутуучуин текрар еден негизги түшүндүрмөлара айырдыгы заманы азалтмак.

Бирок өгретменин гана йаныт верен бир систем катары эмес, дерс акышыйла бүтүнлешмиш бир арач катары тасарланмасы герекир. Билги контролү, йансытма, амачлы кийинки суроо жана окутуучу аудити олмадан студентнин йаныты гана копйаламасы мүмкүндүр.

Өнермененн бенимсеме йолу

Изилдөөжы, жасалма интеллект дестекли өгретими илк кез кулланажак дерслер үчүн ашамалы бир йол сунуштамактедир:

1. Жасалма интеллект колдонулушуны ачык бир окуу натыйжасыйла танымламак.
2. Топлам дерс нотунун йүзде 1-2’си сыяктуу чакан бир креди айырмак.
3. Бкислота бир калите жана билим текшерүүсү рубриги уйгуламак.
4. Хер студент же екиптен бир гана амачлы кийинки суроо истемек.
5. Студент саны болжол менен 30’у кечтигинде кыса сүйлөшүү жазуусу шаблону кулланмак.
6. Өгретим асистанларыны ортак мисаллерле калибре етмек.
7. Дүшүк калители же рискли йанытлары автоматтык сыныфландырмайла ишаретлейип нихаи карары окутуучуе быракмак.

Гележек изилдөө өнермененринде фарклы программалык инженерия конулары жана сыныф чоңлүклеринде чогалтма, сербест байкоо соруларынын калите-йүк денгесинин маанилендирилмеси жана рубриге дайалы йары автоматтык калите тарамасы бар.

Изилдөөнүн Ыкмаи жана Жыйынтыктары

Текник ыкма өзети

Йаныт калитеси табылгалары

Өзүн-өзү жетиштүү сезүү табылгалары

• Жасалма интеллектйла домен билими единсульт өз-йетерлигинде чоң өсүш: Ф(1,22)=24,41; p<0,001; кысми η²=0,53; д_з≈1,03.
• Жасалма интеллектйла биргелешкен долбоорде DDD уйгулама өз-йетерлигинде чоң өсүш: Ф(1,21)=14,81; p<0,001; кысми η²=0,41; д_з≈0,82.
• Генел DDD модельи олуштурма өз-йетерлигинде чок чоң өсүш: Ф(1,21)=45,82; p<0,001; кысми η²=0,69; д_з≈1,44.
• Үчүнжү пункт жасалма интеллектйа түздөн-түз атыфта булунмадыгындан кешифсел натыйжа катары маанилендирилмиштир.
• Анализлер 29 студентнин тамамыны эмес, 22 же 23 ешлештирилмиш йаныты камтыйт.

Натыйжаларын текник йоруму

Ен күчтүү натыйжа, сабак материалдарыйле негизгилендирилмиш бир жасалма интеллект мугалиминин белирли жана мурдаден тасарланмыш сорулар үчүн жогорку тактыкта жана конуйа ылайык йаныт саглайабилмесидир. Бул натыйжа, билим базасынын капсамы жана истем кысытларыйла йакындан байланышлыдыр.

Педагожик калите гана догру билимйле белирленмемектедир. Йанытын узаклугу, колдонулган теримлерин студент севийесине ылайыклугу, мисаллерин проже багламыйла ешлешмеси жана студентйи маанилүү бир кийинки адыма йөнлендирмеси айры тасарым проблемлеридир.

Өзүн-өзү жетиштүү сезүү өсүшлары билим берүү ортамынын олумлу бир көрсөткүчсидир; бирок контролдук топ жана объективдүү жөндөм тести булунмадыгындан өгренме башарысына илишкин себептүүлүк далили эмес. Изилдөөнүн табылгалары, жасалма интеллектнын окутуучуи өзгөртирмесинден чок, окутуучуин тасарладыгы дерс акышында өлчекленебилир бир хазырлык катманы олуштурмасыны дестеклемектедир.

Рапорланан йүзделердеки чакан тутарсызлыклар ана өрүнтүйү өзгөртирмемектедир: тактык, илги жана педагогикалык баалуулук жогорку; колдоочулук төмөнтүр. Ошондой болсо да чогалтма изилдөөларында хам балл дагылымларынын жана хесаплама бэтикалыклеринин ачык бичимде йайымланмасы натыйжаларын денетленебилирлигини гүчлендирежектир.

Булак жана Ыкма Ноту

Изилдөөнүн там оригиналдуу ады: Фром Домаин Ундерстандинг то Десигн Реадинесс: а плайбоок фор GenAI-сууппортед леарнинг ин Софтwаре Енгинееринг

Йазар: Рафал Wлодарски.

Еш каткы же тең биринчи автор: Тек йазарлы изилдөө экениндан тең салым абалы жок.

Сорумлу йазар: PDF’де айрыжа “corresponding author” ишарети колдонулган эмес. Тек йазарын рафал.wлодарски@св.жму.еду е-поста дареги маалыматлмиштир.

Мекемесал байланыш: Ележтрижал &амп; Жомпутер Енгинееринг, Жарнегие Меллон Университй Силижон Валлей, Моунтаин Виеw, Жалифорниа, АКШ.

Йазарын мекемесал тапшырмаи: Ассистант Теажхинг Профессор, Ележтрижал анд Жомпутер Енгинееринг, Жарнегие Меллон Университй.

Булак түрү: Герчек дерс уйгуламасы, йаныт калитеси маанилендирмеси, өзүн-өзү жетиштүү сезүү талдоои жана өгретим уйгуламалары камтыган рецензияланган конференция макаласы.

Конферанс: Жомпанион Прожеедингс оф тхе 34тх ACM Сймпосиум он тхе Фоундатионс оф Софтwаре Енгинееринг, FSE Жомпанион ’26.

Конферанс бөлүмү: Софтwаре Енгинееринг Едужатион.

Конферанс тарихи жана йери: 5-9 Теммуз 2026; Монтреал, Qуебеж, Канада.

Сайфалар: 1078-1088.

Йайын жылы: 2026.

Йайыневи: Ассожиатион фор Жомпутинг Мажхинерй.

DOI: 10.1145/3803437.3805783.

ACM ISBN: 979-8-4007-2636-1/26/07.

Укукемлик абалы: Изилдөө FSE 2026 Софтwаре Енгинееринг Едужатион програмында кабул едилмиш жана ACM конферанс билдирмененри үчүнде йайымланмыштыр. Конферанс чагрысы бул бөлүмде кош анонимдүү баалоо мөөнөтжи уйгуландыгыны белгилейт.

Лисанс: Жреативе Жоммонс Аттрибутион 4.0 Ынтернатионал.

Ресмî ACM байланышсы:https://dl.acm.org/doi/10.1145/3803437.3805783

Ресмî конферанс програмы:https://conf.researchr.org/track/fse-2026/fse-2026-software-engineering-education

ArXiv сүрүмү: арXив:2604.00120в1; 31 Март 2026.

ArXiv DOI’си: 10.48550/арXив.2604.00120. Бул DOI препринт сүрүмүне аиттир; изилдөөнүн негизги йайымланмыш DOI’си ACM DOI’сидир.

Ресмî арXив байланышсы:https://arxiv.org/abs/2604.00120

Финансман: Изилдөө, Генеративе Артифижиал Ынтеллигенже Теажхинг ас Ресеаржх Феллоwсхип капсамында финансые едилмиштир. Еберлй екибине уйгуламанын герчеклештирилмесине вердиги дестек үчүн тешеккүр едилмиштир.

Чогалтма пакети: Изилдөө; стандарт промпттор, өгретмен түзүлүшландырмасы, рубрика матерйаллери, изин маалыматлен өлчүде кимликсизлештирилмиш конушма жана балллар менен талдоо бэтикалыклеринин ек матерйал катары суунулдугуну билдирмектедир. PDF үчүнде түздөн-түз ачык депо дареги гөстерилмемиштир.

Изилдөөнүн негизги чектелгенлыклары; тек мекеме жана чакан мисаллем, контролдук топ булунмамасы, өз-йетерлигин түздөн-түз бежери олмамасы, бүтүн йанытларын тек узман тарафындан баллланмасы, гана стандарт промптторин маанилендирилмеси, GPT-3.5’ин башка модельлерле каршылаштырылмамасы жана кыса уйгулама мөөнөтсидир.

Изилдөө, жасалма интеллект мугалиминин инсан окутуучуин йерини алабмененжегини же студенттердин неснел тасарым бежерисини жалгыз өзү артырдыгыны далилдебейт. Жыйынтыктар, сабак материалдары менен чектелген жана көңүл бурууле түзүлүшландырылмыш бир жасалма интеллект мугалиминин кыса мөөнөтли домен билими жана модельлеме хазырлыгында билим берүүи тамамлайыжы бир арач катары кулланылабмененжегини көрсөтөт.