Avvalo asosiy savol: sun'iy intellekt tenglamani topa oladimi?

Ba'zi sun'iy intellekt tizimlari faqat bashorat qilish bilan cheklanmaydi; ma'lumotlarga mos keladigan matematik ifodalarni ham qidiradi. Bunga simvolik regressiya deyiladi.

Masalan, qo'limizda harorat, bosim, tezlik yoki boshqa o'lchovlar bo'lishi mumkin. Simvolik regressiyaning maqsadi bu ma'lumotlar orasidagi munosabatni tushuntiruvchi formula topishdir. Bu formula ba'zan oddiy bo'lishi mumkin:

y = 2x + 3

Ba'zan esa murakkabroq bo'lishi mumkin:

y = 10 / (5 + (x - 3)² + (z - 3)²)

Bunday tizimlarda maqsad faqat «to'g'ri bashorat» emas. Shuningdek, odam o'qiy oladigan va talqin qila oladigan matematik ifoda topish ham muhim.

Shuning uchun simvolik regressiya ilmiy kashfiyot, muhandislik modellashtirish, ma'lumotlar tahlili va tushuntirib beriladigan sun'iy intellekt nuqtai nazaridan muhim sohadir.

Genetik dasturlash nima degani?

Genetik dasturlash biologik evolyutsiyadan ilhom olingan qidiruv usulidir. Oddiy qilib aytganda, kompyuter ko'plab nomzod yechimlar hosil qiladi. Keyin ularni sinab ko'radi, yaxshilarini tanlaydi va yangi avlodlarni yaratadi.

Bu jarayonda ikki asosiy mexanizm ajralib turadi:

Mutatsiya:
Nomzod yechimda kichik tasodifiy o'zgarishlar qilinadi.

Crossover / Rekombinatsiya:
Ikki nomzod yechimning ba'zi qismlari birlashtirilib yangi nomzodlar yaratiladi.

Tabiatdagi evolyutsiyada jonivorlar genetik ma'lumotlarini keyingi avlodlarga uzatadi. Genetik dasturlashda ham nomzod dasturlar yoki formulalar shu tarzda o'zgartiriladi, aralashtiriladi va yaxshilanishga harakat qilinadi.

Cartesian Genetic Programming nima?

Maqolada e'tibor qaratilgan usul Cartesian Genetic Programming, qisqacha CGP. O'zbek tilida «Kartezian genetik dasturlash» deyish mumkin.

CGPda dasturlar klassik qator-qator kod emas, balki grafik tuzilmasi kabi ifodalanadi. Bu grafikda tugunlar bor. Har bir tugun amal bajarishi mumkin: qo'shish, ayirish, ko'paytirish, bo'lish yoki boshqa matematik funksiyalar kabi.

1-rasmda bu tuzilma ko'rsatilgan. Genotip, ya'ni ichki ifoda, raqamlar ro'yxati kabi kodlanadi. Bu ro'yxat qaysi tugun qanday amalni bajarishini va qaysi kirishlarga ulanganini belgilaydi. Fenotip esa haqiqatan ishlaydigan dasturdir. Ya'ni raqamlar ro'yxatidan yechilgan faol hisoblash grafigi.

Bu yerda muhim farq bor:

Ba'zi tugunlar faol ravishda natijaga hissa qo'shadi.
Ba'zi tugunlar esa genotipda bor, lekin hisoblashda ishlatilmaydi.

Bu ishlatilmaydigan qismlarga «non-coding», ya'ni kodlamaydigan qismlar deyiladi. CGPning qiziq tomonlaridan biri shu: dastur ichida hozircha ishlatilmaydigan, lekin evolyutsiya jarayonida keyinroq foydali bo'lishi mumkin bo'lgan qismlar bo'lishi mumkin.

Nega rekombinatsiya munozarali?

Genetik dasturlashda crossover ko'pincha muhim operator sifatida ko'riladi. Chunki ikki yaxshi yechimning qismlari birlashtirilib yaxshiroq yechim olinishi mumkin.

Biroq CGPda holat har doim shunday emas. O'tmishdagi tadqiqotlarda crossover texnikalarining CGPda ba'zan qidiruvni buzishi yoki kutilgan samara bermasligi ko'rilgan. Shuning uchun CGPda uzoq vaqt mutatsiya asosiy operator bo'lib ishlatilgan.

Bu tadqiqot aynan shu nuqtaga e'tibor qaratadi:

«CGPda rekombinatsiya haqiqatan ham zaifmi, yoki yaxshiroq sozlamalar bilan yaxshiroq natija berishi mumkinmi?»

Tadqiqotchilar bu savolni sinash uchun ikki rekombinatsiya usulini o'rganadi:

• Subgraph crossover (subgraf kesish)
• Discrete phenotypic recombination (diskret fenotipik rekombinatsiya)

Subgraph Crossover nima?

Subgraph crossover ikki ota-ona dasturdan faol grafik qismlarini hisobga olib yangi dastur hosil qilishga harakat qiladi. Maqsad tasodifiy gen aralashtirish o'rniga dasturning haqiqatan ishlaydigan qismlarini ehtiyotkorroq ishlatishdir.

Buni shunday tasavvur qilish mumkin:

Formula daraxtida yoki grafikda ba'zi qismlar natijaga hissa qo'shadi. Subgraph crossover bu faol qismlarni muhim deb biladi va ikki nomzod yechimdan ma'noli past grafiklarni o'tkazishga harakat qiladi.

Bu yondashuvning maqsadi foydali tuzilmalarning butunlay buzilishini oldini olishdir. Biroq tajribalarda ushbu usulning samarasida ma'lumotlar to'plamiga qarab o'zgaruvchanlik ko'rsatgan.

Discrete Phenotypic Recombination nima?

Discrete phenotypic recombination, ya'ni diskret fenotipik rekombinatsiya, yana ikki ota-ona dastur o'rtasida genetik material almashadi; biroq buni faol tugunlar va dasturning ko'rinadigan xulq-atvoriga ko'proq e'tibor qaratib amalga oshiradi.

Bu yerda «fenotipik» so'zi muhim. Chunki maqsad faqat genotipdagi raqamlar ro'yxatini aralashtirish emas, balki haqiqatan ishlaydigan dastur xulq-atvorini ifodalovchi faol tuzilmalarni hisobga olishdir.

Maqola natijalariga ko'ra, o'rganilgan simvolik regressiya ma'lumotlar to'plamlarida diskret fenotipik rekombinatsiya ko'p hollarda Subgraph crossoverga nisbatan yaxshiroq median samara ko'rsatgan.

Giperparametr optimizatsiyasi nima uchun muhim?

Sun'iy intellekt usulining muvaffaqiyati faqat algoritmning o'ziga bog'liq emas. Sozlamalar ham juda muhim.

Bu sozlamalarga giperparametr deyiladi. Masalan, bu tadqiqotda quyidagi sozlamalar muhim:

• Populyatsiya hajmi
• Turnir tanlovi hajmi
• Mutatsiya darajasi
• Crossover darajasi
• Funksiya tugunlari soni
• Levels-back chegarasi

Bu sozlamalar yomon tanlansa yaxshi usul zaif ko'rinishi mumkin. Aksincha, yaxshi sozlangan usul adolatliroq baholanishi mumkin.

Tadqiqotchilar shuning uchun SMAC3 nomli giperparametr optimizatsiya vositasidan foydalanadi. SMAC3 turli sozlamalarni tizimli sinab ko'rib yaxshiroq konfiguratsiyalar topishga harakat qiladi. Bu jarayonda 5 qavatli kesma validatsiya va 200 ta sinovlik optimizatsiya byudjeti ishlatilgan.

Ushbu maqolaning eng muhim o'quv nuqtalaridan biri shu:

Sun'iy intellekt usulini baholashda «standart sozlamalar bilan ishlattim, natija shu» deyish har doim adolatli bo'lmasligi mumkin. Ayniqsa yangi operator yoki model solishtirilayotgan bo'lsa, har bir usul oqilona tarzda sozlanishi kerak.

Tajribalar qanday o'tkazilgan?

Tadqiqotchilar simvolik regressiya uchun SRBench ichidagi beshta ma'lumotlar to'plamidan foydalangan. Bu to'plamlar Penn Machine Learning Benchmarks kolleksiyasidan tanlangan.

1-jadvalda ma'lumotlar to'plamlarining o'zgaruvchi va kuzatuvlar soni berilgan:

• 192_vineyard: 3 o'zgaruvchi, 52 kuzatuv
• 210_cloud: 6 o'zgaruvchi, 108 kuzatuv
• 579_fri_c0_250_5: 6 o'zgaruvchi, 250 kuzatuv
• 650_fri_c0_500_50: 20 o'zgaruvchi, 500 kuzatuv
• 678_visualizing_environmental: 4 o'zgaruvchi, 11 kuzatuv

Bu ma'lumotlar to'plamlari kichik o'lchamdagi simvolik regressiya muammolari sifatida tanlangan. Katta to'plamlar va butun sonli maqsadli muammolar bu tadqiqotda qamrab olinmagan.

Har bir to'plam uchun modellar o'qitish va test qismlariga bo'lingan. O'qitish qismida model ishlab chiqilgan, test qismida esa topilgan eng yaxshi individualning samarasi o'lchangan.

Samarani o'lchashda MSE ishlatilgan. MSE bashorat qilingan va haqiqiy qiymat o'rtasidagi o'rtacha kvadrat xato. Bu yerda past MSE yaxshiroq samara degani.

Grafiklar nima ko'rsatadi?

2-rasm uch xil yondashuv uchun natijalarni ko'rsatadi:

• Mutation-only, ya'ni faqat mutatsiya ishlatadigan CGP
• Discrete recombination ishlatadigan CGP
• Subgraph crossover ishlatadigan CGP

Grafiklarda har bir usul uchun qo'lda tanlangan ikki asosiy sozlama bilan giperparametr optimizatsiyasidan kelgan sozlama solishtirilgan.

Faqat mutatsiya ishlatiladigan CGPda giperparametr optimizatsiyasining ta'siri cheklangan ko'rinadi. Ya'ni optimallashtirilgan sozlamalar qo'lda tanlanganlardan sezilarli yaxshilanish keltirmagan.

Buning aksincha, rekombinatsiya ishlatiladigan usullarda giperparametr optimizatsiyasining ta'siri aniqroq. Ayniqsa ba'zi to'plamlarda optimallashtirilgan konfiguratsiyalar qo'lda sozlamalardan pastroq MSE qiymatlarini bergan.

Grafiklarda Subgraph crossoverning ba'zi to'plamlarda juda o'zgaruvchan natijalar berishi ham ko'rinadi. Xato chiziqlarining keng bo'lishi usulning ba'zi ishga tushirishlarda yaxshi, ba'zilarida esa juda yomon natija berishi mumkinligini ko'rsatadi.

Bu grafiklarning asosiy xabari shu:

Rekombinatsiyaga asoslangan CGP usullarini baholashda giperparametr optimizatsiyasi qilinmasa, usulning haqiqiy salohiyati to'g'ri ko'rinmasligi mumkin.

3-jadval nima aytadi?

3-jadval optimallashtirilgan CGP modellarining beshta to'plamdagi median MSE natijalarini solishtiradi. Bu yerda uch yondashuv bor:

• Discrete recombination (diskret rekombinatsiya)
• Subgraph crossover (subgraf kesish)
• Mutation-only (faqat mutatsiya)

Natijalarga ko'ra Discrete recombination beshta to'plamning to'rtida pastroq yoki eng yaxshisi bilan statistik bog'liq median samara ko'rsatgan.

Ba'zi diqqatga sazovor misollar:

192_vineyard:
Discrete recombination median MSE: 6.20
Subgraph crossover median MSE: 10.55
Mutation-only median MSE: 8.31

210_cloud:
Discrete recombination median MSE: 0.18
Subgraph crossover median MSE: 20.34
Mutation-only median MSE: 0.18

579_fri_c0_250:
Discrete recombination median MSE: 0.54
Subgraph crossover median MSE: 2.62
Mutation-only median MSE: 0.68

678_visualizing_environmental:
Subgraph crossover median MSE: 7.26
Discrete recombination median MSE: 7.69
Mutation-only median MSE: 8.45

Bu jadval Discrete recombination usulining o'rganilgan simvolik regressiya muammolarida barqarorroq va kuchliroq ko'rinishini ko'rsatadi. Biroq natijalar barcha simvolik regressiya muammolari uchun umumiy qat'iyat sifatida talqin qilinmasligi kerak.

Tadqiqot nima deydi?

Tadqiqotning asosiy natijasi shu:

Giperparametr optimizatsiyasi, ayniqsa rekombinatsiyaga asoslangan CGP usullarida samarani yaxshilashi mumkin.

Bu topilma muhim, chunki o'tmishda ba'zi rekombinatsiya usullari «CGP uchun yetarlicha yaxshi emas» deb baholangan bo'lishi mumkin. Biroq bu baholar ko'pincha qo'lda tanlangan sozlamalar bilan qilingan. Agar sozlamalar usulga mos kelmasa, usul o'zidan zaifroq ko'rinishi mumkin.

Tadqiqotchilar ikki rekombinatsiya usulini ham solishtiradi. O'rganilgan to'plamlarda Discrete phenotypic recombination Subgraph crossoverga nisbatan umuman olganda yaxshiroq median samara ko'rsatgan. Subgraph crossover esa ba'zi to'plamlarda o'zgaruvchanroq natijalar bergan.

Mutation-only CGP ba'zi hollarda rekombinatsiya usullari bilan o'xshash natijalar berishi mumkin. Bu mutatsiyaning CGPda hali ham kuchli asosiy operator ekanini ko'rsatadi.

Bu nima uchun muhim?

Bu tadqiqot faqat CGP bo'yicha texnik tajriba emas. Kengroq sun'iy intellekt darsini ham eslatadi:

Usulni adolatli baholash uchun uning sozlamalarini ham adolatli optimallashtirish kerak.

Mashina o'rganishi va sun'iy intellekt sohasida ba'zan yangi usullar eski usullar bilan solishtiriladi. Biroq eski usul yaxshi sozlangan, yangi usul yomon sozlangan bo'lsa natija chalg'ituvchi bo'lishi mumkin. Yoki aksincha.

Shuning uchun giperparametr optimizatsiyasi ilmiy solishtirishlarda muhim rol o'ynaydi. Ayniqsa genetik dasturlash kabi tasodifiy qidiruv ishlatadigan usullarda bu yanada muhim. Chunki populyatsiya hajmi, mutatsiya va crossover darajasi kabi sozlamalar natijani bevosita ta'sir qilishi mumkin.

Tadqiqot simvolik regressiyaning ahamiyatini ham ko'rsatadi. Simvolik regressiya faqat bashorat qiluvchi qora quti modellar o'rniga ma'lumotlarga mos keladigan matematik ifodalarni topishga harakat qiladi. Bu tushuntirib beriladigan sun'iy intellekt va ilmiy model kashfiyoti uchun qimmatli tadqiqot sohasidir.

E'tibor berish kerak bo'lgan nuqtalar

Bu tadqiqot natijalarini ehtiyotkorlik bilan o'qish kerak.

Birinchidan, tajribalar faqat beshta kichik simvolik regressiya to'plamida o'tkazilgan. Kattaroq, murakkabroq yoki boshqa xususiyatdagi to'plamlarda natijalar o'zgarishi mumkin.

Ikkinchidan, samara o'lchovi sifatida MSE ishlatilgan. MSE past bo'lganda model bashoratlari yaxshiroq bo'lishi mumkin; biroq topilgan simvolik ifodaning soddaligi, tushuntirilishi yoki fizik ma'nosi alohida baholanishi kerak.

Uchinchidan, giperparametr optimizatsiyasi o'zi ham qimmat. Yaxshiroq sozlama topish uchun ko'p sinovlar kerak. Shuning uchun samara va optimizatsiya xarajati birga ko'rib chiqilishi kerak.

To'rtinchidan, Subgraph crossoverning o'zgaruvchan samarasi u butunlay muvaffaqiyatsiz degani emas. Turli to'plamlar, sozlama maydonlari yoki CGP ifodalari bilan natijalar o'zgarishi mumkin.

Nihoyat, bu tadqiqot ma'lum benchmark va TinyverseGP ilovasi asosida davom etadi. Boshqa ilova ramkalarida yoki boshqa simvolik regressiya vazifalarida qo'shimcha sinovlar kerak.

Xulosa

Bu tadqiqot genetik dasturlashda usul solishtirish faqat algoritm nomiga qarab qilinmasligini ko'rsatadi. Bir xil algoritm turli giperparametr sozlamalari bilan juda farqli natijalar berishi mumkin.

Cartesian Genetic Programming uzoq vaqt asosan mutatsiya bilan birga ishlatilgan. Rekombinatsiya usullari esa o'tmishda cheklangan foyda bergan deb ehtiyotkor baholangan. Bu tadqiqot, ayniqsa giperparametr optimizatsiyasi qilinganda rekombinatsiyaga asoslangan CGPning ba'zi simvolik regressiya muammolarida yaxshiroq natija berishi mumkinligini ko'rsatadi.

Eng muhim dars shu:

Sun'iy intellekt faqat yaxshi algoritmlarga emas, yaxshi sozlangan tajribalarga ham muhtoj.

Shuning uchun kelajakda genetik dasturlash va simvolik regressiya tadqiqotlarida yangi operatorlar yoki usullar solishtirilganda giperparametr optimizatsiyasining standart baholash bosqichi bo'lib qolishi kutiladi.

Manba va usul eslatmasi

Bu kontent Duy Long Tran, Anja Jankovic, Marie Anastacio, Holger Hoos va Roman Kalkreuth tomonidan tayyorlangan «Improving Evaluation of Recombination-based Cartesian Genetic Programming» nomli ilmiy ish asosida Verianla tahririy formatida mustaqil tayyorlangan.

PDFda ACM GECCO Companion '26 konferensiya ma'lumoti va arXiv versiyasi keltirilgan. Kontent ma'lumot va ta'lim maqsadida. Sun'iy intellekt, dasturiy ta'minot, ma'lumotlar fani yoki model tanlash bo'yicha professional maslahat o'rnini bosa olmaydi.