Əvvəlcə Əsas Sual: Süni İntellekt Bir Tənlik Tapa Bilərmi?

Bəzi süni intellekt sistemləri yalnız proqnoz verməklə kifayətlənmir; verilənlərə uyğun riyazi ifadələr də axtarır. Buna simvolik reqressiya deyilir.

Məsələn, əlimizdə temperatur, təzyiq, sürət və ya başqa ölçmələr ola bilər. Simvolik reqressiyanın məqsədi bu verilənlər arasındakı əlaqəni izah edən bir düstur tapmaqdır. Bu düstur bəzən sadə ola bilər:

y = 2x + 3

Bəzən isə daha mürəkkəb ola bilər:

y = 10 / (5 + (x - 3)² + (z - 3)²)

Belə sistemlərdə məqsəd yalnız “düzgün proqnoz” deyil. Eyni zamanda insanın oxuya və şərh edə biləcəyi riyazi ifadənin tapılması da vacibdir.

Buna görə simvolik reqressiya elmi kəşf, mühəndislik modelləşdirilməsi, verilənlərin təhlili və izah edilə bilən süni intellekt baxımından mühüm sahədir.

Genetik Proqramlaşdırma Nə Deməkdir?

Genetik proqramlaşdırma bioloji təkamüldən ilhamlanan axtarış üsuludur. Sadə desək, kompüter çoxlu namizəd həll yaradır. Sonra bu həlləri sınaqdan keçirir, daha yaxşı olanları seçir və yeni nəsillər yaradır.

Bu prosesdə iki əsas mexanizm ön plana çıxır:

Mutasiya:
Namizəd həll üzərində kiçik təsadüfi dəyişikliklər edilir.

Crossover / Rekombinasiya:
İki namizəd həllin bəzi hissələri birləşdirilərək yeni namizədlər yaradılır.

Təbiətdə təkamül zamanı canlılar genetik məlumatlarını sonrakı nəsillərə ötürür. Genetik proqramlaşdırmada da namizəd proqramlar və ya düsturlar oxşar şəkildə dəyişdirilir, qarışdırılır və daha yaxşı hala gətirilməyə çalışılır.

Cartesian Genetic Programming Nədir?

Məqalənin diqqət yetirdiyi üsul Cartesian Genetic Programming, qısaca CGP-dir. Azərbaycan dilində bunu “Kartezian Genetik Proqramlaşdırma” kimi ifadə etmək olar.

CGP-də proqramlar klassik sətir-sətir kod kimi deyil, qraf strukturu kimi təmsil olunur. Bu qrafda düyünlər var. Hər düyün toplama, çıxma, vurma, bölmə və ya başqa riyazi funksiyalar kimi bir əməliyyatı yerinə yetirə bilər.

Şəkil 1-də bu struktur göstərilir. Genotip, yəni daxili təmsil, ədədlər siyahısı kimi kodlaşdırılır. Bu siyahı hansı düyünün hansı əməliyyatı yerinə yetirdiyini və hansı girişlərə qoşulduğunu göstərir. Fenotip isə həqiqətən işləyən proqramdır. Yəni ədədlər siyahısından açılmış aktiv hesablama qrafıdır.

Burada mühüm bir fərq var:

Bəzi düyünlər aktiv şəkildə nəticəyə töhfə verir.
Bəzi düyünlər isə genotipdə mövcuddur, lakin hesablamada istifadə edilmir.

İstifadə olunmayan bu hissələrə “non-coding”, yəni kodlaşdırmayan hissələr deyilir. CGP-nin maraqlı cəhətlərindən biri də budur: Proqramın daxilində hazırda istifadə olunmayan, lakin təkamül prosesi zamanı gələcəkdə faydalı ola biləcək hissələr mövcud ola bilər.

Rekombinasiya Niyə Mübahisəlidir?

Genetik proqramlaşdırmada crossover çox vaxt mühüm operator hesab olunur. Çünki iki yaxşı həllin hissələri birləşdirilərək daha yaxşı həll əldə edilə bilər.

Lakin CGP-də vəziyyət həmişə belə deyil. Əvvəlki tədqiqatlarda crossover texnikalarının CGP-də bəzən axtarışı poza bildiyi və ya gözlənilən performans qazancını təmin etmədiyi müşahidə olunub. Buna görə CGP-də uzun müddət mutasiya əsas operator kimi istifadə edilib.

Bu tədqiqat məhz bu nöqtəyə diqqət yetirir:

“CGP-də rekombinasiya həqiqətən zəifdir, yoxsa daha yaxşı parametrlərlə daha yaxşı nəticə verə bilər?”

Tədqiqatçılar bu sualı yoxlamaq üçün iki rekombinasiya üsulunu araşdırırlar:

• Subgraph crossover
• Discrete phenotypic recombination

Subgraph Crossover Nədir?

Subgraph crossover iki valideyn proqramdakı aktiv qraf hissələrini nəzərə alaraq yeni proqram yaratmağa çalışır. Məqsəd genləri təsadüfi şəkildə qarışdırmaq əvəzinə, proqramın həqiqətən işləyən hissələrindən daha diqqətlə istifadə etməkdir.

Bunu belə düşünə bilərik:

Bir düstur ağacında və ya qrafında bəzi hissələr nəticəyə töhfə verir. Subgraph crossover bu aktiv hissələri nəzərə alır və iki namizəd həldən mənalı altqrafları ötürməyə çalışır.

Bu yanaşmanın məqsədi faydalı strukturların tamamilə pozulmasının qarşısını almaqdır. Lakin təcrübələrdə bu üsulun performansı verilənlər dəstindən asılı olaraq dəyişkənlik göstərə bilib.

Discrete Phenotypic Recombination Nədir?

Discrete phenotypic recombination, yəni diskret fenotipik rekombinasiya, yenə iki valideyn proqram arasında genetik materialı dəyişir; lakin bunu aktiv düyünlərə və proqramın görünən davranışına daha çox diqqət yetirməklə edir.

Burada “fenotipik” sözü vacibdir. Çünki məqsəd yalnız genotipdəki ədədlər siyahısını qarışdırmaq deyil, həqiqətən işləyən proqram davranışını təmsil edən aktiv strukturları nəzərə almaqdır.

Məqalənin nəticələrinə görə, araşdırılan simvolik reqressiya verilənlər dəstlərində diskret fenotipik rekombinasiya əksər hallarda subgraph crossover ilə müqayisədə daha yaxşı median performans göstərib.

Hiperparametr Optimallaşdırılması Niyə Vacibdir?

Süni intellekt üsulunun uğuru yalnız alqoritmin özündən asılı deyil. Parametrlər də çox vacibdir.

Bu parametrlərə hiperparametr deyilir. Məsələn, bu tədqiqatda aşağıdakı parametrlər vacibdir:

• Populyasiyanın ölçüsü
• Turnir seçiminin ölçüsü
• Mutasiya nisbəti
• Crossover nisbəti
• Funksiya düyünlərinin sayı
• Levels-back həddi

Bu parametrlər pis seçilərsə, yaxşı üsul zəif görünə bilər. Əksinə, yaxşı sazlanmış üsul daha ədalətli şəkildə qiymətləndirilə bilər.

Tədqiqatçılar buna görə SMAC3 adlı hiperparametr optimallaşdırma alətindən istifadə edirlər. SMAC3 müxtəlif parametrləri sistemli şəkildə sınaqdan keçirərək daha yaxşı konfiqurasiyalar tapmağa çalışır. Bu prosesdə 5 qatlı çarpaz doğrulama və 200 sınaqdan ibarət optimallaşdırma büdcəsindən istifadə olunub.

Bu yazının ən vacib öyrədici məqamlarından biri budur:

Süni intellekt üsulunu qiymətləndirərkən “standart parametrlərlə işlətdim, nəticə budur” demək həmişə ədalətli olmaya bilər. Xüsusilə yeni operator və ya model müqayisə edilirsə, hər üsulun ağlabatan şəkildə sazlanması lazımdır.

Təcrübələr Necə Aparılıb?

Tədqiqatçılar simvolik reqressiya üçün SRBench daxilindəki beş verilənlər dəstindən istifadə ediblər. Bu verilənlər dəstləri Penn Machine Learning Benchmarks kolleksiyasından seçilib.

Cədvəl 1-də verilənlər dəstlərinin dəyişən və müşahidə sayları göstərilib:

• 192_vineyard: 3 dəyişən, 52 müşahidə
• 210_cloud: 6 dəyişən, 108 müşahidə
• 579_fri_c0_250_5: 6 dəyişən, 250 müşahidə
• 650_fri_c0_500_50: 20 dəyişən, 500 müşahidə
• 678_visualizing_environmental: 4 dəyişən, 11 müşahidə

Bu verilənlər dəstləri kiçikmiqyaslı simvolik reqressiya problemləri kimi seçilib. Böyük verilənlər dəstləri və tam ədəd hədəfli problemlər bu tədqiqatın əhatə dairəsinə daxil edilməyib.

Hər verilənlər dəsti üçün modellər təlim və test hissələrinə bölünüb. Təlim hissəsində model hazırlanıb, test hissəsində isə tapılmış ən yaxşı fərdin performansı ölçülüb.

Performans göstəricisi kimi MSE istifadə olunub. MSE proqnozlaşdırılan dəyərlə həqiqi dəyər arasındakı orta kvadrat xətadır. Burada aşağı MSE daha yaxşı performans deməkdir.

Qrafiklər Nə Göstərir?

Şəkil 2 üç fərqli yanaşmanın nəticələrini göstərir:

• Mutation-only, yəni yalnız mutasiyadan istifadə edən CGP
• Discrete recombination istifadə edən CGP
• Subgraph crossover istifadə edən CGP

Qrafiklərdə hər üsul üçün əl ilə seçilmiş iki əsas parametr konfiqurasiyası hiperparametr optimallaşdırılmasından əldə edilən parametr konfiqurasiyası ilə müqayisə olunub.

Yalnız mutasiyadan istifadə edən CGP-də hiperparametr optimallaşdırılmasının təsiri məhdud görünür. Yəni optimallaşdırılmış parametrlər əl ilə seçilmiş parametrlərlə müqayisədə çox fərqli yaxşılaşma gətirməyib.

Əksinə, rekombinasiyadan istifadə edən üsullarda hiperparametr optimallaşdırılmasının təsiri daha aydın görünür. Xüsusilə bəzi verilənlər dəstlərində optimallaşdırılmış konfiqurasiyalar əl ilə seçilmiş parametrlərdən daha aşağı MSE dəyərləri əldə edib.

Qrafiklərdə subgraph crossover-ın bəzi verilənlər dəstlərində olduqca dəyişkən nəticələr verdiyi də görünür. Xəta çubuqlarının çox geniş olması üsulun bəzi işə salınmalarda yaxşı, bəzilərində isə çox pis nəticələr verə bildiyini düşündürür.

Bu qrafiklərin əsas mesajı budur:

Rekombinasiya əsaslı CGP üsulları qiymətləndirilərkən hiperparametr optimallaşdırılması aparılmasa, üsulun həqiqi potensialı düzgün görünməyə bilər.

Cədvəl 3 Nə Göstərir?

Cədvəl 3 optimallaşdırılmış CGP modellərinin beş verilənlər dəstindəki median MSE nəticələrini müqayisə edir. Burada üç yanaşma var:

• Discrete recombination
• Subgraph crossover
• Mutation-only

Nəticələrə görə discrete recombination beş verilənlər dəstinin dördündə daha aşağı və ya ən yaxşı nəticə ilə statistik baxımdan bərabər median performans göstərib.

Bəzi diqqətçəkən nümunələr:

192_vineyard:
Discrete recombination median MSE: 6.20
Subgraph crossover median MSE: 10.55
Mutation-only median MSE: 8.31

210_cloud:
Discrete recombination median MSE: 0.18
Subgraph crossover median MSE: 20.34
Mutation-only median MSE: 0.18

579_fri_c0_250:
Discrete recombination median MSE: 0.54
Subgraph crossover median MSE: 2.62
Mutation-only median MSE: 0.68

678_visualizing_environmental:
Subgraph crossover median MSE: 7.26
Discrete recombination median MSE: 7.69
Mutation-only median MSE: 8.45

Bu cədvəl discrete recombination üsulunun araşdırılan simvolik reqressiya problemlərində daha sabit və güclü göründüyünü göstərir. Lakin nəticələr bütün simvolik reqressiya problemləri üçün ümumi və qəti nəticə kimi şərh edilməməlidir.

Tədqiqat Nə Deyir?

Tədqiqatın əsas nəticəsi budur:

Hiperparametr optimallaşdırılması xüsusilə rekombinasiya əsaslı CGP üsullarında performansı yaxşılaşdıra bilər.

Bu nəticə vacibdir, çünki keçmişdə bəzi rekombinasiya üsulları “CGP üçün kifayət qədər yaxşı deyil” kimi qiymətləndirilmiş ola bilər. Lakin bu qiymətləndirmələr çox vaxt əl ilə seçilmiş parametrlərlə aparılıb. Parametrlər üsula uyğun deyilsə, üsul olduğundan daha zəif görünə bilər.

Tədqiqatçılar həmçinin iki rekombinasiya üsulunu müqayisə edirlər. Araşdırılan verilənlər dəstlərində discrete phenotypic recombination ümumilikdə subgraph crossover ilə müqayisədə daha yaxşı median performans göstərib. Subgraph crossover isə bəzi verilənlər dəstlərində daha dəyişkən nəticələr verib.

Mutation-only CGP isə bəzi hallarda rekombinasiya üsulları ilə oxşar nəticələr verə bilib. Bu da mutasiyanın CGP-də hələ də güclü əsas operator olduğunu göstərir.

Bu Niyə Vacibdir?

Bu tədqiqat yalnız CGP üzrə texniki təcrübə deyil. O, daha geniş süni intellekt dərsini də xatırladır:

Bir üsulu ədalətli qiymətləndirmək üçün onun parametrlərini də ədalətli şəkildə optimallaşdırmaq lazımdır.

Maşın öyrənməsi və süni intellekt sahəsində bəzən yeni üsullar köhnə üsullarla müqayisə olunur. Lakin köhnə üsul yaxşı sazlanıb, yeni üsul pis sazlanıbsa, nəticə yanıltıcı ola bilər. Və ya əksinə.

Buna görə hiperparametr optimallaşdırılması elmi müqayisələrdə mühüm rol oynayır. Xüsusilə genetik proqramlaşdırma kimi təsadüfi axtarışdan istifadə edən üsullarda bu daha da vacibdir. Çünki populyasiya ölçüsü, mutasiya nisbəti və crossover nisbəti kimi parametrlər nəticəyə birbaşa təsir edə bilər.

Tədqiqat həmçinin simvolik reqressiyanın əhəmiyyətini göstərir. Simvolik reqressiya yalnız proqnoz verən qara qutu modellər əvəzinə, verilənlərə uyğun riyazi ifadələr tapmağa çalışır. Bu da izah edilə bilən süni intellekt və elmi model kəşfi üçün dəyərli tədqiqat sahəsidir.

Diqqət Yetirilməli Məqamlar

Bu tədqiqatın nəticələri diqqətlə oxunmalıdır.

Birincisi, təcrübələr yalnız beş kiçik simvolik reqressiya verilənlər dəsti üzərində aparılıb. Daha böyük, daha mürəkkəb və ya fərqli xüsusiyyətli verilənlər dəstlərində nəticələr dəyişə bilər.

İkincisi, performans göstəricisi kimi MSE istifadə olunub. MSE aşağı olduqda modelin proqnozları daha yaxşı ola bilər; lakin tapılmış simvolik ifadənin sadəliyi, şərh edilə bilməsi və ya fiziki mənası ayrıca qiymətləndirilməlidir.

Üçüncüsü, hiperparametr optimallaşdırılması özü də xərc tələb edir. Daha yaxşı parametr tapmaq üçün çoxlu sınaq aparmaq lazımdır. Buna görə performans qazancı ilə optimallaşdırma xərci birlikdə nəzərə alınmalıdır.

Dördüncüsü, subgraph crossover-ın dəyişkən performansı onun tamamilə uğursuz olduğu demək deyil. Fərqli verilənlər dəstləri, fərqli parametr sahələri və ya fərqli CGP təmsilləri ilə nəticələr dəyişə bilər.

Nəhayət, bu tədqiqat müəyyən benchmark və TinyverseGP tətbiqi üzərindən aparılıb. Digər tətbiq çərçivələrində və ya fərqli simvolik reqressiya tapşırıqlarında əlavə testlər lazımdır.

Nəticə

Bu tədqiqat genetik proqramlaşdırmada üsulların müqayisəsinin yalnız alqoritmin adına baxmaqla aparıla bilməyəcəyini göstərir. Eyni alqoritm fərqli hiperparametr parametrləri ilə xeyli fərqli nəticələr verə bilər.

Cartesian Genetic Programming uzun müddət əsasən mutasiya ilə birlikdə istifadə olunub. Rekombinasiya üsulları isə keçmişdə məhdud fayda verdiyi düşüncəsi ilə daha ehtiyatla qiymətləndirilib. Bu tədqiqat xüsusilə hiperparametr optimallaşdırılması aparıldıqda rekombinasiya əsaslı CGP-nin bəzi simvolik reqressiya problemlərində daha yaxşı nəticələr verə bildiyini göstərir.

Ən vacib dərs budur:

Süni intellekt yalnız yaxşı alqoritmlərə deyil, yaxşı sazlanmış təcrübələrə də ehtiyac duyur.

Buna görə gələcəkdə genetik proqramlaşdırma və simvolik reqressiya tədqiqatlarında yeni operatorlar və ya üsullar müqayisə edilərkən hiperparametr optimallaşdırılmasının daha standart qiymətləndirmə mərhələsinə çevrilməsi gözlənilə bilər.

Mənbə və Metod Qeydi

Bu məzmun Duy Long Tran, Anja Jankovic, Marie Anastacio, Holger Hoos və Roman Kalkreuth tərəfindən hazırlanmış “Improving Evaluation of Recombination-based Cartesian Genetic Programming” adlı akademik tədqiqatdan istifadə edilərək Verianla redaksiya formatında orijinal şəkildə hazırlanıb.

PDF-də ACM GECCO Companion ’26 konfrans məlumatı və arXiv versiyası yer alır. Məzmun məlumatlandırma və təhsil məqsədi daşıyır. Süni intellekt, proqram təminatının hazırlanması, verilənlər elmi və ya model seçimi üzrə peşəkar məsləhətin yerini tutmur.