Bir funksiyanın mümkün olan ən kiçik dəyərini tapmaq; mühəndislik dizaynından maşın öyrənməsinə, robotikadan məlumat analizinə qədər çoxsaylı hesablama probleminin əsasını təşkil edir. Əgər dəyişənlər üzərində bərabərlik və ya bərabərsizlik şəklində əlavə məhdudiyyətlər yoxdursa, problem adətən məhdudiyyətsiz optimizasiya adlandırılır. Belə bir problemdə alqoritmin vəzifəsi məqsəd funksiyasının meylini izləyərək daha aşağı funksiya dəyərlərinə çatan dəyişən vektorunu tapmaqdır.

Huda H. Al-Zobiadi və Adawiya A. Mahmood Al-Nuaimi'nin çalışması bu məqsədlə istifadə edilən iki klassik yanaşmanı MATLAB mühitində müqayisə edir: Steepest Descent (SD; Ən Dik Eniş) və Conjugate Gradient (CG; Konjuge Qradiyent). Tədqiqatçılar həmçinin CG metodunun yeni axtarış istiqamətini müəyyən edən \(\beta_k\) əmsalı üçün dəyişdirilmiş bir ifadə təklif edirlər.

Üç iki-dəyişənli test funksiyası üzərində aparılan MATLAB çalışdırmalarında birinci nümunədə hər iki alqoritm eyni iterasiya sayında dayanarkən, ikinci nümunədə SD 10, yeni \(\beta_k\)'lı CG 9 iterasiya; üçüncü nümunədə isə SD 4, CG 3 iterasiya istifadə etmişdir. Buna qarşılıq məqalədə qrafik qurulması daxil olmaqla hesabatlanan bütün icra müddətlərində SD daha qısa çəkmişdir.

Bu nəticələr CG-nin araşdırılan iki nümunədə verilən toleransa daha az iterasiya ilə çatdığını göstərir; lakin yalnız üç kiçik test problemi istifadə edildiyi üçün metodun böyük miqyaslı, yüksək ölçülü və ya ümumi qeyri-xətti optimizasiya problemlərində üstünlüyü hələ göstərilmiş deyil. Bundan başqa, mənbədə istifadə edilən üçüncü test funksiyası qlobal olaraq aşağıdan məhdudsuzdur. Buna görə həmin nümunədə tapılan nöqtə qlobal deyil, başlanğıc nöqtəsinin cazibə bölgəsindəki yerli minimumdur.

Məhdudiyyətsiz minimallaşdırma problemi nədir?

Bir optimizasiya probleminin əsas biçimi

\[ \min_x f(x) \]

şəklindədir. Burada \(x\), optimallaşdırılacaq dəyişənləri ehtiva edən vektoru; \(f(x)\) isə kiçildilmək istənən məqsəd funksiyasını göstərir.

Mənbə problemi

\[ \operatorname{Minimize} f(x), \qquad x\in\Omega \]

şəklində yazır. Mətn həmçinin həllin varlığını müzakirə edərkən \(f\)'nin davamlı və \(\Omega\)'nın kompakt olması halından istifadə edir. Texniki olaraq bu ifadə ümumi “məhdudiyyətsiz” problemin bir qədər daha geniş çoxluğa bağlı biçimidir; klassik tam məhdudiyyətsiz problemdə çox vaxt

\[ \Omega=\mathbb{R}^n \]

götürülür və \(\mathbb{R}^n\) kompakt deyil. Buna görə kompaktlıq üzərindən verilən varlıq nəticəsi bütün məhdudiyyətsiz optimizasiya problemlərinə avtomatik tətbiq edilə bilməz.

Yerli Minimum ilə Qlobal Minimum Arasındakı Fərq Nədir?

Yerli minimum yalnız müəyyən bir qonşuluqda ən kiçik funksiya dəyərini təmsil edərkən, qlobal minimum bütün təyin oblastındakı bütün namizədlərdən kiçik və ya onlara bərabər dəyərə sahibdir; bir qradiyent alqoritminin bir stasionar nöqtəyə çatması həmin nöqtənin avtomatik olaraq qlobal minimum olduğu anlamına gəlmir.

Bir \(x^\ast\) nöqtəsi üçün yaxın ətrafda

\[ f(x)\geq f(x^\ast) \]

olursa, \(x^\ast\) yerli minimumdur.

Bütün təyin bölgəsində

\[ f(x)\geq f(x^\ast) \qquad \forall x \]

olursa, qlobal minimumdan söz edilir.

Bu ayrım xüsusilə qeyri-xətti optimizasiyada vacibdir. Bir alqoritm qradiyent normasını kiçildib bir stasionar nöqtəyə çata bilər; lakin məqsəd funksiyasının həndəsəsindən asılı olaraq bu nöqtə yerli minimum, maksimum və ya yəhər nöqtəsi ola bilər.

Qradiyent niyə eniş istiqamətini göstərir?

Mənbə qradiyent vektorunu \(m\) ilə göstərir:

\[ m_k=\nabla f(x_k). \]

Qradiyent funksiyanın olduğumuz nöqtədə ən sürətli artdığı istiqaməti verir. Buna görə

\[ -\nabla f(x_k) \]

istiqaməti kifayət qədər kiçik addımlar üçün funksiyanın ən sürətli azaldığı yerli istiqamətdir.

İkinci törəmə məlumatları isə Hessian matrisi içində toplanır:

\[ H(x)= \begin{bmatrix} \frac{\partial^2f}{\partial x_1^2} & \frac{\partial^2f}{\partial x_1\partial x_2}\\ \frac{\partial^2f}{\partial x_2\partial x_1} & \frac{\partial^2f}{\partial x_2^2} \end{bmatrix}. \]

Hessian yalnız meylin nə olduğunu deyil, səthin əlaqəli istiqamətdə nə qədər əyildiyini də daşıyır.

Steepest Descent Alqoritmi Necə İşləyir?

Steepest Descent hər iterasiyada mövcud qradiyentin əksini axtarış istiqaməti kimi seçir; çalışmada addım uzunluğu qradiyent və Hessian istifadə edilərək hesablanır, sonra yeni nöqtədə qradiyent norması toleransın altına düşəndə iterasiya dayandırılır.

Mənbədə istifadə edilən SD yeniləməsi

Başlanğıc nöqtəsi \(x_0\), qradiyent

\[ m_0=\nabla f(x_0) \]

və yaxınsama toleransı müəyyən edildikdən sonra mənbə addım uzunluğunu

\[ \alpha_k= \frac{m_k^Tm_k} {m_k^TH_km_k} \]

olaraq tərif edir.

Yeni nöqtə

\[ x_{k+1}=x_k-\alpha_km_k \]

və yeni qradiyent

\[ m_{k+1}=\nabla f(x_{k+1}) \]

şəklində hesablanır.

Dayandırma şərti

\[ \|m_{k+1}\|<\text{tol} \]

olaraq seçilmişdir.

Bu şərtin vacib bir mənası var: MATLAB çıxışında “minimum point” şəklində verilən nöqtə riyazi olaraq tam minimum olmaq məcburiyyətində deyil. Yalnız qradiyent normasının müəlliflərin müəyyən etdiyi tolerans səviyyəsinin altına endiyi nöqtədir.

Ən Dik Eniş niyə ziqzaq edə bilər?

Dar və uzanmış bir optimizasiya vadisində mənfi qradiyent minimuma birbaşa baxmaq əvəzinə vadinin bir yanından digərinə yönəlməyə meylli ola bilər. Beləliklə alqoritm minimuma yaxınlaşarkən daim istiqamət dəyişdirir.

Bu davranış xüsusilə Hessianın fərqli istiqamətlərdə çox fərqli əyriliklərə sahib olduğu pis şərtlənmiş problemlərdə SD-nin yavaşlamasının əsas səbəblərindən biridir.

Conjugate Gradient Yöntəmi SD-dən Necə Fərqlənir?

Conjugate Gradient yalnız mövcud mənfi qradiyentdən istifadə etmək əvəzinə əvvəlki axtarış istiqamətindən də məlumat daşıyır; beləliklə ardıcıl istiqamətlərin eyni optimizasiya vadisini təkrar-təkrar kəsməsini azaltmağı və xüsusilə kvadratik problemlərdə minimuma daha səmərəli irəliləməyi hədəfləyir.

Mənbədə istifadə edilən CG alqoritmi

İlk istiqamət

\[ d_0=-m_0 \]

olaraq seçilir.

Mənbənin istifadə etdiyi addım uzunluğu

\[ \alpha_k= - \frac{m_k^Td_k} {d_k^TH_kd_k} \]

şəklindədir.

Yeni dəyişən vektoru

\[ x_{k+1}=x_k+\alpha_kd_k \]

və qradiyent

\[ m_{k+1}=\nabla f(x_{k+1}) \]

ilə hesablanır.

Axtarış istiqamətinin ümumi yenilənməsi isə

\[ d_{k+1} = -m_{k+1}+\beta_kd_k \]

biçimindədir.

Məqalədə təklif edilən yeni beta parametri

Çalışmanın əsas dəyişikliyi CG istiqamət yeniləməsində istifadə edilən əmsalın

\[ \beta_k= \frac{ m_{k+1}^{T}H_km_{k+1} }{ d_k^{T}H_km_k } \]

olaraq tərif edilməsidir.

Bu termin yeni mənfi qradiyent istiqamətini əvvəlki axtarış istiqaməti ilə birlikdə növbəti \(d_{k+1}\) istiqamətinə çevirir.

Mənbə yeni \(\beta_k\)'nın CG metodunun səmərəliliyini artırdığını irəli sürür. Lakin bu iddia məqalədə yalnız üç iki-dəyişənli test funksiyası ilə sınanmışdır.

Qlobal yaxınsama iddiası niyə diqqətlə oxunmalıdır?

Çalışmada yeni CG üçün

\[ m_k^Td_k \leq -c\|m_k\|^2, \qquad c>0 \]

biçimindəki eniş şərti müzakirə edilir.

İsbatın vacib addımında exact line search nəticəsində

\[ m_{k+1}^Td_k=0 \]

olduğu istifadə edilir və bunun nəticəsində

\[ m_{k+1}^Td_{k+1} = -\|m_{k+1}\|^2 \]

əldə edilir.

Lakin ümumi qeyri-xətti funksiyalarda Hessian üzərindən hesablanan

\[ \alpha_k= - \frac{m_k^Td_k}{d_k^TH_kd_k} \]

ifadəsi hər durumda həqiqi bir exact line search ilə eyni deyil. Kvadratik funksiyalarda bu quruluş tam xətti axtarışla çox təbii şəkildə üst-üstə düşür; ümumi qeyri-xətti məqsəd funksiyalarında isə əlavə fərziyyələr lazımdır.

Buna görə mənbədə verilən yaxınsama arqumenti göstərilən exact-line-search şərtindən müstəqil ümumi bir qlobal yaxınsama zəmanəti kimi şərh edilməməlidir.

Çalışmanın Yöntəmi və Bulguları

MATLAB təcrübə quruluşu

Müəlliflər SD və yeni \(\beta_k\) parametrli CG alqoritmini MATLAB 2024 mühitində üç iki-dəyişənli funksiya üzərində çalışdırmışdır.

Müqayisədə əsasən üç kəmiyyət hesabatlanmışdır:

• yaxınsama üçün lazım olan iterasiya sayı,
• çatılan \(x_k\) və \(f(x_k)\) dəyərləri,
• qrafik istehsalı daxil icra müddəti.

Nümunə 1: Üstlü terminli konveks funksiya

İlk funksiya

\[ f(x_1,x_2) = x_1^2+x_2^2+e^{-x_1} \]

və başlanğıc nöqtəsi

\[ x_0=(0,0)^T \]

olaraq seçilmişdir.

Tolerans

\[ \text{tol}=0.1 \]

olduğu üçün hər iki alqoritm də ilk yeniləmədən sonra təxminən

\[ x=(0.333333,0)^T \]

nöqtəsində dayanmışdır.

Mənbə bu nöqtədə

\[ f(x)\approx0.827642 \]

və

\[ \|\nabla f(x)\| \approx0.049865 \]

hesabatlayır.

Lakin burada toleransın təsiri çox aydındır. Həqiqi minimum şərti

\[ 2x_1-e^{-x_1}=0, \qquad x_2=0 \]

olduğundan

\[ x_1e^{x_1}=\frac12 \]

və beləliklə

\[ x_1=W(1/2) \approx0.351734 \]

əldə edilir.

Həqiqi minimum dəyəri təxminən

\[ f_{\min}\approx0.827184 \]

olur.

Bu müqayisə mənbə nəticələrinin yanlış olduğunu deyil, \(0.1\) kimi nisbətən yumşaq bir tolerans səbəbindən alqoritmin həqiqi stasionar nöqtəyə çatmadan uğur meyarını ödəmiş sayıldığını göstərir.

Nümunə 2: Müsbət müəyyən kvadratik səth

İkinci məqsəd funksiyası

\[ f(x_1,x_2) = x_1^2+x_2^2+x_1x_2+4x_2 \]

şəklindədir.

Qradiyent

\[ \nabla f= \begin{bmatrix} 2x_1+x_2\\ x_1+2x_2+4 \end{bmatrix} \]

olduğu üçün tam stasionar nöqtə

\[ 2x_1+x_2=0 \]

və

\[ x_1+2x_2+4=0 \]

tənlik sistemindən tapılır:

\[ x^\ast= \left( \frac43, -\frac83 \right). \]

Hessian

\[ H= \begin{bmatrix} 2&1\\ 1&2 \end{bmatrix} \]

müsbət müəyyəndir. Buna görə bu nöqtə yeganə qlobal minimumdur və

\[ f(x^\ast) = -\frac{16}{3} \approx-5.333333 \]

əldə edilir.

SD, \(0.01\) toleransı altında 10 iterasiyada

\[ x_9 \approx (1.328125,-2.66406) \]

və

\[ f(x_9)\approx-5.333313 \]

nəticəsinə çatmışdır.

Yeni \(\beta_k\)'lı CG isə 9 iterasiyada

\[ x_8 \approx (1.3298,-2.6651) \]

və

\[ f(x_8)\approx-5.333324 \]

nəticəsini vermişdir.

Bu nümunədə CG həqiqətən SD-dən bir iterasiya az istifadə etmiş və eyni tolerans altında tam minimuma bir qədər daha yaxın funksiya dəyəri istehsal etmişdir.

Bununla birlikdə ölçülən müddətlər əks istiqamətdədir:

\[ t_{\mathrm{SD}} = 0.633336\ \mathrm{s} \]

və

\[ t_{\mathrm{CG}} = 0.956773\ \mathrm{s}. \]

Deməli bu kiçik MATLAB təcrübəsində “daha az iterasiya” birbaşa “daha qısa iş müddəti” mənasına gəlməmişdir.

Nümunə 3: Kritik riyazi sərhəd

Üçüncü məqsəd funksiyası

\[ f(x_1,x_2) = 5x_1^2+5x_2^2-8x_2-e^{x_1} \]

olaraq tərif edilmişdir.

Mənbə SD ilə təxminən

\[ (0.111686,0.8) \]

nöqtəsinə dörd iterasiyada; yeni CG ilə təxminən

\[ (0.1118,0.7997) \]

nöqtəsinə üç iterasiyada çatıldığını bildirir.

Hər iki durumda da

\[ f(x) \approx-4.255793 \]

əldə edilmişdir.

Lakin funksiyanın qlobal davranışına baxıldıqda

\[ 5x_1^2-e^{x_1} \]

termininin \(x_1\rightarrow+\infty\) üçün

\[ -\infty \]

dəyərinə getdiyi görünür. Buna görə

\[ \inf f=-\infty \]

və bu funksiyanın bütün \(\mathbb{R}^2\) üzərində qlobal minimumu yoxdur.

Qradiyent şərtləri

\[ 10x_1-e^{x_1}=0 \]

və

\[ 10x_2-8=0 \]

verir.

Başlanğıc nöqtəsi \(x_0=(0,0)^T\)'yə yaxın stasionar həll təxminən

\[ x_1\approx0.111833, \qquad x_2=0.8 \]

olub Hessian bu bölgədə müsbət müəyyəndir. Deməli MATLAB-ın çatdığı nöqtə həqiqi bir yerli minimumdur.

Bu ayrım vacibdir: alqoritmlər öz başlanğıc bölgələrində uğurla yerli minimuma yaxınlaşmış ola bilər; lakin bu təcrübə qlobal minimallaşdırma uğuru kimi təqdim edilməməlidir.

İterasiya sayı baxımından nəticə nədir?

Beləliklə mənbədə deyilən “CG daha az iterasiya tələb edir” nəticəsi araşdırılan nümunələrin ikisində keçərlidir; birinci nümunədə iki metod bərabərdir.

İş müddəti baxımından nəticə nədir?

Mənbədə qrafiklər daxil olmaqla müddətlər müqayisə edildikdə üç nümunədə də SD daha qısa görünür:

Bununla belə məqalə müddətlərin neçə dəfə təkrarlandığını, prosessorun xüsusiyyətlərini, JIT warm-up təsirini, plotting müddətinin payını və ya zaman ölçümlərinin variasiyasını vermir. Millisaniyə–saniyə miqyasındakı bu tək ölçmələr metodların ümumi hesablama mürəkkəbliyi haqqında güclü benchmark kimi istifadə edilməməlidir.

Yeni beta həqiqətən daha səmərəlidirmi?

Mənbənin təcrübələri təklif edilən CG yeniləməsinin ikinci və üçüncü testdə verilən toleransa SD-dən bir iterasiya əvvəl çatdığını göstərir. Bu, metod üçün müsbət ilkin nəticədir.

Lakin ümumi səmərəlilik iddiasının güclü şəkildə sınanması üçün ən azı yüksək ölçülü test problemləri, fərqli condition number-lar, nonconvex benchmark funksiyaları, fərqli başlanğıc nöqtələri, dəyişik toleranslar və Fletcher–Reeves, Polak–Ribière–Polyak və ya Hager–Zhang kimi oturuşmuş nonlinear-CG yeniləmələri ilə birbaşa müqayisələr lazımdır.

Bu müqayisələr mənbə çalışmada aparılmamışdır.

Çalışmanın dəstəklədiyi nəticələr

• SD və yeni \(\beta_k\) parametrli CG alqoritmləri MATLAB ilə tətbiq edilmişdir.
• Hər üç mənbə nümunəsində alqoritmlər seçilən başlanğıc nöqtəsindən stasionar bir bölgəyə irəliləmişdir.
• Nümunə 1-də SD ilə CG eyni sayda iterasiya istifadə etmişdir.
• Nümunə 2 və 3-də yeni CG, SD-dən bir iterasiya daha az istifadə edərək tolerans şərtini ödəmişdir.
• Üç mənbə təcrübəsində də qrafiklər daxil hesabatlanan runtime SD üçün daha qısadır.
• Nümunə 2-də hər iki alqoritm bilinən qlobal minimuma olduqca yaxın nəticə istehsal etmişdir.
• Nümunə 3-də hər iki alqoritm başlanğıc nöqtəsinə yaxın yerli minimum bölgəsinə yaxınlaşmışdır.

Çalışmanın sübut etmədiyi nəticələr

• Yeni \(\beta_k\)'lı CG-nin bütün nonlinear unconstrained optimization problemlərində SD-dən üstün olduğu göstərilməmişdir.
• Daha az iterasiyanın daha qısa iş müddəti təmin edəcəyi göstərilməmişdir; mənbə nəticələri bunun əksini göstərir.
• Yalnız üç iki-dəyişənli nümunə yüksək ölçülü miqyaslana bilmə sübutu deyil.
• Runtime məlumatları təkrarlı statistik benchmark deyil.
• Nümunə 3-də qlobal minimum tapılmış deyil; funksiya aşağıdan məhdudsuzdur.
• Exact line search fərziyyəsi olmadan verilən global convergence arqumenti bütün nonlinear məqsəd funksiyalarına birbaşa ümumiləşdirilə bilməz.
• Mənbə yeni \(\beta_k\)'nı əsas modern nonlinear-CG formulları ilə sistematik benchmark içində müqayisə etmir.

Mənbə və Metod Qeydi

Tam orijinal başlıq:Using MATLAB for Steepest Descent Algorithm (SD) with Conjugate Gradient Algorithm (CG) For Minimizing Unconstrained problems.

Müəlliflər: Huda H. Al-Zobiadi və Adawiya A. Mahmood Al-Nuaimi.

Qurum: Department of Mathematics, College of Science, University of Diyala, Diyala, Iraq.

Jurnal: Academic Science Journal (ASJ).

Cild / say / səhifələr: Vol. 4, No. 2, 94–103.

DOI: 10.24237/04.02.871.

Göndərim / reviziya / qəbul / nəşr: 29 dekabr 2025 / 7 yanvar 2026 / 11 mart 2026 / 30 aprel 2026.

Rəyçilik: Academic Science Journal ikiqat-kor rəyçilik tətbiq etdiyini bildirir.

Lisenziya: CC BY 4.0.

Metod: Steepest Descent və dəyişdirilmiş \(\beta_k\) parametrli Conjugate Gradient alqoritmlərinin üç ikiölçülü qeyri-xətti məqsəd funksiyasında MATLAB 2024 ilə tətbiqi və iterasiya sayı, təxmini minimum dəyəri və icra müddətinin müqayisəsi.

Maliyyələşmə: Mənbə “No funding” bəyanı verir.

Maraqlar toqquşması: Müəlliflər maraqlar toqquşması olmadığını bildirirlər.

Etika: Çalışma nəzəri riyaziyyat sahəsində olduğundan etik komitə təsdiqinin lazım olmadığı bildirilmişdir.

Riyazi doğrulama qeydi: Mənbədə Nümunə 1 üçün verilən \(x=(0.333333,0)\) nöqtəsi, \(tol=0.1\) səbəbindən yaranan erkən dayanma nöqtəsidir; funksiyanın tam stasionar minimumu təxminən \(x=(0.351734,0)\)'dır. Nümunə 2'nin tam qlobal minimumu \((4/3,-8/3)\) və \(f=-16/3\)'dür. Nümunə 3 isə \(x_1\rightarrow+\infty\) üçün \(f\rightarrow-\infty\) olduğundan qlobal minimuma sahib deyil; mənbədə tapılan təxminən \((0.1118,0.8)\) nöqtəsi yerli minimumdur.

Yaxınsama qeydi: Mənbədəki CG descent isbatı exact-line-search ortoqonallığını istifadə edir. Tətbiqdəki Hessian əsaslı addım formulunun ümumi nonlinear funksiyalarda hər zaman exact line search olduğu ayrıca sübut edilmədiyi üçün global convergence iddiası bu fərziyyə nəzərə alınaraq oxunmalıdır.

Verianla Live: Çox uyğundur. Üç məqsəd funksiyası birbaşa riyazi biçimdə verildiyi üçün SD və CG marşrutları yenidən hesablana bilər. Ən güclü Live Figure; eyni üçölçülü səth üzərində narıncı SD və mavi CG yollarını hər addımda \(x_k\), \(\|\nabla f(x_k)\|\), \(\alpha_k\), \(\beta_k\) və \(f(x_k)\) dəyərləri ilə birlikdə göstərməkdir. Nümunə 3-də həmçinin kamera sahəsi genişləndiriləndə səthin \(x_1\) istiqamətində aşağıdan məhdudsuz hala gəldiyi göstərilərək “yerli minimum ≠ qlobal minimum” fərqi öyrədici şəkildə izah edilə bilər.