Funksiyaning mumkin boʻlgan eng kichik qiymatini topish; muhandislik loyihalashdan mashina oʻrganishiga, robototexnikadan maʼlumot tahliligacha koʻplab hisoblash muammolarining asosidir. Agar oʻzgaruvchilar ustida tenglik yoki tengsizlik koʻrinishida qoʻshimcha cheklovlar boʻlmasa, muammo odatda cheklovsiz optimallashtirish deb ataladi. Bunday muammoda algoritmning vazifasi maqsad funksiyasining qiyaligini kuzatib, pastroq funksiya qiymatlariga olib boruvchi oʻzgaruvchi vektorini topishdir.

Huda H. Al-Zobiadi va Adawiya A. Mahmood Al-Nuaimi ishi shu maqsadda qoʻllanadigan ikki klassik yondashuvni MATLAB muhitida taqqoslaydi: Steepest Descent (SD; Eng Tik Tushish) va Conjugate Gradient (CG; Qoʻshma Gradient). Tadqiqotchilar shuningdek CG usulining yangi qidiruv yoʻnalishini belgilaydigan \(\beta_k\) koeffitsiyenti uchun oʻzgartirilgan ifodani taklif qiladilar.

Uchta ikki-oʻzgaruvchili test funksiyasida bajarilgan MATLAB ishga tushirishlarida birinchi misolda ikkala algoritm ham bir xil iteratsiya sonida toʻxtagan; ikkinchi misolda SD 10, yangi \(\beta_k\) li CG 9 iteratsiya; uchinchi misolda esa SD 4, CG 3 iteratsiya ishlatgan. Bunga qaramay, maqolada grafik yaratish ham kiritilgan hisobot qilingan barcha ishlash vaqtlarida SD qisqaroq davom etgan.

Bu natijalar CG tekshirilgan ikki misolda berilgan tolerantlikka kamroq iteratsiya bilan yetganini koʻrsatadi; biroq faqat uchta kichik test muammosi ishlatilgani sababli usulning katta miqyosli, yuqori oʻlchamli yoki umumiy nochiziqli optimallashtirish muammolaridagi ustunligi hali koʻrsatilmagan. Bundan tashqari, manbada ishlatilgan uchinchi test funksiyasi global ravishda pastdan cheksizdir. Shuning uchun bu misolda topilgan nuqta global emas, balki boshlangʻich nuqtaning tortishish sohasidagi lokal minimumdir.

Cheklovsiz minimallashtirish muammosi nima?

Optimizatsiya muammosining asosiy shakli

\[ \min_x f(x) \]

koʻrinishidadir. Bu yerda \(x\), optimallashtiriladigan oʻzgaruvchilarni oʻz ichiga olgan vektorni; \(f(x)\) esa kamaytirilishi istalgan maqsad funksiyasini bildiradi.

Manba muammoni

\[ \operatorname{Minimize} f(x), \qquad x\in\Omega \]

koʻrinishida yozadi. Matn yechimning mavjudligini muhokama qilganda \(f\) ning uzluksiz va \(\Omega\) ning kompakt boʻlish holatidan ham foydalanadi. Texnik jihatdan bu ifoda umumiy “cheklovsiz” muammoning biroz kengroq toʻplamga bogʻlangan shaklidir; klassik butunlay cheklovsiz muammoda koʻpincha

\[ \Omega=\mathbb{R}^n \]

olinadi va \(\mathbb{R}^n\) kompakt emas. Shuning uchun kompaktlik orqali berilgan mavjudlik natijasi barcha cheklovsiz optimallashtirish muammolariga avtomatik qoʻllanmaydi.

Lokal Minimum bilan Global Minimum Oʻrtasidagi Farq Nima?

Lokal minimum faqat maʼlum bir qoʻshnichilikda eng kichik funksiya qiymatini ifodalaydi, global minimum esa butun aniqlanish sohasidagi barcha nomzodlardan kichik yoki ularga teng qiymatga ega; gradient algoritmining stasionar nuqtaga yetishi bu nuqtaning avtomatik ravishda global minimum ekanini anglatmaydi.

Bir \(x^\ast\) nuqta uchun yaqin atrofda

\[ f(x)\geq f(x^\ast) \]

boʻlsa, \(x^\ast\) lokal minimumdir.

Butun aniqlanish sohasida

\[ f(x)\geq f(x^\ast) \qquad \forall x \]

boʻlsa, global minimum haqida gapiriladi.

Bu farq ayniqsa nochiziqli optimallashtirishda muhimdir. Algoritm gradient normasini kamaytirib stasionar nuqtaga yetishi mumkin; ammo maqsad funksiyasining geometriyasiga bogʻliq ravishda bu nuqta lokal minimum, maksimum yoki egar nuqta boʻlishi mumkin.

Gradient nima uchun tushish yoʻnalishini koʻrsatadi?

Manba gradient vektorini \(m\) bilan belgilaydi:

\[ m_k=\nabla f(x_k). \]

Gradient funksiya turgan nuqtamizda eng tez oshadigan yoʻnalishni beradi. Shu sababli

\[ -\nabla f(x_k) \]

yoʻnalishi yetarlicha kichik qadamlar uchun funksiyaning eng tez kamayadigan lokal yoʻnalishidir.

Ikkinchi hosila maʼlumotlari esa Hessian matritsasida jamlanadi:

\[ H(x)= \begin{bmatrix} \frac{\partial^2f}{\partial x_1^2} & \frac{\partial^2f}{\partial x_1\partial x_2}\\ \frac{\partial^2f}{\partial x_2\partial x_1} & \frac{\partial^2f}{\partial x_2^2} \end{bmatrix}. \]

Hessian faqat qiyalik nimadan iborat ekanini emas, balki sirtning tegishli yoʻnalishda qanchalik egilganini ham oʻzida saqlaydi.

Steepest Descent Algoritmi Qanday Ishlaydi?

Steepest Descent har bir iteratsiyada mavjud gradientning teskarisini qidiruv yoʻnalishi sifatida tanlaydi; ishda qadam uzunligi gradient va Hessian yordamida hisoblanadi, soʻng yangi nuqtada gradient normasi tolerantlikdan pastga tushganda iteratsiya toʻxtatiladi.

Manbada ishlatilgan SD yangilanishi

Boshlangʻich nuqta \(x_0\), gradient

\[ m_0=\nabla f(x_0) \]

va yaqinlashish tolerantligi belgilangandan soʻng manba qadam uzunligini

\[ \alpha_k= \frac{m_k^Tm_k} {m_k^TH_km_k} \]

deb taʼriflaydi.

Yangi nuqta

\[ x_{k+1}=x_k-\alpha_km_k \]

va yangi gradient

\[ m_{k+1}=\nabla f(x_{k+1}) \]

koʻrinishida hisoblanadi.

Toʻxtatish sharti

\[ \|m_{k+1}\|<\text{tol} \]

sifatida tanlangan.

Bu shartning muhim maʼnosi bor: MATLAB chiqishida “minimum point” shaklida berilgan nuqta matematik jihatdan toʻliq minimum boʻlishi shart emas. U faqat gradient normasi mualliflar belgilagan tolerantlik darajasidan pastga tushgan nuqtadir.

Eng Tik Tushish nima uchun zigzag qilishi mumkin?

Tor va choʻzilgan optimallashtirish vodiysida manfiy gradient minimumga toʻgʻridan-toʻgʻri qarash oʻrniga vodiyning bir tomonidan boshqasiga yoʻnalishga moyil boʻlishi mumkin. Shunday qilib, algoritm minimumga yaqinlashar ekan doimiy ravishda yoʻnalish oʻzgartiradi.

Bu xatti-harakat, ayniqsa Hessian turli yoʻnalishlarda juda har xil egriliklarga ega boʻlgan yomon shartlangan muammolarda SD sekinlashishining asosiy sabablaridan biridir.

Conjugate Gradient Usuli SDdan Qanday Farq Qiladi?

Conjugate Gradient faqat mavjud manfiy gradientdan foydalanish oʻrniga oldingi qidiruv yoʻnalishidan ham maʼlumot olib oʻtadi; shu tariqa ketma-ket yoʻnalishlarning bir xil optimallashtirish vodiysini qayta-qayta kesib oʻtishini kamaytirishni va ayniqsa kvadratik muammolarda minimumga samaraliroq borishni maqsad qiladi.

Manbada ishlatilgan CG algoritmi

Birinchi yoʻnalish

\[ d_0=-m_0 \]

sifatida tanlanadi.

Manba ishlatgan qadam uzunligi

\[ \alpha_k= - \frac{m_k^Td_k} {d_k^TH_kd_k} \]

koʻrinishidadir.

Yangi oʻzgaruvchi vektori

\[ x_{k+1}=x_k+\alpha_kd_k \]

va gradient

\[ m_{k+1}=\nabla f(x_{k+1}) \]

bilan hisoblanadi.

Qidiruv yoʻnalishining umumiy yangilanishi esa

\[ d_{k+1} = -m_{k+1}+\beta_kd_k \]

shaklidadir.

Maqolada taklif etilgan yangi beta parametri

Ishning asosiy oʻzgarishi CG yoʻnalish yangilanishida ishlatiladigan koeffitsiyentning

\[ \beta_k= \frac{ m_{k+1}^{T}H_km_{k+1} }{ d_k^{T}H_km_k } \]

deb taʼriflanishidir.

Bu had yangi manfiy gradient yoʻnalishini oldingi qidiruv yoʻnalishi bilan birga keyingi \(d_{k+1}\) yoʻnalishiga aylantiradi.

Manba yangi \(\beta_k\) CG usulining samaradorligini oshirishini ilgari suradi. Ammo bu daʼvo maqolada faqat uchta ikki-oʻzgaruvchili test funksiyasi bilan sinab koʻrilgan.

Global yaqinlashish daʼvosi nima uchun ehtiyotkorlik bilan oʻqilishi kerak?

Ishda yangi CG uchun

\[ m_k^Td_k \leq -c\|m_k\|^2, \qquad c>0 \]

shaklidagi tushish sharti muhokama qilinadi.

Isbotning muhim qadamida exact line search natijasida

\[ m_{k+1}^Td_k=0 \]

boʻlishi ishlatiladi va buning natijasida

\[ m_{k+1}^Td_{k+1} = -\|m_{k+1}\|^2 \]

olinadi.

Biroq umumiy nochiziqli funksiyalarda Hessian orqali hisoblangan

\[ \alpha_k= - \frac{m_k^Td_k}{d_k^TH_kd_k} \]

ifodasi har doim haqiqiy exact line search bilan bir xil emas. Kvadratik funksiyalarda bu tuzilma toʻliq chiziqli qidiruv bilan juda tabiiy tarzda mos keladi; umumiy nochiziqli maqsad funksiyalarida esa qoʻshimcha farazlar kerak boʻladi.

Shu sababli manbada berilgan yaqinlashish argumenti koʻrsatilgan exact-line-search shartidan mustaqil umumiy global yaqinlashish kafolati sifatida talqin qilinmasligi kerak.

Ishning Usuli va Natijalari

MATLAB tajriba tartibi

Mualliflar SD va yangi \(\beta_k\) parametrli CG algoritmini MATLAB 2024 muhitida uchta ikki-oʻzgaruvchili funksiya ustida ishlatganlar.

Taqqoslashda asosan uchta kattalik hisobot qilingan:

• yaqinlashish uchun kerak boʻlgan iteratsiya soni,
• erishilgan \(x_k\) va \(f(x_k)\) qiymatlari,
• grafik ishlab chiqarishni ham oʻz ichiga olgan bajarilish vaqti.

Misol 1: Eksponent hadli konveks funksiya

Birinchi funksiya

\[ f(x_1,x_2) = x_1^2+x_2^2+e^{-x_1} \]

va boshlangʻich nuqta

\[ x_0=(0,0)^T \]

sifatida tanlangan.

Tolerantlik

\[ \text{tol}=0.1 \]

boʻlgani uchun ikkala algoritm ham birinchi yangilanishdan keyin taxminan

\[ x=(0.333333,0)^T \]

nuqtasida toʻxtagan.

Manba bu nuqtada

\[ f(x)\approx0.827642 \]

va

\[ \|\nabla f(x)\| \approx0.049865 \]

deb hisobot beradi.

Ammo bu yerda tolerantlikning taʼsiri juda aniq. Haqiqiy minimum sharti

\[ 2x_1-e^{-x_1}=0, \qquad x_2=0 \]

boʻlgani uchun

\[ x_1e^{x_1}=\frac12 \]

va demak

\[ x_1=W(1/2) \approx0.351734 \]

olinadi.

Haqiqiy minimum qiymati taxminan

\[ f_{\min}\approx0.827184 \]

boʻladi.

Bu taqqoslash manba natijalari notoʻgʻri ekanini emas, \(0.1\) kabi nisbatan yumshoq tolerantlik sababli algoritm haqiqiy stasionar nuqtaga yetmasdan muvaffaqiyat mezonini bajargan deb qabul qilinganini koʻrsatadi.

Misol 2: Musbat aniqlangan kvadratik sirt

Ikkinchi maqsad funksiyasi

\[ f(x_1,x_2) = x_1^2+x_2^2+x_1x_2+4x_2 \]

koʻrinishidadir.

Gradient

\[ \nabla f= \begin{bmatrix} 2x_1+x_2\\ x_1+2x_2+4 \end{bmatrix} \]

boʻlgani uchun toʻliq stasionar nuqta

\[ 2x_1+x_2=0 \]

va

\[ x_1+2x_2+4=0 \]

tenglamalar tizimidan topiladi:

\[ x^\ast= \left( \frac43, -\frac83 \right). \]

Hessian

\[ H= \begin{bmatrix} 2&1\\ 1&2 \end{bmatrix} \]

musbat aniqlangandir. Shuning uchun bu nuqta yagona global minimumdir va

\[ f(x^\ast) = -\frac{16}{3} \approx-5.333333 \]

olinadi.

SD, \(0.01\) tolerantlik ostida 10 iteratsiyada

\[ x_9 \approx (1.328125,-2.66406) \]

va

\[ f(x_9)\approx-5.333313 \]

natijasiga erishgan.

Yangi \(\beta_k\) li CG esa 9 iteratsiyada

\[ x_8 \approx (1.3298,-2.6651) \]

va

\[ f(x_8)\approx-5.333324 \]

natijasini bergan.

Bu misolda CG haqiqatan ham SDdan bir iteratsiya kamroq ishlatgan va bir xil tolerantlik ostida toʻliq minimumga biroz yaqinroq funksiya qiymatini hosil qilgan.

Biroq oʻlchangan vaqtlar teskari yoʻnalishdadir:

\[ t_{\mathrm{SD}} = 0.633336\ \mathrm{s} \]

va

\[ t_{\mathrm{CG}} = 0.956773\ \mathrm{s}. \]

Shu bois bu kichik MATLAB tajribasida “kamroq iteratsiya” bevosita “qisqaroq ishlash vaqti” degani boʻlmagan.

Misol 3: Muhim matematik chegara

Uchinchi maqsad funksiyasi

\[ f(x_1,x_2) = 5x_1^2+5x_2^2-8x_2-e^{x_1} \]

deb taʼriflangan.

Manba SD bilan taxminan

\[ (0.111686,0.8) \]

nuqtaga toʻrt iteratsiyada; yangi CG bilan taxminan

\[ (0.1118,0.7997) \]

nuqtaga uch iteratsiyada yetilganini bildiradi.

Har ikkala holatda ham

\[ f(x) \approx-4.255793 \]

olingan.

Ammo funksiyaning global xatti-harakatiga qaralganda

\[ 5x_1^2-e^{x_1} \]

hadi \(x_1\rightarrow+\infty\) uchun

\[ -\infty \]

qiymatiga ketishi koʻrinadi. Shuning uchun

\[ \inf f=-\infty \]

va bu funksiyaning butun \(\mathbb{R}^2\) ustida global minimumi yoʻq.

Gradient shartlari

\[ 10x_1-e^{x_1}=0 \]

va

\[ 10x_2-8=0 \]

beradi.

Boshlangʻich nuqta \(x_0=(0,0)^T\) ga yaqin stasionar yechim taxminan

\[ x_1\approx0.111833, \qquad x_2=0.8 \]

boʻlib, Hessian bu sohada musbat aniqlangandir. Demak, MATLAB erishgan nuqta haqiqiy lokal minimumdir.

Bu farq muhim: algoritmlar oʻz boshlangʻich sohalarida muvaffaqiyatli tarzda lokal minimumga yaqinlashgan boʻlishi mumkin; ammo bu tajriba global minimallashtirish muvaffaqiyati sifatida taqdim etilmasligi kerak.

Iteratsiya soni nuqtayi nazaridan natija qanday?

Demak, manbada aytilgan “CG kamroq iteratsiya talab qiladi” natijasi tekshirilgan misollarning ikkitasida amal qiladi; birinchi misolda ikki usul tengdir.

Ishlash vaqti nuqtayi nazaridan natija qanday?

Manbada grafiklar bilan birga vaqtlar taqqoslanganda uch misolda ham SD qisqaroq koʻrinadi:

Shu bilan birga, maqola vaqtlar necha marta takrorlanganini, protsessor xususiyatlarini, JIT warm-up taʼsirini, plotting vaqtining ulushini yoki vaqt oʻlchovlarining dispersiyasini bermaydi. Millisekund–soniya miqyosidagi bu yakka oʻlchovlar usullarning umumiy hisoblash murakkabligi haqida kuchli benchmark sifatida ishlatilmasligi kerak.

Yangi beta haqiqatan ham samaraliroqmi?

Manbaning tajribalari taklif etilgan CG yangilanishi ikkinchi va uchinchi testda berilgan tolerantlikka SDdan bir iteratsiya oldin yetganini koʻrsatadi. Bu usul uchun ijobiy dastlabki natijadir.

Lekin umumiy samaradorlik daʼvosini kuchli sinash uchun kamida yuqori oʻlchamli test muammolari, turli condition number lar, nonconvex benchmark funksiyalari, turli boshlangʻich nuqtalar, har xil tolerantliklar va Fletcher–Reeves, Polak–Ribière–Polyak yoki Hager–Zhang kabi oʻrnashgan nonlinear-CG yangilanishlari bilan bevosita taqqoslashlar kerak boʻladi.

Bu taqqoslashlar manba ishida bajarilmagan.

Ish qoʻllab-quvvatlaydigan natijalar

• SD va yangi \(\beta_k\) parametrli CG algoritmlari MATLAB bilan amalga oshirilgan.
• Har uchta manba misolida algoritmlar tanlangan boshlangʻich nuqtadan stasionar sohaga siljigan.
• Misol 1 da SD bilan CG bir xil miqdorda iteratsiya ishlatgan.
• Misol 2 va 3 da yangi CG SDdan bir iteratsiya kamroq ishlatib tolerantlik shartini bajargan.
• Uchta manba tajribasida ham grafiklar bilan birga hisobot qilingan runtime SD uchun qisqaroqdir.
• Misol 2 da har ikkala algoritm maʼlum global minimumga ancha yaqin natija bergan.
• Misol 3 da har ikkala algoritm boshlangʻich nuqtaga yaqin lokal minimum sohasiga yaqinlashgan.

Ish isbotlamagan natijalar

• Yangi \(\beta_k\) li CG barcha nonlinear unconstrained optimization muammolarida SDdan ustun ekani koʻrsatilmagan.
• Kamroq iteratsiya qisqaroq ishlash vaqtini berishi koʻrsatilmagan; manba natijalari buning teskarisini koʻrsatadi.
• Faqat uchta ikki-oʻzgaruvchili misol yuqori oʻlchamli kengayuvchanlik isboti emas.
• Runtime maʼlumotlari takroriy statistik benchmark emas.
• Misol 3 da global minimum topilmagan; funksiya pastdan cheksizdir.
• Exact line search farazisiz berilgan global convergence argumenti barcha nonlinear maqsad funksiyalariga bevosita umumlashtirilmaydi.
• Manba yangi \(\beta_k\) ni asosiy zamonaviy nonlinear-CG formulalari bilan tizimli benchmark ichida taqqoslamaydi.

Manba va Usul Qaydi

Toʻliq asl sarlavha:Using MATLAB for Steepest Descent Algorithm (SD) with Conjugate Gradient Algorithm (CG) For Minimizing Unconstrained problems.

Mualliflar: Huda H. Al-Zobiadi va Adawiya A. Mahmood Al-Nuaimi.

Muassasa: Department of Mathematics, College of Science, University of Diyala, Diyala, Iraq.

Jurnal: Academic Science Journal (ASJ).

Jild / son / sahifalar: Vol. 4, No. 2, 94–103.

DOI: 10.24237/04.02.871.

Yuborish / reviziya / qabul / nashr: 29 dekabr 2025 / 7 yanvar 2026 / 11 mart 2026 / 30 aprel 2026.

Taqriz: Academic Science Journal ikki tomonlama koʻr taqriz qoʻllashini bildiradi.

Litsenziya: CC BY 4.0.

Usul: Steepest Descent va oʻzgartirilgan \(\beta_k\) parametrli Conjugate Gradient algoritmlarining uchta ikki oʻlchamli nonlinear maqsad funksiyasida MATLAB 2024 bilan amalga oshirilishi hamda iteratsiya soni, taxminiy minimum qiymati va bajarilish vaqtining taqqoslanishi.

Moliyalashtirish: Manba “No funding” bayonini beradi.

Manfaatlar toʻqnashuvi: Mualliflar manfaatlar toʻqnashuvi yoʻqligini bildiradilar.

Etika: Ish nazariy matematika sohasida boʻlgani uchun etika qoʻmitasi tasdigʻi zarur emasligi aytilgan.

Matematik tekshiruv qaydi: Manbada Misol 1 uchun berilgan \(x=(0.333333,0)\) nuqtasi, \(tol=0.1\) tufayli yuzaga kelgan erta toʻxtash nuqtasidir; funksiyaning toʻliq stasionar minimumi taxminan \(x=(0.351734,0)\) dir. Misol 2 ning toʻliq global minimumi \((4/3,-8/3)\) va \(f=-16/3\) dir. Misol 3 esa \(x_1\rightarrow+\infty\) uchun \(f\rightarrow-\infty\) boʻlgani sababli global minimumga ega emas; manbada topilgan taxminiy \((0.1118,0.8)\) nuqta lokal minimumdir.

Yaqinlashish qaydi: Manbadagi CG descent isboti exact-line-search ortogonalligidan foydalanadi. Amaliyotdagi Hessian asosidagi qadam formulasining umumiy nonlinear funksiyalarda har doim exact line search ekanligi alohida isbotlanmagani uchun global convergence daʼvosi shu faraz hisobga olinib oʻqilishi kerak.

Verianla Live: Juda mos. Uchta maqsad funksiyasi bevosita matematik shaklda berilgani uchun SD va CG yoʻllari qayta hisoblanishi mumkin. Eng kuchli Live Figure; ayni uch oʻlchamli sirt ustida toʻq sariq SD va koʻk CG yoʻllarini har qadamda \(x_k\), \(\|\nabla f(x_k)\|\), \(\alpha_k\), \(\beta_k\) va \(f(x_k)\) qiymatlari bilan birga koʻrsatishdir. Misol 3 da kamera maydoni kengaytirilganda sirtning \(x_1\) yoʻnalishida pastdan cheksiz holga kelishi ham koʻrsatilib, “lokal minimum ≠ global minimum” farqi oʻrgatuvchi tarzda tushuntirilishi mumkin.