
Ushbu tadqiqot do‘kon kassasida bir necha yuz millisekund ichida kredit qarori chiqarilishi kerak bo‘lgan savdo nuqtasi kreditlari uchun bitta sun’iy intellekt modeli har qanday sharoitda yetarli bo‘lmasligi mumkin degan g‘oyadan kelib chiqadi. Tadqiqotchilar buning o‘rniga ikki xil operatsion ehtiyojni ajratadigan gibrid arxitektura ishlab chiqadilar: real vaqt kanalida tushuntiriladigan va past kechikishga ega Weight of Evidence–Logistic Regression skorkartlari; tungi batch kanalida esa boyroq mijoz ma’lumotlaridan foydalana oladigan LightGBM, CatBoost va uch qatlamli neyron tarmoqdan tashkil topgan kalibrlangan ensemble.
Tadqiqot Qozog‘istondagi bitta yirik ikkinchi darajali bankning ishlab chiqarish portfelidan olingan 806.537 ta analitik yozuv ustida o‘tkazilgan. Maqsad o‘zgaruvchisi kredit kuzatilgan umri davomida kamida bir marta 90 yoki undan ko‘p kun kechikishga tushgan-tushmaganini ko‘rsatuvchi NPL91_EVER o‘zgaruvchisidir. Analitik namunada default darajasi %10,22.
Mavjud mijozlar uchun real vaqt LR-Old modeli test to‘plamida:
\[ AUROC=0{,}8475,\qquad KS=0{,}5555,\qquad Gini=0{,}6950 \]
natijasiga erishdi. Kengroq offline ma’lumotlar to‘plamidan foydalanadigan Ens-Off ensemble-i xuddi shu mavjud-mijoz kohortida:
\[ AUROC=0{,}9178,\qquad KS=0{,}6825,\qquad Gini=0{,}8356 \]
qiymatlarini berdi. Shunday qilib, test Gini qiymati taxminan 0,141 mutlaq punktga oshdi. Yangi mijozlar uchun qo‘llanilgan LR-New modelining test AUROC qiymati esa 0,8348 deb xabar qilingan.
Biroq bu natijalar boshqa mamlakatlar yoki banklar uchun tayyor muvaffaqiyat kafolati emas. Tadqiqotdagi barcha ma’lumotlar bitta muassasadan olingan; train, test va validation to‘plamlari bir xil 2023–2024 portfelidan tasodifiy shakllantirilgan. Haqiqiy vaqt tashqarisidagi tekshiruv va ikkinchi portfelda tashqi validatsiya hali amalga oshirilmagan.
Savdo nuqtasida kredit skoringi nega alohida muammo?
POS krediti mijoz do‘konda mahsulot sotib olayotgan paytda shu tranzaksiya davomida kichik yoki o‘rta hajmdagi iste’mol kreditiga ariza berishini anglatadi. Bu ssenariyda kredit risk modeli faqat yuqori prognoz aniqligiga ega bo‘lishi shart emas; kredit qarori mijozni kassada kutdirib qo‘ymaydigan darajada tez chiqarilishi kerak.
Manba tadqiqotida operatsion chegara taxminan:
\[ <300\ \mathrm{ms} \]
XML round-trip xizmat darajasi sifatida belgilanadi.
Shuningdek, kassada mijozdan juda ko‘p ma’lumot so‘rash savdo konversiyasini pasaytirishi mumkinligi sababli real vaqt payload-i nihoyatda cheklangan holda saqlanishi aytiladi.
Bu ikki talab kredit riskida klassik muhandislik ziddiyatini yaratadi:
Ko‘proq xususiyat odatda yuqoriroq prognoz kuchini berishi mumkin; biroq bu xususiyatlarning barchasi qaror vaqtida mavjud yoki yetarlicha tez olinadigan bo‘lmasligi mumkin.
Dual-track arxitektura nimani anglatadi?
Tadqiqot bu ziddiyatni bitta modelni majburlash orqali hal qilish o‘rniga ikki kanalga ajratadi.
| Kanal | Model | Asosiy maqsad | Manbada berilgan vaqt rejimi |
|---|---|---|---|
| Online | WOE–Logistic Regression | Kassada tushuntiriladigan, past kechikishga ega kredit qarori | Real vaqt; XML round-trip maqsadi <300 ms |
| Offline | LightGBM + CatBoost + neyron tarmoq stacked ensemble | Kengroq mijoz ma’lumotlari bilan yuqoriroq ajratish kuchi va kalibrlangan PD | Tungi batch |
Online kanal bevosita kredit qaroriga xizmat qilsa, offline model chiqishi mijoz-360 omboriga va IFRS 9 risk ma’lumotlari qatlamiga qayta yoziladi.
Online xususiyatlar sonidagi manba ichki nomuvofiqligi
Maqola bu nuqtada o‘z ichida to‘liq mos emasligi ko‘rinadi. 3.5-bo‘lim va 1-rasm online roster-ni:
9 application XML maydoni + oldindan saqlangan 4 bureau maydoni
ko‘rinishida ko‘rsatadi.
Bunga qarshi ravishda 2-jadval, 2-rasm va model ta’rifi LR-Old bilan LR-New-ni:
9 xususiyatli modellar
sifatida xabar qiladi.
Manba 4 ta bureau maydoni qaror dvigateliga yuborilib yakuniy to‘qqiz xususiyat ichidan tanlanadimi yoki aslida 13 ta kirish ishlatiladimi, buni aniq muvofiqlashtirmaydi. Shu sabab modelni qayta qo‘llashda ishlab chiqarish feature roster-i mualliflar bilan tasdiqlanishi kerak.
Ma’lumotlar to‘plami qanday shakllantirilgan?
Manba dastlab:
\[ N=926.000 \]
ta POS kredit shartnomasi bo‘lganini bildiradi.
Mijoz tomonidan bekor qilingan va to‘lov xulqi kuzatib bo‘lmaydigan:
\[ 119.463 \]
yozuv chiqarilgach:
\[ N=806.537 \]
ta analitik namuna qolgan.
Sinf taqsimoti:
\[ 89{,}78\%\ \text{non-default}, \qquad 10{,}22\%\ \text{default} \]
ko‘rinishida berilgan.
Default qanday ta’riflangan?
Bog‘liq o‘zgaruvchi:
\[ y_i=NPL91\_EVER_i \]
deb belgilanadi.
Shartnoma kuzatilgan muddati davomida istalgan vaqtda kamida:
\[ 90\ \text{gün} \]
kechikishga tushgan bo‘lsa:
\[ y_i=1 \]
deb belgilanadi.
Bu tuzilma model uzluksiz to‘lov miqdorini emas, belgilangan default hodisasi sodir bo‘lgan-bo‘lmaganini prognoz qiluvchi ikkilik klassifikator ekanini ko‘rsatadi.
Barcha arizalar olami ifodalanganmi?
Manba ayrim bo‘limlarda ma’lumotni “contracts”, ayrim bo‘limlarda esa “loan applications” deb ataydi. Rad etilgan va shu sabab kelajakdagi to‘lov xulqi kuzatilmaydigan arizalar analitik ma’lumotlar to‘plamiga kiritilgan-kiritilmagani tushuntirilmagan.
Shuningdek, klassik kredit riskida qo‘llanadigan reject inference yondashuviga oid usul ko‘rsatilmagan.
Shu sabab 806.537 ta yozuv barcha POS kredit arizalari olamini yoki asosan kuzatiladigan to‘lov natijasiga ega shartnomalarni ifodalayaptimi, buni manbadan aniq belgilab bo‘lmaydi. Bu farq modelning yangi arizachilar populyatsiyasiga ko‘chirilishi nuqtai nazaridan muhim.
Mavjud va yangi mijozlar nega ajratiladi?
Portfel:
\[ N_{\mathrm{old}}=455.827 \]
mavjud mijoz va:
\[ N_{\mathrm{new}}=350.710 \]
yangi mijoz sifatida ikki segmentga ajratilgan.
Buning sababi bank bilan avvaldan aloqasi bo‘lgan shaxslar uchun depozit harakati, tranzaksiya xulqi yoki ichki pul oqimi kabi tarixiy xususiyatlar mavjud bo‘lishi, yangi mijozlarda esa xuddi shu signal to‘plami mavjud bo‘lmasligi mumkinligidir.
Xususiyat oilalari nimalardan iborat?
Dastlabki 148 nomzod o‘zgaruvchidan filtrlashdan keyin 101 o‘zgaruvchi saqlangan. Manba bank siri sababli real ishlab chiqarish ustun nomlarini oshkor qilmaydi, faqat semantik oilalarni beradi.
| Xususiyat oilasi | Filtrdan keyingi soni | Umumiy mazmuni |
|---|---|---|
fcb_ | 31 | Kredit byurosi xususiyatlari |
app_ | 9 | Ariza XML maydonlari |
prod_ | 4 | Kredit mahsuloti taksonomiyasi |
trans_ | 18 | Tranzaksiya/xarajat naqshlari |
depo_ | 11 | Depozit qoldig‘i dinamikasi |
bank_ | 13 | Bank ichki pul tushumi xususiyatlari |
geo_ | 6 | Manzilga asoslangan geo-fazoviy risk xususiyatlari |
behav_ | 9 | Raqamli sessiya xulqi |
Xususiyatlarni saralash qanday bajarilgan?
Uchta asosiy chegara qo‘llangan:
\[ IV\geq0{,}10 \]
\[ missingness\leq80\% \]
\[ |\rho|\leq0{,}70 \]
Yuqori korrelyatsiyaga ega o‘zgaruvchi juftlaridan Information Value qiymati pastroq bo‘lgan xususiyat olib tashlangan.
Yuqori Information Value qiymatlari leakage bo‘lishi mumkinmidi?
Tadqiqotda ayrim kredit byurosi o‘zgaruvchilarining:
\[ IV>0{,}50 \]
qiymatiga yetgani sababli alohida leakage nazorati o‘tkazilgan.
Manba beshta nazoratni bildiradi: xususiyat faqat ariza vaqtigacha mavjud bo‘lgan ma’lumotdan foydalanishi, semantik jihatdan post-default ma’lumotni o‘z ichiga olmasligi, WOE shaklining iqtisodiy jihatdan mantiqiy bo‘lishi, bir xususiyatli AUROC noodatiy darajada yuqori bo‘lmasligi va vaqt bo‘laklari orasida PSI barqarorligi.
Eng kuchli bitta bureau xususiyatining univariate AUROC qiymati 0,781 deb xabar qilingan. Tadqiqot ushbu natijalarga asoslanib yuqori IV qiymatlarini leakage emas, kredit byurosi so‘rov intensivligining kuchli signali sifatida talqin qiladi.
WOE nega real vaqt modeli uchun tanlangan?
Weight of Evidence yondashuvi har bir o‘zgaruvchini risk darajalariga ko‘ra bin-larga ajratib, default va non-default taqsimotlari orasidagi nisbatni logarifmik ifodalaydi:
\[ WOE_k= \ln \left( \frac{ P(x\in B_k\mid y=1) }{ P(x\in B_k\mid y=0) } \right). \]
Bu yerda \(B_k\), o‘zgaruvchining \(k\)-binini; \(y=1\) default sinfini, \(y=0\) esa non-default sinfini ko‘rsatadi.
Xususiyatning umumiy ajratuvchanligi Information Value bilan umumlashtiriladi:
\[ IV(x)= \sum_{k=1}^{K} (\hat p_{1,k}-\hat p_{0,k})WOE_k. \]
WOE transformatsiyasi ayniqsa kredit riskida skorkartni tartibli, monoton va inson ko‘rib chiqishi mumkin bo‘lgan holga keltirish uchun ishlatiladi.
Real vaqt skori qanday yaratiladi?
WOE transformatsiyasidan so‘ng L2 regularizatsiyali logistic regression qo‘llanadi. Manba ishlab chiqarish skorini:
\[ score(x) = Offset - Factor\cdot \langle\beta,WOE(x)\rangle \]
deb ta’riflaydi.
Bu yerda:
\[ Factor=\frac{PDO}{\ln2} \]
va:
\[ PDO=20 \]
tanlangan.
PDO default odds ikki baravar oshganda skor nechta punktga o‘zgarishini ifodalovchi klassik kredit skoring masshtablash parametridir.
Offline ensemble qanday tuzilgan?
Ens-Off modeli uchta turli bazaviy o‘rganuvchidan foydalanadi:
- LightGBM,
- CatBoost,
- uch yashirin blokli to‘liq bog‘langan neyron tarmoq.
Har bir modelning besh qatlamli stratified cross-validation jarayonida hosil qilgan out-of-fold ehtimollari logistic-regression meta-learner-ga beriladi:
\[ \hat p_i^{stack} = \sigma \left( \alpha_0 + \alpha_1\hat p_i^{LGBM} + \alpha_2\hat p_i^{CB} + \alpha_3\hat p_i^{NN} \right). \]
Bu yerdagi:
\[ \sigma(z)=\frac{1}{1+e^{-z}} \]
logistic sigmoid funksiyasidir.
Shundan keyin faqat shu birlashtirilgan stacked score ustiga isotonic regression qo‘llanadi:
\[ \hat p_i^{cal} = g_{\mathrm{iso}} ( \hat p_i^{stack} ). \]
Ya’ni LightGBM, CatBoost va neyron tarmoq alohida-alohida kalibrlanmagan; avval stack qilingan, keyin birlashgan chiqish kalibrlangan.
Neyron tarmoq arxitekturasi qanday?
Manbaning asosiy neyron tarmoq tuzilishi:
\[ 72 \rightarrow 256 \rightarrow 128 \rightarrow 64 \rightarrow 1 \]
ko‘rinishida.
ReLU aktivatsiyalari, batch normalisation va:
\[ dropout=0{,}30 \]
ishlatilgan.
Ikkinchi va uchinchi yashirin blok orasiga bitta self-attention head qo‘shilib, tabular xususiyatlar o‘rtasidagi o‘zaro ta’sirlarni modellashtirish ko‘zlangan.
Giperparametr qidiruvi qanday o‘tkazilgan?
LightGBM, CatBoost va neyron tarmoq uchun Optuna Tree-Structured Parzen Estimator qo‘llanib, har biri uchun alohida:
\[ 30 \]
ta sinov bajarilgan.
Optimallashtirish maqsadi besh qatlamli stratified cross-validation AUROC bo‘lgan.
Manbada berilgan taxminiy tuning vaqtlari:
| Model | 30 Optuna sinovi uchun vaqt |
|---|---|
| LightGBM | 42 daqiqa |
| CatBoost | 78 daqiqa |
| Neyron tarmoq | 96 daqiqa |
Umumiy tuning xarajati taxminan 3,6 GPU-soat deb xabar qilingan. Uskuna NVIDIA T4 16 GB GPU, 16 vCPU va 64 GB RAM.
Random split nega muhim cheklov?
Har bir mijoz segmenti:
\[ 70\%/20\%/10\% \]
train/test/validation tarzida stratified random sampling bilan bo‘lingan.
Bu usul bir xil ma’lumot hosil bo‘lish davridan mustaqil hold-out namunalar yaratadi; ammo kelajakdagi iqtisodiy davrga ko‘chuvchanlikni sinamaydi.
Tadqiqotning kelajak ishlar bo‘limida Q2–Q4 2024 originatsiyalaridan haqiqiy out-of-time cohort ishlatilishi aytilgan. Shu sabab mavjud validation natijasi tashqi yoki vaqt bo‘yicha validatsiya deb talqin qilinmasligi kerak.
Kalibrlash nega kredit riskida kritik?
AUROC faqat yaxshi va yomon mijozlarning qanchalik to‘g‘ri tartiblanganini o‘lchaydi. Bank amaliyotida esa model ishlab chiqargan:
\[ PD=P(\mathrm{default}) \]
qiymatining mutlaq darajasi ham muhim.
Chunki manbada PD IFRS 9 kutilayotgan kredit zarari, riskka asoslangan narxlash va kredit cut-off qarorlarida ishlatilishi aytiladi.
Kalibrlash xatosi Brier skori bilan o‘lchanadi:
\[ Brier= \frac{1}{N} \sum_{i=1}^{N} (\hat p_i-y_i)^2. \]
Pastroq Brier qiymati prognoz qilingan ehtimollarning ro‘y bergan natijalarga yaqinroq ekanini bildiradi.
Brier skoridagi jiddiy manba ichki nomuvofiqlik
Tadqiqotning bayon matni isotonic calibration-dan so‘ng Brier skori taxminan:
%18 kamayganini
aytadi.
Biroq 5-rasmda bosilgan qiymatlar:
\[ Brier_{\mathrm{raw}}=0{,}1918 \]
va:
\[ Brier_{\mathrm{iso}}=0{,}0726 \]
ko‘rinishida.
Bu ikki son orasidagi mutlaq farq:
\[ 0{,}1192 \]
bo‘lib, nisbiy kamayish taxminan:
\[ 62{,}1\% \]
darajasidadir.
Demak “%18” ifodasi bilan rasmdagi Brier qiymatlari bir vaqtning o‘zida to‘g‘ri bo‘la olmaydi. Manbadan qaysi tomonda yozuv yoki hisob xatosi borligini aniqlab bo‘lmaydi.
Online scorecard-larning kalibrlanishi ko‘rsatildimi?
Manba ikki WOE–Logistic Regression skorkarti “dizayn bo‘yicha yaxshi kalibrlangan” va qo‘shimcha tuzatishga muhtoj emasligini aytadi.
Biroq offline ensemble uchun taqdim etilgan reliability curve va Brier taqqoslashining ekvivalenti LR-Old va LR-New uchun berilmagan.
Shu sabab online modellarning kalibrlash sifati manbada ensemble darajasidagi batafsil empirik dalillar bilan ko‘rsatilmagan.
Model barqarorligi qanday o‘lchangan?
Population Stability Index:
\[ PSI = \sum_{k=1}^{B} (p_k^{ref}-p_k^{obs}) \ln \left( \frac{p_k^{ref}}{p_k^{obs}} \right) \]
orqali hisoblangan.
Manba:
\[ PSI<0{,}10 \]
qiymatini barqaror, 0,10–0,25 oralig‘ini e’tibor, 0,25 dan yuqorini esa chora ko‘rish darajasi sifatida qabul qiladi.
Train–test score PSI qiymatlari:
| Model | Train–test PSI |
|---|---|
| LR-Old | 0,014 |
| Ens-Off | 0,021 |
| LR-New | 0,012 |
Ens-Off uchun train–validation PSI 0,018 deb berilgan.
Eng yuqori feature PSI qiymatlari
Eng yuqori ikkita feature-level PSI:
\[ app\_feature3=0{,}064 \]
va:
\[ trans\_feature1=0{,}057 \]
deb xabar qilingan.
Har ikkala qiymat ham manba qo‘llagan 0,10 attention chegarasidan past.
Biroq 6-rasm o‘zgaruvchi yorliqlarida app_feature3 ikki marta ko‘rinadi. Bu takror qaysi haqiqiy o‘zgaruvchiga mos kelishini manba matnidan aniqlab bo‘lmaydi.
Score-band tahlili nimani ko‘rsatadi?
Ens-Off test to‘plami risk tartibiga ko‘ra o‘nta teng guruhga bo‘lingan.
| Risk bandi | Kuzatilgan default darajasi (%) | Kumulyativ ushlangan defaulter (%) | Manbadagi siyosat yorlig‘i |
|---|---|---|---|
| 1 — eng xavfli | 34,2 | 31,0 | Decline |
| 2 | 21,5 | 50,5 | Decline |
| 3 | 15,0 | 64,1 | Manual review |
| 4 | 11,1 | 74,2 | Manual review |
| 5 | 8,9 | 82,2 | Approve |
| 6 | 7,0 | 88,6 | Approve |
| 7 | 5,5 | 93,6 | Approve |
| 8 | 4,2 | 97,4 | Approve |
| 9 | 3,0 | 99,1 | Approve / pre-approved |
| 10 — eng xavfsiz | 1,7 | 100,0 | Approve / pre-approved |
Eng xavfli dastlabki %10 guruhning o‘zi barcha defaulter-larning %31 ini, dastlabki ikki guruh esa %50,5 ini o‘z ichiga oladi.
%60 qabul darajasida nima bo‘ladi?
Manbaning acceptance-rate sensitivity tahlilida jami arizalarning %60 i qabul qilingan nuqtada qabul qilingan mijozlarning bad-rate-i:
\[ 5{,}6\% \]
Ens-Off uchun va:
\[ 8{,}0\% \]
LR-Old uchun xabar qilingan.
Oradagi farq:
\[ 2{,}4\ \text{yüzde puanı} = 240\ \text{baz puan} \]
bo‘ladi.
Bu natija boyroq offline model bir xil qabul darajasida pastroq riskli guruhni tanlay olishini ko‘rsatuvchi retrospektiv model natijasidir. Haqiqiy kredit zarari yoki sababiy rentabellik oshishi sifatida talqin qilinmasligi kerak.
SHAP izohi ishlab chiqarish qaroriga qanday aylantiriladi?
Ens-Off uchun global SHAP reytingida kredit byurosi intensivligi oilasi ajralib turadi. IV tartibi bilan o‘rtacha mutlaq SHAP tartibi orasidagi Spearman korrelyatsiyasi:
\[ \rho=0{,}86, \qquad p<0{,}001 \]
deb xabar qilingan.
Ishlab chiqarish darajasida esa har bir ariza uchun SHAP hissalari saralanadi va eng kuchli to‘rtta salbiy omil inson o‘qishi mumkin bo‘lgan reason code-larga aylantiriladi.
Manbaning anonim misolida rad etilgan arizaning asosiy salbiy omillari:
| Drayver | SHAP hissasi — log-odds | Reason code |
|---|---|---|
| Yaqin davrdagi yuqori kredit byurosi so‘rov intensivligi | +0,78 | R-01 |
| Yuqori so‘ralgan kredit / daromad nisbati | +0,54 | R-04 |
| Yaqin davrdagi bureau delinquency | +0,39 | R-02 |
| Yaqin davrdagi past depozit qoldig‘i | +0,21 | R-07 |
Musbat SHAP qiymatlari bu yerda modelning default log-odds qiymatini oshiruvchi omillarni ifodalaydi.
Fairness audit nimani o‘lchaydi?
Tadqiqot uchta demografik o‘qdan foydalangan:
- ayol / erkak,
- 18–30, 31–45, 46–60 va 60+ yosh guruhlari,
- shahar / qishloq yashash joyi.
Barcha guruhlardagi AUROC qiymatlari:
\[ 0{,}913-0{,}922 \]
oralig‘ida.
Manba bildirgan maksimal mutlaq farqlar:
| Fairness metrikasi | Maksimal mutlaq guruh farqi (foiz punkti) |
|---|---|
| Demographic parity | 1,2 |
| TPR gap | 1,4 |
| FPR gap | 0,6 |
| PPV gap | 1,3 |
Bu natijalar tekshirilgan test kohortida ko‘rsatilgan demografik kesimlar orasida kichik farqlar xabar qilinganini anglatadi.
Biroq guruh namuna hajmlari va ushbu farqlarning ishonch intervallari berilmagan. Shuningdek, o‘rganilmagan demografik xususiyatlar bo‘yicha xulosa chiqarib bo‘lmaydi.
Fairness tenglamasidagi yo‘nalish muammosi
Maqola demographic parity uchun:
\[ \Delta DP_g = P(\hat y=1\mid G=g) - P(\hat y=1) \]
ifodasini beradi va buni approval-rate farqi deb izohlaydi.
Biroq xuddi shu bo‘limda:
\[ TPR_g=P(\hat y=1\mid y=1,G=g) \]
haqiqiy defaulter-larning to‘g‘ri chiqarib tashlanishi,
\[ FPR_g=P(\hat y=1\mid y=0,G=g) \]
esa sog‘lom arizalarning noto‘g‘ri rad etilishi deb talqin qilinadi.
Agar bu ta’riflarda \(\hat y=1\) “riskli/rad etilgan” qarorga mos kelsa, birinchi formuladagi \(P(\hat y=1)\) matematik jihatdan approval rate emas, predicted-positive/decline rate bo‘ladi. Manba bu belgi va qaror kodlash farqini tushuntirmaydi.
KMeans segmentatsiyasi modelga kiritilganmi?
Yo‘q. Mavjud mijozlarda bajarilgan KMeans tahlili faqat boshqaruviy talqin qatlami sifatida ishlatilgan.
To‘rtta klasterning default darajasi taxminan %4,1 dan %21,6 gacha o‘zgaradi. Eng past risk profili past bureau faolligi va yuqori pul tushumi; eng yuqori risk profili yuqori bureau faolligi va past pul tushumi deb ta’riflangan.
Mualliflar cluster yorliqlarini uchta kredit modelida predictor sifatida ishlatmaganliklarini alohida ta’kidlaydi.
Shuningdek, cluster stability bootstrap tahlili qilinmagani uchun tadqiqot ushbu segmentatsiyani qaror modeli emas, maslahat xususiyatidagi boshqaruv doirasi sifatida cheklaydi.
MLOps arxitekturasi qanday?
Ishlab chiqarish arxitekturasida model artefact-lari MLflow va Git teglari bilan versiyalanadi.
Manbadagi monitoring tuzilishi:
- oylik performance/barqarorlik hisoblari,
- har chorak champion–challenger governance review,
- feature PSI > 0,25 bo‘lganda retraining trigger,
- KS performance development darajasiga nisbatan %10 dan ko‘p pasayganda retraining trigger
ko‘rinishida tavsiflangan.
Turkiya nuqtai nazaridan nimani anglatadi?
Tadqiqot Turkiyadagi bank ma’lumotlarini o‘z ichiga olmaydi va Turkiyadagi kredit qonunchiligi yoki mijoz xulqi bo‘yicha tasdiqlanmagan.
Shunga qaramay, texnik arxitektura Turkiya nuqtai nazaridan konseptual jihatdan ma’noli: qaror paytida mavjud bo‘lgan cheklangan va past kechikishli ma’lumotlar bilan ishlaydigan tushuntiriladigan online skorkartni kengroq mijoz ma’lumotlaridan foydalanadigan tungi yoki fon risk modelidan ajratish, ma’lumotga kirish vaqti bilan model murakkabligini ajratuvchi umumiy muhandislik yondashuvidir.
Turkiyadagi amaliyotda WOE bin-lari, kredit byurosi tuzilishi, daromad/qarz xulqi, default ta’rifi, fairness guruhlari, model boshqaruvi va huquqiy talablar mahalliy ma’lumotlar va qoidalar bilan noldan tasdiqlanishi kerak. Qozog‘istondagi AUROC yoki Gini natijalarini Turkiya portfeliga bevosita ko‘chirib bo‘lmaydi.
Tadqiqot qo‘llab-quvvatlaydigan natijalar
- Xuddi shu mavjud-mijoz test kohortida 72 xususiyatli offline ensemble 9 xususiyatli deb xabar qilingan LR-Old skorkartidan yuqoriroq AUROC, KS va Gini yaratgan.
- Mavjud va yangi mijozlar uchun qo‘llangan online WOE-LR modellari manba test to‘plamida mos ravishda taxminan 0,847 va 0,835 AUROC bergan.
- Offline ensemble test AUROC-i taxminan 0,918 va Gini-si taxminan 0,836.
- Offline modelda kredit byurosi, bank ichki pul oqimi, depozit va tranzaksiya ma’lumotlari muhim predictive signal olib yuradi.
- Score-band tahlili default riski eng xavfli banddan eng xavfsiz bandga qarab muntazam kamayishini ko‘rsatadi.
- Tekshirilgan demografik kesimlarda manba kichik fairness gap qiymatlarini xabar qilgan.
- SHAP hissalari ishlab chiqarish darajasida reason code-larga aylantiriladigan tushuntirish zanjiri sifatida ishlab chiqilgan.
- Tadqiqot monitoring, model registry va retraining trigger-larini o‘z ichiga olgan end-to-end MLOps yondashuvini tavsiflaydi.
Tadqiqot qo‘llab-quvvatlamaydigan yoki isbotlamaydigan natijalar
- Model boshqa banklar, mamlakatlar yoki iqtisodiy davrlarda ayni performance ko‘rsatishi isbotlanmagan.
- Haqiqiy out-of-time yoki ikkinchi muassasada external validation qilinmagan.
- Random hold-out validation iqtisodiy rejim o‘zgarishiga chidamlilik testi emas.
- Fairness audit barcha mumkin bo‘lgan demografik guruhlarda diskriminatsiya yo‘qligini isbotlamaydi.
- SHAP ishlatilishi o‘z-o‘zidan qonunchilikka to‘liq moslik sertifikati degani emas.
- %60 qabul darajasidagi 240 baz punktlik bad-rate farqi ro‘y bergan moliyaviy zarar kamayishi emas.
- KMeans segmentlari kredit qarorida tasdiqlangan causal risk segmentlari emas.
- Tadqiqot recession yoki makroiqtisodiy stress davrida sinovdan o‘tkazilmagan.
- Manbada rejected applicants va reject inference haqida yetarli ma’lumot bo‘lmagani uchun modelning barcha arizalar olamini ifodalash qobiliyati aniqlashtirilmaydi.
- Brier skoridagi %18 kalibrlash yaxshilanishi 5-rasmda berilgan 0,1918 → 0,0726 qiymatlari bilan matematik mos emas.
Tadqiqot Usuli va Natijalari
Analitik populyatsiya
| Bosqich | Yozuvlar soni |
|---|---|
| Dastlabki POS kredit yozuvlari | 926.000 |
| Mijoz tomonidan bekor qilingan va chiqarilgan yozuvlar | 119.463 |
| Yakuniy analitik namuna | 806.537 |
| Mavjud mijozlar | 455.827 |
| Yangi mijozlar | 350.710 |
Model va segment tuzilishi
| Model | Segment | Algoritm | Manbada berilgan xususiyatlar soni | Kanal |
|---|---|---|---|---|
| LR-Old | Mavjud mijoz | WOE + L2 Logistic Regression | 9 | Real vaqt |
| Ens-Off | Mavjud mijoz | LightGBM + CatBoost + NN + logistic stacking + isotonic calibration | 72 | Tungi batch |
| LR-New | Yangi mijoz | WOE + L2 Logistic Regression | 9 | Real vaqt |
Manba izohi: 3.5-bo‘lim va 1-rasm online roster uchun qo‘shimcha to‘rtta bureau xususiyatini ham ko‘rsatgani sababli online feature count manba ichida to‘liq mos emas.
Train/test/validation hajmlari
| Segment/model | Train | Test | Validation |
|---|---|---|---|
| Mavjud mijoz — LR | 319.078 | 91.211 | 45.538 |
| Mavjud mijoz — Ensemble | 319.078 | 91.211 | 45.538 |
| Yangi mijoz — LR | 245.497 | 70.177 | 35.036 |
Asosiy discrimination natijalari
| Model | Train AUROC | Test AUROC | Validation AUROC | Test KS | Test Gini |
|---|---|---|---|---|---|
| LR-Old | 0,8472 | 0,8475 | Xabar qilinmagan | 0,5555 | 0,6950 |
| Ens-Off | 0,9327 | 0,9178 | 0,9171 | 0,6825 | 0,8356 |
| LR-New | 0,8345 | 0,8348 | Xabar qilinmagan | 0,5310 | 0,6696 |
Ens-Off train AUROC-i 0,9327 dan testda 0,9178 ga tushadi. Validation AUROC 0,9171 bo‘lishi bir xil tasodifiy bo‘lingan ma’lumot oynasidagi hold-out performance test natijasiga yaqinligini ko‘rsatadi; bu natija vaqt yoki muassasa bo‘yicha transportability dalili emas.
Verianla Live: Bir xil mavjud-mijoz kohortidagi online va offline kredit modeli
Quyidagi taqqoslash faqat bir xil mavjud-mijoz test to‘plamidagi LR-Old va Ens-Off modellarini o‘z ichiga oladi. Uchala metrika ham 0–1 shkala bo‘yicha va yuqoriroq qiymat kuchliroq sinf ajratishiga mos keladi.
| Model | Test AUROC | Test KS | Test Gini |
|---|---|---|---|
| LR-Old — real vaqt skorkarti | 0.8475 | 0.5555 | 0.6950 |
| Ens-Off — offline ensemble | 0.9178 | 0.6825 | 0.8356 |
Verianla Live: Qiymatlar tadqiqotning 6-jadvalidagi mavjud-mijoz test natijalaridir. Taqqoslash ayni kohortda qilinganligi sababli yangi-mijoz LR-New modeli ushbu vizualizatsiyaga kiritilmagan.
Verianla Live taqqoslashining asosiy xabari shuki, offline ensemble ayni mavjud-mijoz test populyatsiyasida uchala discrimination metrikasida ham real vaqt skorkartidan yuqoriroq qiymat beradi. Buning evaziga kengroq feature roster, murakkabroq model, alohida inference infratuzilmasi va real vaqt o‘rniga tungi batch kanali talab qilinadi.
Ayni kohortdagi baseline taqqoslash
| Model | AUROC | Gini |
|---|---|---|
| Yakka fcb_feature1 Logistic Regression | 0,781 | 0,562 |
| Vanilla LR — WOE yo‘q | 0,821 | 0,642 |
| Standalone LightGBM | 0,910 | 0,820 |
| LR-Old | 0,847 | 0,695 |
| Ens-Off | 0,918 | 0,836 |
Bu jadval ayniqsa ensemble bilan standalone LightGBM orasidagi farq online LR bilan ensemble orasidagi farqdan ancha kichik ekanini ko‘rsatadi. Ens-Off AUROC-i standalone LightGBM dan 0,008 yuqori.
Eng informativ predictor oilalari
Eng yuqori Information Value qiymatlari asosan kredit byurosi xususiyatlarida kuzatiladi.
| Xususiyat | Umumiy tavsif | IV — mavjud mijoz | IV — yangi mijoz |
|---|---|---|---|
| fcb_feature2 | Eng yomon bureau delinquency og‘irligi | 0,730 | 0,660 |
| fcb_feature3 | Faol bureau kredit aloqalarining kengligi | 0,725 | 0,295 |
| fcb_feature1 | Yaqin davrdagi bureau so‘rov intensivligi | 0,715 | 0,640 |
| app_feature1 | Deklaratsiya qilingan daromad | 0,640 | 0,450 |
| app_feature2 | So‘ralgan summa / daromad nisbati | 0,635 | 0,555 |
Operating point natijasi
Ens-Off uchun Youden-optimal chegara taxminan:
\[ \hat p^\star=0{,}456 \]
deb berilgan.
Bu nuqtada:
\[ Sensitivity=0{,}716 \]
va:
\[ Specificity=0{,}881 \]
xabar qilingan.
Test confusion matrix:
| Predicted 0 | Predicted 1 | |
|---|---|---|
| Actual 0 | 72.145 | 9.745 |
| Actual 1 | 2.647 | 6.674 |
Kalibrlash natijasi va muammoli hisobot
| Ens-Off chiqishi | 5-rasmdagi Brier skori |
|---|---|
| Isotonic dan oldingi stacked meta-learner | 0,1918 |
| Isotonic dan keyingi production PD | 0,0726 |
Rasmda berilgan qiymatlar taxminan %62,1 nisbiy kamayishga mos keladi. Bunga qaramay, annotatsiya, natijalar va xulosa bo‘limi taxminan %18 kamayish haqida xabar qiladi. Shu sabab kalibrlash yo‘nalishi aniq yaxshilanishni ko‘rsatsa-da, yaxshilanish miqdorini manba matnida bitta ishonchli foiz bilan ifodalab bo‘lmaydi.
Fairness natijalari
| Guruh | AUROC | ΔDP (punkt) | ΔTPR (punkt) | ΔFPR (punkt) | ΔPPV (punkt) |
|---|---|---|---|---|---|
| Ayol | 0,916 | +0,3 | +0,4 | +0,2 | −0,5 |
| Erkak | 0,920 | −0,2 | −0,3 | −0,1 | +0,4 |
| 18–30 | 0,913 | −1,2 | −1,4 | −0,6 | −1,3 |
| 31–45 | 0,919 | +0,1 | +0,2 | +0,1 | +0,2 |
| 46–60 | 0,922 | +0,5 | +0,6 | +0,3 | +0,7 |
| 60+ | 0,917 | +0,8 | +0,9 | +0,4 | +0,9 |
| Shahar | 0,919 | +0,2 | +0,3 | +0,1 | +0,3 |
| Qishloq | 0,914 | −0,9 | −1,1 | −0,5 | −1,0 |
Eng katta mutlaq farq 18–30 yosh guruhidagi −1,4 punktlik TPR farqidir. Biroq bu jadval uchun ishonch oralig‘i yoki guruh bo‘yicha \(n\) qiymatlari berilmagani sababli natijalarning noaniqligi miqdoriy ko‘rsatilmaydi.
Decision Curve Analysis xabar qilinganmi?
2-rasmdagi pipeline baholash komponentlari orasida DCA ham sanab o‘tilgan. Shunga qaramay natijalar bo‘limida Decision Curve Analysis natijasi yoki grafigi yo‘q.
Tadqiqotning kelajak ishlar bo‘limida DCA keyinchalik siyosat chegaralariga mos tarzda taqdim etilishi aytilgan. Shu sabab mavjud maqola DCA ni yakunlangan tahlil sifatida qo‘llab-quvvatlamaydi.
Ishlab chiqarish va qayta o‘qitish mantiqi
Manba taklif qilgan operatsion sikl:
model registry → oylik monitoring → har chorak governance review → threshold buzilganda qayta o‘qitish
ko‘rinishida.
Retraining uchun xabar qilingan ikki asosiy shart:
\[ PSI_{\mathrm{feature}}>0{,}25 \]
yoki:
\[ KS\ \text{düşüşü}>10\% \]
bo‘lishidir.
Tadqiqotning asosiy muhandislik hissasi
Maqolaning hissasi yangi gradient-boosting algoritmi, yangi SHAP usuli yoki yangi calibration texnikasini ishlab chiqish emas. Mualliflar buni ochiqchasiga “real-world implementation study” deb joylashtiradi.
Yangilik da’vosi asosan quyidagi komponentlarning yagona operatsion tuzilmada birlashtirilishiga tayanadi:
feature availability → kanal ajratish → WOE-LR → ensemble → isotonic calibration → SHAP reason codes → fairness audit → PSI/KS monitoring → champion–challenger governance.
Eng muhim cheklovlar
- Bitta moliyaviy muassasaning ma’lumotlari ishlatilgan.
- Random split ishlatilgan; haqiqiy out-of-time validation bajarilmagan.
- Iqtisodiy turg‘unlik yoki boshqa foiz/inflyatsiya rejimida stress validation yo‘q.
- Juda yuqori IV qiymatlari vaqt o‘tishi bilan qayta tekshirilishi kerak.
- Eng yuqori risk decile da isotonic modelning yengil riskni ortiqcha baholashi davom etadi.
- KMeans segmentatsiyasi uchun bootstrap cluster-stability tahlili qilinmagan.
- Online feature count manba ichida mos emas.
- Brier yaxshilanishining foiz qiymati manbadagi sonlar bilan mos kelmaydi.
- Fairness audit da guruh hajmi va uncertainty oraliqlari berilmagan.
- Rad etilgan arizalarning analitik populyatsiyadagi holati va reject inference yondashuvi tushuntirilmagan.
- Xom kredit yozuvlari bank siri sababli ommaga ochiq emas.
Kelajak tadqiqotlari
Manba to‘rtta asosiy keyingi qadamni belgilaydi:
- 2024 Q2–Q4 originatsiyalari ustida haqiqiy out-of-time validation,
- bank siyosat chegaralari bilan decision-curve analysis,
- noaniq holatlarni manual underwriting ga yo‘naltirish uchun conformal prediction,
- boshqa rivojlanayotgan bozorning POS portfelida transportability baholashi.
Manba va Usul Haqida Izoh
To‘liq asl ish nomi: An Explainable Hybrid AI Framework for Real-Time Point-of-Sale Credit Scoring
Mualliflar: Gulnaz Zakariya; Aiman Moldagulova; Nor’ashikin Ali.
Teng birinchi/teng hissa: Manbada ko‘rsatilmagan.
Mas’ul muallif: Aiman Moldagulova.
Muassasalar: Department of Software Engineering, Satbayev University, Almaty, Kazakhstan; Department of Cybersecurity, Information Processing and Storage, Satbayev University, Almaty, Kazakhstan; Department of Information Systems, Universiti Tenaga Nasional, Kajang, Selangor, Malaysia.
Manba turi: Taqrizdan o‘tgan original tadqiqot maqolasi; retrospektiv bitta-portfel kredit risk modelini ishlab chiqish va internal validation tadqiqoti.
Jurnal: AI.
Nashriyot: MDPI.
Bibliografik yozuv: AI, 2026, Jild 7, Son 6, Maqola 211.
DOI: 10.3390/ai7060211.
Qabul qilish / tahrir / qabul / nashr: 11 May 2026 / 7 Iyun 2026 / 8 Iyun 2026 / 9 Iyun 2026.
Taqriz holati: Taqrizdan o‘tgan jurnal nashridir.
Litsenziya: Creative Commons Attribution (CC BY).
Academic Editors: Albert Y.S. Lam; Andy Chun.
Tadqiqot davri: 1 Yanvar 2023–31 Mart 2024.
Dastlabki yozuvlar soni: 926.000.
Analitik namuna: 806.537.
Default darajasi: %10,22.
Default ta’rifi: Kuzatilgan shartnoma umri davomida kamida bir marta 90 yoki undan ko‘p kun kechikish; NPL91_EVER.
Mijoz segmentlari: 455.827 mavjud mijoz va 350.710 yangi mijoz.
Asosiy model 1: LR-Old — mavjud mijozlar uchun WOE + L2 Logistic Regression real vaqt skorkarti.
Asosiy model 2: Ens-Off — mavjud mijozlar uchun LightGBM + CatBoost + uch qatlamli neural network stacked ensemble va isotonic calibration.
Asosiy model 3: LR-New — yangi mijozlar uchun WOE + L2 Logistic Regression real vaqt skorkarti.
Model tanlash/tuning: Stratified five-fold cross-validation va Optuna TPE; har bir ensemble base learner uchun 30 sinov.
Test AUROC: LR-Old 0,8475; Ens-Off 0,9178; LR-New 0,8348.
Test Gini: LR-Old 0,6950; Ens-Off 0,8356; LR-New 0,6696.
Test KS: LR-Old 0,5555; Ens-Off 0,6825; LR-New 0,5310.
Ens-Off validation AUROC: 0,9171. Bu validation ayni tadqiqot davridan random hold-out bo‘lib, external yoki out-of-time validation emas.
Explainability: LightGBM va CatBoost uchun TreeSHAP, neural component uchun KernelSHAP; record-level eng kuchli salbiy hissalar adverse-action reason code-larga aylantiriladi.
Fairness: Jins, yosh guruhi va shahar/qishloq yashash joyi uchun demographic parity, TPR, FPR va PPV farqlari o‘rganilgan.
Monitoring: PSI, KS va bad-rate; oylik monitoring, har chorak governance baholashi.
Moliyalashtirish: Tadqiqot tashqi moliyalashtirish olmaganini bildiradi.
Etika qo‘mitasi: Qo‘llanilmaydi deb ko‘rsatilgan. Manba identifikatsiyadan chiqarilgan va muassasa ichki bank ma’lumotlari ishlatilganini, inson-subyekt tadqiqoti o‘tkazilmaganini bildiradi.
Axborotli rozilik: Qo‘llanilmaydi deb xabar qilingan.
Ma’lumotlar mavjudligi: Xom kredit darajasidagi ma’lumotlar bank siri sababli ommaga ochiq emas. Manba anonim aggregate statistika, feature-family darajasidagi lug‘at, WOE bin ta’riflari, ikki production scorecard koeffitsiyenti va figure-generation kodi oqilona so‘rov va ma’lumotlardan foydalanish shartnomasi asosida mas’ul muallifdan so‘ralishi mumkinligini bildiradi.
Muallif hissalari: Konseptualizatsiya G.Z. va A.M.; metodologiya, dasturiy ta’minot, formal tahlil, tadqiqot, ma’lumot kuratsiyasi, dastlabki loyiha va vizualizatsiya G.Z.; validatsiya barcha mualliflar; resurslar va loyiha boshqaruvi A.M.; rahbarlik A.M. va N.A.; ko‘rib chiqish/tahrirlash A.M. va N.A.
Manfaatlar to‘qnashuvi: Mualliflar manfaatlar to‘qnashuvini bildirmagan. Hamkor moliyaviy muassasaning metod tanlash, baholash mezonlari, maqola yozilishi yoki nashr qarorida roli bo‘lmagani aytilgan.
Manbaga sodiqlik nuqtai nazaridan kritik izohlar
Kalibrlash: Matndagi “taxminan %18 Brier kamayishi” bilan 5-rasmdagi 0,1918 → 0,0726 sonlari mos emas. Verianla bu ikki ma’lumotdan birini manba nomidan tuzatmaydi.
Online model roster-i: 1-rasm va 3.5-bo‘lim online yo‘l uchun 9 application + 4 bureau maydonini ko‘rsatadi, 2-jadval va model xulosalari esa 9 xususiyatni xabar qiladi. Yakuniy production input count manbada aniq emas.
Validation: “Validation” atamasi random hold-out ma’nosida; haqiqiy vaqt tashqarisidagi validatsiya kelajak ish sifatida qoldirilgan.
DCA: 2-rasm pipeline ida DCA sanab o‘tilgan bo‘lsa-da, joriy natijalar bo‘limida DCA yo‘q va kelajak ish sifatida tavsiya etiladi.
Fairness: Demographic-parity formulasidagi musbat sinf yo‘nalishi bilan “approval rate” izohi orasida terminologik/matematik noaniqlik mavjud.
Ma’lumot populyatsiyasi: Tadqiqot “contracts” va “loan applications” iboralarini navbatma-navbat ishlatadi; rejected-applicant populyatsiyasi va reject inference jarayoni tushuntirilmagan.
Ilmiy talqin chegarasi
Ushbu tadqiqot real bank portfelida ishlab chiqilgan ishlab chiqarishga yo‘naltirilgan kredit riski arxitekturasini xabar qiladi; biroq xabar qilingan performance bitta muassasa va bitta mamlakat kontekstiga tegishli.
AUROC 0,918 yoki Gini 0,836 kabi qiymatlarni boshqa bank mijozlari uchun kutiladigan performance sifatida ishlatib bo‘lmaydi. Kredit byurosi qamrovi, mijoz xulqi, mahsulot dizayni, iqtisodiy rejim va feature availability o‘zgarsa, model performance ham o‘zgarishi mumkin.
Fairness natijalari faqat tekshirilgan demografik guruhlar va test to‘plamini qamrab oladi. Kichik gap qiymatlari huquqiy yoki axloqiy nuqtai nazardan universal “adolatli model” sertifikati emas.
Xuddi shuningdek, SHAP reason code tizimi tushuntiriluvchanlikni qo‘llab-quvvatlovchi muhandislik mexanizmi; u o‘z-o‘zidan model boshqaruvi yoki tartibga soluvchi talablarning barchasi bajarilganini isbotlamaydi.

Izoh qoldiring
E-pochta manzilingiz chop etilmaydi. Majburiy maydonlar * bilan belgilangan