Aggregate-share mean absolute error (aggregate-share MAE), diskret tanlov modeli bashorat qilgan jami muqobil ulushlar bilan holdout namunada kuzatilgan jami ulushlar oʻrtasidagi oʻrtacha mutlaq farqni oʻlchaydigan agregat xato metrikasidir. Jake Lee tadqiqoti bu metrika bozor ulushini bashorat qilish uchun yaroqli oʻlchov boʻlishi mumkinligini tan olgan holda, individual tanlovlarning tashqi bashorat validligini yakka oʻzi isbotlash uchun yetarli emasligini ta’kidlaydi. Buning asosiy sababi shundaki, bir-biridan juda farq qiladigan individual tanlov ehtimoli naqshlari bir xil oʻrtacha bozor ulushini hosil qilishi mumkin. Bashoratlar avval oʻrtachalashtirilib, soʻng holdout ulushlari bilan solishtirilganda, model qaysi shaxs uchun qaysi tanlovni qay darajada toʻgʻri bashorat qilgani haqidagi ma’lumot yoʻqoladi. Shu bois past aggregate-share MAE model yangi ma’lumotda aggregate ulushlarni yaxshi qayta hosil qilganini koʻrsatishi mumkin; biroq bundan model individual tanlov xulqini tashqi ma’lumotda yaxshiroq bashorat qiladi degan xulosa avtomatik ravishda kelib chiqmaydi.

Tadqiqot markazidagi misol nihoyatda sodda. Yuz kishilik mustaqil holdout namunada 50 kishi A ni, 50 kishi B ni tanlasa, kuzatilgan ulushlar %50–%50 boʻladi. Model 1 ham %50–%50 ni bashorat qilganda aggregate MAE nol boʻladi. Model 2 %60–%40 ni bashorat qilsa, aggregate MAE 10 foiz punktini tashkil etadi. Agregat taqqoslashga koʻra Model 1 aniq gʻolib. Biroq Model 1 ning %50 A ulushi bashorati barcha shaxslarga \(0.50\) ehtimol berishdan ham, shaxslarning yarmiga taxminan \(0.90\), qolgan yarmiga esa \(0.10\) berishdan ham kelib chiqishi mumkin. Bu modellar aggregate darajada bir xil natijani bersa-da, individual darajada mutlaqo boshqa tanlov tuzilmalarini ifodalaydi.

Muallifning da’vosi faqat MAE formulasiga qaratilmagan. Bashoratlar avval aggregate ulushlarga qisqartirilgach, qoʻllanadigan MAD, MSE, RMSE yoki boshqa xato funksiyasi ham xuddi shu asosiy axborot yoʻqolishiga duch keladi. Muammo oʻlchash formulasidan oldin yuz beradi: baholash darajasi individual tanlovlardan aggregate oʻrtachalarga tushirilgan.

Maqola ayni paytda muhim bir chegarani belgilaydi. Agar tadqiqotning haqiqiy bashorat maqsadi aggregate bozor ulushi boʻlsa, aggregate-share validatsiyasi maqbuldir. Biroq bu dalil faqat sinovdan oʻtgan bozor holatlari va aynan shu holatlarda mavjud boʻlgan oʻzgarish oraligʻi haqida xulosa chiqarishga imkon beradi. Narx, mahsulot konfiguratsiyasi yoki raqobat sharoiti oʻzgarganda bozor reaksiyasini bashorat qilish maqsad qilinsa, validatsiya holatlari bunday mazmunli oʻzgarishlarni qamrab olishi kerak.

Holdout validatsiyasining asosiy vazifasi nima?

Model oʻqitish yoki baholash parametrlarini yaratishda ishlatilgan ma’lumotga juda yaxshi moslashishi va shunga qaramay yangi ma’lumotda yomonroq ishlashi mumkin. Model moslashuvchanligi oshgani sari bashorat tizimi nafaqat haqiqiy va umumlashtiriladigan xulq tuzilmasini, balki baholash ma’lumotiga xos tasodifiy naqshlarni ham oʻrganishi mumkin. Bu ortiqcha moslashish, ya’ni overfitting muammosidir.

Shu sabab holdout validatsiyasining asosiy vazifasi shunchaki xato metrikasini chiqarish emas. Holdout modelning oʻqitish ma’lumotida koʻringan ustunligi haqiqatan yangi ma’lumotga koʻchadimi-yoʻqmi, shuni tekshiradigan himoya mexanizmidir. Modelni qurishda ishlatilmagan ma’lumotda koʻrinadigan ustunlik yoʻqolsa, oʻqitish ma’lumotidagi ustunlik umumlashtiriladi degan ishonch susayadi.

Manba holdout ma’lumoti alohida namunaviy boʻlinmadan yoki mutlaqo alohida toʻplangan validatsiya namunasidan kelishi mumkinligini aytadi. Asosiy shart — “out-of-sample” deb taqdim etilgan ma’lumot validatsiya qilinishi kerak boʻlgan natijani yaratishda ishlatilmagan boʻlishidir.

Aggregate-Share MAE Tashqi Bashorat Validligini Isbotlaydimi?

Yoʻq; individual tanlovlarning tashqi bashorat validligi haqidagi da’vo nuqtai nazaridan aggregate-share MAE yakka oʻzi yetarli emas. Aggregate-share MAE modelning oʻrtacha bashorat qilingan ulushi holdout namunadagi oʻrtacha amalga oshgan ulushga qanchalik yaqinligini koʻrsatadi; biroq bir xil aggregate ulushni hosil qiladigan turli individual bashorat naqshlarini ajrata olmagani sababli model yangi ma’lumotda tanlovlarni haqiqatan yaxshiroq bashorat qilgan-qilmaganini aniqlay olmaydi.

Bu natijada “holdout ma’lumoti tashqi yoki tashqi emasligi” bilan “qoʻllangan validatsiya oʻlchovi qaysi ma’lumotni sinashi” bir-biridan ajratilishi kerak. Namuna butunlay mustaqil va tashqi boʻlishi mumkin, ammo model bashoratlari avval aggregate ulushga qisqartirilsa, baholash baribir faqat aggregate darajadagi ma’lumotni saqlaydi.

Yangi ma’lumotdan foydalanish baholash mezoni yoʻqotgan individual ma’lumotni qaytarmaydi. Shu sabab manba faqat aggregate-share taqqoslashiga tayangan holda individual tanlovlar uchun qiyosiy external predictive validity xulosasini chiqarishni notoʻgʻri inferensiya deb baholaydi.

Adabiyotdagi avvalgi ogohlantirishlar

Tadqiqot muammoni mutlaqo yangi kashf etilgan hodisa sifatida taqdim etmaydi. Muallif turli validatsiya darajalari turli model reytinglarini berishi mumkinligini koʻrsatgan oldingi diskret tanlov adabiyotini birlashtiradi.

• Hagerty ning 1986 yilgi tadqiqoti individual afzallikni bashorat qilish bilan bozor ulushini bashorat qilish turli maqsadlar ekanini va model murakkabligini turlicha mukofotlashi mumkinligini koʻrsatgan.
• Huber va hamkasblarining 1993 yilgi tadqiqoti individual bashorat bilan aggregate-share MAE oʻlchovlari ishlash reytingida turli natijalar berishi mumkinligini qayd etgan.
• Allenby, Arora va Ginter 1995 yilda aggregate first-choice share oʻlchovlarini predictive fit dalili sifatida ishlatishda ehtiyot boʻlish kerakligini ta’kidlagan.
• Moore, Gray-Lee va Louviere 1998 yilda individual va aggregate darajadagi validatsiyalar oʻrtasida faqat zaif moslik topganliklarini bildirgan.
• Manba Sablotny-Wackershauser va hamkasblarining 2024 yilgi tadqiqotini aggregate share MAE alohida validatsiya namunasida hanuz qoʻllanayotganining zamonaviy misoli sifatida koʻradi.

Jake Lee ning hissasi, muallifning oʻz bayoniga koʻra, bu boʻlaklarni yagona inferensiya qoidasi ostida birlashtirishdir: aggregate share ishlashi bilan choice-level bashorat ishlashi farqlanishi mumkinligi allaqachon ma’lum; shu sabab aggregate-share MAE individual tanlovlar uchun tashqi bashorat validligining yetarli qiyosiy dalili deb hisoblanmasligi aniq aytilishi kerak.

Oddiy holdout misoli

Manba muammoni koʻrinadigan qilish uchun yuz kishidan iborat oddiy ikkilik tanlov misolidan foydalanadi. Holdout namunadagi 100 kishining barchasi bir xil A/B tanlov holatiga duch keladi.

Aggregate baholashga koʻra Model 1 mukammal koʻrinadi. A va B uchun kuzatilgan %50–%50 taqsimotni aynan qayta hosil qiladi va aggregate MAE nolga teng.

Biroq %50 oʻrtachaning ostida qanday individual bashoratlar yotgani aggregate natijadan bilinmaydi. Model barcha shaxslar uchun A ehtimolini \(0.50\) deb bashorat qilgan boʻlishi mumkin. Boshqa model populyatsiyaning yarmiga \(0.90\), qolgan yarmiga \(0.10\) bergan boʻlishi mumkin. Har ikki tuzilma oʻrtacha hisobda %50 A ulushiga erishishi mumkin.

Demak, “Model 1 aggregate ulushlarni toʻgʻri bashorat qildi” degan hukm bilan “Model 1 shaxslarning tanlov xulqini toʻgʻri oʻrgandi” degan hukm bir xil emas.

Agregatlash Bashorat Ma’lumotining Qaysi Qismini Yoʻqotadi?

Agregatlash model har bir shaxs uchun hosil qilgan tanlov ehtimoli bilan oʻsha shaxs yoki moslashtirilishi mumkin boʻlgan kuzatuvning amalga oshgan tanlovi oʻrtasidagi tuzilmani bitta oʻrtachaga qisqartiradi. Bir xil oʻrtachaga ega koʻplab turli bashorat vektorlari aggregate mezon nuqtai nazaridan aynan bir xil boʻlib qolganligi sababli model geterogen tanlov xulqini toʻgʻri oʻrgangan-oʻrganmaganini aggregate ulush taqqoslashidan aniqlab boʻlmaydi.

Manba ikkilik tanlov holatida modelning bashorat qilingan aggregate ulushini quyidagicha belgilaydi:

\[ \bar{p}=\frac{1}{N}\sum_{i=1}^{N}p_i \]

Bu yerda \(p_i\) — modelning \(i\)-modellashtirilgan shaxs uchun tegishli muqobilga bergan tanlov ehtimoli; \(N\) esa bashoratlarni aggregate ulushga aylantirishda ishlatilgan model populyatsiyasidagi kuzatuvlar sonidir.

Holdout namunada kuzatilgan amalga oshgan tanlov ulushi esa:

\[ \bar{y}=\frac{1}{M}\sum_{k=1}^{M}y_k \]

koʻrinishida ifodalanadi. Bu yerda \(y_k\) — holdout namunadagi \(k\)-kuzatuvning amalga oshgan ikkilik tanlov koʻrsatkichi, \(M\) esa holdout namuna hajmidir.

Manba alohida ta’kidlaydigan jihat shuki, bu ikki oʻrtacha aynan bir xil shaxslarning ma’lumotlaridan tuzilishi shart emas. Bashorat populyatsiyasi bilan holdout namuna turli ishtirokchilardan iborat boʻlishi va namuna hajmlari ham farq qilishi mumkin. Aggregate validatsiya faqat hosil boʻlgan oʻrtachalarni taqqoslaydi.

Bir xil %50 ulushni hosil qiladigan turli bashorat vektorlari

Manba bergan uchta namunaviy bashorat vektori quyidagilar:

\[ (0.5,\;0.5,\;0.5,\;0.5) \]

\[ (0.9,\;0.9,\;0.1,\;0.1) \]

\[ (0.99,\;0.01,\;0.99,\;0.01) \]

Uchala vektorning arifmetik oʻrtachasi ham \(0.50\) ga teng. Shunga qaramay, ular ifodalagan tanlov tuzilmalari sezilarli darajada farq qiladi.

Agar holdout faqat %50 A va %50 B aggregate ulushi orqali baholansa, uchala bashorat ham bir xil aggregate ball olishi mumkin. Aggregate taqqoslash qaysi model real individual tanlov tuzilmasiga yaqinroq ekanini ayta olmasligining sababi shu.

Muammo nega faqat MAE emas?

Manba bahsni MAE bilan boshlasa-da, mantiq MAE ga xos emasligini alohida aytadi. Model bashoratlari avval aggregate ulushga qisqartirilgach, MAD, MSE, RMSE yoki boshqa xato funksiyasini qoʻllash asosiy muammoni bartaraf etmaydi.

Chunki axborot yoʻqolishi xato formulasi qoʻllanishidan oldin sodir boʻlgan. Individual \(p_i\) qiymatlarining qaysi amalga oshgan tanlovlar bilan bogʻliqligi haqidagi ma’lumot bitta \(\bar p\) qiymatiga qisqartirilgan. Keyingi matematik amal yoʻqolgan bu bogʻlanishni qayta tiklay olmaydi.

Boshqacha aytganda, muammo “MAE notoʻgʻri formula” ekanida emas. Muammo kengroq choice-level predictive-validity da’vosini baholash uchun aggregate darajada ball berilishidadir.

Koʻproq Holdout Vazifalaridan Foydalanish Muammoni Hal Qiladimi?

Agar har bir holdout vazifasi yana avval aggregate ulushga qisqartirilsa, faqat vazifalar sonini oshirish asosiy muammoni hal qilmaydi. Besh, oʻn yoki oʻn beshta alohida holdout holatida aggregate ulush xatolarini hisoblash koʻproq aggregate taqqoslash beradi; biroq individual bashoratlar bilan amalga oshgan tanlovlar oʻrtasidagi bogʻlanish har vazifada yana agregatlashdan oldin yoʻqolsa, bu jarayon choice-level external predictive validity testiga aylanmaydi.

Manba bu yerda muhim ikkinchi holatni ajratadi. Holdout vazifalari turli narxlar, mahsulot xususiyatlari yoki raqobat sharoiti kabi mazmunli bozor holati oʻzgarishlarini qamrab oladigan dizayn aggregate bozor reaksiyasini bashorat qilish nuqtai nazaridan haqiqatan axborot berishi mumkin.

Demak, muammo “koʻp holdout umuman foydasiz” emas. Validatsiya holatlari qanday variatsiyani tashishi va tadqiqotchi qaysi da’voni sinamoqchi ekani hal qiluvchi ahamiyatga ega.

Bozor holatidagi oʻzgarishni sinash

Manba bozor holati \(X_0\) dan \(X_1\) ga oʻzgargan misolni quyidagicha ifodalaydi:

\[ X_0 \rightarrow X_1 \]

Muayyan muqobil uchun model bashorat qilgan ulush oʻzgarishi:

\[ \Delta \hat{S} = \hat{S}(X_1)-\hat{S}(X_0) \]

koʻrinishida koʻrsatiladi.

Amalda kuzatilgan ulush oʻzgarishi esa:

\[ \Delta S = S(X_1)-S(X_0) \]

koʻrinishidadir.

Agar model bozor reaksiyasini toʻgʻri kuzatsa, koʻzlangan munosabat:

\[ \Delta \hat{S}\approx\Delta S \]

deb qaralishi mumkin.

Muallif bu yerda ulush oʻzgarishi albatta alohida xato metrikasi bilan bevosita baholanishi kerak demaydi. Asosiy nuqta — validatsiya dizayni model keyinchalik bashorat qilishi kutiladigan sharoitlarda haqiqiy variatsiyani oʻz ichiga olishi kerak.

Narx oʻzgarishiga reaksiya misoli

Masalan, diskret tanlov modeli kelajakda narx oʻzgarishlarining bozor ulushiga ta’sirini bashorat qilish uchun ishlatilsa, faqat bir xil yoki juda oʻxshash narx tuzilmasiga ega bir necha holdout vazifasida aggregate ulush darajalarining toʻgʻri chiqishi cheklangan axborot beradi.

Kuchliroq aggregate validatsiya turli va mazmunli narx holatlarida model bozor ulushi harakatlarini haqiqatan kuzata oladimi-yoʻqmi, shuni sinashi mumkin. Xuddi shu mantiq mahsulot konfiguratsiyasi, raqobat muhiti yoki choice state ning boshqa muhim tarkibiy qismlariga ham tegishlidir.

Biroq bu baribir aggregate response validation sifatida talqin qilinishi kerak. Individual choice prediction haqida kengroq da’vo qilish uchun baholash darajasi shunga mos boʻlishi kerak.

Holdout ma’lumotining haqiqatan tashqi boʻlishi nega baribir yetarli emas?

Mustaqil holdout ma’lumotidan foydalanish zarur metodologik himoyadir; biroq manba tezisiga koʻra, u yakka oʻzi yetarli emas. Validatsiya ma’lumoti model oʻqitishidan butunlay alohida boʻlishi, agar ishlatilgan metrika individual choice prediction haqida zarur axborotni saqlamasa, bu metrikani avtomatik ravishda kengroq bashorat validligi daliliga aylantirmaydi.

Muallif bayonining mantiqi quyidagicha:

• Ma’lumotning tashqi boʻlishi overfit nazorati uchun zarur shartdir.
• Biroq mezon modelning qaysi da’vosini sinashi alohida baholanishi kerak.
• Aggregate-share error faqat aggregate-share agreement ni bevosita sinaydi.
• Choice-level predictive validity esa bashorat qilingan tanlov bilan amalga oshgan tanlov oʻrtasidagi bogʻlanish saqlanishini talab qiladi.

Model 1 ning aggregate darajada yutishi nimani isbotlaydi?

Oddiy misolda Model 1 ning Model 2 ga qaraganda pastroq aggregate MAE olishi maqbul va aniq xulosani qoʻllab-quvvatlaydi: Model 1 oʻsha holdout holatidagi aggregate bozor ulushlarini Model 2 ga qaraganda yaqinroq qayta hosil qilgan.

Manba e’tiroz bildiradigan qadam shundan keyingi qadamdir. Xuddi shu natijadan “Model 1 tashqi ma’lumotda individual tanlovlarni yaxshiroq bashorat qiladi” degan xulosaga oʻtilganda, dalil darajasi ruxsat berganidan kengroq da’vo qilinadi.

Shuning uchun maqola sarlavhasidagi “Matching the Shares Does Not Validate the Choices” iborasi aggregate bashorat qiymatsiz degani emas. U mezon qoʻllab-quvvatlaydigan da’vo bilan undan chiqarilgan kengroq da’vo oʻrtasidagi chegarani ifodalaydi.

Ortiqcha moslashish nega toʻliq hal boʻlmaydi?

Model moslashuvchanroq boʻlgani uchun baholash ma’lumotida xulq naqshini yaxshiroq ifodalayotgandek koʻrinishi mumkin. U holdout aggregate ulushini ham boshqa modelga qaraganda yaxshiroq moslashtirishi mumkin. Bu natija ikki xil izohga mos keladi:

1. Qoʻshimcha model tuzilmasi haqiqatan umumlashtiriladigan tanlov xulqini yaxshiroq oʻrgangan.
2. Qoʻshimcha model tuzilmasi individual darajada toʻgʻri boʻlmagan, ammo oʻrtachasi holdout bozor ulushiga mos keladigan boshqa bashorat naqshini hosil qilgan.

Aggregate ulush taqqoslash bu ikki izohni bir-biridan ajrata olmaydi. Shu sabab yagona tashqi test aggregate-share error boʻlsa, modelning koʻrinadigan ustunligi haqiqatan estimation ma’lumotidan tashqariga koʻchgani haqidagi choice-level da’vo nuqtai nazaridan overfit ehtimoli toʻliq yechilmay qoladi.

Tadqiqot Usuli va Natijalari

Tadqiqot muammosi

Tadqiqotning asosiy metodologik savoli diskret tanlov modellarini taqqoslashda holdout bozor ulushlarini MAE yoki unga oʻxshash aggregate xato oʻlchovi bilan moslashtirish individual tanlovlar uchun tashqi bashorat validligi haqidagi da’voni haqiqatan qoʻllab-quvvatlaydimi-yoʻqmi, degan masaladir.

Tadqiqot yondashuvi

Tadqiqot yangi ishtirokchilar bilan afzallik tajribasini oʻtkazmaydi. Muallif buning oʻrniga:

1. holdout validation ning metodologik vazifasini belgilaydi,
2. oldingi choice-model adabiyotidagi individual va aggregate validatsiya farqlarini birlashtiradi,
3. oddiy matematik qarshi misoldan foydalanadi,
4. aggregation jarayonidagi axborot yoʻqolishini formal ravishda koʻrsatadi,
5. koʻproq holdout vazifalari nega avtomatik yechim emasligini muhokama qiladi,
6. aggregate bozor bashorati uchun torroq, ammo maqbul validatsiya da’vosining chegaralarini belgilaydi.

Manbaning asosiy da’vosi

Maqolaning oʻz bayoni bilan asosiy qoida shunday:

Aggregate-share MAE individual tanlovlar uchun tashqi bashorat validligining yetarli qiyosiy dalili sifatida ishlatilishi mumkin emas.

Bu yerda “yetarli” soʻzi hal qiluvchi. Manba aggregate-share MAE hech qanday axborot bermaydi demaydi. Mezon aggregate bozor ulushi bashoratining muvaffaqiyati haqida axborot beradi. Muammo shu tor axborotni choice-level external predictive validity da’vosini yakka oʻzi asoslash darajasida keng talqin qilishdadir.

Individual Tanlovlarning Tashqi Bashorat Validligi Qanday Sinovdan Oʻtkazilishi Kerak?

Manbaga koʻra, individual tanlov bashoratlari uchun tashqi bashorat validligi da’vosi qilinsa, baholash model bashoratlari bilan model bashorat yaratishda ishlatmagan yangi ma’lumotdagi amalga oshgan tanlovlar oʻrtasidagi bogʻlanishni saqlashi kerak. Bashoratlar va amalga oshgan tanlovlar ball berishdan oldin alohida aggregate ulushlarga qisqartirilsa, bu bogʻlanish yoʻqoladi va test torroq aggregate-share validation ga aylanadi.

Tadqiqot bu yerda yagona majburiy alternativ scoring rule taklif qilmaydi. Asosiy metodologik shart — baholash dizayni da’vo qilingan prediction target bilan mos boʻlishidir.

Boshqacha aytganda:

Aggregate ulush validatsiyasining maqbul qoʻllanish sohasi

Tadqiqotning muhim chegara jumlalaridan biri aggregate-share prediction maqbul predictive target ekanidir. Korxona yoki tadqiqotchi muayyan bozor holatlarida jami muqobil ulushlarini bashorat qilishni maqsad qilsa, holdout aggregate share comparison bevosita tegishli test boʻlishi mumkin.

Biroq bu dalilning umumlashtirilishi sinovdan oʻtgan holatlar doirasi bilan cheklangan. Agar validatsiya faqat bitta product configuration yoki bir-biriga juda oʻxshash choice state larni qamrab olsa, juda boshqa narx yoki raqobat sharoitlariga oid ishlash xulosasi oʻz-oʻzidan chiqarilmaydi.

Bir nechta mazmunli bozor holati nega qimmatroq?

Agar modelning haqiqiy qoʻllanish sohasi bozor sharoitidagi oʻzgarishlarga reaksiyani bashorat qilish boʻlsa, validatsiya toʻplami ham shu oʻzgarishlarni qamrab olishi kerak. Shu sabab manba “koʻproq holdout” bilan “koʻproq mazmunli variatsiya” tushunchalari bir xil emasligini koʻrsatadi.

Oʻn beshta holdout vazifasining barchasi juda oʻxshash bozor holatlarini ifodalashi mumkin. Aksincha, soni kamroq, ammo narx, xususiyat yoki raqib tuzilmasi jihatidan mazmunli oʻzgarishlarni oʻz ichiga olgan holatlar aggregate response prediction haqida bevosita koʻproq axborot berishi mumkin.

Tadqiqot qoʻllab-quvvatlaydigan xulosalar

• Aggregate-share MAE aggregate bozor ulushlarining holdout ma’lumotiga yaqinligini baholashi mumkin.
• Turli individual bashorat vektorlari bir xil aggregate bozor ulushini hosil qilishi mumkin.
• Shu sabab aggregate ulush mosligi yakka oʻzi individual tanlov bashoratlarining tashqi validligini aniqlay olmaydi.
• Bashoratlarni aggregate ulushga qisqartirgandan keyin MAE oʻrniga MSE, RMSE yoki boshqa xato metrikasini qoʻllash yoʻqolgan individual ma’lumotni qaytarmaydi.
• Bir xil aggregate validatsiyani koʻproq holdout vazifalarida takrorlash baholash darajasini oʻzgartirmaydi.
• Agar aggregate bozor bashorati haqiqiy tadqiqot maqsadi boʻlsa, aggregate validatsiya maqbuldir.
• Aggregate validatsiyaning kengroq bozor reaksiyasi nuqtai nazaridan qiymati sinovdan oʻtgan choice state lar keyinchalik bashorat qilinadigan sharoitlardagi mazmunli variatsiyani qay darajada qamrab olishiga bogʻliq.

Tadqiqot qoʻllab-quvvatlamaydigan xulosalar

• Aggregate-share MAE umuman “yomon” yoki foydalanib boʻlmaydigan metrika degan xulosa chiqarilmasligi kerak.
• Aggregate bozor ulushi bashorati ilmiy yoki tijoriy jihatdan qiymatsiz deb da’vo qilinmaydi.
• Har bir aggregate validatsiya yaroqsiz deb aytilmaydi.
• Manba individual bashorat validatsiyasi uchun yagona majburiy alternativ metrikani belgilamaydi.
• Koʻproq holdout vazifalari hech qachon foydali emas deb aytilmaydi; muammo vazifalarning faqat bir xil aggregate darajada baholanishidadir.
• Model 1 aggregate ulushlarni yaxshi bashorat qilgani notoʻgʻri deyilmaydi; faqat bundan choice-level predictive validity xulosasiga oʻtib boʻlmasligi ta’kidlanadi.
• Maqola yangi model qaysi sharoitlarda mutlaq eng yaxshi ekanini empirik ravishda koʻrsatmaydi.

Metodologik kuchli jihat

Tadqiqotning kuchli tomoni murakkab model validatsiyasi muammosini oddiy axborot-yoʻqolishi daliliga qisqartirishidir. Bir xil oʻrtachani beradigan turli bashorat vektorlari mavjudligi aggregate scoring qaysi axborotni baholay olmasligini bevosita koʻrsatadi.

Bundan tashqari, maqola “statistika yangi ma’lumotda hisoblangan boʻlsa, avtomatik ravishda external predictive validity beradi” degan farazni savol ostiga qoʻyadi. Ma’lumot mustaqilligi bilan baholash mezonining maqsadga mosligini alohida metodologik shartlar sifatida koʻradi.

Tadqiqot doirasi cheklovlari

Manba yetti sahifalik metodologik dalil boʻlib, yangi yirik koʻlamli simulyatsiya, Monte Carlo tahlili yoki real bozor bashorat taqqoslashini taqdim etmaydi. Markaziy xulosa matematik axborot yoʻqolishi mantiqi, oddiy misol va oldingi adabiyotdagi individual/aggregate ajralish natijalari sinteziga asoslanadi.

Shu sabab tadqiqot aggregate-share MAE qoʻllagan har bir avvalgi ishning boshqa barcha natijalarini bekor qiladigan meta-tahlil sifatida oʻqilmasligi kerak. Tanqid mazkur aggregate mezonning choice-level comparative external predictive validity uchun yetarli dalil sifatida ishlatilgan inferensiyasiga qaratilgan.

Manba va Usul Haqida Izoh

Asl sarlavha: Matching the Shares Does Not Validate the Choices

Asl kichik sarlavha: Why Matching Holdout Shares Is Not Sufficient Evidence of Predictive Validity

Muallif: Jake Lee

Tashkilot: Red Analytics, Inc.

PDF sanasi: August 2026

SSRN Date Written: 18 avgust 2026

SSRN Posted: 19 avgust 2026

SSRN ish raqami: 7309578

DOI: 10.2139/ssrn.7309578

Manba turi: Diskret tanlov modellashtirish va model validatsiyasi boʻyicha metodologik tadqiqot / SSRN preprinti.

Taqriz holati: Taqrizli jurnal nashri ekani koʻrsatilmagan; preprint sifatida baholanishi kerak.

Litsenziya: SSRN metadata sida Creative Commons Attribution 4.0 International koʻrsatilgan.

Moliyalashtirish: SSRN qaydiga koʻra, tadqiqot tashqi moliyalashtirish olmagan.

Manfaatlar toʻqnashuvi: SSRN qaydiga koʻra, muallif raqobat qiluvchi/ziddiyatli manfaatlar yoʻqligini bildiradi.

Etika: SSRN izohiga koʻra, tadqiqot yangi inson ishtirokchilari, aniqlanishi mumkin boʻlgan shaxsiy ma’lumot yoki yangi ma’lumot yigʻishni oʻz ichiga olmagani sababli etika qoʻmitasi tasdigʻi talab qilinmagan.

Tadqiqot turi: Konseptual va matematik metodologiya tahlili; oldingi diskret tanlov validatsiyasi adabiyotining sintezi.

Markaziy bashorat tushunchalari: holdout validation, out-of-sample prediction, external predictive validity, aggregate-share prediction, individual choice prediction va mean absolute error.

Asosiy matematik mexanizm: Individual model bashoratlarining \(\bar p\) aggregate bashoratiga, amalga oshgan holdout tanlovlarining esa \(\bar y\) aggregate kuzatuvga qisqartirilishi; turli individual bashorat vektorlari bir xil \(\bar p\) qiymatini hosil qilishi mumkinligi.

Asosiy talqin chegarasi: Maqola aggregate bozor ulushi validatsiyasini rad etmaydi. E’tiroz aggregate-share error individual tanlovlar uchun kengroq external predictive validity da’vosining yakka oʻzi yetarli dalili sifatida ishlatilishiga qaratilgan.