Aggregate-share mean absolute error (aggregate-share MAE), дискреттик тандоо модели божомолдогон жалпы альтернативалык үлүштөр менен holdout үлгүсүндө байкалган жалпы үлүштөрдүн ортосундагы орточо абсолюттук айырманы өлчөгөн агрегатталган ката метрикасы. Jake Leeнин изилдөөсү бул метрика базар үлүшүн божомолдоо үчүн жарактуу өлчөм болушу мүмкүн экенин кабыл алуу менен бирге, жеке тандоолордун сырткы болжол жарактуулугун өз алдынча далилдөө үчүн жетишсиз экенин жүйөлөйт. Мунун негизги себеби — бири-биринен абдан айырмаланган жеке тандоо ыктымалдыгынын үлгүлөрү бирдей орточо базар үлүшүн жарата алышы. Болжолдор адегенде орточолонуп, андан кийин holdout үлүштөрү менен салыштырылганда, модель кайсы адам үчүн кайсы тандоону канчалык так божомолдогону тууралуу маалымат жоголот. Ошондуктан төмөн aggregate-share MAE модель жаңы маалыматта aggregate үлүштөрдү жакшы кайра чыгарганын көрсөтүшү мүмкүн; бирок мындан модель жеке тандоо жүрүм-турумун сырткы маалыматта жакшыраак божомолдойт деген жыйынтык автоматтык түрдө чыкпайт.

Изилдөөнүн борборундагы мисал өтө жөнөкөй. Жүз адамдан турган көз карандысыз holdout үлгүсүндө 50 адам Aны, 50 адам Bни тандаса, байкалган үлүштөр %50–%50 болот. Model 1 да %50–%50 деп божомолдосо, aggregate MAE нөл болот. Model 2 %60–%40 деп божомолдосо, aggregate MAE 10 пайыздык пункт болот. Агрегатталган салыштырууга ылайык Model 1 ачык жеңет. Бирок Model 1дин %50 A үлүшү боюнча божомолу бардык адамдарга \(0.50\) ыктымалдык берүүдөн да, адамдардын жарымына болжол менен \(0.90\), калган жарымына \(0.10\) берүүдөн да түзүлүшү мүмкүн. Бул моделдер aggregate деңгээлде бирдей жыйынтык берген менен, жеке деңгээлде таптакыр башка тандоо түзүмдөрүн билдирет.

Автордун жүйөсү MAE формуласына гана багытталган эмес. Болжолдор адегенде aggregate үлүштөргө кыскартылгандан кийин колдонулган MAD, MSE, RMSE же башка ката функциясы да ошол эле негизги маалымат жоготуусуна туш болот. Маселе өлчөө формуласынан мурда пайда болот: баалоонун деңгээли жеке тандоолордон aggregate орточолорго түшүрүлгөн.

Макала ошол эле учурда маанилүү чек коёт. Эгер изилдөөнүн чыныгы болжол максаты aggregate базар үлүшү болсо, aggregate-share валидациясы негиздүү. Бирок бул далил текшерилген базар абалдары жана ошол абалдарда чындап бар болгон өзгөрүү диапазону жөнүндө гана тыянак чыгарууга мүмкүндүк берет. Баа, продукт конфигурациясы же атаандаштык шарттары өзгөргөндө базардын реакциясын божомолдоо максат кылынса, валидация абалдары ушундай маанилүү өзгөрүүлөрдү камтышы керек.

Holdout валидациясынын негизги милдети эмне?

Модель окутуу же баалоо параметрлерин түзүү үчүн колдонулган маалыматка абдан жакшы ылайыкташып, ошого карабастан жаңы маалыматта начарыраак иштеши мүмкүн. Моделдин ийкемдүүлүгү жогорулаган сайын болжол системасы чыныгы жана жалпылануучу жүрүм-турум түзүмүн гана эмес, баалоо маалыматына мүнөздүү кокустук үлгүлөрдү да үйрөнүшү мүмкүн. Бул ашыкча ылайыкташуу, башкача айтканда overfitting көйгөйү.

Ошондуктан holdout валидациясынын негизги функциясы жөн гана ката метрикасын чыгаруу эмес. Holdout моделдин окутуу маалыматында көрүнгөн артыкчылыгы чындап жаңы маалыматка өтөбү же жокпу, ошону текшерген коргоочу механизм. Моделди түзүүдө колдонулбаган маалыматта көрүнгөн артыкчылык жоголсо, окутуу маалыматындагы артыкчылык жалпыланат деген ишеним алсырайт.

Булак holdout маалыматы өзүнчө үлгү бөлүнүшүнөн же толугу менен өзүнчө чогултулган валидация үлгүсүнөн келиши мүмкүн экенин белгилейт. Негизги шарт — “out-of-sample” деп берилген маалымат валидацияланышы керек болгон натыйжаны чыгарууда колдонулбаган болушу.

Aggregate-Share MAE Сырткы Болжол Жарактуулугун Далилдейби?

Жок; жеке тандоолордун сырткы болжол жарактуулугу жөнүндө талап үчүн aggregate-share MAE өз алдынча жетиштүү эмес. Aggregate-share MAE моделдин орточо божомолдонгон үлүшү holdout үлгүсүндөгү орточо ишке ашкан үлүшкө канчалык жакын экенин көрсөтөт; бирок бирдей aggregate үлүштү берген ар башка жеке болжол үлгүлөрүн айырмалай албагандыктан, модель жаңы маалыматта тандоолорду чындап жакшыраак божомолдойбу-жокпу аныктай албайт.

Бул жыйынтыкта “holdout маалыматынын сырткы болушу же болбошу” менен “колдонулган валидация өлчөмү кайсы маалыматты текшерет” деген суроолор бөлүнүшү керек. Үлгү толугу менен көз карандысыз жана сырткы болушу мүмкүн, бирок модель болжолдору адегенде aggregate үлүшкө кыскартылса, баалоо баары бир aggregate деңгээлдеги маалыматты гана алып жүрөт.

Жаңы маалыматты колдонуу баалоо критерийи жоготкон жеке маалыматты кайра алып келбейт. Ошондуктан булак aggregate-share салыштыруусуна гана таянып, жеке тандоолор үчүн салыштырма external predictive validity жыйынтыгын чыгарууну жараксыз тыянак деп мүнөздөйт.

Адабияттагы мурунку эскертүүлөр

Изилдөө көйгөйдү таптакыр жаңы ачылган көрүнүш катары бербейт. Автор ар кандай валидация деңгээлдери ар башка модель рейтингдерин бере аларын көрсөткөн мурдагы дискреттик тандоо адабиятын бириктирет.

• Hagertyнин 1986-жылдагы изилдөөсү жеке артыкчылыкты божомолдоо менен базар үлүшүн божомолдоо ар башка максаттар экенин жана модель татаалдыгын ар башкача сыйлай аларын көрсөткөн.
• Huber жана кесиптештеринин 1993-жылдагы изилдөөсү жеке болжол менен aggregate-share MAE өлчөөлөрү натыйжалуулук рейтингинде ар башка жыйынтыктарды бере аларын билдирген.
• Allenby, Arora жана Ginter 1995-жылы aggregate first-choice share өлчөмдөрүн predictive fit далили катары колдонууда этият болуу керектигин баса белгилешкен.
• Moore, Gray-Lee жана Louviere 1998-жылы жеке жана aggregate деңгээлдеги валидациялардын ортосунда алсыз гана дал келүү табылганын билдиришкен.
• Булак Sablotny-Wackershauser жана кесиптештеринин 2024-жылдагы изилдөөсүн aggregate share MAE өзүнчө валидация үлгүсүндө колдонулуп келатканынын заманбап мисалы катары карайт.

Jake Leeнин салымы, автордун өз баяны боюнча, бул бөлүктөрдү бир тыянак эрежесине бириктирүүдө: aggregate share натыйжалуулугу менен choice-level болжол натыйжалуулугу айырмаланышы мүмкүн экени буга чейин эле белгилүү; демек aggregate-share MAE жеке тандоолор үчүн сырткы болжол жарактуулугунун жетиштүү салыштырма далили болуп эсептелбеши керек экени так айтылышы зарыл.

Жөнөкөй holdout мисалы

Булак көйгөйдү айкын көрсөтүү үчүн жүз адамдан турган жөнөкөй экилик тандоо мисалын колдонот. Holdout үлгүсүндөгү 100 адамдын баары бир эле A/B тандоо абалына туш болот.

Aggregate баалоого ылайык Model 1 кемчиликсиз көрүнөт. A жана B үчүн байкалган %50–%50 бөлүштүрүүнү так кайталайт жана aggregate MAE нөлгө барабар.

Бирок %50 орточонун астында кандай жеке болжолдор турганы aggregate натыйжадан көрүнбөйт. Модель бардык адамдар үчүн A ыктымалдыгын \(0.50\) деп божомолдогон болушу мүмкүн. Башка модель калктын жарымына \(0.90\), калган жарымына \(0.10\) берген болушу мүмкүн. Эки түзүм тең орточо эсепте %50 A үлүшүнө жетиши мүмкүн.

Демек, “Model 1 aggregate үлүштөрдү туура божомолдоду” деген билдирүү менен “Model 1 адамдардын тандоо жүрүм-турумун туура үйрөндү” деген билдирүү бирдей эмес.

Агрегаттоо Болжол Маалыматынын Кайсы Бөлүгүн Жоготот?

Агрегаттоо модель ар бир адам үчүн чыгарган тандоо ыктымалдыгы менен ошол адамдын же дал келтирүүгө боло турган байкоонун ишке ашкан тандоосунун ортосундагы түзүмдү бир орточого кыскартат. Бирдей орточого ээ көптөгөн ар башка болжол векторлору aggregate өлчөм көз карашынан бирдей болуп калгандыктан, модель гетерогендүү тандоо жүрүм-турумун туура үйрөндүбү же жокпу деген маалыматты aggregate үлүш салыштыруусунан чыгарууга болбойт.

Булак экилик тандоо абалында моделдин божомолдонгон aggregate үлүшүн мындай аныктайт:

\[ \bar{p}=\frac{1}{N}\sum_{i=1}^{N}p_i \]

Бул жерде \(p_i\) — моделдин \(i\)-моделденген адам үчүн тиешелүү альтернативага берген тандоо ыктымалдыгы; \(N\) болсо болжолдорду aggregate үлүшкө айландырууда колдонулган модель популяциясындагы байкоолордун саны.

Holdout үлгүсүндө байкалган ишке ашкан тандоо үлүшү болсо:

\[ \bar{y}=\frac{1}{M}\sum_{k=1}^{M}y_k \]

түрүндө берилет. Бул жерде \(y_k\) — holdout үлгүсүндөгү \(k\)-байкоонун ишке ашкан экилик тандоо көрсөткүчү, ал эми \(M\) — holdout үлгүсүнүн көлөмү.

Булак өзгөчө баса белгилеген жагдай — бул эки орточо бир эле адамдардын маалыматтарынан түзүлүшү милдеттүү эмес. Болжол популяциясы менен holdout үлгүсү ар башка катышуучулардан турушу мүмкүн жана үлгү көлөмдөрү да айырмаланышы мүмкүн. Aggregate валидация алынган орточолорду гана салыштырат.

Бирдей %50 үлүштү берген ар башка болжол векторлору

Булак берген үч үлгүлүү болжол вектору төмөнкүлөр:

\[ (0.5,\;0.5,\;0.5,\;0.5) \]

\[ (0.9,\;0.9,\;0.1,\;0.1) \]

\[ (0.99,\;0.01,\;0.99,\;0.01) \]

Үч вектордун тең арифметикалык орточосу \(0.50\). Ошого карабастан, алар көрсөткөн тандоо түзүмдөрү бири-биринен даана айырмаланат.

Эгер holdout %50 A жана %50 B aggregate үлүшү боюнча гана бааланса, үч болжол тең бирдей aggregate упай алышы мүмкүн. Aggregate салыштыруу кайсы модель чыныгы жеке тандоо түзүмүнө жакыныраак экенин айта албашынын себеби ушул.

Маселе эмне үчүн MAE менен гана чектелбейт?

Булак талкууну MAE менен баштаса да, логика MAEге гана тиешелүү эмес экенин атайын белгилейт. Модель болжолдору адегенде aggregate үлүшкө кыскартылгандан кийин MAD, MSE, RMSE же башка ката функциясын колдонуу негизги маселени жок кылбайт.

Анткени маалымат жоготуусу ката формуласы колдонулганга чейин эле болгон. Жеке \(p_i\) маанилеринин кайсы ишке ашкан тандоолор менен байланышканы тууралуу маалымат бир гана \(\bar p\) маанисине кыскартылган. Кийинки математикалык операция бул жоголгон байланышты кайра түзө албайт.

Башкача айтканда, маселе “MAE туура эмес формула” дегенде эмес. Маселе кеңири choice-level predictive-validity талабын баалоо үчүн aggregate деңгээлде упай берүүдө.

Көбүрөөк Holdout Тапшырмасын Колдонуу Маселени Чечеби?

Эгер ар бир holdout тапшырмасы кайра эле адегенде aggregate үлүшкө кыскартылса, тапшырмалардын санын гана көбөйтүү негизги маселени чечпейт. Беш, он же он беш өзүнчө holdout абалында aggregate үлүш каталарын эсептөө көбүрөөк aggregate салыштыруу жаратат; бирок жеке болжолдор менен ишке ашкан тандоолордун ортосундагы байланыш ар бир тапшырмада агрегаттоодон мурда эле жоголсо, бул процесс choice-level external predictive validity тестине айланбайт.

Булак бул жерде маанилүү экинчи жагдайды бөлүп көрсөтөт. Holdout тапшырмалары ар башка баалар, продукт өзгөчөлүктөрү же атаандаштык шарттары сыяктуу маанилүү базар абалынын өзгөрүүлөрүн камтыган дизайн aggregate базар реакциясын божомолдоо жагынан чыныгы маалымат бере алат.

Демек, маселе “көп holdout эч нерсеге жарабайт” дегенде эмес. Валидация абалдары кандай вариацияны камтыйт жана изилдөөчү кайсы талапты текшерүүнү каалайт — негизги маселе ушунда.

Базар абалындагы өзгөрүүнү текшерүү

Булак базар абалы \(X_0\) дан \(X_1\) ге өзгөргөн мисалды мындай берет:

\[ X_0 \rightarrow X_1 \]

Белгилүү бир альтернатива үчүн модель божомолдогон үлүш өзгөрүүсү:

\[ \Delta \hat{S} = \hat{S}(X_1)-\hat{S}(X_0) \]

түрүндө көрсөтүлөт.

Чындап байкалган үлүш өзгөрүүсү болсо:

\[ \Delta S = S(X_1)-S(X_0) \]

түрүндө.

Эгер модель базар реакциясын туура көзөмөлдөсө, көздөлгөн байланыш:

\[ \Delta \hat{S}\approx\Delta S \]

түрүндө каралышы мүмкүн.

Автор бул жерде үлүш өзгөрүүсү сөзсүз өзүнчө ката метрикасы менен түз бааланышы керек деп айтпайт. Негизги жагдай — валидация дизайны модель кийин божомолдой турган шарттарда реалдуу вариацияны камтышы керек.

Баа өзгөрүүсүнө реакция мисалы

Мисалы, дискреттик тандоо модели келечекте баа өзгөрүүлөрүнүн базар үлүшүнө таасирин божомолдоо үчүн колдонулса, бирдей же өтө окшош баа түзүмүнө ээ бир нече holdout тапшырмасында aggregate үлүш деңгээлдеринин туура чыгышы чектелген маалымат берет.

Күчтүүрөөк aggregate валидация ар башка жана маанилүү баа абалдарында модель базар үлүшүнүн кыймылын чындап көзөмөлдөй алабы же жокпу текшере алат. Ушул эле логика продукт конфигурациясына, атаандаштык чөйрөгө же choice stateтин башка маанилүү бөлүктөрүнө да тиешелүү.

Бирок бул дагы эле aggregate response validation катары түшүндүрүлүшү керек. Жеке choice prediction тууралуу кеңири талап коюу үчүн баалоо деңгээли ага ылайык болушу зарыл.

Holdout маалыматынын чындап сырткы болушу эмне үчүн дагы эле жетишсиз?

Көз карандысыз holdout маалыматты колдонуу зарыл методологиялык коргонуу; бирок булактын тезисине ылайык, ал өз алдынча жетишсиз. Валидация маалыматы модель окутуудан толугу менен өзүнчө болушу, эгер колдонулган метрика жеке choice prediction тууралуу зарыл маалыматты сактабаса, бул метриканы автоматтык түрдө кеңири болжол жарактуулугунун далилине айландырбайт.

Автордун баянынын логикасы төмөнкүдөй:

• Маалыматтын сырткы болушу overfit көзөмөлү үчүн зарыл шарт.
• Бирок өлчөм моделдин кайсы талабын текшерип жатканы өзүнчө бааланышы керек.
• Aggregate-share error aggregate-share agreementти гана түз текшерет.
• Choice-level predictive validity болсо божомолдонгон тандоо менен ишке ашкан тандоонун ортосундагы байланыш сакталышын талап кылат.

Model 1дин aggregate деңгээлде жеңиши эмнени далилдейт?

Жөнөкөй мисалда Model 1дин Model 2ге караганда төмөн aggregate MAE алышы мыйзамдуу жана так жыйынтыкты колдойт: Model 1 ошол holdout абалындагы aggregate базар үлүштөрүн Model 2ге караганда жакыныраак кайра чыгарган.

Булак каршы чыккан кадам мындан кийинкиси. Ушул эле натыйжадан “Model 1 сырткы маалыматта жеке тандоолорду жакшыраак божомолдойт” деген жыйынтыкка өтүлгөндө, далил деңгээли жол бергенден кеңири талап коюлат.

Ошондуктан макаланын аталышындагы “Matching the Shares Does Not Validate the Choices” деген сөз айкашы aggregate болжол баасыз дегенди билдирбейт. Ал өлчөм колдогон талап менен андан чыгарылган кеңири талаптын ортосундагы чекти билдирет.

Ашыкча ылайыкташуу эмне үчүн толук чечилбейт?

Модель ийкемдүүрөөк болгондуктан, баалоо маалыматында жүрүм-турум үлгүсүн жакшыраак чагылдыргандай көрүнүшү мүмкүн. Ал holdout aggregate үлүшүн да башка моделге караганда жакшыраак дал келтириши мүмкүн. Бул натыйжа эки башка түшүндүрмөгө шайкеш келет:

1. Кошумча модель түзүмү чындап жалпылануучу тандоо жүрүм-турумун жакшыраак үйрөнгөн.
2. Кошумча модель түзүмү жеке деңгээлде туура эмес, бирок орточосу holdout базар үлүшүнө дал келген башка болжол үлгүсүн жараткан.

Aggregate үлүш салыштыруусу бул эки түшүндүрмөнү айырмалай албайт. Ошондуктан жалгыз сырткы тест aggregate-share error болсо, моделдин көрүнгөн артыкчылыгы чындап estimation маалыматынан тышкары өткөнү тууралуу choice-level талап жагынан overfit ыктымалдыгы толук чечилбей калат.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Изилдөө көйгөйү

Изилдөөнүн негизги методологиялык суроосу — дискреттик тандоо моделдерин салыштырганда holdout базар үлүштөрүн MAE же ага окшош aggregate ката өлчөмү менен дал келтирүү жеке тандоолор үчүн сырткы болжол жарактуулугу талабын чындап колдойбу же жокпу.

Изилдөө ыкмасы

Изилдөө жаңы катышуучулар менен артыкчылык экспериментин өткөрбөйт. Анын ордуна автор:

1. holdout validationдын методологиялык функциясын аныктайт,
2. мурунку choice-model адабиятындагы жеке жана aggregate валидация айырмачылыктарын бириктирет,
3. жөнөкөй математикалык каршы мисалды колдонот,
4. aggregation процессиндеги маалымат жоготуусун формалдуу көрсөтөт,
5. көбүрөөк holdout тапшырмалары эмне үчүн автоматтык чечим эмес экенин талкуулайт,
6. aggregate базар болжолу үчүн тар, бирок мыйзамдуу валидация талабын чектерин аныктайт.

Булактын негизги талабы

Макаланын өз сөзү менен негизги эреже мындай:

Aggregate-share MAE жеке тандоолор үчүн сырткы болжол жарактуулугунун жетиштүү салыштырма далили катары колдонулушу мүмкүн эмес.

Бул жердеги “жетиштүү” деген сөз маанилүү. Булак aggregate-share MAE эч кандай маалымат бербейт деп айтпайт. Өлчөм aggregate базар үлүшү болжолунун ийгилиги тууралуу маалымат берет. Маселе ушул тар маалыматты choice-level external predictive validity талабын өз алдынча негиздей тургандай кеңири чечмелөөдө.

Жеке Тандоолордун Сырткы Болжол Жарактуулугу Кантип Текшерилиши Керек?

Булакка ылайык, жеке тандоо болжолдору үчүн сырткы болжол жарактуулугу жөнүндө талап коюлса, баалоо модель болжолдору менен модель болжол түзүүдө колдонбогон жаңы маалыматтагы ишке ашкан тандоолордун ортосундагы байланышты сакташы керек. Болжолдор жана ишке ашкан тандоолор упай берүүдөн мурда өзүнчө aggregate үлүштөргө кыскартылса, бул байланыш жоголот да тест тар aggregate-share validation болуп калат.

Изилдөө бул жерде бир гана милдеттүү альтернативалык scoring rule сунуштабайт. Негизги методологиялык шарт — баалоо дизайны айтылган prediction target менен шайкеш болушу.

Башкача айтканда:

Aggregate үлүш валидациясынын мыйзамдуу колдонуу чөйрөсү

Изилдөөнүн маанилүү чек билдирүүлөрүнүн бири — aggregate-share prediction мыйзамдуу predictive target экендиги. Компания же изилдөөчү белгилүү базар абалдарында жалпы альтернативалык үлүштөрдү божомолдоону максат кылса, holdout aggregate share comparison түздөн-түз тиешелүү тест болушу мүмкүн.

Бирок бул далилдин жалпылануусу текшерилген абалдардын камтылышы менен чектелет. Эгер валидация бир гана product configuration же бири-бирине абдан окшош choice stateтерди камтыса, таптакыр башка баа же атаандаштык шарттарына тиешелүү натыйжалуулук жыйынтыгы өзүнөн-өзү чыгарылбайт.

Бир нече маанилүү базар абалы эмне үчүн баалуураак?

Эгер моделдин чыныгы колдонуу чөйрөсү базар шарттарындагы өзгөрүүлөргө реакцияны божомолдоо болсо, валидация топтому да ошол өзгөрүүлөрдү камтышы керек. Ошондуктан булак “көбүрөөк holdout” менен “көбүрөөк маанилүү вариация” бир эле түшүнүк эмес экенин көрсөтөт.

Он беш holdout тапшырмасынын баары абдан окшош базар абалдарын көрсөтүшү мүмкүн. Тескерисинче, саны азыраак, бирок баа, өзгөчөлүк же атаандаш түзүмү боюнча маанилүү өзгөрүүлөрдү камтыган абалдар aggregate response prediction тууралуу түзүрөөк маалымат бере алат.

Изилдөө колдогон жыйынтыктар

• Aggregate-share MAE aggregate базар үлүштөрүнүн holdout маалыматка жакындыгын баалай алат.
• Ар башка жеке болжол векторлору бирдей aggregate базар үлүшүн жарата алат.
• Ошондуктан aggregate үлүш дал келүүсү өз алдынча жеке тандоо болжолдорунун сырткы жарактуулугун аныктай албайт.
• Болжолдорду aggregate үлүшкө кыскарткандан кийин MAEнин ордуна MSE, RMSE же башка ката метрикасын колдонуу жоголгон жеке маалыматты кайтарбайт.
• Бир эле aggregate валидацияны көбүрөөк holdout тапшырмасында кайталоо баалоо деңгээлин өзгөртпөйт.
• Эгер aggregate базар болжолу чыныгы изилдөө максаты болсо, aggregate валидация мыйзамдуу.
• Aggregate валидациянын кеңири базар реакциясы жагынан баалуулугу текшерилген choice stateтер кийин божомолдончу шарттардагы маанилүү вариацияны канчалык камтыганына байланыштуу.

Изилдөө колдобогон жыйынтыктар

• Aggregate-share MAE жалпысынан “жаман” же колдонууга болбой турган метрика деген жыйынтык чыгарылбашы керек.
• Aggregate базар үлүшү болжолу илимий же коммерциялык жактан баасыз деп айтылбайт.
• Ар бир aggregate валидация жараксыз деп айтылбайт.
• Булак жеке болжол валидациясы үчүн бир гана милдеттүү альтернативалык метриканы аныктабайт.
• Көбүрөөк holdout тапшырмалары эч качан пайдалуу эмес деп айтылбайт; маселе тапшырмалардын бир эле aggregate деңгээлде бааланышында.
• Model 1 aggregate үлүштөрдү жакшы божомолдогону туура эмес деп айтылбайт; болгону мындан choice-level predictive validity жыйынтыгына өтүүгө болбой турганы жүйөлөнөт.
• Макала жаңы модель кайсы шарттарда абсолюттук түрдө эң жакшы экенин эмпирикалык түрдө көрсөтпөйт.

Методологиялык күчтүү жагы

Изилдөөнүн күчтүү жагы — татаал модель валидация көйгөйүн жөнөкөй маалымат-жоготуу аргументине кыскартканы. Бирдей орточону берген ар башка болжол векторлорунун болушу aggregate scoring кайсы маалыматты баалай албай турганын түз көрсөтөт.

Мындан тышкары, макала “статистика жаңы маалыматта эсептелсе, автоматтык түрдө external predictive validity берет” деген божомолду суроо астына коёт. Маалыматтын көз карандысыздыгы менен баалоо өлчөмүнүн максатка шайкештигин өзүнчө методологиялык шарттар катары карайт.

Изилдөөнүн камтуу чектери

Булак жети беттик методологиялык аргумент жана жаңы ири масштабдагы симуляция, Monte Carlo анализи же реалдуу базар болжолун салыштырууну бербейт. Негизги жыйынтык математикалык маалымат жоготуу логикасына, жөнөкөй мисалга жана мурдагы адабияттагы жеке/aggregate ажырым жыйынтыктарынын синтезине таянат.

Ошондуктан изилдөө aggregate-share MAE колдонгон бардык мурдагы иштердин башка бардык жыйынтыктарын жараксыз деп жарыялаган мета-анализ катары окулбашы керек. Сын тиешелүү aggregate критерийдин choice-level comparative external predictive validity үчүн жетиштүү далил катары колдонулган тыянагына багытталган.

Булак жана Ыкма Жөнүндө Эскертүү

Түп нуска аталышы: Matching the Shares Does Not Validate the Choices

Түп нуска кошумча аталышы: Why Matching Holdout Shares Is Not Sufficient Evidence of Predictive Validity

Автор: Jake Lee

Мекеме: Red Analytics, Inc.

PDF датасы: August 2026

SSRN Date Written: 18-август 2026

SSRN Posted: 19-август 2026

SSRN иш номери: 7309578

DOI: 10.2139/ssrn.7309578

Булактын түрү: Дискреттик тандоо моделдөө жана модель валидациясы боюнча методологиялык изилдөө / SSRN preprint.

Рецензия абалы: Рецензияланган журналда жарыялангандыгы көрсөтүлгөн эмес; preprint катары бааланышы керек.

Лицензия: SSRN metadataсында Creative Commons Attribution 4.0 International көрсөтүлгөн.

Каржылоо: SSRN жазуусуна ылайык, изилдөө тышкы каржылоо алган эмес.

Кызыкчылыктардын кагылышы: SSRN жазуусуна ылайык, автор атаандаш/кагылышкан кызыкчылыктар жок экенин билдирет.

Этика: SSRN түшүндүрмөсүнө ылайык, изилдөө жаңы адам катышуучуларын, аныктала турган жеке маалыматты же жаңы маалымат чогултууну камтыбагандыктан, этикалык комитеттин уруксаты талап кылынган эмес.

Изилдөөнүн түрү: Концептуалдык жана математикалык методология анализи; мурдагы дискреттик тандоо валидация адабиятынын синтези.

Негизги болжол түшүнүктөрү: holdout validation, out-of-sample prediction, external predictive validity, aggregate-share prediction, individual choice prediction жана mean absolute error.

Негизги математикалык механизм: Жеке модель болжолдорунун \(\bar p\) aggregate болжолуна, ишке ашкан holdout тандоолорунун болсо \(\bar y\) aggregate байкоого кыскартылышы; ар башка жеке болжол векторлору бирдей \(\bar p\) маанисин жарата алышы.

Негизги чечмелөө чеги: Макала aggregate базар үлүшү валидациясын четке какпайт. Каршылык aggregate-share error жеке тандоолор үчүн кеңири external predictive validity талабын өз алдынча жетиштүү далил катары колдонууга багытталган.