Aggregate-share mean absolute error (aggregate-share MAE), метрикаи хатои ҷамъбастист, ки фарқи миёнаи мутлақ байни саҳмҳои умумии алтернативаҳои пешгӯишудаи модели интихоби дискретӣ ва саҳмҳои умумии мушоҳидашуда дар намунаи holdout-ро чен мекунад. Таҳқиқоти Jake Lee, бо эътирофи он ки ин метрика метавонад барои пешгӯии саҳми бозор меъёри муносиб бошад, онро барои исботи мустақили эътибори берунии пешгӯии интихобҳои инфиродӣ нокифоя мешуморад. Сабаби асосӣ дар он аст, ки намунаҳои хеле гуногуни эҳтимолияти интихоби инфиродӣ метавонанд ҳамон як саҳми миёнаи бозорро ба вуҷуд оранд. Вақте пешгӯиҳо аввал миёна гирифта шуда, сипас бо саҳмҳои holdout муқоиса мешаванд, маълумот дар бораи он ки модел барои кадом шахс кадом интихобро то чӣ андоза дуруст пешгӯӣ кардааст, гум мешавад. Аз ин рӯ, aggregate-share MAE-и паст метавонад нишон диҳад, ки модел саҳмҳои aggregate-ро дар маълумоти нав хуб бозсозӣ кардааст; аммо аз ин худкор хулоса баровардан мумкин нест, ки модел рафтори интихоби инфиродиро дар маълумоти беруна беҳтар пешгӯӣ мекунад.

Мисоли марказии таҳқиқот хеле содда аст. Агар дар намунаи мустақили holdout аз сад нафар 50 нафар A ва 50 нафар B-ро интихоб кунанд, саҳмҳои мушоҳидашуда %50–%50 мешаванд. Агар Model 1 низ %50–%50 пешгӯӣ кунад, aggregate MAE сифр мешавад. Агар Model 2 %60–%40 пешгӯӣ кунад, aggregate MAE 10 банди фоизӣ аст. Аз рӯи муқоисаи ҷамъбастӣ Model 1 ошкоро бартарӣ дорад. Аммо пешгӯии %50 саҳми A аз ҷониби Model 1 метавонад ё аз додани эҳтимолияти \(0.50\) ба ҳамаи шахсон ва ё аз додани тақрибан \(0.90\) ба нисфи шахсон ва \(0.10\) ба нисфи дигар иборат бошад. Ин моделҳо дар сатҳи aggregate як натиҷаро медиҳанд, вале дар сатҳи инфиродӣ сохторҳои тамоман гуногуни интихобро ифода мекунанд.

Даъвои муаллиф танҳо ба формулаи MAE маҳдуд намешавад. Пас аз он ки пешгӯиҳо аввал ба саҳмҳои aggregate кам карда мешаванд, истифодаи MAD, MSE, RMSE ё ягон функсияи дигари хато ба ҳамон талафоти асосии маълумот рӯ ба рӯ мешавад. Мушкил пеш аз формулаи ченкунӣ ба вуҷуд меояд: сатҳи арзёбӣ аз интихобҳои инфиродӣ ба миёнаҳои aggregate поён бурда шудааст.

Мақола ҳамзамон як ҳадди муҳимро муайян мекунад. Агар ҳадафи воқеии пешгӯии таҳқиқот саҳми aggregate-и бозор бошад, санҷиши aggregate-share қонунист. Аммо ин далел танҳо имкон медиҳад дар бораи ҳолатҳои бозории санҷидашуда ва доираи тағйире, ки воқеан дар онҳо вуҷуд дошт, хулоса бароварда шавад. Агар ҳадаф пешгӯии вокуниши бозор ҳангоми тағйири нарх, конфигуратсияи маҳсулот ё шароити рақобат бошад, ҳолатҳои санҷиш бояд чунин тағйироти маънодорро дар бар гиранд.

Вазифаи асосии санҷиши holdout чист?

Модел метавонад ба маълумоте, ки барои омӯзиш ё сохтани параметрҳои баҳодиҳӣ истифода шудааст, хеле хуб мувофиқат кунад ва бо вуҷуди ин дар маълумоти нав натиҷаи бадтар диҳад. Бо афзоиши чандирии модел, низоми пешгӯӣ метавонад на танҳо сохтори воқеӣ ва умумисозишавандаи рафтор, балки намунаҳои тасодуфии хоси маълумоти баҳодиҳиро низ омӯзад. Ин мушкили мутобиқшавии аз ҳад зиёд, яъне overfitting аст.

Аз ин рӯ, вазифаи асосии санҷиши holdout танҳо тавлиди як метрикаи хато нест. Holdout механизми муҳофизатист, ки месанҷад оё бартарии намоёни модел дар маълумоти омӯзишӣ воқеан ба маълумоти нав мегузарад ё не. Агар бартарии намоён дар маълумоте, ки барои сохтани модел истифода нашудааст, ноком шавад, эътимод ба умумисозишаванда будани бартарии маълумоти омӯзишӣ коҳиш меёбад.

Манбаъ мегӯяд, ки маълумоти holdout метавонад аз тақсимоти алоҳидаи намуна ё аз намунаи комилан алоҳидаи барои санҷиш ҷамъоваришуда гирифта шавад. Шарти асосӣ ин аст, ки маълумоте, ки ҳамчун “out-of-sample” пешниҳод мешавад, барои ба вуҷуд овардани натиҷае, ки бояд санҷида шавад, истифода нашуда бошад.

Оё Aggregate-Share MAE Эътибори Берунии Пешгӯиро Исбот мекунад?

Не; барои даъвои эътибори берунии пешгӯии интихобҳои инфиродӣ aggregate-share MAE ба танҳоӣ кофӣ нест. Aggregate-share MAE нишон медиҳад, ки саҳми миёнаи пешгӯишудаи модел ба саҳми миёнаи воқеан мушоҳидашуда дар намунаи holdout то чӣ андоза наздик аст; вале азбаски намунаҳои гуногуни пешгӯии инфиродиро, ки ҳамон саҳми aggregate-ро медиҳанд, фарқ карда наметавонад, муайян намекунад, ки оё модел интихобҳоро дар маълумоти нав воқеан беҳтар пешгӯӣ кардааст ё не.

Дар ин натиҷа бояд “беруна будан ё набудани маълумоти holdout” аз “кадом маълумотро меъёри санҷишии истифодашуда месанҷад” ҷудо карда шавад. Намуна метавонад комилан мустақил ва беруна бошад, аммо агар пешгӯиҳои модел аввал ба саҳми aggregate кам карда шаванд, арзёбӣ боз ҳам танҳо маълумоти сатҳи aggregate-ро нигоҳ медорад.

Истифодаи маълумоти нав маълумоти инфиродии аз ҷониби меъёри арзёбӣ гумшударо барнамегардонад. Аз ин рӯ, манбаъ сохтани хулосаи comparative external predictive validity барои интихобҳои инфиродӣ танҳо бар асоси муқоисаи aggregate-share-ро хулосаи нодуруст мешуморад.

Огоҳсозиҳои пешина дар адабиёт

Таҳқиқот мушкилро ҳамчун падидаи комилан нав кашфшуда пешниҳод намекунад. Муаллиф адабиёти қаблии интихоби дискретиро, ки нишон медиҳад сатҳҳои гуногуни санҷиш метавонанд рейтингҳои гуногуни моделҳоро ба вуҷуд оранд, ҷамъбаст мекунад.

• Таҳқиқоти Hagerty дар соли 1986 нишон додааст, ки пешгӯии афзалияти инфиродӣ ва пешгӯии саҳми бозор ҳадафҳои гуногунанд ва метавонанд мураккабии моделро ба тарзҳои гуногун “мукофот” диҳанд.
• Таҳқиқоти Huber ва ҳамкорон дар соли 1993 гузориш дод, ки ченкуниҳои пешгӯии инфиродӣ ва aggregate-share MAE метавонанд дар рейтинги натиҷаҳо хулосаҳои гуногун диҳанд.
• Allenby, Arora ва Ginter дар соли 1995 таъкид карданд, ки ҳангоми истифодаи меъёрҳои aggregate first-choice share ҳамчун далели predictive fit бояд эҳтиёткор буд.
• Moore, Gray-Lee ва Louviere дар соли 1998 гузориш доданд, ки байни санҷишҳои сатҳи инфиродӣ ва aggregate танҳо мувофиқати суст вуҷуд дорад.
• Манбаъ таҳқиқоти Sablotny-Wackershauser ва ҳамкорон дар соли 2024-ро ҳамчун намунаи муосири идома ёфтани истифодаи aggregate share MAE дар намунаи алоҳидаи санҷишӣ баррасӣ мекунад.

Саҳми Jake Lee, мувофиқи баёни худи муаллиф, дар он аст, ки ин қисмҳоро зери як қоидаи ягонаи хулосабарорӣ муттаҳид мекунад: аллакай маълум аст, ки натиҷаи aggregate share метавонад аз натиҷаи choice-level prediction фарқ кунад; бинобар ин бояд равшан гуфта шавад, ки aggregate-share MAE наметавонад далели муқоисавии кофии эътибори берунии пешгӯӣ барои интихобҳои инфиродӣ ҳисобида шавад.

Мисоли соддаи holdout

Манбаъ барои равшан кардани мушкил аз мисоли соддаи интихоби дугона бо сад нафар истифода мебарад. Ҳамаи 100 нафар дар намунаи holdout бо ҳамон вазъияти интихоби A/B рӯ ба рӯ мешаванд.

Аз рӯи арзёбии aggregate, Model 1 комил менамояд. Он тақсимоти мушоҳидашудаи %50–%50 барои A ва B-ро айнан бозсозӣ мекунад ва aggregate MAE сифр аст.

Аммо аз натиҷаи aggregate маълум нест, ки дар паси миёнаи %50 кадом пешгӯиҳои инфиродӣ қарор доранд. Модел метавонад барои ҳамаи шахсон эҳтимолияти A-ро \(0.50\) пешгӯӣ карда бошад. Модели дигар метавонад ба нисфи аҳолӣ \(0.90\) ва ба нисфи дигар \(0.10\) диҳад. Ҳар ду сохтор метавонанд дар миёна ба %50 саҳми A бирасанд.

Пас, гуфтаи “Model 1 саҳмҳои aggregate-ро дуруст пешгӯӣ кард” бо гуфтаи “Model 1 рафтори интихоби шахсонро дуруст омӯхт” як чиз нест.

Ҷамъбасткунӣ Кадом Қисми Маълумоти Пешгӯиро Аз Байни Мебарад?

Ҷамъбасткунӣ сохтори байни эҳтимолияти интихобе, ки модел барои ҳар шахс медиҳад, ва интихоби воқеии ҳамон шахс ё мушоҳидаи мувофиқшавандаро ба як миёна кам мекунад. Азбаски бисёр векторҳои гуногуни пешгӯӣ бо як миёна аз нуқтаи назари меъёри aggregate яксон мешаванд, аз муқоисаи саҳми aggregate фаҳмидан мумкин нест, ки оё модел рафтори гетерогении интихобро дуруст омӯхтааст ё не.

Манбаъ саҳми aggregate-и пешгӯишудаи моделро дар ҳолати интихоби дугона чунин муайян мекунад:

\[ \bar{p}=\frac{1}{N}\sum_{i=1}^{N}p_i \]

Дар ин ҷо \(p_i\) эҳтимолияти интихобест, ки модел барои шахси моделшудаи \(i\)-ум ба алтернативаи дахлдор медиҳад; \(N\) бошад шумораи мушоҳидаҳо дар аҳолии моделист, ки барои табдил додани пешгӯиҳо ба саҳми aggregate истифода мешавад.

Саҳми интихоби воқеии мушоҳидашуда дар намунаи holdout бошад:

\[ \bar{y}=\frac{1}{M}\sum_{k=1}^{M}y_k \]

ба ин шакл ифода мешавад. Дар ин ҷо \(y_k\) нишондиҳандаи интихоби дугонаи воқеии мушоҳидаи \(k\)-ум дар намунаи holdout аст ва \(M\) андозаи намунаи holdout мебошад.

Нуктаи махсусе, ки манбаъ таъкид мекунад, ин аст, ки ин ду миёна ҳатман набояд аз маълумоти ҳамон як шахсон ташкил шаванд. Аҳолии пешгӯӣ ва намунаи holdout метавонанд аз иштирокчиёни гуногун иборат бошанд ва андозаҳои намуна низ фарқ кунанд. Санҷиши aggregate танҳо миёнаҳои ҳосилшударо муқоиса мекунад.

Векторҳои гуногуни пешгӯӣ, ки ҳамон %50 саҳмро медиҳанд

Се вектори намунавии пешгӯие, ки манбаъ медиҳад, чунинанд:

\[ (0.5,\;0.5,\;0.5,\;0.5) \]

\[ (0.9,\;0.9,\;0.1,\;0.1) \]

\[ (0.99,\;0.01,\;0.99,\;0.01) \]

Миёнаи арифметикии ҳар се вектор \(0.50\) аст. Бо вуҷуди ин, сохторҳои интихобе, ки онҳо ифода мекунанд, аз ҳам ба таври равшан фарқ мекунанд.

Агар holdout танҳо аз рӯи %50 саҳми A ва %50 саҳми B дар сатҳи aggregate арзёбӣ шавад, ҳар се пешгӯӣ метавонанд ҳамон холҳои aggregate-ро гиранд. Ин аст сабаби он ки муқоисаи aggregate гуфта наметавонад кадом модел ба сохтори воқеии интихоби инфиродӣ наздиктар аст.

Чаро мушкил танҳо MAE нест?

Гарчанде манбаъ баҳсро аз MAE оғоз мекунад, махсус таъкид мекунад, ки мантиқ танҳо ба MAE хос нест. Пас аз он ки пешгӯиҳои модел аввал ба саҳми aggregate кам карда мешаванд, истифодаи MAD, MSE, RMSE ё ягон функсияи дигари хато мушкили асосиро бартараф намекунад.

Зеро талафоти маълумот пеш аз татбиқи формулаи хато ба вуҷуд омадааст. Маълумот дар бораи он ки қиматҳои инфиродии \(p_i\) бо кадом интихобҳои воқеӣ алоқаманданд, ба як қимати \(\bar p\) кам шудааст. Амалиёти баъдии математикӣ ин робитаи гумшударо барқарор карда наметавонад.

Ба ибораи дигар, мушкил дар он нест, ки “MAE формулаи нодуруст аст”. Мушкил ин аст, ки барои арзёбии даъвои васеътари choice-level predictive-validity дар сатҳи aggregate холгузорӣ анҷом дода мешавад.

Оё Истифодаи Вазифаҳои Бештари Holdout Мушкилро Ҳал мекунад?

Агар ҳар вазифаи holdout боз ҳам аввал ба саҳми aggregate кам карда шавад, танҳо зиёд кардани шумораи вазифаҳо мушкили асосиро ҳал намекунад. Ҳисоб кардани хатои саҳми aggregate дар панҷ, даҳ ё понздаҳ ҳолати ҷудогонаи holdout муқоисаҳои aggregate-и бештар медиҳад; вале агар робитаи байни пешгӯиҳои инфиродӣ ва интихобҳои воқеӣ дар ҳар вазифа пеш аз агрегатсия гум шавад, ин раванд ба санҷиши choice-level external predictive validity табдил намеёбад.

Манбаъ дар ин ҷо ҳолати дуюми муҳимро ҷудо мекунад. Тарҳе, ки вазифаҳои holdout дар он тағйироти маънодори ҳолати бозорро ба мисли нархҳои гуногун, хусусиятҳои маҳсулот ё шароити рақобат дар бар мегиранд, метавонад барои пешгӯии вокуниши aggregate-и бозор воқеан маълумот диҳад.

Пас, мушкил дар он нест, ки “holdout-ҳои зиёд ҳеҷ фоида надоранд”. Муҳим он аст, ки ҳолатҳои санҷиш кадом навъи тағйирро дар бар мегиранд ва муҳаққиқ кадом даъворо мехоҳад санҷад.

Санҷидани тағйири ҳолати бозор

Манбаъ мисоли тағйири ҳолати бозор аз \(X_0\) ба \(X_1\)-ро чунин ифода мекунад:

\[ X_0 \rightarrow X_1 \]

Тағйири саҳме, ки модел барои як алтернативаи муайян пешгӯӣ мекунад:

\[ \Delta \hat{S} = \hat{S}(X_1)-\hat{S}(X_0) \]

чунин нишон дода мешавад.

Тағйири саҳми воқеан мушоҳидашуда бошад:

\[ \Delta S = S(X_1)-S(X_0) \]

чунин аст.

Агар модел вокуниши бозорро дуруст пайгирӣ кунад, робитаи мақсаднок:

\[ \Delta \hat{S}\approx\Delta S \]

метавонад чунин тасаввур шавад.

Муаллиф намегӯяд, ки тағйири саҳм ҳатман бояд бевосита бо як метрикаи алоҳидаи хато холгузорӣ шавад. Нуктаи асосӣ ин аст, ки тарҳи санҷиш бояд тағйироти воқеиро дар шароитҳое дар бар гирад, ки баъдан аз модел пешгӯӣ кардани онҳо интизор мешавад.

Мисоли вокуниш ба тағйири нарх

Масалан, агар модели интихоби дискретӣ барои пешгӯии таъсири тағйироти нарх ба саҳми бозор дар оянда истифода шавад, дуруст баромадани сатҳҳои aggregate дар чанд вазифаи holdout бо сохтори якхела ё хеле монанди нарх танҳо маълумоти маҳдуд медиҳад.

Санҷиши қавитари aggregate метавонад бисанҷад, ки оё модел ҳаракати саҳми бозорро дар ҳолатҳои гуногун ва маънодори нарх воқеан пайгирӣ карда метавонад. Ҳамин мантиқ барои конфигуратсияи маҳсулот, муҳити рақобат ё дигар ҷузъҳои муҳими choice state низ дуруст аст.

Аммо ин ҳанӯз ҳам бояд ҳамчун aggregate response validation шарҳ дода шавад. Барои сохтани даъвои васеътар дар бораи individual choice prediction, сатҳи арзёбӣ бояд ба он мувофиқ бошад.

Чаро воқеан беруна будани маълумоти holdout ҳамоно кофӣ нест?

Истифодаи маълумоти мустақили holdout муҳофизати зарурии методологист; аммо тибқи тезиси манбаъ, он ба танҳоӣ кофӣ нест. Комилан ҷудо будани маълумоти санҷишӣ аз омӯзиши модел, агар метрикаи истифодашуда маълумоти заруриро дар бораи individual choice prediction нигоҳ надорад, он метрикаро худкор ба далели васеътари эътибори пешгӯӣ табдил намедиҳад.

Мантиқи баёни муаллиф чунин аст:

• Беруна будани маълумот шарти зарурӣ барои назорати overfit аст.
• Аммо бояд алоҳида арзёбӣ шавад, ки меъёр кадом даъвои моделро месанҷад.
• Aggregate-share error танҳо aggregate-share agreement-ро мустақим месанҷад.
• Choice-level predictive validity бошад нигоҳ доштани робитаи байни интихоби пешгӯишуда ва интихоби воқеиро талаб мекунад.

Ғолиб шудани Model 1 дар сатҳи aggregate чиро исбот мекунад?

Дар мисоли содда, aggregate MAE-и пасттари Model 1 нисбат ба Model 2 як хулосаи қонунӣ ва равшанро дастгирӣ мекунад: Model 1 саҳмҳои aggregate-и бозорро дар ҳамон ҳолати holdout нисбат ба Model 2 наздиктар бозсозӣ кардааст.

Қадаме, ки манбаъ ба он эътироз мекунад, қадами баъдӣ аст. Вақте аз ҳамон натиҷа ба хулосаи “Model 1 интихобҳои инфиродиро дар маълумоти беруна беҳтар пешгӯӣ мекунад” мегузаранд, даъвое васеътар аз сатҳи иҷозатдодаи далел сохта мешавад.

Аз ин рӯ, ибораи “Matching the Shares Does Not Validate the Choices” дар унвони мақола маънои беарзиш будани пешгӯии aggregate-ро надорад. Он ҳудуди байни даъвое, ки як меъёр дастгирӣ мекунад, ва даъвои васеътаре, ки аз он бароварда мешавад, нишон медиҳад.

Чаро overfitting пурра ҳал намешавад?

Азбаски модел чандиртар аст, метавонад чунин намояд, ки дар маълумоти баҳодиҳӣ намунаи рафторро беҳтар ифода мекунад. Он инчунин метавонад саҳми aggregate-и holdout-ро нисбат ба модели дигар беҳтар мутобиқ кунад. Ин натиҷа бо ду шарҳи гуногун мувофиқ аст:

1. Сохтори иловагии модел воқеан рафтори интихоби умумисозишавандаро беҳтар омӯхтааст.
2. Сохтори иловагии модел намунаи дигари пешгӯиро ба вуҷуд овардааст, ки дар сатҳи инфиродӣ дуруст нест, вале миёнааш ба саҳми бозории holdout рост меояд.

Муқоисаи саҳми aggregate ин ду шарҳро фарқ карда наметавонад. Аз ин рӯ, агар ягона санҷиши беруна aggregate-share error бошад, эҳтимоли overfit аз нуқтаи назари даъвои choice-level дар бораи он ки бартарии намоёни модел воқеан берун аз маълумоти estimation гузаштааст, пурра ҳалнашуда мемонад.

Усул ва Натиҷаҳои Таҳқиқот

Масъалаи таҳқиқот

Саволи асосии методологии таҳқиқот ин аст, ки ҳангоми муқоисаи моделҳои интихоби дискретӣ, мутобиқ кардани саҳмҳои бозории holdout бо MAE ё метрикаи монанди хатои aggregate оё воқеан даъвои эътибори берунии пешгӯиро барои интихобҳои инфиродӣ дастгирӣ мекунад ё не.

Равиши таҳқиқот

Таҳқиқот бо иштирокчиёни нав озмоиши афзалият гузаронида намекунад. Ба ҷои ин, муаллиф:

1. функсияи методологии holdout validation-ро муайян мекунад,
2. фарқиятҳои валидацияи инфиродӣ ва aggregate-ро дар адабиёти қаблии choice-model ҷамъ меорад,
3. аз як муқобилмисоли оддии математикӣ истифода мекунад,
4. талафоти маълумотро дар раванди aggregation ба таври формалӣ нишон медиҳад,
5. муҳокима мекунад, ки чаро вазифаҳои бештари holdout ҳалли автоматӣ нестанд,
6. ҳудудҳои даъвои тангтар, вале қонунии валидацияро барои пешгӯии aggregate-и бозор муайян мекунад.

Даъвои асосии манбаъ

Бо баёни худи мақола, қоидаи асосӣ чунин аст:

Aggregate-share MAE наметавонад ҳамчун далели муқоисавии кофии эътибори берунии пешгӯӣ барои интихобҳои инфиродӣ истифода шавад.

Калимаи “кофӣ” дар ин ҷо калидӣ аст. Манбаъ намегӯяд, ки aggregate-share MAE ҳеҷ маълумот намедиҳад. Ин меъёр дар бораи муваффақияти пешгӯии саҳми aggregate-и бозор маълумот медиҳад. Мушкил дар он аст, ки ин маълумоти маҳдуд ба андозае васеъ тафсир мешавад, ки даъвои choice-level external predictive validity-ро ба танҳоӣ асоснок кунад.

Эътибори Берунии Пешгӯии Интихобҳои Инфиродӣ Чӣ Гуна Бояд Санҷида шавад?

Тибқи манбаъ, агар барои пешгӯиҳои интихоби инфиродӣ даъвои эътибори берунии пешгӯӣ сохта шавад, арзёбӣ бояд робитаи байни пешгӯиҳои модел ва интихобҳои воқеӣ дар маълумоти навро, ки модел барои сохтани пешгӯӣ истифода накардааст, нигоҳ дорад. Агар пешгӯиҳо ва интихобҳои воқеӣ пеш аз холгузорӣ ба саҳмҳои aggregate-и ҷудогона кам карда шаванд, ин робита гум мешавад ва санҷиш ба aggregate-share validation-и тангтар табдил меёбад.

Таҳқиқот дар ин ҷо як scoring rule-и ягонаи ҳатмии алтернативиро пешниҳод намекунад. Шарти асосии методологӣ мувофиқати тарҳи арзёбӣ бо prediction target-и иддаошуда аст.

Ба ибораи дигар:

Соҳаи қонунии истифодаи санҷиши саҳми aggregate

Яке аз ҷумлаҳои муҳими ҳудудгузори таҳқиқот ин аст, ки aggregate-share prediction як predictive target-и қонунӣ мебошад. Агар ширкат ё муҳаққиқ воқеан ҳадаф дошта бошад, ки саҳмҳои умумии алтернативаҳоро дар ҳолатҳои муайяни бозор пешгӯӣ кунад, holdout aggregate share comparison метавонад санҷиши мустақиман дахлдор бошад.

Аммо умумисозии ин далел бо доираи ҳолатҳои санҷидашуда маҳдуд аст. Агар валидация танҳо як product configuration ё choice state-ҳои хеле монандро фаро гирад, натиҷаи коршоямӣ барои нархҳо ё шароити рақобати хеле гуногун худкор бароварда намешавад.

Чаро чанд ҳолати маънодори бозор арзишмандтаранд?

Агар истифодаи воқеии модел пешгӯии вокуниш ба тағйироти шароити бозор бошад, маҷмӯи валидация низ бояд ин тағйиротро дар бар гирад. Аз ин рӯ, манбаъ нишон медиҳад, ки “holdout бештар” ва “вариатсияи маънодор бештар” як чиз нестанд.

Ҳамаи понздаҳ вазифаи holdout метавонанд ҳолатҳои хеле монанди бозорро ифода кунанд. Баръакс, шумораи камтар, вале дорои тағйироти маънодор аз лиҳози нарх, хусусият ё сохтори рақиб метавонад дар бораи aggregate response prediction маълумоти мустақимтар диҳад.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

• Aggregate-share MAE метавонад наздикии саҳмҳои aggregate-и бозорро ба маълумоти holdout арзёбӣ кунад.
• Векторҳои гуногуни пешгӯии инфиродӣ метавонанд ҳамон як саҳми aggregate-и бозорро ба вуҷуд оранд.
• Аз ин рӯ, мутобиқати саҳми aggregate ба танҳоӣ эътибори берунии пешгӯиҳои интихоби инфиродиро муайян карда наметавонад.
• Пас аз кам кардани пешгӯиҳо ба саҳми aggregate, истифодаи MSE, RMSE ё метрикаи дигари хато ба ҷои MAE маълумоти инфиродии гумшударо барнамегардонад.
• Такрори ҳамон валидацияи aggregate дар вазифаҳои бештари holdout сатҳи арзёбиро тағйир намедиҳад.
• Агар пешгӯии aggregate-и бозор ҳадафи воқеии таҳқиқот бошад, валидацияи aggregate қонунист.
• Арзиши валидацияи aggregate барои вокуниши васеътари бозор аз он вобаста аст, ки choice state-ҳои санҷидашуда тағйироти маънодори шароитеро, ки баъдан бояд пешгӯӣ шаванд, то чӣ андоза фаро мегиранд.

Натиҷаҳое, ки таҳқиқот дастгирӣ намекунад

• Набояд хулоса кард, ки aggregate-share MAE дар маҷмӯъ метрикаи “бад” ё истифоданашаванда аст.
• Даъво намешавад, ки пешгӯии саҳми aggregate-и бозор аз нигоҳи илмӣ ё тиҷоратӣ беарзиш аст.
• Гуфта намешавад, ки ҳар гуна валидацияи aggregate беэътибор аст.
• Манбаъ барои валидацияи пешгӯии инфиродӣ як метрикаи алтернативии ягона ва ҳатмиро муайян намекунад.
• Даъво намешавад, ки вазифаҳои бештари holdout ҳеҷ гоҳ фоида надоранд; мушкил дар он аст, ки вазифаҳо танҳо дар ҳамон сатҳи aggregate арзёбӣ мешаванд.
• Гуфта намешавад, ки хуб пешгӯӣ кардани саҳмҳои aggregate аз ҷониби Model 1 нодуруст аст; танҳо гуфта мешавад, ки аз ин ба хулосаи choice-level predictive validity гузаштан мумкин нест.
• Мақола ба таври эмпирикӣ нишон намедиҳад, ки модели нав дар кадом шароит мутлақо беҳтарин аст.

Ҷанбаи қавии методологӣ

Ҷанбаи қавии таҳқиқот дар он аст, ки мушкили мураккаби валидацияи моделро ба далели соддаи талафоти маълумот кам мекунад. Мавҷудияти векторҳои гуногуни пешгӯӣ, ки ҳамон як миёнаро медиҳанд, мустақим нишон медиҳад, ки aggregate scoring кадом маълумотро арзёбӣ карда наметавонад.

Илова бар ин, мақола фарзияи “агар омор дар маълумоти нав ҳисоб шуда бошад, он худкор external predictive validity медиҳад”-ро зери суол мегузорад. Мустақилии маълумот ва мувофиқати меъёри арзёбӣ бо ҳадафро ҳамчун шартҳои ҷудогонаи методологӣ баррасӣ мекунад.

Ҳудудҳои фарогирии таҳқиқот

Манбаъ як далели методологии ҳафтсаҳифаӣ буда, симулятсияи нави калонмиқёс, таҳлили Monte Carlo ё муқоисаи воқеии пешгӯии бозорро пешниҳод намекунад. Натиҷаи марказӣ ба мантиқи математикии талафоти маълумот, мисоли содда ва синтези натиҷаҳои ҷудошавии инфиродӣ/aggregate дар адабиёти қаблӣ асос ёфтааст.

Аз ин рӯ, таҳқиқот набояд ҳамчун мета-таҳлиле хонда шавад, ки ҳамаи натиҷаҳои дигари ҳар таҳқиқоти гузашта бо aggregate-share MAE-ро беэътибор эълон мекунад. Танқид ба хулосае равона шудааст, ки меъёри aggregate-и мазкур ҳамчун далели кофӣ барои choice-level comparative external predictive validity истифода мешавад.

Ёддошт оид ба Манбаъ ва Усул

Унвони аслӣ: Matching the Shares Does Not Validate the Choices

Зерунвони аслӣ: Why Matching Holdout Shares Is Not Sufficient Evidence of Predictive Validity

Муаллиф: Jake Lee

Муассиса: Red Analytics, Inc.

Санаи PDF: August 2026

SSRN Date Written: 18 августи 2026

SSRN Posted: 19 августи 2026

Рақами кори SSRN: 7309578

DOI: 10.2139/ssrn.7309578

Навъи манбаъ: Таҳқиқоти методологӣ оид ба моделсозии интихоби дискретӣ ва валидацияи модел / preprint-и SSRN.

Ҳолати баррасии ҳамтоён: Нишон дода нашудааст, ки дар маҷаллаи дорои баррасии ҳамтоён нашр шудааст; бояд ҳамчун preprint арзёбӣ шавад.

Иҷозатнома: Дар metadata-и SSRN Creative Commons Attribution 4.0 International нишон дода шудааст.

Маблағгузорӣ: Тибқи сабти SSRN, таҳқиқот маблағгузории беруна нагирифтааст.

Бархӯрди манфиатҳо: Тибқи сабти SSRN, муаллиф изҳор кардааст, ки манфиатҳои рақобаткунанда/бархӯрдкунанда вуҷуд надоранд.

Этика: Тибқи шарҳи SSRN, азбаски таҳқиқот иштирокчиёни нави инсонӣ, маълумоти шахсии муайяншаванда ё ҷамъоварии нави маълумотро дар бар намегирад, тасдиқи кумитаи ахлоқ талаб нашудааст.

Навъи таҳқиқот: Таҳлили консептуалӣ ва математикии методология; синтези адабиёти қаблии валидацияи интихоби дискретӣ.

Мафҳумҳои марказии пешгӯӣ: holdout validation, out-of-sample prediction, external predictive validity, aggregate-share prediction, individual choice prediction ва mean absolute error.

Механизми асосии математикӣ: Кам кардани пешгӯиҳои инфиродии модел ба пешгӯии aggregate-и \(\bar p\), ва интихобҳои воқеии holdout ба мушоҳидаи aggregate-и \(\bar y\); имкони он ки векторҳои гуногуни пешгӯии инфиродӣ ҳамон қимати \(\bar p\)-ро ҳосил кунанд.

Ҳудуди асосии тафсир: Мақола валидацияи саҳми aggregate-и бозорро рад намекунад. Эътироз ба истифодаи aggregate-share error ҳамчун далели ба танҳоӣ кофии даъвои васеътари external predictive validity барои интихобҳои инфиродӣ равона шудааст.