Aggregate-share mean absolute error (aggregate-share MAE), diskret seçim modelinin proqnozlaşdırdığı ümumi alternativ payları ilə holdout nümunəsində müşahidə olunan ümumi paylar arasındakı orta mütləq fərqi ölçən aqreqatlaşdırılmış xəta metrikidir. Jake Lee-nin tədqiqatı bu metrikin bazar payının proqnozlaşdırılması üçün etibarlı ölçü ola biləcəyini qəbul etməklə yanaşı, fərdi seçimlərin xarici proqnoz etibarlılığını təkbaşına sübut etmək üçün kifayət etmədiyini müdafiə edir. Bunun əsas səbəbi, bir-birindən çox fərqli fərdi seçim ehtimalı nümunələrinin eyni orta bazar payını yarada bilməsidir. Proqnozlar əvvəlcə ortalanıb sonra holdout payları ilə müqayisə edildikdə, modelin hansı fərd üçün hansı seçimi nə dərəcədə düzgün proqnozlaşdırdığı barədə məlumat itir. Buna görə aşağı aggregate-share MAE modelin yeni məlumatda aggregate payları yaxşı yenidən yaratdığını göstərə bilər; lakin bundan avtomatik olaraq modelin fərdi seçim davranışını xarici məlumatda daha yaxşı proqnozlaşdırdığı nəticəsi çıxarıla bilməz.

Tədqiqatın mərkəzindəki nümunə olduqca sadədir. Yüz nəfərlik müstəqil holdout nümunəsində 50 nəfər A-nı, 50 nəfər B-ni seçərsə, müşahidə olunan paylar %50–%50 olar. Model 1 də %50–%50 proqnozlaşdırdıqda aggregate MAE sıfır olur. Model 2 %60–%40 proqnozlaşdırarsa, aggregate MAE 10 faiz bəndidir. Aqreqatlaşdırılmış müqayisəyə görə Model 1 açıq şəkildə qalib gəlir. Lakin Model 1-in %50 A payı proqnozu bütün fərdlərə \(0.50\) ehtimal verməkdən də, fərdlərin yarısına təxminən \(0.90\), digər yarısına isə \(0.10\) verməkdən də yarana bilər. Bu modellər aggregate səviyyədə eyni nəticəni versə də, fərd səviyyəsində tamamilə fərqli seçim strukturlarını təmsil edir.

Müəllifin iddiası yalnız MAE formuluna yönəlmir. Proqnozlar əvvəlcə aggregate paylara endirildikdən sonra tətbiq olunan MAD, MSE, RMSE və ya başqa xəta funksiyası da eyni əsas məlumat itkisi ilə üzləşir. Problem ölçmə formulundan əvvəl baş verir: qiymətləndirmə səviyyəsi fərdi seçimlərdən aggregate ortalamalara endirilmişdir.

Məqalə eyni zamanda mühüm bir sərhəd qoyur. Əgər tədqiqatın real proqnoz hədəfi aggregate bazar payıdırsa, aggregate-share doğrulaması legitimdir. Lakin bu sübut yalnız sınaqdan keçirilən bazar vəziyyətləri və həmin vəziyyətlərdə həqiqətən mövcud olan dəyişmə diapazonu barədə nəticə çıxarmağa imkan verir. Qiymət, məhsul konfiqurasiyası və ya rəqabət şərtləri dəyişdikdə bazar reaksiyasını proqnozlaşdırmaq hədəflənirsə, doğrulama vəziyyətləri belə mənalı dəyişiklikləri əhatə etməlidir.

Holdout doğrulamasının əsas vəzifəsi nədir?

Model təlim və ya qiymətləndirmə parametrlərini yaratmaq üçün istifadə edilən məlumatlara çox yaxşı uyğunlaşa və buna baxmayaraq yeni məlumatlarda daha zəif performans göstərə bilər. Modelin çevikliyi artdıqca proqnoz sistemi yalnız real və ümumiləşdirilə bilən davranış strukturunu deyil, qiymətləndirmə məlumatına məxsus təsadüfi nümunələri də öyrənə bilər. Bu, həddindən artıq uyğunlaşma, yəni overfitting problemidir.

Holdout doğrulamasının əsas funksiyası buna görə yalnız bir xəta metriki istehsal etmək deyil. Holdout, modelin təlim məlumatında görünən üstünlüyünün həqiqətən yeni məlumata daşınıb-daşınmadığını yoxlayan qoruyucu mexanizmdir. Modelin qurulmasında istifadə edilməmiş məlumatlar üzərində görünən üstünlük uğursuz olursa, təlim məlumatındakı üstünlüyün ümumiləşdirilə bilən olduğuna inam zəifləyir.

Mənbə holdout məlumatının ayrıca nümunə bölünməsindən və ya tamamilə ayrıca toplanmış doğrulama nümunəsindən gələ biləcəyini bildirir. Əsas şərt “out-of-sample” kimi təqdim olunan məlumatın doğrulamalı olduğu nəticəni yaratmaq üçün istifadə edilməmiş olmasıdır.

Aggregate-Share MAE Xarici Proqnoz Etibarlılığını Sübut Edirmi?

Xeyr; fərdi seçimlərin xarici proqnoz etibarlılığı iddiası baxımından aggregate-share MAE təkbaşına kifayət deyil. Aggregate-share MAE modelin orta proqnozlaşdırılan payının holdout nümunəsindəki orta reallaşmış paya nə qədər yaxın olduğunu göstərir; lakin eyni aggregate payı yaradan fərqli fərdi proqnoz nümunələrini bir-birindən ayıra bilmədiyi üçün modelin yeni məlumatda seçimləri həqiqətən daha yaxşı proqnozlaşdırıb-proqnozlaşdırmadığını müəyyən edə bilməz.

Bu nəticədə “holdout məlumatının xarici olub-olmaması” ilə “istifadə olunan doğrulama ölçütünün hansı məlumatı yoxladığı” bir-birindən ayrılmalıdır. Nümunə tamamilə müstəqil və xarici ola bilər, lakin model proqnozları əvvəlcə aggregate paya endirilirsə, qiymətləndirmə yenə yalnız aggregate səviyyədə məlumat daşıyır.

Yeni məlumatdan istifadə qiymətləndirmə meyarının itirdiyi fərdi məlumatı geri qaytarmır. Buna görə mənbə yalnız aggregate-share müqayisəsinə əsaslanaraq fərdi seçimlər üçün müqayisəli external predictive validity nəticəsi qurmağı etibarsız çıxarış kimi xarakterizə edir.

Ədəbiyyatdakı əvvəlki xəbərdarlıqlar

Tədqiqat problemi tamamilə yeni kəşf edilmiş hadisə kimi təqdim etmir. Müəllif müxtəlif doğrulama səviyyələrinin fərqli model sıralamaları yarada bildiyini göstərən əvvəlki diskret seçim ədəbiyyatını bir araya gətirir.

• Hagerty-nin 1986-cı il tədqiqatı fərdi seçim proqnozu ilə bazar payı proqnozunun fərqli hədəflər olduğunu və model mürəkkəbliyini fərqli şəkildə mükafatlandıra biləcəyini göstərmişdir.
• Huber və həmkarlarının 1993-cü il araşdırması fərdi proqnoz ilə aggregate-share MAE ölçmələrinin performans sıralamasında fərqli nəticələr verə bildiyini bildirmişdir.
• Allenby, Arora və Ginter 1995-ci ildə aggregate first-choice share ölçülərinin predictive fit sübutu kimi istifadə edilməsində ehtiyatlı olunmalı olduğunu vurğulamışdır.
• Moore, Gray-Lee və Louviere 1998-ci ildə fərdi və aggregate səviyyəli doğrulamalar arasında yalnız zəif uyğunluq tapdıqlarını bildirmişdir.
• Mənbə Sablotny-Wackershauser və həmkarlarının 2024-cü il tədqiqatını aggregate share MAE-nin ayrıca doğrulama nümunəsində istifadə edilməyə davam etdiyinin müasir nümunəsi kimi nəzərdən keçirir.

Jake Lee-nin töhfəsi, müəllifin öz ifadəsinə görə, bu hissələri vahid bir çıxarış qaydası altında birləşdirməkdir: aggregate share performansı ilə choice-level proqnoz performansının fərqlənə biləcəyi artıq məlumdur; buna görə aggregate-share MAE-nin fərdi seçimlər üçün xarici proqnoz etibarlılığının kifayət qədər müqayisəli sübutu sayıla bilməyəcəyi açıq şəkildə bildirilməlidir.

Sadə holdout nümunəsi

Mənbə problemi görünən etmək üçün yüz nəfərdən ibarət sadə ikili seçim nümunəsindən istifadə edir. Holdout nümunəsindəki 100 nəfərin hamısı eyni A/B seçim vəziyyəti ilə qarşılaşır.

Aggregate qiymətləndirməyə görə Model 1 qüsursuz görünür. A və B üçün müşahidə olunan %50–%50 bölgünü eynilə yaradır və aggregate MAE sıfırdır.

Lakin %50 ortalamasının altında hansı fərdi proqnozların olduğu aggregate nəticədən anlaşılmır. Model bütün fərdlər üçün A ehtimalını \(0.50\) proqnozlaşdırmış ola bilər. Başqa bir model əhalinin yarısına \(0.90\), digər yarısına isə \(0.10\) vermiş ola bilər. Hər iki struktur orta hesabla %50 A payına çata bilər.

Deməli, “Model 1 aggregate payları düzgün proqnozlaşdırdı” mülahizəsi ilə “Model 1 fərdlərin seçim davranışlarını düzgün öyrəndi” mülahizəsi eyni deyil.

Aqreqatlaşdırma Proqnoz Məlumatının Hansı Hissəsini İtirir?

Aqreqatlaşdırma modelin hər bir fərd üçün yaratdığı seçim ehtimalı ilə həmin fərdin və ya uyğunlaşdırıla bilən müşahidənin reallaşmış seçimi arasındakı strukturu bir orta göstəriciyə endirir. Eyni orta göstəriciyə malik çoxsaylı fərqli proqnoz vektorları aggregate ölçüt baxımından eyni hala gəldiyi üçün modelin heterogen seçim davranışını düzgün öyrənib-öyrənmədiyi barədə məlumat aggregate pay müqayisəsindən çıxarıla bilməz.

Mənbə ikili seçim vəziyyətində modelin proqnozlaşdırılan aggregate payını belə müəyyən edir:

\[ \bar{p}=\frac{1}{N}\sum_{i=1}^{N}p_i \]

Burada \(p_i\), modelin \(i\)-ci modelləşdirilən şəxs üçün müvafiq alternativə verdiyi seçim ehtimalıdır; \(N\) isə proqnozları aggregate paya çevirmək üçün istifadə olunan model populyasiyasındakı müşahidələrin sayıdır.

Holdout nümunəsində müşahidə olunan reallaşmış seçim payı isə:

\[ \bar{y}=\frac{1}{M}\sum_{k=1}^{M}y_k \]

şəklində ifadə edilir. Burada \(y_k\), holdout nümunəsindəki \(k\)-cı müşahidənin reallaşmış ikili seçim göstəricisidir və \(M\) holdout nümunəsinin ölçüsüdür.

Mənbənin xüsusilə vurğuladığı məqam budur ki, bu iki orta göstəricinin eyni fərdlərin məlumatlarından ibarət olması məcburi deyil. Proqnoz populyasiyası ilə holdout nümunəsi fərqli iştirakçılardan ibarət ola bilər və nümunə ölçüləri də fərqli ola bilər. Aggregate doğrulama yalnız ortaya çıxan orta göstəriciləri müqayisə edir.

Eyni %50 payını yaradan fərqli proqnoz vektorları

Mənbənin verdiyi üç nümunə proqnoz vektoru bunlardır:

\[ (0.5,\;0.5,\;0.5,\;0.5) \]

\[ (0.9,\;0.9,\;0.1,\;0.1) \]

\[ (0.99,\;0.01,\;0.99,\;0.01) \]

Hər üç vektorun arifmetik ortası \(0.50\)-dir. Buna baxmayaraq, təmsil etdikləri seçim strukturları bir-birindən açıq şəkildə fərqlənir.

Holdout yalnız %50 A və %50 B aggregate payı üzrə qiymətləndirilirsə, hər üç proqnoz eyni aggregate balını ala bilər. Aggregate müqayisənin hansı modelin real fərdi seçim strukturuna daha yaxın olduğunu deyə bilməməsinin səbəbi budur.

Problem niyə yalnız MAE deyil?

Mənbə müzakirəyə MAE ilə başlasa da, məntiqin MAE-yə xas olmadığını xüsusi olaraq qeyd edir. Model proqnozları əvvəlcə aggregate paya endirildikdən sonra MAD, MSE, RMSE və ya başqa xəta funksiyasının tətbiqi əsas problemi aradan qaldırmır.

Çünki məlumat itkisi xəta formulu tətbiq edilməzdən əvvəl baş vermişdir. Fərdi \(p_i\) dəyərlərinin hansı reallaşmış seçimlərlə əlaqəli olduğu barədə məlumat tək bir \(\bar p\) dəyərinə endirilmişdir. Sonrakı riyazi əməliyyat itirilmiş bu əlaqəni yenidən yarada bilməz.

Başqa sözlə, problem “MAE yanlış formuladır” deyil. Problem daha geniş choice-level predictive-validity iddiasını qiymətləndirmək məqsədilə aggregate səviyyədə qiymətləndirmə aparılmasıdır.

Daha Çox Holdout Tapşırığından İstifadə Problemi Həll Edirmi?

Hər holdout tapşırığı yenə əvvəlcə aggregate paya endirilirsə, yalnız tapşırıqların sayını artırmaq əsas problemi həll etmir. Beş, on və ya on beş ayrı holdout vəziyyətində aggregate pay xətalarını hesablamaq daha çox aggregate müqayisə yaradır; lakin fərdi proqnozlarla reallaşmış seçimlər arasındakı əlaqə hər tapşırıqda yenə aqreqatlaşdırmadan əvvəl itirsə, bu proses choice-level external predictive validity testinə çevrilmir.

Mənbə burada mühüm ikinci vəziyyəti ayırır. Holdout tapşırıqlarının fərqli qiymətlər, məhsul xüsusiyyətləri və ya rəqabət şərtləri kimi mənalı bazar vəziyyəti dəyişikliklərini ehtiva etdiyi dizayn aggregate bazar reaksiyasının proqnozlaşdırılması baxımından həqiqətən məlumat verə bilər.

Deməli, problem “çoxlu holdout heç bir işə yaramır” deyil. Doğrulama vəziyyətlərinin hansı variasiyanı daşıdığı və tədqiqatçının hansı iddianı yoxlamaq istədiyi həlledicidir.

Bazar vəziyyətindəki dəyişikliyin sınaqdan keçirilməsi

Mənbə bazar vəziyyətinin \(X_0\)-dan \(X_1\)-ə dəyişdiyi nümunəni belə ifadə edir:

\[ X_0 \rightarrow X_1 \]

Müəyyən alternativ üçün modelin proqnozlaşdırdığı pay dəyişikliyi:

\[ \Delta \hat{S} = \hat{S}(X_1)-\hat{S}(X_0) \]

kimi göstərilir.

Faktiki müşahidə olunan pay dəyişikliyi isə:

\[ \Delta S = S(X_1)-S(X_0) \]

şəklindədir.

Model bazar reaksiyasını düzgün izləyirsə, məqsəd qoyulan əlaqə:

\[ \Delta \hat{S}\approx\Delta S \]

şəklində düşünülə bilər.

Müəllif burada pay dəyişikliyinin mütləq ayrıca xəta metriki ilə birbaşa qiymətləndirilməli olduğunu demir. Əsas məqam odur ki, doğrulama dizaynı modelin sonradan proqnozlaşdırması gözlənilən şərtlərdə real variasiyanı ehtiva etməlidir.

Qiymət dəyişikliyinə reaksiya nümunəsi

Məsələn, diskret seçim modeli gələcəkdə qiymət dəyişikliklərinin bazar payına təsirini proqnozlaşdırmaq üçün istifadə ediləcəksə, yalnız eyni və ya çox oxşar qiymət strukturuna malik bir neçə holdout tapşırığında aggregate pay səviyyələrinin düzgün çıxması məhdud məlumat verir.

Daha güclü aggregate doğrulama, fərqli və mənalı qiymət vəziyyətlərində modelin bazar payı hərəkətlərini həqiqətən izləyib-izləyə bilmədiyini yoxlaya bilər. Eyni məntiq məhsul konfiqurasiyası, rəqabət mühiti və ya choice state-in digər mühüm komponentləri üçün də keçərlidir.

Lakin bu yenə aggregate response validation kimi şərh edilməlidir. Fərdi choice prediction haqqında daha geniş iddia qurmaq üçün qiymətləndirmə səviyyəsi buna uyğun olmalıdır.

Holdout məlumatının həqiqətən xarici olması niyə yenə də kifayət deyil?

Müstəqil holdout məlumatından istifadə zəruri metodoloji qorunmadır; lakin mənbənin tezisinə görə təkbaşına kifayət deyil. Doğrulama məlumatının model təlimindən tamamilə ayrı olması, istifadə olunan metrik fərdi choice prediction haqqında zəruri məlumatı qorumursa, bu metriki avtomatik olaraq daha geniş proqnoz etibarlılığı sübutuna çevirmir.

Müəllifin ifadəsinin məntiqi belədir:

• Məlumatın xarici olması overfit nəzarəti üçün zəruri şərtdir.
• Lakin ölçütün modelin hansı iddiasını yoxladığı ayrıca qiymətləndirilməlidir.
• Aggregate-share error yalnız aggregate-share agreement-i birbaşa yoxlayır.
• Choice-level predictive validity isə proqnozlaşdırılan seçimlə reallaşmış seçim arasındakı əlaqənin qorunmasını tələb edir.

Model 1-in aggregate səviyyədə qalib gəlməsi nəyi sübut edir?

Sadə nümunədə Model 1-in Model 2-dən daha aşağı aggregate MAE əldə etməsi legitim və aydın nəticəni dəstəkləyir: Model 1 həmin holdout vəziyyətindəki aggregate bazar paylarını Model 2-dən daha yaxından yenidən yaratmışdır.

Mənbənin etiraz etdiyi addım bundan sonrasıdır. Eyni nəticədən “Model 1 xarici məlumatda fərdi seçimləri daha yaxşı proqnozlaşdırır” nəticəsinə keçildikdə, sübut səviyyəsinin icazə verdiyindən daha geniş iddia qurulmuş olur.

Buna görə məqalənin başlığındakı “Matching the Shares Does Not Validate the Choices” ifadəsi aggregate proqnozun dəyərsiz olduğu demək deyil. Bu ifadə bir ölçütün dəstəklədiyi iddia ilə ondan çıxarılan daha geniş iddia arasındakı sərhədi göstərir.

Həddindən artıq uyğunlaşma niyə tam həll olunmur?

Model daha çevik olduğu üçün qiymətləndirmə məlumatında davranış nümunəsini daha yaxşı təmsil edir kimi görünə bilər. Holdout aggregate payını da digər modeldən daha yaxşı uyğunlaşdıra bilər. Bu nəticə iki fərqli izahla uyğun gəlir:

1. Əlavə model strukturu həqiqətən ümumiləşdirilə bilən seçim davranışını daha yaxşı öyrənmişdir.
2. Əlavə model strukturu fərd səviyyəsində düzgün olmayan, lakin ortalaması holdout bazar payına uyğun gələn başqa proqnoz nümunəsi yaratmışdır.

Aggregate pay müqayisəsi bu iki izahı bir-birindən ayıra bilmir. Buna görə yeganə xarici test aggregate-share error-dursa, modelin görünən üstünlüyünün həqiqətən estimation məlumatından kənara daşındığına dair choice-level iddia baxımından overfit ehtimalı tam həll olunmamış qalır.

Tədqiqatın Metodu və Nəticələri

Tədqiqat problemi

Tədqiqatın əsas metodoloji sualı diskret seçim modellərinin müqayisəsində holdout bazar paylarının MAE və ya bənzər aggregate xəta ölçüsü ilə uyğunlaşdırılmasının fərdi seçimlər üçün xarici proqnoz etibarlılığı iddiasını həqiqətən dəstəkləyib-dəstəkləmədiyidir.

Tədqiqat yanaşması

Tədqiqat yeni iştirakçılar üzərində seçim eksperimenti aparmır. Müəllif bunun əvəzinə:

1. holdout validation-ın metodoloji funksiyasını müəyyənləşdirir,
2. əvvəlki choice-model ədəbiyyatındakı fərdi və aggregate doğrulama fərqlərini bir araya gətirir,
3. sadə riyazi əks-nümunədən istifadə edir,
4. aggregation prosesinin məlumat itkisini formal şəkildə göstərir,
5. daha çox holdout tapşırığının niyə avtomatik həll olmadığını müzakirə edir,
6. aggregate bazar proqnozu üçün daha dar, lakin legitim doğrulama iddiasının sərhədlərini müəyyən edir.

Mənbənin əsas iddiası

Məqalənin öz ifadəsi ilə əsas qayda belədir:

Aggregate-share MAE fərdi seçimlər üçün xarici proqnoz etibarlılığının kifayət qədər müqayisəli sübutu kimi istifadə edilə bilməz.

Buradakı “kifayət qədər” sözü kritikdir. Mənbə aggregate-share MAE-nin heç bir məlumat daşımadığını demir. Ölçüt aggregate bazar payı proqnozunun uğuru haqqında məlumat daşıyır. Problem bu dar məlumatın choice-level external predictive validity iddiasını təkbaşına quracaq qədər geniş şərh edilməsidir.

Fərdi Seçimlərin Xarici Proqnoz Etibarlılığı Necə Sınaqdan Keçirilməlidir?

Mənbəyə görə fərdi seçim proqnozları üçün xarici proqnoz etibarlılığı iddiası qurulacaqsa, qiymətləndirmə modelin proqnozları ilə modelin proqnoz yaratmaq üçün istifadə etmədiyi yeni məlumatda reallaşmış seçimlər arasındakı əlaqəni qorumalıdır. Proqnozlar və reallaşmış seçimlər qiymətləndirmədən əvvəl ayrıca aggregate paylara endirilərsə, bu əlaqə itdiyi üçün test daha dar aggregate-share validation-a çevrilir.

Tədqiqat burada vahid məcburi alternativ scoring rule təklif etmir. Əsas metodoloji şərt qiymətləndirmə dizaynının iddia edilən prediction target ilə uyğun olmasıdır.

Başqa sözlə:

Aggregate pay doğrulamasının legitim istifadə sahəsi

Tədqiqatın mühüm sərhəd cümlələrindən biri aggregate-share prediction-ın legitim predictive target olmasıdır. Müəssisə və ya tədqiqatçı həqiqətən müəyyən bazar vəziyyətlərində ümumi alternativ paylarını proqnozlaşdırmağı hədəfləyirsə, holdout aggregate share comparison birbaşa əlaqəli test ola bilər.

Lakin bu sübutun ümumiləşdirilə bilməsi sınaqdan keçirilən vəziyyətlərin əhatəsi ilə məhdudlaşır. Doğrulama yalnız bir product configuration və ya bir-birinə çox bənzər choice state-ləri əhatə edirsə, çox fərqli qiymət və ya rəqabət şərtlərinə dair performans nəticəsi öz-özünə qurula bilməz.

Bir neçə mənalı bazar vəziyyəti niyə daha dəyərlidir?

Modelin real istifadə sahəsi bazar şərtlərindəki dəyişikliklərə reaksiyanı proqnozlaşdırmaqdırsa, doğrulama dəsti də bu dəyişiklikləri əhatə etməlidir. Mənbə buna görə “daha çox holdout” ilə “daha çox mənalı variasiya” anlayışlarının eyni olmadığını göstərir.

On beş holdout tapşırığının hamısı çox oxşar bazar vəziyyətlərini təmsil edə bilər. Buna qarşılıq sayı daha az, lakin qiymət, xüsusiyyət və ya rəqib strukturu baxımından mənalı dəyişikliklər ehtiva edən vəziyyətlər aggregate response prediction haqqında daha birbaşa məlumat verə bilər.

Tədqiqatın dəstəklədiyi nəticələr

• Aggregate-share MAE aggregate bazar paylarının holdout məlumatına yaxınlığını qiymətləndirə bilər.
• Fərqli fərdi proqnoz vektorları eyni aggregate bazar payını yarada bilər.
• Buna görə aggregate pay uyğunluğu təkbaşına fərdi seçim proqnozlarının xarici etibarlılığını müəyyən edə bilməz.
• Proqnozları aggregate paya endirdikdən sonra MAE əvəzinə MSE, RMSE və ya başqa xəta metriki istifadə etmək itirilmiş fərdi məlumatı geri qaytarmır.
• Eyni aggregate doğrulamanı daha çox holdout tapşırığında təkrarlamaq qiymətləndirmə səviyyəsini dəyişmir.
• Aggregate bazar proqnozu real tədqiqat hədəfidirsə, aggregate doğrulama legitimdir.
• Aggregate doğrulamanın daha geniş bazar reaksiyası baxımından dəyəri sınaqdan keçirilən choice state-lərin sonradan proqnozlaşdırılmaq istənən şərtlərdəki mənalı variasiyanı nə dərəcədə əhatə etməsindən asılıdır.

Tədqiqatın dəstəkləmədiyi nəticələr

• Aggregate-share MAE-nin ümumilikdə “pis” və ya istifadəyə yararsız metrik olduğu nəticəsi çıxarılmamalıdır.
• Aggregate bazar payı proqnozunun elmi və ya kommersiya baxımından dəyərsiz olduğu irəli sürülmür.
• Hər aggregate doğrulamanın etibarsız olduğu deyilmir.
• Mənbə fərdi proqnoz doğrulaması üçün vahid məcburi alternativ metrik müəyyən etmir.
• Daha çox holdout tapşırığının heç vaxt faydalı olmadığı irəli sürülmür; problem tapşırıqların yalnız eyni aggregate səviyyədə qiymətləndirilməsidir.
• Model 1-in aggregate payları yaxşı proqnozlaşdırmasının yanlış olduğu deyilmir; yalnız bundan choice-level predictive validity nəticəsinə keçilə bilməyəcəyi müdafiə edilir.
• Məqalə yeni modelin hansı şərtlərdə mütləq ən yaxşı olduğunu empirik şəkildə göstərmir.

Metodoloji güclü tərəf

Tədqiqatın güclü tərəfi mürəkkəb model doğrulama problemini sadə məlumat-itkisi arqumentinə endirməsidir. Eyni ortanı verən fərqli proqnoz vektorlarının mövcudluğu aggregate scoring-in hansı məlumatı qiymətləndirə bilmədiyini birbaşa görünən edir.

Bundan əlavə, məqalə “statistika yeni məlumatda hesablanıbsa, avtomatik olaraq external predictive validity təmin edir” fərziyyəsini sorğulayır. Məlumatın müstəqilliyi ilə qiymətləndirmə ölçütünün hədəfə uyğunluğunu ayrıca metodoloji şərtlər kimi nəzərdən keçirir.

Tədqiqatın əhatə sərhədləri

Mənbə yeddi səhifəlik metodoloji arqumentdir və yeni genişmiqyaslı simulyasiya, Monte Carlo analizi və ya real bazar proqnozu müqayisəsi təqdim etmir. Mərkəzi nəticə riyazi məlumat itkisi məntiqinə, sadə nümunəyə və əvvəlki ədəbiyyatdakı fərdi/aggregate ayrışma nəticələrinin sintezinə əsaslanır.

Buna görə tədqiqat aggregate-share MAE istifadə edən hər keçmiş işin bütün digər nəticələrini etibarsız elan edən meta-analiz kimi oxunmamalıdır. Tənqid sözügedən aggregate meyarın choice-level comparative external predictive validity üçün kifayət qədər sübut kimi istifadə edildiyi çıxarışa yönəlib.

Mənbə və Metod Qeydi

Orijinal başlıq: Matching the Shares Does Not Validate the Choices

Orijinal alt başlıq: Why Matching Holdout Shares Is Not Sufficient Evidence of Predictive Validity

Müəllif: Jake Lee

Qurum: Red Analytics, Inc.

PDF tarixi: August 2026

SSRN Date Written: 18 avqust 2026

SSRN Posted: 19 avqust 2026

SSRN iş nömrəsi: 7309578

DOI: 10.2139/ssrn.7309578

Mənbə növü: Diskret seçim modelləşdirilməsi və model doğrulaması üzrə metodoloji tədqiqat / SSRN preprinti.

Rəyçilik statusu: Rəyli jurnal nəşri olduğu göstərilmir; preprint kimi qiymətləndirilməlidir.

Lisenziya: SSRN metadata-sında Creative Commons Attribution 4.0 International göstərilir.

Maliyyələşdirmə: SSRN qeydinə görə tədqiqat xarici maliyyə almamışdır.

Maraqlar toqquşması: SSRN qeydinə görə müəllif rəqabət aparan/ziddiyyətli maraqların olmadığını bəyan edir.

Etika: SSRN açıqlamasına görə tədqiqat yeni insan iştirakçıları, müəyyən edilə bilən şəxsi məlumat və ya yeni məlumat toplama ehtiva etmədiyi üçün etik komitə təsdiqi tələb etməmişdir.

Tədqiqat növü: Konseptual və riyazi metodologiya təhlili; əvvəlki diskret seçim doğrulama ədəbiyyatının sintezi.

Mərkəzi proqnoz anlayışları: holdout validation, out-of-sample prediction, external predictive validity, aggregate-share prediction, individual choice prediction və mean absolute error.

Əsas riyazi mexanizm: Fərdi model proqnozlarının \(\bar p\) aggregate proqnozuna, reallaşmış holdout seçimlərinin isə \(\bar y\) aggregate müşahidəyə endirilməsi; fərqli fərdi proqnoz vektorlarının eyni \(\bar p\) dəyərini yarada bilməsi.

Əsas şərh sərhədi: Məqalə aggregate bazar payı doğrulamasını rədd etmir. Etiraz aggregate-share error-ın fərdi seçimlər üçün daha geniş external predictive validity iddiasının təkbaşına kifayət qədər sübutu kimi istifadə edilməsinə yönəlib.