Ин таҳқиқот барои ба таври миқдорӣ чен кардани он ки як пажӯҳиши омӯзиши мошинӣ то чӣ андоза ба такрорпазирии сатҳи R1 омода аст, бидуни аз нав иҷро кардани таҷрибаҳо, чаҳорчӯбаи арзёбии асосёфта ба Қабули Қарорҳои Бисёрмеъёрӣ (Multi-Criteria Decision Making, MCDM)-ро пешниҳод мекунад, ки мақолаи нашршуда ва артефактҳои пажӯҳишии вобаста ба онро арзёбӣ менамояд. Омодагӣ ба такрорпазирии R1 мафҳуми арзёбист, ки нишон медиҳад таҳқиқот то чӣ андоза маълумот, код, модели омӯзонидашуда ва тавзеҳоти методологиро пешниҳод мекунад, то бо ҳамон маълумот, ҳамон код, ҳамон модел ва ҳамон муҳити ҳисоббарорӣ ҳамон натиҷаҳо дубора ба даст оварда шаванд. Чаҳорчӯба ҳафт меъёрро истифода мебарад: дастрасии маълумот, дастрасии код, мавҷудияти README, пешниҳоди модели омӯзонидашуда, тавзеҳи гиперпараметрҳо, тавзеҳи раванди омӯзиш ва хондашавии мақола. Меъёрҳо бо рубрикаи тартибӣ холгузорӣ шуда, ба фосилаи [0,1] нормализатсия мешаванд ва бо истифода аз Модели Ҷамъи Вазндор (Weighted Sum Model, WSM) ва Усули Рутбабандии Афзалият аз рӯи Монандӣ ба Ҳалли Идеалӣ (TOPSIS) ба як холи ягонаи омодагӣ табдил меёбанд.

Дар таҳияи чаҳорчӯба аз ду маҷмӯаи мавҷудаи маълумоти такрорпазирӣ истифода шудааст. Барои арзёбии асосӣ аз маҷмӯаи тозашудаи 215 мақолаи Olszewski ва ҳамкорон бо усули интихоби Cochran бо ислоҳи аҳолии маҳдуд 139 мақола ба таври тасодуфӣ интихоб шуданд. Ҳар мақола аз рӯи ҳафт меъёр аз ҷониби муҳаққиқон ва ChatGPT мустақилона холгузорӣ шуд; миёнаи ду арзёбӣ ҳамчун холи ниҳоии меъёр истифода гардид. Миёнаи Cohen kappa-и вазндор байни арзёбиҳои инсонӣ ва бо дастгирии модел \(\kappa=0.96\) гузориш шудааст.

Дар арзёбии асосӣ, ки вазнҳои баробари меъёрҳо истифода шуданд, WSM ва TOPSIS ҳамон натиҷаи таснифи дуиро доданд. Ҳангоми остонаи қарор 0,5 ва муқоисаи чаҳорчӯба бо тамғаи истинодии такрорпазирӣ, саҳеҳӣ 0,64, precision 0,40, ҳассосият 0,70 ва холи F1 0,51 буд. Ин натиҷаҳо нишон медиҳанд, ки чаҳорчӯба метавонад қисми муҳими мақолаҳои такроршавандаро муайян кунад, аммо баъзе мақолаҳое, ки “омода” менамоянд, метавонанд ҳангоми такрори амалии таҷриба ноком шаванд.

Муҳимтарин маҳдудияти тафсир: Холи бадастомада исбот намекунад, ки таҳқиқот воқеан такрор шудааст. Чаҳорчӯба таҷрибаҳоро иҷро намекунад; он сатҳи омодагии намоёнро дар мақола ва артефактҳои вобаста месанҷад. Вобастагиҳои пинҳонӣ, скриптҳои корношоям, носозгории сахтафзор ё нармафзор, амалиёти ғайридетерминистии GPU ё маълумоте, ки амалан дастрас нестанд, метавонанд ҳатто бо холи баланди омодагӣ такрори воқеиро монеъ шаванд. Илова бар ин, холи пасти омодагӣ маънои паст будани сифати илмӣ, навоварӣ ё таъсири таҳқиқотро надорад.

Чаро такрорпазирӣ дар омӯзиши мошинӣ ба масъалаи алоҳида табдил меёбад?

Дар таҳқиқоти омӯзиши мошинӣ дубора ба даст овардани натиҷаи нашршуда танҳо ба донистани саҳеҳии ниҳоӣ, холи F1 ё қимати талафот дар мақола вобаста нест. Он ки муҳаққиқ кадом маълумотро истифода кардааст, маълумотро чӣ гуна пешкоркард кардааст, тақсимоти омӯзиш ва санҷиш чӣ гуна анҷом дода шудааст, ҷузъиёти меъмории модел, гиперпараметрҳо, манбаъҳои тасодуфият, вобастагиҳои нармафзор ва воқеан иҷрошаванда будани коди омӯзиш низ метавонанд натиҷаро муайян кунанд.

Таҳқиқоти манбаъ таъкид мекунад, ки натиҷаҳои такрорнашаванда аз нигоҳи илмӣ ду мушкили асосӣ ба вуҷуд меоранд. Аввал, санҷиши мустақили иддаоҳои нашршударо душвор мекунанд. Дуюм, агар таҳқиқоти минбаъда бар пояи тасдиқнашуда сохта шаванд, вақт ва захираҳои пажӯҳишӣ метавонанд беҳуда сарф шаванд.

Аз ҷумлаи ташаббусҳои мавҷуда рӯйхатҳои санҷиши такрорпазирӣ, дастурҳои нашр, сиёсати маълумоти кушода ва коди кушода, анборҳои код, контейнерсозӣ ва ҳуҷҷатгузории сохторӣ ҳастанд. Аммо қисми муҳими онҳо арзёбиҳои дуӣ ё сифатии шакли “ҳаст/нест” медиҳанд. Холигие, ки таҳқиқоти манбаъ мехоҳад ҳал кунад, зарурати тавлиди холи тафсиршаванда ва миқдории омодагӣ ба такрорпазирӣ барои як мақолаи алоҳида, ки мувофиқати қисмиро низ ба ҳисоб мегирад мебошад.

Омодагӣ ба такрорпазирии сатҳи R1 чист?

Омодагӣ ба такрорпазирии сатҳи R1 нишон медиҳад, ки як кор то чӣ андоза артефактҳои пажӯҳишӣ ва тавзеҳоти методологиро таъмин мекунад, то бо ҳамон маълумот, ҳамон код, ҳамон модел ва ҳамон муҳити ҳисоббарорӣ ҳамон натиҷаҳо дубора ба даст оварда шаванд; ин таҳқиқот ба ҷойи аз нав иҷро кардани таҷрибаҳои R1, омодагии намоёнро барои чунин такрор тавассути мақола ва артефактҳои вобаста месанҷад.

Фарқи R1, R2 ва R3

Сабаби асосии интихоби R1 он аст, ки он нисбатан осонтар ва объективона арзёбӣ мешавад. R2 ва R3 татбиқҳои мустақил ва маълумот ё моделҳои алтернативиро талаб мекунанд ва бинобар ин дар бисёр ҳолатҳо иҷрои таҷрибаҳои воқеии такрорро зарур мегардонанд. Чаҳорчӯбаи манбаъ бошад барои истифода дар сатҳи мақола, бидуни аз нав иҷро кардани таҷрибаҳо, тарҳрезӣ шудааст.

Манбаъҳои асосии такрорнашавандагӣ

Код ва муҳити ҳисоббарорӣ: Умуман нашр нашудани код, танҳо қисман дастрас будани он ё нишон дода нашудани версияҳои вобастагиҳо метавонад аз нав сохтани ҳамон амалҳоро номумкин созад.

Дастрасии маълумот: Маҷмӯаҳои хусусӣ, пӯшида ё танҳо қисман дастрасшудаи маълумот метавонанд аз нав иҷро кардани таҷрибаро мустақиман маҳдуд кунанд. Шарҳ надодани қадамҳои пешкоркард ё мушкилоти методологӣ, мисли leakage-и маълумот, низ метавонанд фарқи байни натиҷаи аслӣ ва такрорро зиёд кунанд.

Тасодуфият: Агар оғозкунии вазнҳо, намунагирӣ, тартиби mini-batch ва ҷузъҳои дигари стохастикӣ назорат нашаванд, ҳатто ҳамон код метавонад натиҷаҳои гуногун диҳад. Илова бар ин, амалиёти GPU, параллелизм ва фарқиятҳои нуқтаи шинокунанда метавонанд дар баъзе муҳитҳо ба кори пурра детерминистӣ монеъ шаванд.

Гузоришдиҳӣ: Танҳо гузориш кардани таҷрибаҳои муваффақ, равшан нишон надодани оморҳои истифодашуда, пинҳон кардани номуайяниҳо ё нопурра додани ҷузъиёти омӯзиш метавонад бозсозии таҳқиқотро душвор гардонад.

Чаро танҳо рӯйхати санҷиш кофӣ ҳисоб нашудааст?

Бисёр рӯйхатҳои санҷишӣ саволҳои муфиде мисли “код ҳаст?”, “маълумот дастрас аст?” ё “гиперпараметрҳо шарҳ дода шудаанд?” доранд. Аммо ишорагузории дуӣ мувофиқати қисмиро ба таври кофӣ ифода намекунад. Масалан, коре, ки умуман кодро нашр накардааст ва коре, ки кодро нашр кардааст, вале қисме аз он намерасад, метавонанд ба як категорияи “не” афтанд.

Аз ин сабаб таҳқиқот мантиқи холгузории тартибиро истифода мебарад. Бо ин роҳ сатҳҳои “умуман нест”, “қисман ҳаст” ва “ба қадри кофӣ пурра” аз ҷиҳати математикӣ фарқ карда мешаванд.

Чаро MCDM дар ин арзёбӣ истифода мешавад?

Қабули Қарорҳои Бисёрмеъёрӣ (MCDM) истифода мешавад, зеро он имкон медиҳад нишондиҳандаҳои гуногуни такрорпазирӣ — монанди дастрасии маълумот, код, ҳуҷҷатгузорӣ, артефакти модел ва равшании методологӣ — ба як миқёси умумӣ оварда, вазн дода ва ба як холи ягонаи тафсиршаванда табдил дода шаванд; ҳамин сохтор инчунин имкон медиҳад вазнҳои меъёрҳо мувофиқи ҳадафи арзёбӣ тағйир дода шаванд.

Ҳафт меъёри асосии чаҳорчӯба

Ин ҳафт меъёр чӣ гуна интихоб шуданд?

Таҳияи меъёрҳо дар се марҳила анҷом ёфт. Дар марҳилаи аввал адабиёти такрорпазирӣ, рӯйхатҳои санҷишии мавҷуда ва манбаъҳои маълуми такрорнашавандагӣ баррасӣ шуданд. Ин марҳила фарогирии артефактҳои иҷрошаванда, мисли маълумот, код, модели омӯзонидашуда ва README, инчунин ҷузъҳои шаффофияти методологӣ, монанди раванди омӯзиш ва равшании гиперпараметрҳоро таъмин кард.

Дар марҳилаи дуюм дар ду маҷмӯаи мавҷудаи маълумот бо истифода аз регрессияи логистикӣ, Random Forest ва XGBoost омилҳои вобаста ба тамғаи такрорпазирӣ санҷида шуданд. Ин моделҳо ҳамчун “довар”-и автоматӣ ва қатъӣ барои интихоби меъёрҳо истифода нашуданд; онҳо далели эмпирикии дастгиркунандаи интихоби назариявиро фароҳам оварданд.

Дар марҳилаи сеюм далелҳои назариявӣ ва эмпирикӣ якҷо шуда, маҷмӯаи фишурдаи ҳафт меъёр сохта шуд, ки онҳоро аз мақола ва артефактҳои вобаста бидуни иҷрои таҷриба арзёбӣ кардан мумкин аст.

Чаҳорчӯба чиро берун аз доира мегузорад?

Ҳафт меъёр фарогир бошанд ҳам, рӯйхати ниҳоӣ нестанд. Мавҷудияти санҷишҳои автоматӣ, мувофиқати иҷозатномаҳои нармафзор, ҳуҷҷатгузории сохтории маълумот мисли data card, назорати тасодуфият, детерминизми сахтафзор/нармафзор ва leakage-и арзёбӣ ҳамчун меъёрҳои мустақил ба модел дохил нашудаанд.

Баъзе аз ин омилҳо метавонанд тавассути тавзеҳи омӯзиш ё сифати ҳуҷҷатгузорӣ ғайримустақим фаро гирифта шаванд; аммо таҳқиқоти манбаъ иддао намекунад, ки онҳо пурра намояндагӣ шудаанд.

Усул ва Натиҷаҳои Таҳқиқот

Ду манбаи маълумоти истифодашуда

Тозакунии маълумот

Дар маҷмӯаи маълумоти Olszewski сабтҳои нопурра ва аз ҷиҳати таҳлилӣ камарзиш хориҷ карда шуданд. Қиматҳои категориявии гумшуда ба таври сунъӣ пур нашуданд; сатрҳои дахлдор хориҷ шуда, маълумоти 745 мақола ба 292 мақола коҳиш ёфт. Майдонҳое мисли унвон, муаллиф, идентификаторҳои макони нашр ва пайвандҳо, ки ба арзёбии умумии меъёрҳо саҳм намегузоштанд, инчунин тағйирёбандаҳои нолозим ё сирф матнӣ хориҷ шуданд. Ҳашт хусусияти такрорпазирӣ нигоҳ дошта шуд.

Сипас тамғаи такрорпазирӣ танҳо ба мақолаҳое маҳдуд шуд, ки “комилан такроршаванда” ё “такрорнашаванда” тамғагузорӣ шуда буданд ва маҷмӯаи ниҳоии тозашуда аз 215 мақола иборат гардид.

Дар маҷмӯаи Raff як қимати гумшуда ислоҳ ва як хусусияти хеле камёб хориҷ карда шуд. Пас аз хориҷ кардани тағйирёбандаҳои марбут ба макони нашр ва мавзӯъ, 20 хусусият нигоҳ дошта шуд. Тағйирёбандаҳои категориявӣ ба нишондиҳандаҳои дуӣ табдил ёфтанд. Дар регрессияи логистикӣ хусусиятҳои ададӣ барои муқоисаи коэффициентҳо бо усули min–max ба фосилаи [0,1] миқёсбандӣ шуданд, дар моделҳои дарахтӣ бошад тағйирёбандаҳои ададӣ бе миқёсбандӣ истифода шуданд.

Скрининги эмпирикии меъёрҳо

Ду маҷмӯаи маълумот алоҳида моделсозӣ шуданд. Регрессияи логистикӣ ҳамчун модели ибтидоии тафсиршаванда, Random Forest ва XGBoost бошад барои дарёфти робитаҳои ғайрихаттӣ ва ҳамтаъсирии хусусиятҳо истифода шуданд. Дар ҳар ду маҷмӯаи маълумот тақсимоти омӯзиш/санҷиш %80/%20 буд.

Номувозинатии синфҳо барои Random Forest бо вазнҳои мувозинатшудаи синф ва барои XGBoost бо параметри scale_pos_weight идора шуд.

Муодила (1): аҳамияти хусусият дар XGBoost бар асоси gain

\[ \mathrm{Imp}(j) = \sum_{\text{j özelliğini kullanan bölünmeler}} \Delta L_{\mathrm{split}} \]

1. Формула чиро ҳисоб мекунад? Дар дарахтҳои қарорҳои XGBoost беҳбудии умумиро дар функсияи ҳадаф/талафот ҳисоб мекунад, ки аз тақсимҳое ҳосил шудааст, ки хусусияти муайяни \(j\)-ро истифода мебаранд.

2. Тағйирёбандаҳо кадоманд? \(\mathrm{Imp}(j)\) аҳамияти хусусияти \(j\) мебошад. \(\Delta L_{\mathrm{split}}\) коҳиши талафотест, ки як тақсими мушаххаси дарахт бо истифода аз ҳамон хусусият дар функсияи ҳадаф медиҳад.

3. Воҳидҳо кадоманд? Ин ченаки физикӣ нест. Қимати хом як бузургии алгоритмии аҳамият аст, ки ба беҳбудӣ дар функсияи ҳадафи XGBoost вобаста мебошад. Дар таҳқиқот қиматҳои аҳамият баъдан барои муқоиса бо min–max нормализатсия шуданд.

4. Нақши математикӣ чист? Як хусусият метавонад дар чанд дарахт ва чанд тақсим истифода шавад. Формула ҳамаи коҳишҳои талафотро, ки он хусусият додааст, ҷамъ мекунад.

5. Маънои алгоритмӣ чист? \(\mathrm{Imp}(j)\)-и калон нишон медиҳад, ки модел ҳангоми ҷудо кардани синфи такрорпазирӣ он хусусиятро муфид ёфтааст.

6. Дар кадом шарт эътибор дорад? Ин аҳамият ба дарахтҳои сохтаи XGBoost, маҷмӯаи маълумот ва тартиби омӯзиш вобаста аст; он таъсири сабабӣ нест.

7. Натиҷа чӣ гуна бояд тафсир шавад? Аҳамияти баланди хусусият худ аз худ исбот намекунад, ки омили дахлдор шарти ҳатмии назариявии такрорпазирӣ аст. Таҳқиқоти манбаъ ин қиматҳоро на ҳамчун остонаи қатъии интихоби меъёр, балки ҳамчун далели дастгиркунанда дар якҷоягӣ бо таҳлили назариявӣ арзёбӣ кардааст.

Муодила (2): таъсири миёнаи пешгӯии хусусияти дуӣ

\[ \Delta_j = \frac{1}{N} \sum_{i=1}^{N} \left[ P\left( y=1 \mid x_j^{(i)}=1,\, x_{-j}^{(i)} \right) - P\left( y=1 \mid x_j^{(i)}=0,\, x_{-j}^{(i)} \right) \right] \]

1. Формула чиро ҳисоб мекунад? Ҳисоб мекунад, ки иваз кардани як хусусияти дуӣ аз 0 ба 1, ҳангоми собит нигоҳ доштани ҳамаи хусусиятҳои дигар, эҳтимоли пешгӯии модели синфи “такроршаванда”-ро ба ҳисоби миёна чӣ қадар тағйир медиҳад.

2. Тағйирёбандаҳо кадоманд? \(N\) шумораи мақолаҳост. \(y=1\) синфи такроршавандаро нишон медиҳад. \(x_j^{(i)}\) хусусияти \(i\)-и баррасишаванда дар мақолаи \(j\) аст. \(x_{-j}^{(i)}\) ҳамаи хусусиятҳои дигари ҳамон мақола мебошанд.

3. Воҳидҳо кадоманд? \(\Delta_j\) дар миқёси фарқи эҳтимол аст ва воҳиди физикӣ надорад.

4. Нақши математикӣ чист? Ҳар мақола ду бор арзёбӣ мешавад: хусусияти дахлдор ба таври фарзӣ 1 ва 0 гузошта мешавад. Фарқи байни ду пешгӯӣ барои ҳамаи мақолаҳо миёнагирӣ мешавад.

5. Маънои алгоритмӣ чист? \(\Delta_j\)-и мусбат нишон медиҳад, ки мавҷудияти хусусият бо ҳаракати пешгӯии модел ба сӯи синфи такроршаванда вобаста аст; қимати манфӣ тағйири пешгӯиро ба самти баръакс нишон медиҳад.

6. Дар кадом шартҳо эътибор дорад? Ин қимат рафтори модели омӯзонидашудаи пешгӯиро шарҳ медиҳад. Таъсири сабабии хусусиятҳоро дар ҷаҳони воқеӣ исбот намекунад.

7. Натиҷа чӣ гуна бояд тафсир шавад? Таъсири хусусият барои тафсири робитае истифода шудааст, ки XGBoost дар маҷмӯаи муайяни маълумот омӯхтааст ва интихоби меъёрҳо дар якҷоягӣ бо донишҳои назариявии такрорпазирӣ анҷом шудааст.

Рубрикаи тартибии интихобшуда

Муодила (3): нормализатсияи холи тартибӣ ба фосилаи [0,1]

\[ x_k = \frac{s_k}{L_k}, \qquad x_k\in[0,1] \]

1. Формула чиро ҳисоб мекунад? Холҳои меъёрҳои дорои сатҳҳои максималии гуногунро ба миқёси умумии [0,1] табдил медиҳад.

2. Тағйирёбандаҳо кадоманд? \(s_k\) холи тартибии таъиншуда барои меъёри \(k\) мебошад. \(L_k\) баландтарин сатҳи тартибии имконпазири ҳамон меъёр аст. \(x_k\) қимати нормализатсияшудаи меъёр мебошад.

3. Воҳидҳо кадоманд? \(x_k\) бевоҳид аст.

4. Нақши математикӣ чист? Масалан, дастрасии маълумотро, ки сатҳи максималии 3 дорад, бо меъёри модели омӯзонидашуда, ки сатҳи максималии 1 дорад, дар як фосилаи ададӣ муқоисашаванда мегардонад.

5. Маънои алгоритмӣ чист? \(x_k=0\) нишон медиҳад, ки меъёр дар сатҳи пасттарин; \(x_k=1\) бошад дар баландтарин сатҳи муайяншудаи омодагӣ қарор дорад.

6. Фарз чист? Нормализатсияи хаттӣ фарз мекунад, ки фарқ байни сатҳҳои тартибии ҳамсоя қадамҳои баробар мебошанд. Таҳқиқоти манбаъ ошкоро эътироф мекунад, ки ин содда ва шаффоф аст, аммо афзоиши фоидаи воқеӣ ҳатман хаттӣ нест.

7. Натиҷа чӣ гуна бояд тафсир шавад? Масалан, агар \(s_k=2\) ва \(L_k=3\) бошад:

\[ x_k=\frac{2}{3}\approx0.667 \]

Ин қимат маънои “66,7% воқеан такроршаванда” надорад; танҳо дараҷаи мувофиқати нормализатсияшуда нисбат ба сатҳи максималии тартибӣ дар он меъёр аст.

Андозаи намуна ва аннотатсия

Ҳангоми гирифтани намуна аз маҷмӯаи тозашудаи 215 мақолаи Olszewski таҳқиқоти манбаъ аз усули Cochran бо ислоҳи аҳолии маҳдуд истифода кардааст. Бо %95 сатҳи эътимод, p=0,5 ҳамчун таносуби эҳтиёткоронаи аҳолӣ ва %5 ҳадди хато, андозаи намуна 139 мақола ҳисоб шудааст.

Мақолаи манбаъ муодилаи алгебравии ҳисоби Cochran-ро ҳамчун формулаи рақамгузоришуда пешниҳод намекунад. Аз ин рӯ, дар ин ҷо муодилаи алоҳидаи Cochran, ки дар манбаъ нест, илова нашудааст.

139 мақола аз рӯи ҳамаи ҳафт меъёр ҳам аз ҷониби муаллифони таҳқиқот ва ҳам аз ҷониби ChatGPT мустақилона холгузорӣ шуданд.

Муодила (4): якҷо кардани ду аннотатсия

\[ S_{\mathrm{final}} = \frac{ A_{\mathrm{study}} + A_{\mathrm{ChatGPT}} }{2} \]

1. Формула чиро ҳисоб мекунад? Бо гирифтани миёнаи арифметикии аннотатсияи муҳаққиқ ва аннотатсияи ChatGPT холи ниҳоии меъёрро тавлид мекунад.

2. Тағйирёбандаҳо кадоманд? \(A_{\mathrm{study}}\) холи меъёри дастаи таҳқиқот; \(A_{\mathrm{ChatGPT}}\) холи меъёри додаи модел аст.

3. Воҳидҳо кадоманд? Қимат дар миқёси холи тартибии меъёри дахлдор мебошад.

4. Нақши математикӣ чист? Ду арзёбанда бо вазни баробар якҷо мешаванд.

5. Маънои алгоритмӣ чист? Ин амали оддии ҳамгироӣ аст, ки пешгирӣ мекунад холи ниҳоӣ танҳо ба арзёбии инсон ё танҳо LLM такя кунад.

6. Шарт чист? Ҳар ду аннотатсия бояд барои ҳамон меъёр ва ҳамон рубрикаи тартибӣ анҷом дода шаванд.

7. Натиҷа чӣ гуна бояд тафсир шавад? Мувофиқати умумии хеле баланд байни ду аннотатсия гузориш шудааст: миёнаи Cohen kappa-и вазндор \(\kappa=0.96\). Бо вуҷуди ин, дар меъёрҳои нисбатан субъективӣ, мисли хондашавӣ, мувофиқат камтар аст ва таҳқиқот танҳо шумораи маҳдуди аннотатсиягаронро истифода кардааст.

Ҳисоб кардани холи MCDM

Пас аз нормализатсия ҳар меъёр дар фосилаи \(x_i\in[0,1]\) қарор дорад. Таҳқиқот ду усули алоҳида ва тафсиршавандаи агрегатсияи MCDM-ро истифода мебарад: WSM ва TOPSIS.

Фарқи асосии WSM ва TOPSIS чист?

WSM холҳои меъёрҳоро ҳамчун ҷамъи хаттии вазндор муттаҳид мекунад, дар ҳоле ки TOPSIS масофаи профили меъёрҳои ҳар мақоларо то профили идеалӣ, ки ҳамаи меъёрҳо беҳтаринанд, ва профили зиддиидеалӣ, ки ҳамаи меъёрҳо бадтаринанд, месанҷад; бинобар ин ҳатто бо вазнҳои якхела ду усул метавонанд ба таркибҳои меъёрҳои қавӣ ва заиф гуногун вокуниш нишон диҳанд.

Муодила (5): Модели Ҷамъи Вазндор — WSM

\[ S = \sum_{i=1}^{n}w_i x_i, \qquad \sum_{i=1}^{n}w_i=1 \]

1. Формула чиро ҳисоб мекунад? Бо гирифтани миёнаи вазндори ҳамаи меъёрҳои нормализатсияшуда як холи ягонаи омодагӣ ба такрорпазириро тавлид мекунад.

2. Тағйирёбандаҳо кадоманд? \(x_i\) холи нормализатсияшудаи меъёри \(i\); \(w_i\) вазни меъёр; \(n\) шумораи меъёрҳост. Дар ин таҳқиқот \(n=7\). \(S\) холи ниҳоии WSM мебошад.

3. Воҳидҳо кадоманд? Ҳама қиматҳо бевоҳиданд ва \(S\in[0,1]\) мебошад.

4. Нақши математикӣ чист? Ҳар меъёр ба вазни аҳамияти худ зарб ва ҳафт саҳм ҷамъ карда мешавад.

5. Маънои алгоритмӣ чист? Натиҷаи хуб дар меъёрҳои дорои вазни бештар ба холи ниҳоӣ саҳми бештар медиҳад.

6. Фарзи асосӣ чист? WSM истиқлолияти ҷамъшавандаро байни меъёрҳо фарз мекунад. Яъне натиҷаи хуб дар як меъёр метавонад заъфи меъёри дигарро аз ҷиҳати математикӣ ҷуброн кунад.

7. Натиҷа чӣ гуна бояд тафсир шавад? Таҳқиқоти манбаъ қайд мекунад, ки ин фарз метавонад мантиқи воқеии такрорпазириро пурра инъикос накунад. Масалан, агар код ё маълумот комилан вуҷуд надошта бошад, қавӣ будани дигар меъёрҳо шояд такрори воқеиро имконпазир насозад. Аз ин рӯ WSM холи шаффофи тахминӣ медиҳад; вобастагиҳои ҳатмии байни меъёрҳоро пурра моделсозӣ намекунад.

Муодила (6): профилҳои идеалӣ ва зиддиидеалии TOPSIS

\[ v_j^{+}=1, \qquad v_j^{-}=0 \]

1. Формула чиро муайян мекунад? Қиматҳои истинодии идеалӣ ва зиддиидеалии ҳар меъёрро барои TOPSIS муайян мекунад.

2. Тағйирёбандаҳо кадоманд? \(v_j^{+}\) қимати идеалии меъёри \(j\); \(v_j^{-}\) қимати зиддиидеалӣ мебошад.

3. Воҳидҳо кадоманд? Қиматҳои бевоҳид дар миқёси нормализатсияшудаи [0,1].

4. Нақши математикӣ чист? Профили назариявӣ, ки дар ҳамаи меъёрҳо 1 мегирад, истиноди омодагии комил; профиле, ки дар ҳамаи меъёрҳо 0 мегирад, бадтарин истинод мебошад.

5. Маънои алгоритмӣ чист? Профили холҳои мақолаи воқеӣ нисбат ба ин ду истинод ҷойгир карда мешавад.

6. Шарт чист? Ҳама меъёрҳо бояд дар самти “қимати баландтар беҳтар” нормализатсия шуда бошанд.

7. Натиҷа чӣ гуна бояд тафсир шавад? Нуқтаи идеалӣ ҳатман мақолаи воқеӣ нест; он истиноди математикӣ барои муқоиса мебошад.

Муодила (7): масофа то профили идеалӣ ва зиддиидеалӣ

\[ D_i^{+} = \sqrt{ \sum_{j=1}^{n} w_j \left( v_{ij}-v_j^{+} \right)^2 } \]

\[ D_i^{-} = \sqrt{ \sum_{j=1}^{n} w_j \left( v_{ij}-v_j^{-} \right)^2 } \]

1. Формула чиро ҳисоб мекунад? Масофаи вазндори Евклидии профили меъёрҳои мақолаи \(i\)-ро то профилҳои идеалӣ ва зиддиидеалӣ ҳисоб мекунад.

2. Тағйирёбандаҳо кадоманд? \(v_{ij}\) қимати нормализатсияшудаи мақолаи \(i\) дар меъёри \(j\) мебошад. \(w_j\) вазни меъёр аст. \(v_j^{+}\) ва \(v_j^{-}\) қиматҳои идеалӣ ва зиддиидеалӣ мебошанд.

3. Воҳидҳо кадоманд? Масофаҳои бевоҳид дар фазои нормализатсияшудаи меъёрҳо.

4. Нақши математикӣ чист? Фарқи истинодӣ дар ҳар меъёр квадрат шуда, ба вазн зарб мешавад ва решаи квадратии ҷамъи онҳо гирифта мешавад.

5. Маънои алгоритмӣ чист? \(D_i^{+}\)-и хурд нишон медиҳад, ки мақола ба профили идеалӣ наздик аст; \(D_i^{-}\)-и калон нишон медиҳад, ки он аз бадтарин профил дур аст.

6. Шарт чист? Меъёрҳо бояд дар ҳамон фазои нормализатсияшуда бошанд ва вазнҳо афзалиятҳои модели қарорро ифода кунанд.

7. Натиҷа чӣ гуна бояд тафсир шавад? Яке аз масофаҳо танҳо кофӣ нест; TOPSIS ҳар дуи онҳоро бо Муодилаи (8) ба наздикии нисбӣ табдил медиҳад.

Муодила (8): холи наздикии нисбии TOPSIS

\[ C_i = \frac{D_i^{-}} {D_i^{+}+D_i^{-}} \]

1. Формула чиро ҳисоб мекунад? Наздикии нисбии мақолаи \(i\)-ро ба профили идеалӣ ҳисоб мекунад.

2. Тағйирёбандаҳо кадоманд? \(D_i^{+}\) масофа то ҳалли идеалӣ, \(D_i^{-}\) масофа то ҳалли зиддиидеалӣ мебошад.

3. Воҳидҳо кадоманд? \(C_i\) бевоҳид аст ва дар фосилаи \(0\leq C_i\leq1\) қарор дорад.

4. Нақши математикӣ чист? Масофа аз зиддиидеалро ба ҷамъи ду масофа нисбат медиҳад ва як адад ҳосил мекунад.

5. Маънои алгоритмӣ чист? Ҳар қадар \(C_i\) калон шавад, мақола ба профили идеалии омодагӣ ба такрорпазирӣ наздиктар мешавад.

6. Шарт чист? Масофаҳо бояд дар ҳамон фазои меъёрҳо ва бо ҳамон вазнҳо ҳисоб шаванд.

7. Натиҷа чӣ гуна бояд тафсир шавад? \(C_i=0.8\) маънои “кор бо эҳтимоли 80% такрор мешавад” надорад. Хол наздикии нисбиро ба профили идеалӣ дар доираи ҳафт меъёр ва низоми вазнҳои муайяншуда нишон медиҳад.

Арзёбии асосӣ: вазнҳои баробар

Дар арзёбии асосӣ ҳар яке аз ҳафт меъёр вазни баробар гирифт. Бо ин роҳ аз он пешгирӣ шуд, ки натиҷаҳо бо афзалиятҳои субъективии як қароргирандаи муайян идора шаванд ва рафтори асосии рубрика ва низоми меъёрҳо баррасӣ гардид.

Холҳои WSM ва TOPSIS дар фосилаи [0,1] мебошанд. Таҳқиқоти манбаъ остонаҳои қарор аз 0 то 1-ро бо қадамҳои 0,1 дастӣ санҷида, гузориш кардааст, ки остонаи 0,5 миёни саҳеҳӣ, precision ва ҳассосият натиҷаи мутавозинтаринро медиҳад.

Натиҷаҳо нисбат ба тамғаи истинодӣ

Дар намунаи 139 мақола тақсимоти тамғаи истинодӣ номувозин аст: 102 манфӣ ва 37 мусбат мақола мавҷуд аст.

Ҳассосияти 0,70 нишон медиҳад, ки қисми муҳими мақолаҳое, ки дар маҷмӯаи истинодӣ такроршаванда тамғагузорӣ шудаанд, аз ҷониби чаҳорчӯбаи омодагӣ низ муайян шудаанд. Precision-и 0,40 бошад нишон медиҳад, ки қисми назарраси мақолаҳои “омода” таснифшуда дар тамғаи истинодӣ такрорнашаванда мебошанд.

Манбаъ ин фарқро танҳо ҳамчун нокомии чаҳорчӯба тафсир намекунад. Чаҳорчӯба омодагии намоёни код, маълумот ва тавзеҳотро месанҷад, дар ҳоле ки тамғаи истинодӣ натиҷаи амалии такрорро ифода мекунад. Монеаи нонамоён, мисли мушкили муҳит ё татбиқи нопурра, метавонад боис шавад мақола ҳарчанд дар рӯи коғаз омода менамояд, ҳангоми иҷро ноком гардад.

Муқоиса бо қоидаҳои соддаи артефакт

Қоидаи “Код Ё маълумот” бо 0,86 ҳассосияти баландтаринро медиҳад, аммо аз сабаби precision-и паст шумораи зиёди мусбатҳои бардурӯғ ҳосил мекунад. Равиши ҳафтмеъёрии MCDM ба баландтарин холи F1 расида, натиҷаи мутавозинтар медиҳад.

Се сенарияи вазнгузорӣ бо AHP

Таҳқиқоти манбаъ Раванди Иерархияи Таҳлилиро (Analytic Hierarchy Process, AHP) ҳамчун роҳи амалии ҳосил кардани вазни меъёрҳо вобаста ба контекст нишон додааст. Муқоисаҳои меъёрҳо бо миқёси 1–9-и Saaty сохта шуданд, матритсаҳои муқоиса нормализатсия шуданд ва мутобиқат бо Consistency Ratio (CR) санҷида шуд.

Манбаъ дар ин бахш барои AHP муодилаи алоҳидаи рақамгузоришуда намедиҳад. Аз ин рӯ, дар ин ҷо формулаи AHP, ки дар манбаъ нест, сохта нашудааст.

Дар ҳар се сенария \(\lambda_{\max}=7.0\) ва \(CR=0.0\) гузориш шудааст. Вазнҳои истифодашуда афзалиятҳои ҷамъоваришуда аз гурӯҳи воқеии ҷонибҳои манфиатдор нестанд; онҳо сенарияҳои намунавӣ ҳастанд, ки барои нишон додани он сохта шудаанд, ки ҳадафҳои гуногуни қарор холи ниҳоиро чӣ гуна тағйир медиҳанд.

Таъсири тағйири вазн дар даҳ мақолаи намунавӣ

Дар сенарияи S2, ки вазни маълумот ва код зиёд карда шудааст, холҳои WSM-и мақолаҳои 6, 8 ва 10, ки мубодилаи артефактҳояшон қавӣ аст, боло рафт. Баръакс, холи WSM-и мақолаи 1 аз 0,286 ба 0,207 поён рафт.

Дар сенарияи S3, ки тавзеҳи омӯзиш ва хондашавӣ авлавият дода шудаанд, холҳои WSM-и мақолаҳои 1, 3, 6, 7 ва 9 нисбат ба S1 афзоиш ёфтанд. Ҳамин тавр равшан мешавад, ки вазнҳо танҳо ҷузъиёти техникӣ нестанд, балки интихоби моделсозие мебошанд, ки ҳадафи арзёбиро мустақиман ифода мекунанд.

Таҳлили ҳассосият ва устувории Monte Carlo

Барои санҷидани он ки вазнҳои AHP ба номуайяниҳои хурд то чӣ андоза ҳассосанд, вазни ҳар меъёр мустақилона дар атрофи ±%20-и қимати ибтидоӣ тағйир дода шуд ва сипас ҳамаи вазнҳо дубора нормализатсия шуданд, то ҷамъашон 1 гардад.

Барои ҳар сенария 500 вектори гуногуни вазни perturbation-шуда сохта шуд ва бо ҳар вектор ҳам WSM ва ҳам TOPSIS аз нав ҳисоб гардид. Натиҷаҳо бо миёна ва фосилаҳои 5–95-персентил арзёбӣ шуданд.

WSM нисбат ба TOPSIS ба тағйири вазнҳо вариатсияи камтар нишон дод. Сохтори масофавии TOPSIS метавонад ба тағйироти вазни меъёрҳо ҳассостар бошад. Бо вуҷуди ин, дар ҳар ду усул тағйироти мушоҳидашуда нисбат ба тамоми фосилаи холи [0,1] маҳдуд боқӣ монд.

Қисми зиёди рутбаҳои мақолаҳо дар perturbation-ҳо нигоҳ дошта шуданд. Тафовутҳои назаррастар дар рутбабандӣ бештар аз тағйири огоҳонаи авлавиятҳои қарор байни S1–S2–S3 сар заданд, на аз тағйироти хурди тасодуфии вазн.

Замимаи A: натиҷаҳои регрессияи логистикӣ

Қимати pseudo \(R^2\)-и модел 0,054 аст ва тавоноии тавзеҳдиҳӣ маҳдуд мебошад. Ин таҳлил бештар барои тафсиршавӣ истифода шудааст, на барои муваффақияти пешгӯӣ.

Барои модели логистикии маҷмӯаи Raff pseudo \(R^2=0.33\) гузориш шудааст. Хондашавӣ ва нишон додани гиперпараметрҳо бо синфи такроршаванда робитаи мусбат, мушкилии алгоритми истифодашуда бошад робитаи манфӣ нишон додааст.

Замимаи A: фаъолияти скрининги Random Forest ва XGBoost

Дар маҷмӯаи Olszewski XGBoost нисбат ба Random Forest беҳбудии хурд дод, дар маҷмӯаи Raff бошад ҳар ду модели дарахтӣ натиҷаҳои қавитар нишон доданд. Бо вуҷуди ин, вазифаи асосии ин моделҳо сохтани таснифгари ниҳоии такрорпазирӣ набуд, балки муайян кардани омилҳое буд, ки ҳосил кардани меъёрҳоро дастгирӣ мекунанд.

Аҳамияти хусусиятҳои XGBoost

Дар маҷмӯаи Olszewski README ва дастрасии маълумот баландтарин аҳамияти нормализатсияшударо доранд. Дар таҳлили таъсири хусусият, таъсири пешгӯии README ба синфи такроршаванда +0,300, модели омӯзонидашуда +0,190 ва дастрасии маълумот +0,108 буд.

Дар маҷмӯаи Raff хусусияти бартаридошта хондашавии мақола буд ва аҳамияти нормализатсияшудааш 0,288 мебошад. Дастрасии маълумот 0,062; шумораи расмҳои консептуализатсионӣ 0,056; нишон додани гиперпараметрҳо 0,051; шумораи ҷадвалу расмҳо 0,048; дастрасии код 0,043 мебошад. Қимати таъсири хондашавӣ ба синфи такроршаванда +0,6198 гузориш шудааст.

Паёми асосии илмии таҳқиқот

Коҳиш додани такрорпазирӣ ба як саволи “код ҳаст?” кофӣ нест. Раванди воқеии такрор метавонад талаб кунад, ки маълумот, код, модели омӯзонидашуда, дастури иҷро, гиперпараметрҳо, ҷузъиёти омӯзиш ва баёни метод ҳама якҷоя кофӣ бошанд. Равиши MCDM кӯшиш мекунад ин сохтори бисёрченака дар як адад ҷамъбаст шавад.

Бо вуҷуди ин, як адад барои ҳар контекст мутлақ нест. Кумитаи арзёбии артефакт, ки мубодилаи маълумот ва кодро авлавият медиҳад, ва рецензенте, ки дар соҳаи дорои маълумоти ҳассос шаффофияти методологиро авлавият медиҳад, маҷбур нестанд вазнҳои якхелаи меъёрҳоро истифода баранд. Ҳадафи сенарияҳои AHP маҳз намоён кардани ҳамин фарқи контекстӣ мебошад.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

Таҳқиқоти манбаъ нишон медиҳад, ки холгузории тартибии ҳафт меъёр, нормализатсия ва якҷокунии онҳо бо WSM/TOPSIS метавонад дар сатҳи мақолаи илмӣ холи R1-и амалӣ ва тафсиршавандаи омодагӣ тавлид кунад.

Холи асосӣ бо тамғаи истинодӣ мувофиқати миёна нишон дод; нисбат ба қоидаҳои соддаи якартефактӣ фаъолияти мутавозинтари F1 дод. Сенарияҳои гуногуни вазн холҳоро ба самти интизоршуда тағйир доданд ва дар perturbation-и вазнҳои ±%20 натиҷаҳо комилан ноустувор нашуданд.

Натиҷаҳое, ки таҳқиқот дастгирӣ намекунад

Холи баланди омодагӣ маънои онро надорад, ки таҷрибаи воқеӣ ҳатман бомуваффақият такрор мешавад. Азбаски чаҳорчӯба кодро иҷро намекунад, вобастагиҳои пинҳонӣ, татбиқи вайрон, носозгории сахтафзор ё фарқи байни иддаои дастрасӣ ва дастрасии воқеиро мустақиман тасдиқ намекунад.

Холи пасти омодагӣ ҳам маънои он надорад, ки таҳқиқот аз нигоҳи илмӣ бад, беаҳамият ё нодуруст аст. Таҳқиқоти таъсирбахше, ки бо сабабҳои тиҷоратӣ, стратегӣ ё махфият артефактҳоро мубодила карда наметавонанд, метавонанд холи паст гиранд.

Холи 0–1-и чаҳорчӯба эҳтимоли такрорпазирӣ нест ва набояд чунин тафсир шавад, ки “таҳқиқоти дорои холи 0,8 бо эҳтимоли 80% такрор мешавад”.

Маҳдудиятҳо

Фарогирии маълумот: Маҷмӯаи Olszewski асосан конфронсҳои сатҳи баланди амниятиро, маҷмӯаи Raff бошад бештар корҳои NeurIPS ва ICML-ро фаро мегирад. Фарҳанги мубодила дар ин соҳаҳо шояд ҳамаи зерсоҳаҳои омӯзиши мошиниро намояндагӣ накунад.

Фарқи консептуалӣ байни тамғаи истинодӣ ва хол: Холи омодагӣ тавзеҳот ва артефактҳои намоёнро чен мекунад, дар ҳоле ки тамғаи истинодӣ метавонад ба натиҷаи воқеии такрор такя кунад. Аз ин рӯ, аз ҷиҳати назариявӣ мувофиқати пурраи ин ду сохтор интизор намешавад.

Маҳдудияти аннотатсия: Бо вуҷуди мувофиқати баланди байни аннотатсияҳои инсон ва ChatGPT, арзёбӣ ба шумораи маҳдуди аннотатсиягарон такя кардааст. Хусусан дар меъёрҳои субъективӣ, мисли хондашавӣ ё ҳуҷҷатгузории “қисман пурра”, ғарази арзёбии субъективӣ боқӣ монда метавонад.

Рубрикаи тартибӣ ва нормализатсияи хаттӣ: Муодила (3) сатҳҳои ҳамсояи тартибиро бо фосилаи баробар қабул мекунад. Аммо дар баъзе меъёрҳо фоидаи амалии гузариш аз “қисман” ба “пурра” метавонад аз гузариш аз “нест” ба “қисман” бештар ё камтар бошад.

Вобастагии меъёрҳо: Сохтори ҷамъшавандаи ҷубронкунандаи WSM вобастагиҳои мантиқии такрорпазириро пурра намояндагӣ намекунад. Агар унсури муҳим, мисли код ё маълумот, сифр бошад, дар баъзе шароитҳо дигар меъёрҳои баланд наметавонанд онро ҷуброн кунанд.

Доираи чаҳорчӯба: Усул сертификати ниҳоии такрорпазирӣ нест, балки абзори скрининги ибтидоӣ ва арзёбии муқоисавӣ мебошад.

Самтҳои таҳқиқоти оянда

Таҳқиқоти манбаъ пешниҳод мекунад, ки дар оянда маҷмӯаҳои нави маълумоте сохта шаванд, ки натиҷаҳои воқеии иҷроиро дар бар гиранд. Маълумоте мисли иҷрои дубора дар контейнер, тасдиқи ҳалли вобастагиҳо ва санҷиши якпорчагии артефакт метавонад фарқи байни холи омодагӣ ва монеаҳои воқеии такрорро мустақимтар чен кунад.

Маҷмӯаи меъёрҳоро метавон бо андозаҳои иловагӣ, мисли назорати тасодуфият, нишон додани муҳити иҷро ва санҷишҳои leakage-и арзёбӣ, васеъ кард. Ҳамин чаҳорчӯба бо тағйири меъёр ва рубрика метавонад ба сатҳҳои пешрафтаи такрорпазирӣ мисли R2 ва R3 мутобиқ карда шавад.

Истихроҷи қисман автоматии пайвандҳои артефакт, пуррагии README ва маълумоти сохтории метод метавонад чаҳорчӯбаро барои арзёбии миқёси калон мувофиқ созад. Бо вуҷуди ин, барои меъёрҳои субъективӣ арзёбии инсон-дар-давра ва мувофиқаи чанд аннотатсиягар аҳамияти худро нигоҳ медорад.

Ғайр аз WSM ва TOPSIS, муқоисаи оилаҳои дигари MCDM мисли LINMAP, PROMETHEE ва VIKOR; таҳияи усулҳое, ки номуайянии аннотатсия ва вазнро мустақиман ба фосилаҳои хол мегузаронанд; инчунин истифодаи механизмҳои арзёбии ғайриҷубронкунанда бо шарти ҳадди ақал дар меъёрҳои асосӣ аз самтҳои таҳқиқоти оянда мебошанд.

Хулосаи умумӣ

Таҳқиқот мушкили такрорпазирӣ дар омӯзиши мошиниро аз санҷиши якченакаи “код мубодила шудааст?” берун оварда, ҳамчун масъалаи қабули қарорҳои бисёрмеъёрӣ баррасӣ мекунад. Холгузории ҳафт меъёри равшан бо рубрикаи тартибӣ, табдил ба миқёси умумӣ ва якҷокунии онҳо бо WSM ё TOPSIS холи R1-и омодагиро фароҳам меорад, ки байни мақолаҳо муқоисашаванда ва мувофиқи ҳадафи қарор вазншаванда аст.

Муҳимтарин саҳми консептуалии таҳқиқот равшан нигоҳ доштани ҳудуди хол мебошад: омодагӣ ва такрорпазирии воқеӣ бо ҳам вобастаанд, аммо як мафҳум нестанд. Мақола метавонад ҳамаи тавзеҳот ва артефактҳои лозимро пешниҳод кунад, вале дар марҳилаи иҷро аз сабаби мушкилоти техникии нонамоён ноком шавад. Баръакс, коре, ки дар рубрикаи стандартӣ баъзе маълумоташ нопурра менамояд, метавонад амалан такроршаванда бошад.

Аз ин рӯ, истифодаи мувофиқтарини чаҳорчӯбаи пешниҳодшуда на ҳамчун низоми ниҳоии баҳогузории сифати илмӣ, балки ҳамчун абзори иловагиест, ки шаффофияти пажӯҳиш ва омодагӣ ба такрорпазирии R1-ро мунтазам меомӯзад, муқоисаро осон мекунад ва нишон медиҳад кадом корҳо барои санҷиши муфассалтари такрор омода менамоянд.

Ёддошт оид ба Манбаъ ва Усул

Таҳқиқоти аслӣ: A MCDM-Based Framework for Quantifying Reproducibility Readiness in Machine Learning Research.

Муаллифон: Paulina Leščinskaitė, Remigijus Paulavičius ва Ernestas Filatovas.

Муаллифи масъул: Ernestas Filatovas.

Муассиса: Institute of Data Science and Digital Technologies, Faculty of Mathematics and Informatics, Vilnius University, Akademijos Str. 4, LT-08412 Vilnius, Lithuania.

Маҷалла: Mathematics.

Ношир: MDPI, Basel, Switzerland.

Сабти библиографӣ: Mathematics, 2026, Ҷилди 14, Шумораи 9, Мақолаи 1536.

DOI: 10.3390/math14091536

Қабулшуда: 20 Март 2026.

Бознигарӣ: 23 Апрел 2026.

Қабул: 28 Апрел 2026.

Нашр: 1 Май 2026.

Навъи манбаъ: Мақолаи аслии пажӯҳишии рецензияшуда ва дастрасии кушода.

Иҷозатнома: Creative Commons Attribution (CC BY).

Усули асосӣ: Таҳлили назариявии такрорпазирӣ, скрининги эмпирикии меъёрҳо дар ду маҷмӯаи мавҷуда бо регрессияи логистикӣ/Random Forest/XGBoost, рубрикаи тартибии ҳафтмеъёрӣ, нормализатсияи [0,1], агрегатсияи MCDM бо WSM ва TOPSIS, сенарияҳои намунавии вазн бо AHP ва таҳлили ҳассосияти вазн бо Monte Carlo.

Маблағгузорӣ

Таҳқиқот аз ҷониби Шӯрои Таҳқиқоти Литва дар доираи барномаи “University Excellence Initiatives”-и Вазорати Маориф, Илм ва Варзиши Ҷумҳурии Литва дастгирӣ шудааст. Рақами лоиҳаи дар манбаъ зикршуда S-A-UEI-23-11 мебошад.

Дастрасии маълумот ва код

Муаллифон хабар медиҳанд, ки пойгоҳи пурраи код, маҷмӯаҳои маълумот ва ҳуҷҷати README, ки файлҳои маълумот/кодро шарҳ медиҳад, ба таври кушода пешниҳод шудаанд. Усулҳо ва метрикаҳои таҳқиқот бо Python 3.13.3 амалӣ шудаанд.

Анбори коди манбаъ ва маълумот: GitHub — Quantifying reproducibility of ML papers using MCDM.

Бархӯрди манфиатҳо

Муаллифон изҳор мекунанд, ки бархӯрди манфиатҳо вуҷуд надорад. Гуфта шудааст, ки маблағгузорон дар тарҳи таҳқиқот, ҷамъоварии маълумот, таҳлил, тафсир, навиштани мақола ё қарори нашр нақш надоштанд.

Саҳми муаллифон

• Консептуализатсия: P.L., R.P. ва E.F.
• Методология: P.L. ва E.F.
• Нармафзор: P.L.
• Тасдиқ: P.L., R.P. ва E.F.
• Таҳлили формалӣ: P.L., R.P. ва E.F.
• Пажӯҳиш: P.L., R.P. ва E.F.
• Куратсияи маълумот: P.L.
• Лоиҳаи аввал: P.L. ва E.F.
• Баррасӣ ва таҳрир: R.P. ва E.F.
• Визуализатсия: P.L.
• Назорат: E.F.
• Идоракунии лоиҳа: R.P.
• Ҷалби маблағгузорӣ: R.P.

Маҳдудияти тафсири методологӣ

Ин таҳқиқот як таҳқиқоти оммавии такрор нест, ки таҷрибаҳои аслии 139 мақолаи омӯзиши мошиниро аз нав иҷро карда бошад. Холи пешниҳодшуда тавассути артефактҳои намоён ва иттилои гузоришӣ омодагӣ ба такрорпазирӣ-ро арзёбӣ мекунад. Аз ин рӯ, хол ва муваффақияти амалии такрор наметавонанд ба ҷойи ҳам истифода шаванд.

Илова бар ин, фарогирии соҳавии ду маҷмӯаи манбаи истифодашуда маҳдуд аст; вазнҳои меъёрҳо дар сенарияҳои намунавӣ аз ҷониби муҳаққиқон барои намоиш сохта шудаанд ва афзалиятҳои аз ҷонибҳои манфиатдори воқеӣ ҷамъоваришуда нестанд. Маҷмӯаи меъёрҳо ҳамаи мушкилоти эҳтимолии такрорпазириро — мисли тасодуфият, leakage-и арзёбӣ ва детерминизми муҳити ҳисоббарорӣ — ҳамчун меъёрҳои мустақил дар бар намегирад.

Пайванди расмии нашр: https://doi.org/10.3390/math14091536