Усули зеҳни сунъии шарҳпазири ба Explainer–Explanandum асосёфта, ки дар ин таҳқиқот таҳия шудааст, як равиши XAI мебошад, ки ҳадаф дорад дар қарори модели зеҳни сунъӣ, ки пайдарпаии token-ҳоро тасниф мекунад, муайян намояд кадом минтақаҳои пайдарпайи token муҳиманд ва ин корро бо ниқобҳои дорои қиматҳои пайваста анҷом диҳад. Ба ҷойи он ки ниқоб мустақиман ба идентификаторҳои дискретии token татбиқ шавад, усул онро тавассути ҳосили Hadamard ба векторҳои пайвастаи embedding-и token-ҳо татбиқ мекунад; ба ин тартиб самти вектори embedding нигоҳ дошта шуда, бузургии он кам мешавад. Муҳаққиқон усулро бо модели 50-миллионпараметраи Nucleotide Transformer — NT50m — барои таснифоти таксономии пайдарпаии DNA дар сатҳҳои superkingdom, phylum ва genus санҷидаанд. Натиҷаҳо нишон медиҳанд, ки ҳангоми боз мондани минтақаҳои муҳим шуморидашуда кори таснифот ба андозаи зиёд нигоҳ дошта мешавад, аммо ҳангоми пинҳон кардани ҳамон минтақаҳо он ба таври ҷиддӣ коҳиш меёбад. Бо вуҷуди ин, таҷриба на дар матни забони табиӣ, балки дар пайдарпаии token-ҳои геномӣ гузаронида шудааст; аз ин рӯ, қобилияти умумисозӣ ба забони табиӣ натиҷаи таҷрибавии тасдиқшудаи ин таҳқиқот нест.

Дақиқии мутавозини Explanandum, ки таснифгари асосӣ мебошад, барои superkingdom, phylum ва genus дар Ҷадвали 1 мутаносибан %99,05, %97,39 ва %71,67 гузориш шудааст. Ҳангоми татбиқи ниқобҳои пайвастаи сохтаи Explainer ин нишондиҳандаҳо дар сатҳҳои %98,39, %95,51 ва %69,88 нигоҳ дошта шудаанд. Вақте ки ниқобҳо баръакс карда шуданд, яъне минтақаҳое, ки Explainer муҳим мешуморад, пинҳон ва минтақаҳои камаҳамият боз гузошта шуданд, дақиқии мутавозин мутаносибан то %46,70, %28,21 ва %5,71 коҳиш ёфт. Ин муқобилгузорӣ далели асосии таҷрибавии таҳқиқот дар бораи он аст, ки ниқобҳо метавонанд минтақаҳои иттилоотиро, ки воқеан ба таснифот саҳм мегузоранд, ҷудо кунанд.

Ҳадафи усул ба ҷойи тавлиди холҳои аҳамияти token-ҳои алоҳида ва аз ҳам канда, сохтани минтақаҳои шарҳии пайвастатар аст. Дар минтақаҳои боз, ки аз ниқобҳои гирдкардашуда ба даст омадаанд, шумораи миёнаи порчаҳо 3,35 мебошад; тақрибан дар %90 пайдарпаӣ чор ё камтар порчаи боз мавҷуд аст. Дарозии миёнаи қисми боз 51,39 token буда, тақрибан ба панҷяки вуруди маъмулии 250-token мувофиқ меояд. Ҳамин тавр, шарҳ ба ҷойи муҳим эълон кардани тамоми пайдарпаӣ ба чанд минтақаи пайдарпайи дарозии миёна тамаркуз мекунад.

Таҳқиқот инчунин аз ҷиҳати вақти иҷро муқоисаи амалиро бо LIME пешниҳод мекунад. Дар манбаъ гузориш шудааст, ки LIME барои ҳар пайдарпаӣ ва ҳар сатҳи таксономӣ ба ҳисоби миёна 26 сония мегирад, дар ҳоле ки омӯзиши Explainer 15 соат 40 дақиқа идома кардааст ва Explainer-и омӯзонидашуда ниқобҳои маҷмӯи санҷиширо тақрибан дар 20 дақиқа тавлид кардааст. Тафовути асосии меъморӣ дар ин ҷо он аст, ки усулҳои ба perturbation асосёфта, ба монанди LIME, қисми зиёди бори ҳисоббарориро ҳангоми тавлиди шарҳ бардошта мебаранд, дар ҳоле ки ин усул қисми муҳими хароҷотро пешакӣ дар марҳилаи омӯзиши Explainer пардохт мекунад.

Масъалаи Асосӣ дар Зеҳни Сунъии Шарҳпазири Ба Token Асосёфта Чист?

Масъалаи асосӣ дар зеҳни сунъии шарҳпазири ба token асосёфта он аст, ки дар вурудҳои дискретӣ, ба монанди матн ё пайдарпаии биологӣ, token-ро қисман ниқоб кардан мумкин нест ва қарорҳои таснифгарҳои пурқуввати transformer метавонанд ҳам ба ҳамкориҳои маҳаллӣ ва ҳам дури token-ҳо такя кунанд; аз ин рӯ, ниқобҳои пайвастаи пикселӣ, ки дар тасвирҳо ба таври табиӣ кор мекунанд, мустақиман ба token-ҳо интиқол дода намешаванд.

Дар таснифоти тасвир шиддати пиксел адади пайваста мебошад. Масалан, зарб кардани минтақаи тасвир ба 0,25 таъсири визуалии он минтақаро кам мекунад ва амал дифференсиатсияшаванда мемонад. Баръакс, идентификатори token категориявӣ аст. Табдил додани калима ё DNA 6-mer ба “0,25 token” амали дурусти tokenization нест.

Усулҳои ба perturbation асосёфта, ба монанди SHAP ва Local Interpretable Model-Agnostic Explanations (LIME), ки дар шарҳҳои матнӣ зиёд истифода мешаванд, хусусиятҳои вурудро тағйир дода, таъсири онҳоро ба натиҷа арзёбӣ мекунанд. Ба гуфтаи муаллифони манбаъ, ин равиш, ки token-ҳоро асосан алоҳида баррасӣ мекунад, метавонад дар пайдарпаии дароз минтақаҳои муҳимро ҳамчун token-ҳои аз ҳам канда нишон диҳад ва харитаи аҳамиятеро эҷод кунад, ки мутолиаи яклухти он душвор аст.

Усулҳои Rationalization метавонанд барои шарҳ додани қарори таснифот қисмҳои дахлдори вурудро интихоб кунанд ё матни шарҳӣ тавлид намоянд. Аммо манбаъ ба хатари содиқ намондани шарҳ ба вуруд ё тавлиди hallucination дар баъзе равишҳои generative rationalization ва ба мураккабии омӯзиш дар баъзе равишҳои интихоби назоратшаванда ишора мекунад.

Нақшҳои Explainer ва Explanandum

Усул ду нақши моделиро аз ҳам ҷудо мекунад. Explanandum таснифгари мавҷудаест, ки бояд шарҳ дода шавад ва вазнҳои он ях карда шудаанд. Explainer бошад шабакаи дуюми нейронӣ мебошад, ки барои ҳар token-и вуруд ва ҳар синф қимати ниқоб аз 0 то 1 тавлид кардан омӯзонида мешавад.

Ниқобе, ки барои як синф тавлид мешавад, бо \(s_c\) нишон дода мешавад. Ниқобҳои синфҳои ба ҳадафи воқеӣ тааллуқдошта бо амали element-wise maximum муттаҳид шуда, ниқоби ҳадаф \(m\)-ро месозанд. Аз ниқобҳои синфҳои ғайриҳадаф низ ниқоби non-target \(n\) сохта мешавад. Баръакси ниқоби ҳадаф:

\[ \widetilde{m}=1-m \]

мебошад. Ин ниқоби пуркунанда махсусан барои санҷиши саволи “агар иттилооти муҳим шуморидашударо хориҷ кунем, оё эътимоди таснифгар воқеан вайрон мешавад?” истифода мешавад.

Шакли 1-и манбаъ чиро нишон медиҳад?

Панели Шакли 1A-и манбаъ нишон медиҳад, ки дар равиши аслии “what-you-see”, ки барои тасвирҳо истифода мешавад, Explainer мустақиман дар андозаи тасвир ниқобҳо тавлид мекунад. Шакли 1B саҳми асосии мақоларо нишон медиҳад: пайдарпаии token аввал ба Explainer меравад, дар ҳоле ки Explanandum-и шарҳдодашаванда ба қисми коркарди token ва embedding ва сипас ба қабатҳои пинҳонӣ/таснифотӣ ҷудо мешавад. Ниқобҳо на ба худи token-ҳо, балки ба намояндагиҳои пайвастаи embedding таъсир мекунанд.

Дар Ин Таҳқиқот Ниқоб Ба Token-ҳо Чӣ Гуна Татбиқ Мешавад?

Ба ҷойи тағйир додани идентификатори token, ниқоб ба вектори embedding-и ҳар token татбиқ мешавад; вектори ниқоб бо дарозии \(d\) дар тамоми андозаи embedding-и \(h\) такрор шуда, то андозаи \(d\times h\) васеъ мешавад ва бо матритсаи embedding ҳосили Hadamard, яъне зарби element-wise, иҷро мегардад.

Агар вектори embedding-и token \(e\) ва қимати ниқоби ҳамон token \(m_i\) бошад, амалро мафҳуман чунин тасаввур кардан мумкин аст:

\[ e_{\text{masked}}=m_i e \]

Азбаски ҳамон қимати скалярӣ ба ҳамаи ҷузъҳои embedding татбиқ мешавад, ҳангоми \(0<m_i<1\) бузургии вектор кам мешавад, аммо самти он дар фазои embedding тағйир намеёбад. Дар Шакли 2-и манбаъ вектори embedding-и “apple” бо қимати ниқоби 0,25 дар ҳамон самт, вале кӯтоҳтар шуданаш ин механизмро визуалӣ нишон медиҳад.

Ин интихоб ду масъаларо ҳамзамон ҳал мекунад. Аввалан, зарурати татбиқи ниқоби касрӣ ба token-ҳои дискретиро аз байн мебарад. Дуюм, ба шарофати амали пайвастаи зарб роҳ аз Explainer тавассути Explanandum то функсияи талафот дифференсиатсияшаванда мемонад; ҳамин тавр, ҳангоми ях будани Explanandum танҳо вазнҳои Explainer омӯзонида мешаванд.

Ҳангоми истифодаи mean pooling чаро ниқобкунии дуюм лозим аст?

Муаллифон барои татбиқи усул шарти муҳимеро муайян мекунанд: интизор меравад, ки баромади softmax-и таснифгар барои пайдарпаии холӣ ё пурра ниқобшуда тақрибан uniform бошад. Аммо дар NT50m ҳангоми истифодаи mean pooling бар ҳамаи ҳолатҳои пинҳонии token, вуруди пурра ниқобшуда ин ҳолатро ба таври худкор таъмин накардааст.

Аз ин рӯ, дар таҷрибаи NT50m ниқоб на танҳо баъд аз қабати embedding, балки пеш аз mean pooling боз ба баромади қабатҳои пинҳонии transformer татбиқ шудааст. Шакли 3-и манбаъ ин фарқро байни таснифгаре, ки баромади CLS token-ро истифода мебарад, ва таснифгари mean-pooling нишон медиҳад. Муаллифон мегӯянд, ки агар таснифот танҳо ба баромади CLS такя кунад, ниқобкунии дуюм зарур нест.

Сохтори умумии функсияи талафот

Талафоти дуандозаи ниқоб, ки барои тасвирҳо истифода мешавад, барои пайдарпаии token ба як андоза коҳиш дода шудааст. Талафоти умумии Explainer дар манбаъ ҳамчун Муодилаи (1):

\[ L_E(x,Y,S,m,n) = L_c(x,Y,m) + \lambda_e L_e(x,\widetilde m) + \lambda_a L_a(m,n,S) + \lambda_{tv}L_{tv}(m,n) \]

дода мешавад. Дар таҷрибаҳо:

\[ \lambda_e=\lambda_a=\lambda_{tv}=1 \]

истифода шудааст. Ин коэффициентҳо бо ҷустуҷӯи иловагии гиперпараметрҳо оптимизатсия нашудаанд ва бо такя ба қиматҳои таҳқиқоти Stalder ва ҳамкоронаш интихоб шудаанд.

Функсияи Талафоти Шабакаи Шарҳдиҳанда Чиро Мувозинат Мекунад?

Талафоти умумӣ чаҳор ҷузъро якҷоя мувозинат мекунад: боз нигоҳ доштани иттилооти таснифоти ҳадаф, номуайян кардани таснифгар ҳангоми пинҳон шудани иттилооти муҳим, пешгирӣ аз он ки ниқоб ҳама чиз ё ҳеҷ чизро нишон диҳад, ва ташвиқ кардани token-ҳои муҳим ба сохтани минтақаҳои маҳаллии пайвастатар ба ҷойи нуқтаҳои аз ҳам канда.

1. Талафоти таснифот \(L_c\)

Манбаъ барои таснифоти бисёрсинфӣ ҳади стандартии ба cross-entropy асосёфтаро:

\[ L_c(x,Y,m) = -\frac{1}{C} \sum_{c=1}^{C} \left[ \llbracket c\in Y\rrbracket\log p[c] + \llbracket c\notin Y\rrbracket\log(1-p[c]) \right] \]

медиҳад. Дар ин ҷо \(C\) шумораи синфҳо, \(p[c]\) эҳтимоли пешгӯӣ барои синфи \(c\), ва қавси Iverson \(\llbracket\cdot\rrbracket\) ҳангоми дуруст будани шарт қимати 1 ва ҳангоми нодуруст будан 0-ро ифода мекунад. Ин ҳад ташвиқ мекунад, ки ниқоби ҳадаф иттилооти барои таснифот заруриро боз нигоҳ дорад.

2. Энтропияи ниқоби пуркунанда \(L_e\)

Манбаъ дар Муодилаи (3):

\[ L_e = \frac{1}{C} \sum_{c=1}^{C} F(x\odot\widetilde m)[c] \log F(x\odot\widetilde m)[c] \]

ифодаро истифода мекунад. \(F(\cdot)\) эҳтимолҳои синфии Explanandum-ро тавлид мекунад. Ҳангоми татбиқи ниқоби пуркунанда танҳо иттилооте боз мемонад, ки аҳамияти паст гирифтааст. Дар ин ҳолат, ҳарчи бештар uniform шудани эҳтимолҳои баромад ташвиқ мекунад, ки баъди хориҷ шудани иттилооти муҳим модел дигар таснифоти маънодор иҷро карда натавонад.

3. Талафоти майдони ниқоб \(L_a\)

Агар танҳо ҳадҳои таснифот ва энтропия истифода шаванд, яке метавонад ниқобро ба нишон додани ҳама чиз ва дигаре ба пинҳон кардани аз ҳад зиёд тела диҳад. Талафоти майдон байни ин ду ифрот мувозинат месозад:

\[ L_a(m,n,S) = A(m)+A(n) + \frac{ \sum_{c=1}^{C} \llbracket c\in Y\rrbracket B(s_c) }{ \sum_{c=1}^{C} \llbracket c\in Y\rrbracket }. \]

\(A(m)\) қимати миёнаи ниқоби ҳадаф ва \(A(n)\) қимати миёнаи ниқоби ғайриҳадафро ифода мекунад. Манбаъ барои майдони намоёни ниқоб тавре ки \(0<a<b<1\) бошад, ҳиссаҳои ҳадди ақали \(a\) ва ҳадди аксари \(b\)-ро муайян мекунад.

Ҷаримаи ҳудудӣ барои қиматҳои тартибдодашудаи ниқоб дар Муодилаи (5):

\[ B(s) = \frac{1}{Z} \sum_i \max(q_{\min}[i]-q_{\text{mask}}[i],0) + \frac{1}{Z} \sum_i \max(q_{\text{mask}}[i]-q_{\max}[i],0) \]

таъриф шудааст. \(Z\) дарозии пайдарпаӣ мебошад. Агар майдони ниқоб аз \(a\) хурд ё аз \(b\) калон шавад, ҷарима ба вуҷуд меояд; ҳамин тавр кӯшиш мешавад, ки шарҳ аз ҳад хурд ё аз ҳад васеъ нашавад.

4. Талафоти вариатсияи умумӣ \(L_{tv}\)

Муодилаи (6), ки пайвастагии маҳаллиро ташвиқ мекунад:

\[ L_{tv} = \frac{1}{Z} \sum_i |m[i]-m[i+1]| + \frac{1}{Z} \sum_i |n[i]-n[i+1]|. \]

Вақте ки қиматҳои ниқоби token-ҳои ҳамсоя ҷаҳишҳои калон мекунанд, ин ҳад зиёд мешавад. Аз ин рӯ, Explainer ба ҷойи нишонгузории token-ҳои парокандаи алоҳида ба сохтани минтақаҳои пайвастатар равона мешавад, ки дар онҳо token-ҳои ҳамсоя якҷоя муҳиманд. Ин пайвастагӣ яке аз унсурҳои асосии тарҳи ҳадафи “шарҳи барои инсон хондашаванда” дар таҳқиқот мебошад.

Меъмории Explainer

Вуруди Explainer қабати embedding бо андозаи 100 мебошад, ки ҳамон луғати 4107-элементии NT50m-ро истифода мекунад. Пас аз он шабакаи дуқабата ва дусамтаи Long Short-Term Memory (LSTM) меояд. Манбаъ мегӯяд, ки барои сохтор дар ҳар самт 40 node интихоб шудааст ва бо якҷоя кардани ҳолатҳои memory-cell-и пеш/ақиб барои ҳар token намояндагии 160-андоза ба даст меояд.

Пас аз баромади LSTM қабати Batch Normalization ва dense бо фаъолсозии sigmoid меояд. Вақте ки шумораи синфҳо \(c\) ва дарозии пайдарпаӣ \(d\) аст, баромади ниҳоии Explainer:

\[ d\times c \]

матритсаи ниқоб бо ҳамин андоза мебошад ва барои ҳар ҷуфти token-синф қимати аҳамият аз 0 то 1 тавлид мекунад. Барои меъмории Explainer ҷустуҷӯи гиперпараметрҳо гузаронида нашудааст. Муаллифон мегӯянд, ки 40 LSTM node барои мувозинат бо талаботи захиравӣ интихоб шудааст.

Усул ва Натиҷаҳои Таҳқиқот

Вазифаи таҷрибавӣ: таснифоти таксономии геномӣ

Модели Explanandum, ки шарҳ дода мешавад, Nucleotide Transformer 50 million parameter model, яъне NT50m мебошад, ки қаблан барои таснифоти таксономии DNA fine-tune шудааст. Таснифот дар се сатҳи иерархӣ анҷом дода мешавад:

• superkingdom: 4 синф,
• phylum: 55 синф,
• genus: 1878 синфи имконпазир.

Андозаи пинҳонии transformer-и NT50m 512 мебошад. Ҳолатҳои пинҳонии сатҳи token тавассути mean pooling ба намояндагии собитдарозии 512-андоза табдил мешаванд ва се сари хаттии ҷудогонаи таснифот logit-ҳои superkingdom, phylum ва genus-ро тавлид мекунанд. Талафоти Explanandum маҷмӯи талафоти cross-entropy-и се сатҳи таксономӣ мебошад.

Маҷмӯи додаҳо

Пас аз коркард, манбаъ дар маҷмӯъ 5.181.880 пайдарпаии DNA-ро гузориш медиҳад.

Ҳар пайдарпаӣ 1500 base-pair дарозӣ дорад. Аз сабаби tokenization-и 6-mer-и NT50m ҳар вуруд тақрибан аз 250 token иборат аст; ин дарозӣ аз ҳадди максималии 1000-token-и вуруди модел камтар мебошад.

Ёддошти истилоҳотии дохили манбаъ: Дар бахши усул шарҳи 6-mer дар як ҷой ҳамчун “six amino acids grouped together” навишта шудааст; аммо таҳқиқот ба пайдарпаии DNA дахл дорад, намунаи `ACTGCC` аз аломатҳои нуклеотидӣ иборат аст ва шарҳи Шакли 5 ҳар гурӯҳи шаш base-pair-ро ҳамчун як token муайян мекунад. Verianla ин ибораро гӯё шакли бесадо ислоҳшудаи матни манбаъ бошад, пешниҳод намекунад.

Манбаъ инчунин 1573 “unique taxonomy IDs”, 55 phyla ва 1878 genera гузориш медиҳад. Азбаски матн шарҳ намедиҳад, ки 1573 taxonomy ID бо 1878 genus чӣ гуна бояд мувофиқ карда шавад, дар бораи робитаи ин рақамҳо фарзияи иловагӣ карда нашудааст.

Ҷудокунии омӯзиш, санҷиши тасдиқӣ ва тест

Амали `train_test_split`-и Scikit-learn бо seed 42 татбиқ шудааст. Манбаъ %2-и тамоми маҷмӯи додаҳо, яъне 103.648 пайдарпаиро, ҳамчун маҷмӯи hold-out test барои ҳамаи иҷроҳои таҷрибавӣ ҷудо мекунад. Илова бар ин, %10-и ҳамаи додаҳо барои пайгирии validation loss ҳангоми омӯзиш ҷудо шудааст.

Дар ҳоле ки Explanandum дар додаҳои боқимонда омӯзонида шудааст, барои Explainer тамоми додаҳои омӯзишӣ истифода нашудаанд. Explainer дар 239.391 намунаи ба таври тасодуфӣ аз маҷмӯи омӯзиш интихобшуда омӯзонида шудааст; манбаъ мегӯяд, ки ин тақрибан %4,7-и маҷмӯи омӯзишро ташкил медиҳад ва натиҷаҳое додааст, ки омӯзиш бо тамоми додаҳоро зарур намекунад.

Сахтафзори омӯзиш ва гиперпараметрҳо

Чӣ Гуна Санҷида Шуд, Ки Ниқобҳо Воқеан Минтақаҳои Муҳими Token-ро Нигоҳ Медоранд?

Таҳқиқот дурустии ниқобҳоро бо муқоисаи кори таснифот байни вурудҳои ниқобшудае, ки token-ҳои муҳим шуморидашударо боз мегузоранд, ва вурудҳои inverted-mask, ки баръакс амал мекунанд, санҷид; дар вурудҳои ниқобшуда натиҷа ба андозаи зиёд нигоҳ дошта шуд, аммо ҳангоми пинҳон кардани минтақаҳои муҳим дақиқии мутавозин дар ҳар се сатҳи таксономӣ якбора коҳиш ёфт.

Ин ҷадвал ду далели ҷудогона медиҳад. Якум, ҳангоми татбиқи ниқобҳои пайваста кори таснифот нисбат ба Explanandum-и бе ниқоб танҳо ба андозаи маҳдуд кам мешавад. Дуюм, вақте ки ниқобҳо баръакс карда шуда, қисмҳои аз назари Explainer муҳим хориҷ мешаванд, натиҷа махсусан дар сатҳи genus аз %69,88 то %5,71 поён меравад.

Ёддошти рақамии дохили манбаъ: Ҷадвали 1 дақиқии genus-и бе ниқобро %71,67 медиҳад, дар ҳоле ки матни баёнӣ пеш ва баъд аз он қимати %71,65-ро истифода мекунад. Ҷадвал дар ин ҷо ҳамон тавре ки дар манбаъ аст, бо %71,67 оварда шудааст ва фарқ низ намоён гузошта шудааст.

Чаро ниқобҳои гирдкардашуда алоҳида санҷида шуданд?

Ниқобҳои пайваста аз 0 то 1 тағйир меёбанд. Муҳаққиқон барои тезтар кардани шарҳ қиматҳоро ба 0 ё 1 гирд карда, ниқобҳои бинариро низ санҷидаанд. Азбаски гирдкунӣ ба талафи иттилоот оварда мерасонад, дақиқӣ нисбат ба ниқобҳои пайваста коҳиш меёбад, аммо нисбат ба ниқобҳои баръакс гирдкардашуда ба таври назаррас баланд мемонад. Муаллифон инро чунин тафсир мекунанд, ки минтақаҳои муҳим ҳатто дар шароити ниқобкунии бинарии дағал иттилооти маънодори таснифотӣ доранд.

Таснифоти ҷудогонаи порчаҳои дахлдор ва номарбут

Барои санҷидани он ки оё фосилаҳои ниқобшуда тасодуфан дар модел нишонаи таснифотӣ эҷод мекунанд ё не, ниқобҳои гирдкардашуда ба порчаҳои пайдарпайи боз ва баста ҷудо шудаанд. Ҳар порча алоҳида ба Explanandum дода шудааст. Порчаҳои дахлдор барои superkingdom, phylum ва genus мутаносибан %69,98, %49,92 ва %36,32 дақиқии мутавозин додаанд, дар ҳоле ки порчаҳои номарбут %47,13, %31,68 ва %9,58 додаанд.

Ин натиҷа тафсиреро дастгирӣ мекунад, ки таснифот танҳо аз геометрияи фосилаҳои пайдарпаии ниқобшуда ба вуҷуд намеояд ва порчаҳои воқеии пайдарпаие, ки Explainer боз мегузорад, иттилооти таксономии бештар доранд.

Ниқобҳо чӣ қадар аз пайдарпаиро боз мегузоранд?

Дар тамоми маҷмӯи тестӣ миёнаи қиматҳои ниқоб 0,73 дода шудааст ва %67,28-и ҳамаи қиматҳои ниқоби token аз 0,5 баландтар аст. Шакли 6A ин тақсимотро ҳамчун гистограмма ва Шакли 6B қимати миёнаи ниқобро вобаста ба ҷойгиршавии token нишон медиҳад. Манбаъ мегӯяд, ки дар оғоз ва миёнаи пайдарпаӣ минтақаҳои такроршавандаи аҳамияти баланд мушоҳида шудаанд, аммо қиматҳои ҳадди ақал ва ҳадди аксар байни намунаҳо хеле тағйир меёбанд.

Дар ниқобҳои гирдкардашуда шумораи минтақаҳои боз ба ҳисоби миёна 3,35 порча аст. Тақрибан дар %90 пайдарпаӣ чор ё камтар порчаи боз вуҷуд дорад. Манбаъ инчунин хабар медиҳад, ки танҳо дар %0,4 қисм ягон token-и ниқобшуда вуҷуд надоштааст.

Дарозии миёнаи қисми боз 51,39 token гузориш шудааст; баъзе қисмҳои боз аз 200 token зиёдтаранд. Дар муқоиса бо дарозии маъмулии 250-token-и пайдарпаӣ, муаллифон мегӯянд, ки ин тақрибан ба қисми %20 мувофиқ аст. Ҳамин тавр, шарҳ ба ҷойи ишора кардани тамоми пайдарпаӣ чанд минтақаи пайвастаи дарозии миёна месозад.

Муқоисаи вақти иҷро ва шарҳпазирӣ бо LIME

Манбаъ мегӯяд, ки бинобар хусусиятҳои сериализатсионии сохтори ба Evolutionary Scale Modeling асосёфтаи NT50m татбиқи бастаҳои Python-и LIME, transformer-interpret ва SHAP душвор аст. Усули муқоисавии пурра татбиқшуда LIME мебошад.

Вақти миёнаи иҷрои LIME дар манбаъ барои ҳар пайдарпаӣ ва ҳар сатҳи таксономӣ тақрибан 26 сония дода шудааст. Муаллифон мегӯянд, ки агар ин вақт ба тамоми маҷмӯи тестӣ пайдарпай татбиқ шавад, мумкин аст моҳҳо лозим шавад.

Омӯзиши Explainer-и пешниҳодшуда 15 соат 40 дақиқа давом кард; тавлиди ниқобҳо барои маҷмӯи тестӣ аз ҷониби Explainer-и омӯзонидашуда тақрибан 20 дақиқа гирифт. Дар ин муқоиса ду усул сохтори хароҷоти якхела надоранд: Explainer як маротиба омӯзонида шуда, барои вурудҳои баъдӣ мустақиман ниқоб тавлид мекунад, дар ҳоле ки LIME ҳангоми тавлиди шарҳ барои ҳар намуна амалиёти perturbation-ро аз нав иҷро мекунад.

Ёддошти рақамии дохили манбаъ: бахши додаҳо маҷмӯи тестиро 103.648 пайдарпаӣ мегӯяд, аммо дар бахши вақти иҷрои LIME 103.638 пайдарпаӣ навишта шудааст. Verianla ин фарқи даҳ пайдарпаиро бо тахмин кардани он ки манбаъ кадом рақамро дар назар дошт, ислоҳ накардааст.

Дар Шакли 8 қиматҳои мусбат ва манфии аҳамияти LIME дар як намуна ҳамчун token-ҳои рангаи зиёде дида мешаванд, ки дар минтақаҳои гуногуни пайдарпаӣ паҳн шудаанд. Муаллифон ҳатто вақте ки танҳо саҳмҳои мусбат ё саҳмҳои мусбати болотар аз 0,5 нишон дода мешаванд, аз ҳам дур мондани аломатҳоро аз ҷиҳати шарҳпазирӣ мушкил мешуморанд. Баръакс, ниқобҳои Explainer барои сохтани минтақаҳои пайвастатар тарҳрезӣ шудаанд.

Оё Ин Усул Бевосита Дар Матни Забони Табиӣ Тасдиқ Шудааст?

Не. Таҳқиқот усулро ҳамчун равиши XAI формулировка мекунад, ки метавонад ба вурудҳои token-асос ва матн умумӣ карда шавад, аммо тасдиқи таҷрибавии нашршуда бо NT50m дар таснифоти таксономии пайдарпаии DNA/нуклеотид гузаронида шудааст; таснифоти забони табиӣ яке аз самтҳои таҳқиқоти оянда мебошад.

Ин тафовут муҳим аст. Гарчанде DNA 6-mer-ҳо ва token-ҳои забони табиӣ ҳар ду пайдарпаии дискретии token ҳастанд, сохтори семантикӣ, луғатҳо, робитаҳои контекстӣ, ҳадафҳои омӯзиши модел ва тарзи арзёбии шарҳ аз ҷониби инсон яксон нестанд. Манбаъ таҷрибаҳои забони табииро, ки ин фарқҳоро муқоиса кунанд, пешниҳод намекунад.

Ба ҳамин монанд, таҳқиқот “human-readable” будани ниқобҳои тавлидшударо бо хусусияти пайвастагии меъморӣ ва мисолҳои визуалӣ асоснок мекунад; аммо таҷрибаи назоратшавандаи корбарон барои чен кардани он ки шарҳҳо аз ҷониби одамон дурусттар, зудтар ё боэътимодтар фаҳмида мешаванд, гузаронида нашудааст. Аз ин рӯ, хулосае мисли “клиникӣ ё психометрӣ исбот шудааст, ки барои одамон шарҳпазиртар аст” баровардан мумкин нест.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

Таҳқиқот дастгирӣ мекунад, ки Explainer, ки дар сатҳи embedding ниқобҳои пайвастаро меомӯзад, метавонад барои таснифгари геномии NT50m минтақаҳои пайвастаи token тавлид кунад, ки иттилооти таснифотиро нигоҳ медоранд. Нигоҳ доштани дақиқии баланд дар пайдарпаии ниқобшуда ва коҳиши шадиди дақиқӣ дар ниқобҳои баръакс нишон медиҳад, ки ниқобҳо бо минтақаҳои дорои иттилооти таснифотӣ алоқаманданд.

Таҳқиқот инчунин намунаи амалиро пешниҳод мекунад, ки нишон медиҳад интиқол додани хароҷоти ҳисоббарорӣ аз лаҳзаи шарҳ ба марҳилаи омӯзиши Explainer метавонад ҳангоми тавлиди такрории шарҳҳо дар маҷмӯи тестии хеле калон бартарӣ диҳад.

Натиҷаҳое, ки таҳқиқот дастгирӣ намекунад

Таҳқиқот нишон намедиҳад, ки усул дар ҳамаи вазифаҳои забони табиӣ нисбат ба SHAP ё LIME шарҳҳои дақиқтар тавлид мекунад. Дар маҷмӯи додаҳои забони табиӣ арзёбии миқдорӣ анҷом нашудааст ва benchmark-и пурра бо усулҳои асосии XAI ғайр аз LIME пешниҳод нашудааст.

Ба таври таҷрибавӣ исбот нашудааст, ки усул дар ҳамаи меъмориҳои transformer, recurrent ё дигар таснифгарҳои token ҳамон корро нишон медиҳад. Гарчанде муаллифон қобилияти умумии татбиқи меъмориро пешниҳод мекунанд, таҷрибаи нашршуда ба NT50m тамаркуз мекунад ва нишон дода шудааст, ки меъмории mean-pooling махсусан ниқобкунии дуюмро талаб мекунад.

Илова бар ин, ниқобҳо минтақаҳои хусусиятии муҳим барои таснифгарро нишон медиҳанд; аз ин таҷриба наметавон хулоса кард, ки онҳо мотивҳои биологии сабабӣ, минтақаҳои функсионалии геномӣ ё механизмҳои воқеии биологӣ мебошанд. Атрибути модел ва сабабияти биологӣ бояд аз ҳам ҷудо карда шаванд.

Ёддошт оид ба Манбаъ ва Усул

Таҳқиқоти аслӣ: What You Read Is What You Classify: Highlighting Attributions to Text and Text-like Inputs

Муаллифон: Daniel S. Berman; Brian Merritt; Stanley Ta; Dana Udwin; Amanda Ernlund; Jeremy Ratcliff; Vijay Narayan.

Муаллифи масъул: Vijay Narayan.

Муассисаҳо: Johns Hopkins Applied Physics Laboratory, Laurel, Maryland, ИМА; Google DeepMind, Лондон, Подшоҳии Муттаҳида.

Маҷалла: AI.

Ношир: MDPI.

Навъи манбаъ: Мақолаи аслии таҳқиқотӣ; таҳияи усули зеҳни сунъии шарҳпазир ва омӯзиши мошинӣ/таҳқиқоти таҷрибавии ҳисоббарорӣ.

Маълумоти нашр: AI 2026, ҷилди 7, шумораи 5, мақолаи 168.

DOI: 10.3390/ai7050168

Ирсол: 25 Март 2026.

Бознигарӣ: 20 Апрел 2026.

Қабул: 23 Апрел 2026.

Нашр: 13 Май 2026.

Preprint: arXiv:2602.24149. Ин сабт версияи қаблии таҳқиқоти нашршуда аст; ҳамчун таҳқиқоти мустақили алоҳида арзёбӣ нашудааст.

Баррасии ҳамтоён: Мақола дар маҷаллаи илмии ҳамтоёнбаррасишуда нашр шудааст.

Литсензия: Creative Commons Attribution (CC BY), дастрасии кушода.

Маблағгузорӣ: Таҳқиқот аз ҷониби U.S. Centers for Disease Control and Prevention, Office of Readiness and Response дар доираи Contract #75D30124C20202 дастгирӣ шудааст.

Кумитаи институтсионалии ахлоқ: Татбиқ намешавад.

Ризоияти огоҳона: Татбиқ намешавад.

Дастрасии додаҳо: Додаҳои асосии дар таҳқиқот истифодашуда дар маводи иловагии таҳқиқоти дастрасии кушодаи Mock ва ҳамкоронаш мавҷуданд. Муаллифон инчунин мегӯянд, ки коди барои ҷудокунии додаҳо, омӯзиши Explainer ва Explanandum ва inference истифодашуда дар анбори кушодаи GitHub нашр шудааст.

Сипосгузорӣ: Муаллифон ба Molly Gallagher барои саҳмҳояш дар анҷоми таҳқиқот ва кӯмак дар бартараф кардани монеаҳои барномавӣ изҳори сипос мекунанд.

Бархӯрди манфиатҳо: Jeremy Ratcliff ҳангоми саҳм гузоштан ба таҳқиқот корманди Johns Hopkins Applied Physics Laboratory буд. Муаллифони дигар хабар додаанд, ки робитае надоранд, ки метавонад бархӯрди эҳтимолии манфиатҳои тиҷоратӣ ё молиявиро ба вуҷуд орад.

Саҳми муаллифон: Консептуализатсия Daniel S. Berman, Dana Udwin ва Amanda Ernlund; методология Daniel S. Berman ва Amanda Ernlund; нармафзор Daniel S. Berman ва Vijay Narayan; тасдиқ, таҳлили формалӣ ва таҳқиқ Daniel S. Berman; захираҳо Brian Merritt; куратсияи додаҳо Brian Merritt, Stanley Ta ва Daniel S. Berman; тарҳи аввал Daniel S. Berman, Brian Merritt, Stanley Ta ва Vijay Narayan; бознигарӣ ва таҳрир Daniel S. Berman, Brian Merritt, Stanley Ta, Dana Udwin, Amanda Ernlund ва Vijay Narayan; визуализатсия Daniel S. Berman; назорат, идоракунии лоиҳа ва дарёфти маблағ Jeremy Ratcliff ва Vijay Narayan анҷом додаанд.

Маҳдудиятҳои асосии методологӣ: Тасдиқи таҷрибавӣ бо пайдарпаии token-ҳои геномӣ маҳдуд аст; матни забони табиӣ мустақиман санҷида нашудааст. Барои меъмории Explainer ҷустуҷӯи гиперпараметрҳо анҷом нашудааст. Таҷриба ба як меъмории асосии Explanandum — NT50m — тамаркуз мекунад. Таҳқиқоти шарҳпазирӣ бо иштироки инсон гузаронида нашудааст. Гарчанде муқоисаи LIME аз ҷиҳати вақти иҷро ва мисолҳои визуалӣ пешниҳод шудааст, он benchmark-и фарогире нест, ки дар он ҳамаи усулҳои муосири XAI бо меъёрҳои муштарак муқоиса шудаанд.

Ёддошти носозгории дохили манбаъ: Дар манбаъ ибораи “six amino acids” барои 6-mer ба контексти DNA мувофиқат намекунад; дақиқии мутавозини genus-и бе ниқоб дар матн %71,65 ва дар Ҷадвали 1 %71,67 оварда шудааст; маҷмӯи тестӣ дар бахши додаҳо 103.648 ва дар бахши вақти иҷрои LIME 103.638 навишта шудааст; инчунин робитаи байни 1573 unique taxonomy ID ва 1878 genus шарҳ дода нашудааст. Ин нуқтаҳо аз ҷониби Verianla бесадо ислоҳ нашудаанд.

Ёддошти усули Verianla: Ин муҳтаво тарҷумаи сатр ба сатри мақолаи манбаъ нест. Масъалаи таҳқиқот, сохтори Explainer–Explanandum, ниқобкунии Hadamard дар сатҳи embedding, функсияҳои талафот, меъмории NT50m, маҷмӯи додаҳо, шароити омӯзиш, натиҷаҳои Ҷадвали 1 ва паёмҳои илмии Шаклҳои 1–8 нигоҳ дошта шуда, сохтори мустақил ва омӯзишии Тоҷикӣ сохта шудааст. Натиҷаи таҷрибавӣ ё қимати иҷрое, ки дар манбаъ нест, илова нашудааст.