Сегментатсияи тасвирҳои тиббӣ — муайян кардани ҳудуди узвҳо, омосҳо, рагҳо ё дигар сохторҳои анатомӣ дар сатҳи пиксел дар томографияи компютерӣ, тасвирбардории магнитӣ-резонансӣ, рентген, ултрасадо, эндоскопия, дермоскопия ва тасвирҳои қаъри чашм мебошад. Ин раванд метавонад барои банақшагирии радиотерапия, пайгирии пешрафти беморӣ, омодагӣ ба ҷарроҳӣ ва таҳлили миқдории тасвир маълумоти муҳим диҳад.

Моделҳои асосии тасвири тиббӣ, ба монанди MedSAM, қобилияти умумии намояндагии визуалӣ доранд, ки барои вазифаҳои гуногуни сегментатсия истифода мешаванд. Аммо кодгузорҳои бузурги тасвир дар ин моделҳо ҳисоббарории зиёд, хотира ва энергия талаб мекунанд. Ин истифодаи онҳоро дар дастгоҳҳои сайёр, терминалҳои клиникии камқувват ё муассисаҳои тандурустӣ бо сахтафзори маҳдуд душвор мекунад.

Дар ин таҳқиқоти preprint муҳаққиқон чаҳорчӯбаи Hetero-MedSAM-ро пешниҳод мекунанд, ки омӯхтани танҳо модулҳои хурди паҳлӯиро, ки ба вазифа мутобиқ мешаванд, дар ҳоле ки сутунмӯҳраи қаблан омӯзонидашудаи MedSAM нигоҳ дошта мешавад, пешбинӣ мекунад. Дар маркази модел чор модуле қарор доранд, ки ба ҳам монанд нестанд ва ба вазифаҳои гуногун тахассус доранд:

• Мутахассиси Огоҳ аз Миқёс, ки кӯшиш мекунад ҳадафҳои анатомии андозаҳои гуногунро дарк кунад,
• Мутахассиси Канори Анизотропӣ, ки барои пайгирии ҳудудҳои дароз, борик ва номунтазам пешбинӣ шудааст,
• Мутахассиси Модулятсияи Контекст, ки тафсилоти маҳаллиро бо контексти умумии тасвир якҷо мекунад,
• Мутахассиси Мутобиқшавандаи Модалият, ки кӯшиш мекунад фарқиятҳои сигналии физикиро байни BT, MRG, рентген ва усулҳои дигари тасвирбардорӣ ҷуброн кунад.

Модел модалияти тасвир, ҳадафи анатомӣ, вазифаи клиникӣ ва мундариҷаи тасвирро якҷо арзёбӣ карда, барои се мутахассиси аввал вазнҳои динамикӣ месозад. Ҳангоми омӯзиш саҳми мутахассисон бо миёнаи ҳаракаткунанда пайгирӣ мешавад; шохаҳое, ки муддати дароз саҳми паст доранд, аз ҷиҳати физикӣ ғайрифаъол карда мешаванд. Муҳаққиқон ин равандро “буридани эволютсионӣ” меноманд.

Дар маҷмӯаи додаҳои HeteroMedSeg, ки аз тақрибан 20.000 буриши тасвири тиббӣ ва ҳашт модалияти тасвирбардорӣ сохта шудааст, коэффисиенти умумии Dice Similarity-и гузоришшудаи модел 0,8644, арзиши HD95 5,37 ва суръати inference 4,42 frame/second мебошад. Миқёси параметрҳои омӯзонидашаванда 4,40 миллион гузориш шудааст.

Дар муқоиса, модели асосии MedSAM Dice-и 0,8037, HD95-и 7,50 ва суръати 0,23 frame/second ба даст овардааст. Hetero-MedSAM дар ин тарҳи таҷрибавӣ ҳампӯшии минтақавии баландтар, хатои камтари ҳудуд ва суръати коркарди бештар нишон дод. Бо вуҷуди ин, модели MedSegX, ки дар чор қабат ҷойгир карда шудааст, бо 4,69 frame/second аз Hetero-MedSAM каме тезтар аст; бартарии Hetero-MedSAM асосан дар дақиқии сегментатсия ва мувофиқати сарҳад дида мешавад.

Натиҷаи муҳими таҳқиқот ин аст, ки ҷойгир кардани модулҳои мутахассис дар ҳар қабати шабака муфид нест. Модели аввалине, ки ба ҳамаи қабатҳо мутахассисони гетерогенӣ илова кард, танҳо Dice-и 0,8428 ба даст овард. Натиҷаи беҳтарин вақте ба даст омад, ки мутахассисон дар блокҳои рақами 6, 7, 9 ва 11 аз қабатҳои амиқи кодгузори тасвири MedSAM ҷойгир шуданд.

Натиҷаҳо нишон медиҳанд, ки барои масъалаҳои гуногуни тасвирбардорӣ мутахассисони гуногун ба пеш мебароянд. Дар дермоскопия бо сабаби ҳудудҳои номунтазам мутахассиси канорӣ, дар MRG бо сабаби минтақаҳои ҳадафи аз ҳам ҷудо мутахассиси контекст ва дар BT бо сабаби ҳадафҳои андозаашон гуногун мутахассиси миқёс бештар нигоҳ дошта шудааст.

Бо вуҷуди ин, таҳқиқот далели истифодаи воқеии клиникиро пешниҳод намекунад. Таҷрибаҳо дар тасвирҳое анҷом дода шудаанд, ки аз манбаъҳои кушодаи додаҳо ҷамъоварӣ шудаанд. Таҳқиқоти проспективии беморон, раванди кори воқеии беморхона, санҷиши дастгоҳи тиббии сайёр ё муқоисаи иҷрои клиницистон вуҷуд надорад. Илова бар ин, арзиши 4,40 миллион ба параметрҳои омӯзонидашавандаи мутобиқсозӣ ишора мекунад; зарурати нигоҳ доштани сутунмӯҳраи яхкардашудаи MedSAM дар хотира ва иҷрои он ҳангоми inference аз байн намеравад.

Сегментатсияи тасвири тиббӣ чист?

Системаи таснифи тасвири тиббӣ метавонад барои тамоми тасвир як қарор, масалан “омос ҳаст” ё “омос нест”, диҳад. Системаи сегментатсия бошад, аз ин ҳам пеш рафта, кӯшиш мекунад муайян кунад, ки сохтори ҳадаф дар кадом пикселҳо ҷойгир аст.

Масалан, дар тасвири BT-и ҷигар модели сегментатсия метавонад:

• Ҳудуди берунии ҷигар,
• Осеби дохили ҷигар,
• Бофтаи атрофи осеб,
• Дар ҳолати зарурӣ рагҳо ё роҳҳои сафроро

ҳамчун маскаҳои алоҳида нишон диҳад.

Аз ин рӯ, сегментатсия на танҳо “мавҷудияти объект”-ро, балки ҷойгиршавӣ, масоҳат, ҳаҷм, шакл ва ҳудуди онро муайян мекунад.

Ин вазифа дар тасвирҳои тиббӣ душвор аст, зеро:

• Ҳамон як узв дар беморони гуногун метавонад андоза ва шакли гуногун дошта бошад.
• Ҳудуди омос метавонад аз бофтаи атроф ба таври тез ҷудо набошад.
• Рагҳо ва асабҳои борик метавонанд дароз, печида ва танҳо чанд пиксел паҳнӣ дошта бошанд.
• BT, MRG, ултрасадо ва рентген бо механизмҳои гуногуни физикии сигналӣ ташаккул меёбанд.
• Ҳатто дар як модалият дастгоҳҳо ва протоколҳои гуногуни сабт метавонанд тақсимоти гуногуни тасвир ба вуҷуд оранд.
• Баъзе ҳадафҳо қисми калони тасвирро ишғол мекунанд, дар ҳоле ки баъзеи дигар хеле хурданд.

Чаро MedSAM мустақиман модели сабук нест?

MedSAM шакли ба тасвирҳои тиббӣ мутобиқшудаи меъмории умумии Segment Anything Model мебошад. Модел кодгузори бузурги тасвирро истифода бурда, тасвирро ба намояндагиҳои хусусиятии баландандоза табдил медиҳад. Кодгузори prompt роҳнамоии корбар, масалан қуттиро, коркард мекунад; decoder-и маска бошад, маскаи сегментатсияи сохтори ҳадафро месозад.

Қувваи моделҳои асосии бузург дар он аст, ки онҳо хусусиятҳои умумиро, ки аз тасвирҳои хеле гуногун омӯхта шудаанд, дубора истифода мебаранд. Аммо кодгузори бузурги тасвир:

• Шумораи зиёди параметрҳо,
• Талаботи баланди FLOP,
• Истеъмоли хотира,
• Таъхир дар протсессорҳои камқувват

эҷод мекунад ва ҷойгиркуниро дар дастгоҳҳои клиникии канорӣ маҳдуд месозад.

Дар ҷадвали муқоисавии таҳқиқот барои MedSAM-и асосӣ 93,74 миллион параметр, 371,99 GFLOP ва 0,23 frame/second дар Intel Xeon E5-2680 v4 гузориш шудааст.

Hetero-MedSAM модели нави асосии хурдро аз сифр намесозад. Он кодгузори тасвир ва prompt-и MedSAM-ро ях карда, ба дохил ё паҳлӯи онҳо роҳҳои камшумори омӯзонидашавандаи мутахассис илова мекунад.

Ин фарқ муҳим аст:

• Параметрҳои омӯзонидашавандаи кам маънои онро дорад, ки ҳангоми мутобиқсозӣ вазнҳои камтар нав карда мешаванд.
• Модели умумии хурд маънои онро дорад, ки тамоми сутунмӯҳра аз ҷиҳати физикӣ хурд аст.

Hetero-MedSAM ба ҳадафи аввал сахт тамаркуз мекунад. Аммо азбаски сутунмӯҳраи яхкардашудаи MedSAM ҳангоми inference ҳамоно иҷро мешавад, рақами 4,40 миллион набояд ҳамчун коҳиш ёфтани тамоми изи хотираи модел то танҳо 4,40 миллион параметр тафсир шавад.

Танзими дақиқи самараноки параметр чист?

Танзими дақиқи самараноки параметр, ба ҷойи аз нав омӯзонидани ҳамаи вазнҳои модели бузурги қаблан омӯзонидашуда, сутунмӯҳраи асосиро собит нигоҳ дошта, танҳо шумораи ками параметрҳои иловагиро нав мекунад.

Бо як ташбеҳи рӯзмарра, ин ба ҷои аз сифр сохтани беморхонаи калон, ба бахшҳои муайяни беморхонаи мавҷуда гурӯҳҳои хурди мутахассис илова кардан монанд аст. Инфрасохтори асосӣ нигоҳ дошта мешавад; мутобиқшавӣ ба вазифаи нав тавассути гурӯҳҳои мутахассис таъмин мегардад.

Ин равиш метавонад:

• Хотираи омӯзишро кам кунад.
• Файли вазнҳои махсуси вазифаро хурд кунад.
• Истифодаи дубораи ҳамон сутунмӯҳраро дар вазифаҳои гуногун осон кунад.
• Нисбат ба fine-tuning-и пурраи модел арзиши омӯзишро коҳиш диҳад.

Аммо агар барои ҳамаи вазифаҳо як адаптери дорои сохтори якхела истифода шавад, эҳтиёҷоти гуногуни тасвирҳои тиббӣ метавонад ба қадри кофӣ ифода нашавад. Нуқтаи оғози Hetero-MedSAM ҳамин маҳдудият аст.

Чаро мутахассисони “гетерогенӣ” истифода мешаванд?

Дар меъмориҳои классикии mixture of experts метавонад чанд шохаи шабакаи ба ҳам монанд вуҷуд дошта бошад. Ин шохаҳо як сохтори асосиро доранд, вале барои намунаҳои гуногун бо вазнҳои гуногун фаъол мешаванд.

Дар Hetero-MedSAM на танҳо вазнҳои мутахассисон, балки меъмории дохилӣ ва вазифаҳои онҳо низ фарқ мекунанд. Ҳар мутахассис ба як масъалаи мушаххаси тасвири тиббӣ нигаронида шудааст:

Мантиқи ин тарҳро метавон ба он монанд кард, ки радиолог рентгени устухон, MRG-и мағзи сар ва тасвири дермоскопиро бо як қоидаи визуалӣ арзёбӣ намекунад. Азбаски механизми физикии эҷоди тасвир ва ҳадафҳои клиникӣ фарқ мекунанд, роҳҳои ёрирасони намояндагие, ки модел истифода мебарад, низ фарқ карда мешаванд.

Меъмории умумии модел

Дар Шакли 1 тамоми занҷири коркарди модел нишон дода шудааст. Ҷараёни асосӣ чунин аст:

1. Тасвири тиббӣ ба кодгузори тасвири яхкардашудаи MedSAM ворид мешавад.
2. Хусусиятҳои тасвир дар блокҳои Transformer коркард мешаванд.
3. Ба блокҳои амиқи интихобшуда модули HeCon-MoAE ҳамчун роҳи параллелӣ илова мешавад.
4. Модалият, узв, вазифа ва контексти тасвир ба шабакаи routing ворид мешаванд.
5. Вазнҳои саҳми мутахассисон ҳисоб карда мешаванд.
6. Натиҷаҳои мутахассисон бо натиҷаи шабакаи feed-forward-и аслии MedSAM якҷо карда мешаванд.
7. Prompt-и қуттӣ бо кодгузори яхкардашудаи prompt коркард мешавад.
8. Намояндагиҳои тасвир ва prompt дар decoder-и маска якҷо мешаванд.
9. Маскаи сегментатсияи сохтори ҳадаф сохта мешавад.

Ин меъморӣ кӯшиш мекунад дониши умумии тасвири тиббиро, ки MedSAM қаблан омӯхтааст, нигоҳ дорад ва хусусиятҳои иловагии барои вазифаҳои мушаххас заруриро тавассути роҳҳои хурди мутахассис пурра кунад.

Иерархияи дониши анатомии MedSegDB

Таҳқиқот сохтори MedSegDB-ро, ки қаблан ҳамчун сохтори дониши анатомӣ ва додаҳои сегментатсия таҳия шуда буд, ҳамчун истиноди таҷрибавӣ истифода мебарад. MedSegDB тасвирҳои тиббиро аз 129 манбаи кушода дар зери дарахти иерархии анатомӣ муттаҳид мекунад.

Сохтори дар Шакли 2 нишон додашуда аз як қабати реша ва чор сатҳи анатомӣ иборат аст:

Масалан, барои модел роҳи маъноии зерин сохта мешавад:

\[ \mathrm{İnsan\ vücudu} \rightarrow \mathrm{Gövde} \rightarrow \mathrm{Karın} \rightarrow \mathrm{Karaciğer} \rightarrow \mathrm{Karaciğer\ tümörü} \]

Ин иерархия ба модел имкон медиҳад, ки на танҳо ба пикселҳои тасвир, балки ба маълумоти сохторёфта дар бораи модалият, узв ва вазифаи клиникӣ низ дастрасӣ дошта бошад.

Тавсифгари муштараки контекст чӣ гуна сохта мешавад?

Модел чор манбаи иттилоотиро якҷо мекунад:

• Embedding-и модалияти тасвир: E_m
• Embedding-и сохтори анатомӣ: E_a
• Embedding-и вазифаи клиникӣ: E_t
• Хусусияти тасвир, ки бо global pooling ҷамъбаст шудааст: X̄

Муодилаи контексти муштарак, ки дар таҳқиқот дода шудааст, чунин аст:

\[ C_{\mathrm{all}} = \mathrm{Concat}(E_m,E_a,E_t,\bar{X}) \]

Дар ин ҷо:

• C_all, тавсифгари якҷояи контекст барои routing-и мутахассисон мебошад.
• Concat, ба ҳам пайвастани векторҳои хусусият дар андозаи канал аст.
• E_m, рамз мекунад, ки тасвир ба BT, MRG, рентген ё модалияти дигар тааллуқ дорад.
• E_a, ҷойгиршавии анатомӣ ва маълумоти узвро ифода мекунад.
• E_t, сохтореро ифода мекунад, ки сегментатсияи он талаб шудааст.
• X̄, хулосаи умумии мундариҷаи тасвир аст.

Ба забони оддӣ, система на танҳо саволи “дар тасвир чӣ мебинам?”-ро, балки саволҳои “ин тасвир аз кадом дастгоҳ омадааст, кадом узвро нишон медиҳад ва аз ман талаб шудааст кадом сохторро ёбам?”-ро якҷо арзёбӣ мекунад.

Вазнҳои мутахассисон чӣ гуна ҳисоб карда мешаванд?

Вазнҳои се мутахассиси аввал аз ҷониби шабакаи routing ҳисоб карда мешаванд:

\[ [w_1,w_2,w_3]^T = \mathrm{Softmax}(W_g \cdot \sigma(W_{in}\cdot C_{\mathrm{all}})) \]

Дар ин формула:

• w₁, вазни Мутахассиси Огоҳ аз Миқёс аст.
• w₂, вазни Мутахассиси Канори Анизотропӣ аст.
• w₃, вазни Мутахассиси Модулятсияи Контекст аст.
• W_in ва W_g, матритсаҳое мебошанд, ки ҳангоми омӯзиш омӯхта мешаванд.
• σ, фаъолсозии sigmoid мебошад.
• Softmax, се вазнро ба қиматҳои мусбат табдил дода, ҷамъашонро ба як баробар мекунад.

Шарти асосии вазнҳо чунин аст:

\[ \sum_{i=1}^{3} w_i = 1 \]

Ҳамин тавр, модел буҷети маҳдуди диққатро байни се мутахассиси морфологӣ тақсим мекунад. Агар дар тасвир ҳудудҳои номунтазам бартарӣ дошта бошанд, саҳми мутахассиси канорӣ метавонад зиёд шавад; агар андозаи ҳадафҳо хеле фарқ кунад, мутахассиси миқёс метавонад вазни бештар гирад.

Мутахассиси чорум, Мутахассиси Мутобиқшавандаи Модалият, берун аз ин рақобат нигоҳ дошта мешавад. Дар таҳқиқот вазни идоракунӣ:

\[ w_4 = 1 \]

собит шудааст. Ҳадаф ин аст, ки ҷуброни сигналии махсуси модалият бидуни таъсир аз рақобати вазнҳои се мутахассиси аввал пайваста кор кунад.

Натиҷаи мутахассисон ба MedSAM чӣ гуна илова мешавад?

Хусусиятҳое, ки мутахассисон тавлид мекунанд, бо роҳи feed-forward-и аслии MedSAM муттаҳид мешаванд:

\[ Y = \mathrm{MLP}(X) + s \cdot \left(\sum_{i=1}^{3} w_iE_i(X)+w_4E_4(X)\right) \]

Дар ин ҷо:

• X, хусусияти воридшаванда ба блоки Transformer аст.
• MLP(X), натиҷаи шабакаи feed-forward-и аслии MedSAM аст.
• E₁-E₃, табдилҳои се мутахассиси морфологӣ мебошанд.
• E₄, мутахассиси модалият аст.
• w_i, вазнҳои саҳми мутахассисон мебошанд.
• s, коэффисиенти миқёсест, ки ҳаҷми умумии саҳми мутахассисонро идора мекунад.
• Y, натиҷаи муттаҳидшудаи роҳҳои аслӣ ва мутахассисон аст.

Ин сохтор намояндагии аслии MedSAM-ро нест намекунад, балки ба он ислоҳ ё иттилои иловагӣ зам мекунад. Бо ин роҳ, агар роҳҳои мутахассис нодуруст ё нокифоя омӯзанд, намояндагии асосии сутунмӯҳраи қаблан омӯзонидашуда нигоҳ дошта мешавад.

Мутахассиси Огоҳ аз Миқёс чӣ гуна кор мекунад?

Дар тасвирҳои тиббӣ андозаи ҳадафҳо метавонад хеле фарқ кунад. Дар як тасвир тамоми ҷигар сегментатсия мешавад, дар дигараш осеби чандмиллиметрӣ ҷустуҷӯ мешавад.

Мутахассиси Огоҳ аз Миқёс аввал каналҳои хусусиятро бо конволютсияи 1×1 ба bottleneck-и камандоза кам мекунад. Сипас се конволютсияи parallel depthwise бо дараҷаҳои dilation гуногун татбиқ мекунад:

\[ x_r = \mathrm{DConv}_r(\mathrm{Conv}^{down}_{1\times1}(X)), \quad r\in\{1,2,3\} \]

Дар ин ҷо:

• r, дараҷаи dilation-и конволютсия мебошад.
• r=1, тафсилоти маҳаллиро бештар мебинад.
• r=2 ва r=3, контексти васеътари атрофро интихоб мекунанд.
• DConv, depthwise convolution мебошад, ки бо харҷи камтар дар ҳар канал иҷро мешавад.

Се миқёс баъдан якҷо карда мешаванд:

\[ X_{\mathrm{scale}} = \mathrm{Conv}^{up}_{1\times1}\left(\mathrm{GELU}(\mathrm{Concat}(x_1,x_2,x_3))\right) \]

Ин раванд кӯшиш мекунад тафсилоти хурд ва контурҳои васеи анатомиро дар як намояндагӣ муттаҳид кунад.

Дар диаграммаи мутахассисони Шакли 3 ҳар се шоха бо “R=1” нишон дода шудаанд, дар ҳоле ки матни усул ва муодила дараҷаҳои dilation-и 1, 2 ва 3-ро таъриф мекунанд. Ин як носозгории ҳуҷҷат байни тасвир ва тавсифи математикӣ дар preprint мебошад. Иҷрои дақиқ бояд аз код тасдиқ карда шавад.

Мутахассиси Канори Анизотропӣ чӣ гуна кор мекунад?

“Анизотропӣ” маънои онро дорад, ки сохтор дар ҳамаи самтҳо якхела нест. Масалан, омоси ҷигар метавонад нисбатан гирд бошад, вале раг, асаб, девори рӯда ё ҳудуди осеби пӯст метавонад дароз, борик ва ба самти муайян тӯл кашад.

Ядрои квадратии классикии convolution ҳангоми таҳлили сохтори дарозу борик метавонад заминаи нолозими атрофро ҳам ба ҳисоб гирад. Аз ин рӯ, модел ядроҳои рахии уфуқӣ ва амудиро истифода мебарад:

\[ y_h^{(i)} = \mathrm{Conv}_{1\times k}(\mathrm{Pad}^{(i)}_h(X)), \quad i\in\{0,1\} \]

\[ y_v^{(i)} = \mathrm{Conv}_{k\times1}(\mathrm{Pad}^{(i)}_v(X)), \quad i\in\{0,1\} \]

Дар ин формулаҳо:

• y_h, хусусиятҳои самти уфуқиро ифода мекунад.
• y_v, хусусиятҳои самти амудиро ифода мекунад.
• Pad, padding-и асимметрии яктарафа аст, ки ба ядро имкон медиҳад ба чап, рост, боло ё поён вазни бештар диҳад.
• Дар шакл ядроҳо ҳамчун 1×3 ва 3×1 нишон дода шудаанд.

Чор натиҷаи самтӣ муттаҳид мешаванд:

\[ X_{\mathrm{edge}} = \mathrm{Conv}_{1\times1}\left(\mathrm{SiLU}(\mathrm{Concat}(y_h^{(0)},y_h^{(1)},y_v^{(0)},y_v^{(1)}))\right) \]

Ин мутахассис махсусан барои ҳудудҳои номунтазами осеби пӯст, рагҳои борик ва контурҳои анатомии самтдор тарҳрезӣ шудааст.

Мутахассиси Модулятсияи Контекст чӣ гуна кор мекунад?

Баъзе хатогиҳои сегментатсия вақте ба вуҷуд меоянд, ки модел ба як ҷузъиёти хурд аз ҳад зиёд диққат медиҳад ва тартиби умумии анатомии тасвирро аз назар мегузаронад.

Мутахассиси контекст ду хулосаи глобалиро истифода мебарад:

• Global average pooling: Тақсимоти умумии хусусиятҳоро дар тасвир ҷамъбаст мекунад.
• Global max pooling: Сигналҳои барҷастатаринро ба пеш мебарорад.

Вазнҳои канал бо робитаи зерин сохта мешаванд:

\[ W = \sigma(\mathrm{FC}(\mathrm{Concat}(\mathrm{GAP}(Z),\mathrm{GMP}(Z)))) \]

Дар ин ҷо:

• Z, хусусияти bottleneck-и камандоза аст.
• GAP, global average pooling мебошад.
• GMP, global max pooling мебошад.
• FC, табдили fully connected аст.
• W, вазнест, ки муайян мекунад кадом каналҳои хусусият тақвият ё суст карда шаванд.

Хусусияти модулятсияшуда:

\[ U = \mathrm{BN}(\mathrm{DWConv}_{3\times3}(Z\odot W)) \]

\[ X_{\mathrm{context}} = \mathrm{Conv}_{1\times1}(U) \]

Аломати ⊙ зарби элементи ба элементи сатҳи каналро, BN бошад batch normalization-ро ифода мекунад.

Ин мутахассис махсусан барои кӯмак ба шинохти минтақаҳои ҳадафи хурд ва аз ҳам ҷудо дар MRG дар контексти умумии анатомӣ пешбинӣ шудааст.

Мутахассиси Мутобиқшавандаи Модалият чӣ мекунад?

Воҳидҳои Hounsfield дар BT, шиддати сигнал дар MRG, сохтори проексионии рентген ё хусусиятҳои ранг ва рӯшноии эндоскопия якхела нестанд.

Мутахассиси Мутобиқшавандаи Модалият аз байни роҳҳои хурди мутахассисон, ки аз рӯйи модалияти тасвир ҷудо шудаанд, роҳи мувофиқро бо routing интихоб мекунад. Дар диаграммаи меъморӣ мутахассисони CT, MRI, X-ray ва дигар модалиятҳо ҳамчун шохаҳои алоҳида нишон дода шудаанд.

Ҳадафи ин шоха ҷуброн кардани distribution shift-и ҳамон як сохтори анатомӣ дар системаҳои гуногуни тасвирбардорӣ мебошад.

Аммо дар матни усул вазни мутахассиси модалият 1 собит карда шудааст, дар ҳоле ки дар қисми буридани минбаъда шумораи умумии мутахассисон чор гуфта мешавад ва mask-и pruning тавре таъриф шудааст, ки ҳамаи мутахассисонро фаро гирад. Дар ҷадвали эволютсияи мутахассисон бошад, танҳо се мутахассиси аввал гузориш шудаанд. Аз ин рӯ, дар preprint комилан равшан нест, ки мутахассиси чорум ҳангоми pruning дақиқ чӣ гуна коркард шудааст.

Бори ҳисоббарории бонки мутахассисон

Дар таҳқиқот ҳамаи мутахассисон бо input/output-и 768×16×16 ва bottleneck-и муштараки 64 канал муқоиса шудаанд.

Ин ҷадвал арзиши як бонки мутахассисро нишон медиҳад. Азбаски дар модели ниҳоӣ бонкҳои мутахассис дар чанд блоки интихобшудаи Transformer ҷойгир шудаанд, арзишҳои умумии сатҳи модел алоҳида гузориш шудаанд.

Механизми буридани эволютсионӣ

Агар чор шохаи мутахассис дар ҳар қабати интихобшуда пайваста иҷро шаванд, ҳадафи сабук будани модел заиф мешавад. Аз ин рӯ, муҳаққиқон механизмеро таҳия кардаанд, ки саҳми мутахассисонро ҳангоми омӯзиш пайгирӣ мекунад.

Холи миёнаи ҳаракаткунандаи ҳар мутахассис бо формулаи зерин нав карда мешавад:

\[ S_{\mathrm{avg}}^{(t)}=(1-\lambda)S_{\mathrm{avg}}^{(t-1)}+\lambda\cdot\mathrm{Mean}(w^{(t)}) \]

Дар ин ҷо:

• S_avg^(t), холи ҳамворшудаи саҳм дар лаҳзаи t мебошад.
• w^(t), вазнҳои ҷории мутахассис дар mini-batch мебошанд.
• Mean, миёнаи вазнҳо дар намунаҳо мебошад.
• λ, муайян мекунад, ки миёнаи ҳаракаткунанда ба иттилои нав бо чӣ суръат мутобиқ мешавад.

Дар таҳқиқот:

\[ \lambda = 0{,}1 \]

истифода шудааст.

Дар як тасвир вазни мутахассис метавонад тасодуфан зиёд ё кам шавад. Миёнаи ҳаракаткунанда кӯшиш мекунад ба ҷойи тағйироти муваққатӣ саҳми дарозмуддатро ба назар гирад.

Агар саҳми мутахассис аз ҳадди пешакӣ муайяншуда пасттар бимонад, mask-и pruning татбиқ мешавад. Дар таҳқиқот ҳадд:

\[ \tau = 0{,}01 \]

муайян шудааст.

Арзёбиҳо дар давраҳои 8., 16. ва 24. омӯзиш анҷом дода шуданд.

Ҳисоби вазнҳо пас аз pruning чунин аст:

\[ \hat{w}=\mathrm{Softmax}\left((W_g\cdot\sigma(W_{in}\cdot C_{\mathrm{all}}))\odot(1-m)-M\cdot m\right) \]

Дар ин ҷо:

• m, mask-и pruning мебошад, ки барои ҳар мутахассис 0 ё 1 мегирад.
• m=1, маънои хомӯш шудани роҳи он мутахассисро дорад.
• M, адади хеле калон аст, ки холи пеш аз Softmax-и мутахассиси буридашударо ба қимати хеле манфӣ мебарад.
• ŵ, вазнҳои нави мутахассис пас аз pruning мебошанд.

Ҳадаф танҳо ба сифр зарб кардани натиҷаи мутахассис нест, балки ҳангоми inference фаъолияти шохаи физикии марбутаро қатъ намуда, сарфаи воқеии ҳисоббарорӣ ба даст овардан аст.

Функсияи талафот

Омӯзиши сегментатсияи модел бо ҷамъ кардани binary cross-entropy ва Dice loss анҷом дода мешавад:

\[ \mathcal{L}_{\mathrm{mask}}=\lambda_1\mathcal{L}_{\mathrm{BCE}}+\lambda_2\mathcal{L}_{\mathrm{Dice}} \]

Дар таҳқиқот ҳар ду коэффисиент ба 1 баробар карда шудаанд:

\[ \lambda_1=\lambda_2=1 \]

Талафоти binary cross-entropy:

\[ \mathcal{L}_{\mathrm{BCE}}=-\frac{1}{N}\sum_{i=1}^{N}\left(y_i\log p(y_i)+(1-y_i)\log(1-p(y_i))\right) \]

Дар ин ҷо:

• y_i, нишони ҳақиқии пиксели i мебошад ва 0 ё 1 мегирад.
• p(y_i), эҳтимолияти барои пиксел пешгӯишудаи модел аст.
• N, шумораи умумии пикселҳо дар тасвир мебошад.

Dice loss:

\[ \mathcal{L}_{\mathrm{Dice}}=1-\frac{2\sum_{i=1}^{N}p(y_i)y_i+\epsilon}{\sum_{i=1}^{N}p(y_i)+\sum_{i=1}^{N}y_i+\epsilon} \]

Дар ин формула ε як собити хурди ададӣ мебошад, ки аз сифр шудани махраҷ пешгирӣ мекунад.

Cross-entropy ба дуруст тасниф кардани ҳар пиксел, Dice loss бошад ба ҳампӯшии умумии минтақаи пешгӯишуда бо минтақаи воқеӣ диққат медиҳад.

Модел барои як тасвир чанд маскаи номзад месозад. Ҳангоми омӯзиш номзаде интихоб мешавад, ки ба маскаи воқеӣ беҳтарин мувофиқат мекунад:

\[ \mathcal{L}_{\mathrm{total}}=\min_{j\in\{1,\ldots,M\}}\{\mathcal{L}_{\mathrm{mask}}(P_j,Y)\} \]

Дар ин ҷо:

• M, шумораи маскаҳои номзад мебошад.
• P_j, пешгӯии рақами j мебошад.
• Y, маскаи воқеии сегментатсия мебошад.

Маҷмӯаи додаҳои HeteroMedSeg

Муҳаққиқон аз манбаъҳои кушодаи тасвирҳои тиббӣ тақрибан 20.000 буриши дученака ҷамъ карда, маҷмӯаи таҷрибавии HeteroMedSeg-ро сохтанд.

Дар маҷмӯа ҳашт модалият мавҷуд аст:

• Рентген,
• Дермоскопия,
• Томографияи компютерӣ,
• Тасвири қаъри чашм,
• Тасвирбардории магнитӣ-резонансӣ,
• Ултрасадо,
• Эндоскопия,
• Колоноскопия.

Дар Шакли 4 дида мешавад, ки шумораи намунаҳо байни модалиятҳо баробар нест. Ин тақсимот метавонад боиси он шавад, ки модел аз модалиятҳои сершумортар сигналҳои омӯзишии бештар гирад.

Номҳои тасвирҳо дар шакли “Modalite-Görev Varlığı” тартиб дода шудаанд ва ба модел имкон медиҳанд рамзҳои модалият ва контексти анатомиро аз номи файл ҷудо кунад.

Маълумот:

• Yüzde 70 барои омӯзиш,
• Yüzde 15 барои validation,
• Yüzde 15 барои test

тақсим шудааст.

Матн ба таври муфассал шарҳ намедиҳад, ки тақсимот дар сатҳи бемор, сатҳи буриши тасвир ё сатҳи манбаи додаҳо анҷом дода шудааст. Агар буришҳои ҳамсояи як бемор ба бахшҳои гуногун афтанд, data leakage метавонад ба вуҷуд ояд; аз ин рӯ, ин ҷузъ барои эътимоднокии иҷрои модел муҳим аст.

Пешкоркард

Ҳамаи тасвирҳо ба 256×256 пиксел тағйири андоза дода шуданд.

Дар тасвирҳои BT воҳидҳои Hounsfield:

\[ -150 \leq \mathrm{HU} \leq 250 \]

дар ин ҳудуд бурида ва баъдан ба таври хаттӣ нормализатсия шуданд.

Ин тиреза диапазони ба бофтаи нарм нигаронидашударо ифода мекунад. Аммо баъзе сигналҳои устухон, шуш ё бофтаҳои зичии хеле паст метавонанд ҳангоми ин буридан аз даст раванд.

Дар MRG ва дигар модалиятҳо арзишҳои пиксел ба диапазони:

\[ 0 \leq x \leq 1 \]

табдил дода шуданд.

Ҳангоми омӯзиш:

• Миқёсбандии тасодуфӣ байни 0,9-1,1,
• Flip-и тасодуфӣ

истифода шуд.

Танзимоти омӯзиш

Нишон дода нашудани модели GPU, random seed-ҳо ва шумораи такрори таҷрибаҳо арзёбии мустақили вақти омӯзиш ва тағйирёбии натиҷаҳоро душвор мекунад.

Метрикаҳои арзёбӣ

Коэффисиенти Dice Similarity: Нишон медиҳад, ки маскаи пешгӯишуда то чӣ андоза бо маскаи воқеӣ ҳампӯшӣ дорад. Қимат ба як наздик шавад, мувофиқати минтақавӣ зиёдтар аст.

HD95: Персентили 95-уми масофаҳои дуҷониба байни сарҳади пешгӯишуда ва воқеиро чен мекунад. Қимати паст мувофиқати беҳтари сарҳадро нишон медиҳад. Азбаски 5%-и хатогиҳои аз ҳама канориро хориҷ мекунад, нисбат ба Hausdorff distance-и классикӣ ба як пиксели серғавғо тобовартар аст.

Шумораи параметрҳо: Миқёси захира ва қобилияти омӯзонидашавандаи моделро нишон медиҳад. Барои Hetero-MedSAM қимати гузоришшуда ба параметрҳои омӯзонидашавандаи мутобиқсозӣ тамаркуз мекунад.

FLOP: Шумораи тақрибии амалиёти floating-point-ро дар як forward pass нишон медиҳад.

FPS: Шумораи тасвирҳои коркардшуда дар як сония аст. Дар таҳқиқот дар CPU-и Intel Xeon E5-2680 v4 чен шудааст.

Чаро ба ҳамаи қабатҳо мутахассис илова карда нашуд?

Кодгузори тасвири MedSAM аз 12 блоки Transformer иборат аст. Муҳаққиқон аввал кӯшиш карданд, ки ба ҳамаи қабатҳо мутахассис илова кунанд.

Модели гетерогении пурраи қабат:

\[ \mathrm{DSC}=0{,}8428 \]

ба даст овард.

Ин натиҷа аз 0,8567-и модели пурраи MedSegX бо мутахассисони якхела ва аз сохтори ниҳоии интихобшудаи Hetero-MedSAM пасттар аст.

Муҳаққиқон инро чунин шарҳ медиҳанд:

• Қабатҳои сатҳӣ хусусиятҳои асосии канор ва texture-ро мегиранд.
• Агар дар қабатҳои аввал роҳҳои сершумори сохторашон гуногун илова шаванд, намояндагиҳои асосии қаблан омӯхташуда метавонанд вайрон шаванд.
• Роҳҳои гетерогенӣ метавонанд gradient-ҳои андоза ва самташон гуногун ба вуҷуд оварда, ихтилофи байни вазифаҳоро зиёд кунанд.
• Дар қабатҳои амиқ хусусиятҳои анатомӣ ва маъноӣ устувортар мешаванд.
• Дар ин қабатҳо ислоҳи махсуси вазифа аз ҷониби мутахассисон метавонад камтар вайронкунанда бошад.

Ин натиҷа нишон медиҳад, ки модулҳои бештар худ аз худ маънои иҷрои беҳтарро надоранд.

Таҷрибаҳои шумора ва ҷойгиршавии қабатҳо

Дар таҳқиқот тарҳҳои сершуморе санҷида шуданд, ки мутахассисонро дар як, ду, се, чор ва панҷ қабат ҷойгир мекарданд.

Аксари тарҳҳои қабатҳои сатҳӣ ё омехта аз ҳадди Dice-и 0,83 нагузаштанд. Тарҳҳои қабатҳои амиқ натиҷаҳои беҳтар доданд.

Натиҷаҳои барҷаста:

Тарҳи чорқабатӣ бо параметрҳои камтар нисбат ба модели панҷқабатӣ натиҷаи баландтар дод. Аз ин рӯ, дар модели ниҳоӣ чор нуқтаи ҷойгиркунии мутахассис интихоб шуданд.

Чаро қабатҳои 6, 7, 9 ва 11 интихоб шуданд?

Муҳаққиқон дар минтақаи амиқ 15 комбинавсияи гуногуни чорқабатиро муқоиса карданд.

Натиҷаи беҳтарин:

\[ [6,7,9,11] \rightarrow \mathrm{DSC}=0{,}8644 \]

гузориш шудааст.

Ин сохтор се блоки window attention ва як блоки global attention-ро дар бар мегирад. Муаллифон ин тарҳро ҳамчун ҳамкории “аввал маҳаллӣ, баъд глобалӣ” шарҳ медиҳанд:

• Window attention дар қабатҳои 6., 7. ва 9. сохторҳои маҳаллиро коркард мекунад.
• Мутахассисон хусусиятҳои миқёс ва сарҳади маҳаллиро пурра мекунанд.
• Global attention дар қабати 11. контексти васеи анатомиро муттаҳид мекунад.
• Модули охирини мутахассис ба ҳамгироии хусусиятҳои маҳаллӣ дар сатҳи глобалӣ саҳм мегузорад.

Иҷрои муқоисавӣ

Hetero-MedSAM баландтарин Dice-и умумӣ ва пасттарин HD95-ро дар байни моделҳои таҳқиқот ба даст овардааст. Аз ҷиҳати FPS бошад, модели маҳаллии MedSegX каме тезтар аст.

Ин ҷадвал нишон медиҳад, ки модел дар ҳар як метрика ягона беҳтарин нест; балки байни дақиқӣ, сифати сарҳад, миқёси параметр ва суръат мувозинат пешниҳод мекунад.

Арзиши FLOP аз Rep-MedSAM баландтар аст. Аз ин рӯ, истилоҳи “сабук” маънои доштани пасттарин арзиш дар ҳар як меъёри ҳисоббарориро надорад.

Иҷро аз рӯйи модалиятҳо

Шакли 5 MedSAM, MedSegX-и ҳамаи қабатҳо ва Hetero-MedSAM-ро дар сатҳи модалият муқоиса мекунад.

Мувофиқи тафсири таҳқиқот Hetero-MedSAM дар:

• MRG,
• Тасвири қаъри чашм,
• Рентген,
• Дермоскопия,
• Дигар модалиятҳо

натиҷаҳои мусбат нишон додааст.

Дар модалияти BT натиҷаи MedSegX аз Hetero-MedSAM андаке баландтар аст. Ин нишон медиҳад, ки як миёнаи умумӣ маънои бартарӣ дар ҳамаи модалиятҳоро надорад.

Эволютсияи мутахассисон аз рӯйи модалият

Ҷадвали 5 нишон медиҳад, ки бо пешрафти омӯзиш вазнҳои мутахассисон чӣ гуна тағйир ёфтанд. Дар давраи ниҳоӣ дар ҳар қабати интихобшуда аз се мутахассиси морфологӣ танҳо яке нигоҳ дошта шуд.

Ин намунаҳо бо ҳадафи меъморӣ мувофиқанд:

• Дар BT аз сабаби тағйирёбии андозаи ҳадафҳо мутахассиси миқёс бештар нигоҳ дошта шуд.
• Дар эндоскопия бо сабаби ҳудудҳои норавшан ва контексти васеи саҳна мутахассисони канор ва контекст якҷо ба пеш баромаданд.
• Дар дермоскопия бо сабаби контурҳои номунтазами осеб мутахассиси канор бартарӣ пайдо кард.
• Дар MRG бо сабаби зарурати якҷо шинохтани минтақаҳои аз ҳам ҷудо мутахассиси контекст дар аксари қабатҳо нигоҳ дошта шуд.

Намунаҳои сифатии сегментатсия

Дар Шакли 6 чор намуди душвори клиникӣ муқоиса шудаанд:

• Осеби хурд дар BT,
• Ҳудуди норавшан дар эндоскопия,
• Топологияи номунтазам дар дермоскопия,
• Минтақаҳои ҳадафи аз ҳам ҷудо дар MRG.

Ба гуфтаи муҳаққиқон, Hetero-MedSAM дар дермоскопия ҳамворкунии аз ҳад зиёди сарҳадҳоро кам кардааст; дар MRG бошад, минтақаҳои хурди ҷудошударо берун аз минтақаи асосии ҳадаф беҳтар муайян кардааст.

Бо вуҷуди ин, дар намунаи MRG гуфта мешавад, ки ҷудо кардани иқтидори бештар ба контексти глобалӣ метавонад мувофиқати маҳаллиро дар минтақаи асосии калон то андозае кам кунад. Ин нишон медиҳад, ки модел байни тамомияти глобалӣ ва мувофиқати пикселии маҳаллӣ мувозинат месозад.

Таҳқиқоти аблятсия чиро нишон дод?

Бо илова кардани ҷузъҳои модел марҳила ба марҳила саҳми ҳар мутахассис арзёбӣ шуд.

Илова кардани ҳар ҷузъ Dice-ро зиёд ва хатои сарҳадро кам кардааст. Pruning на танҳо моделро хурдтар кард, балки иҷрои онро низ беҳтар намуд.

Муҳаққиқон инро чунин шарҳ медиҳанд, ки бо хориҷ кардани шохаҳои камсаҳм ихтилофи хусусиятҳо байни мутахассисон ва overfitting метавонад кам шавад.

Бо вуҷуди ин, аблятсия танҳо бо як тартиби илова кардан анҷом дода шудааст. Масалан, танҳо мутахассиси канор ё танҳо мутахассиси контекст ва ҳамаи комбинавсияҳои дигар гузориш нашудаанд. Аз ин рӯ, саҳми мустақили ҳар мутахассис пурра ҷудо карда намешавад.

Ҷиҳатҳои қавии таҳқиқот

• Ба ҷойи аз нав омӯзонидани тамоми MedSAM, мутобиқсозии параметр-самаранок дар сутунмӯҳраи яхкардашуда анҷом дода шудааст.
• Ба ҷойи такрори як сохтори мутахассис чор вазифаи гуногуни ба ҳамдигар такмилдиҳанда тарҳрезӣ шудаанд.
• Мундариҷаи тасвир дар routing якҷо бо маълумоти модалият, узв ва вазифаи клиникӣ истифода шудааст.
• Ҷойгиршавии қабатҳо бо шумораи зиёди таҷрибаҳои аблятсия таҳқиқ шудааст.
• Саҳми мутахассисон дар тамоми омӯзиш пайгирӣ шуда, роҳҳои камсаҳм аз ҷиҳати физикӣ бурида шудаанд.
• Ғайр аз ҳампӯшии минтақа, сифати сарҳад бо HD95 арзёбӣ шудааст.
• Параметр, FLOP ва суръати CPU якҷо гузориш шудаанд.
• Ҳашт модалияти гуногуни тасвир истифода шудааст.
• Таҳқиқоти аблятсия, ки саҳми марҳилавии ҷузъҳоро нишон медиҳад, пешниҳод шудааст.
• Гуфта шудааст, ки код оммавӣ аст.

Маҳдудиятҳои таҳқиқот

Арзёбии ҳамтоён вуҷуд надорад: Таҳқиқот preprint мебошад ва ҳанӯз аз ҷониби коршиносони мустақил арзёбӣ нашудааст.

Тасдиқи воқеии клиникӣ вуҷуд надорад: Модел дар додаҳои проспективии беморхона, раванди кори мунтазами клиникӣ ё зери назорати табиб санҷида нашудааст.

Тафсири шумораи параметрҳои “сабук”: 4,40 миллион қимати гузоришшуда ба параметрҳои омӯзонидашавандаи мутобиқсозӣ тамаркуз мекунад. Сутунмӯҳраи яхкардашудаи MedSAM аз модел хориҷ нашудааст.

Санҷиши воқеии дастгоҳи канорӣ вуҷуд надорад: FPS дар CPU-и синфи сервер Intel Xeon E5-2680 v4 чен шудааст. Дар телефон, ултрасадои сайёр, GPU-и embedded ё терминали клиникии камқувват ченкуниҳо вуҷуд надоранд.

Истеъмоли умумии хотира гузориш нашудааст: RAM, хотираи GPU, андозаи файли модел, истеъмоли энергия ва тақсимоти latency дода нашудаанд.

Ҷузъиёти тақсимоти додаҳо маҳдуд аст: Шарҳ дода нашудааст, ки тақсимоти омӯзиш, validation ва test дар сатҳи бемор ё манбаи додаҳо анҷом ёфтааст ё не.

Номувозинии додаҳо: Шумораи намунаҳо дар ҳашт модалият баробар нест. Миёнаи умумӣ метавонад аз модалиятҳои сершумортар бештар таъсир гирад.

Санҷиши мустақили беруна маҳдуд аст: Таҳқиқот test set-и клиникии комилан мустақил ва бисёрмарказиро, ки дар таҳияи модел истифода нашуда бошад, пешниҳод намекунад.

Номуайянии оморӣ гузориш нашудааст: Барои DSC ва HD95 инҳирофи стандартӣ, фосилаи эътимод ё тақсимоти таҷрибаҳо бо random seed-ҳои гуногун дода нашудаанд.

Ҷузъиёти GPU вуҷуд надорад: Модели NVIDIA GPU ва сахтафзори омӯзиш шарҳ дода нашудааст, бинобар ин муқоисаи пурраи вақти омӯзиш душвор аст.

Гиперпараметрҳои pruning дастӣ интихоб шудаанд: Барои ҳадди 0,01 ва санҷишҳои epoch-ҳои 8., 16. ва 24. таҳлили муфассали ҳассосият гузориш нашудааст.

Ҷойгиршавии қабатҳо автоматӣ нест: Тарҳи беҳтарини 6, 7, 9 ва 11 бо ҷустуҷӯи дастии аблятсия пайдо шудааст.

Пас аз pruning чандирии сатҳи намуна кам мешавад: Вақте мутахассисҳо аз ҷиҳати физикӣ хомӯш карда мешаванд, барои тасвири дигаре, ки ба он шоха эҳтиёҷ дорад, дигар фаъол карда намешаванд.

Масъалаи равшанӣ дар бораи мутахассиси чорум: Вазни мутахассиси модалият 1 собит дода шудааст, дар ҳоле ки формулаи pruning чор мутахассисро дар бар мегирад ва ҷадвали эволютсия танҳо се мутахассисро нишон медиҳад.

Носозгории шакли меъморӣ: Дар диаграммаи мутахассиси миқёс ҳар се шоха R=1 нишон дода шудаанд, аммо дар муодилаҳо dilation-и 1, 2 ва 3 муайян шудааст.

Протоколи prompt-и қуттӣ муфассал нест: Шарҳ дода нашудааст, ки box prompt-ҳо аз mask-и воқеӣ чӣ гуна сохта шуданд, чӣ қадар тасодуфият доштанд ва дар test чӣ қадар дақиқ бояд бошанд.

Равиши буриши дученака: Маҷмӯаи додаҳо аз буришҳои тасвир иборат аст. Пайвастагии ҳаҷмии сеченака ва иттилои буришҳои ҳамсоя мустақиман истифода намешавад.

Натиҷаи клиникӣ чен нашудааст: Dice-и баландтар худ аз худ маънои ташхиси дурусттар, ҷарроҳии бехатартар ё натиҷаи беҳтари беморро надорад.

Таҳқиқот чӣ мегӯяд ва чӣ намегӯяд?

Аҳамият аз нигоҳи гузашта, имрӯз ва оянда

Аз нигоҳи гузашта: Корҳои сабуксозии сегментатсияи тасвири тиббӣ асосан ба иваз кардани кодгузори бузург бо сутунмӯҳраи хурд ё истифодаи як сохтори адаптер барои ҳамаи вазифаҳо тамаркуз мекарданд. Hetero-MedSAM кӯшиш мекунад нишон диҳад, ки ҳатто адаптерҳои сабук метавонанд аз ҷиҳати функсия ба вазифаҳои гуногун тахассус дошта бошанд.

Аз нигоҳи имрӯз: Таҳқиқот нишон медиҳад, ки модели асосии бузургро бе аз нав омӯзонидани ҳамаи вазнҳо ба модалиятҳои гуногун мутобиқ кардан мумкин аст ва бо ҷойгиркунии дурусти мутахассисон тавозуни дақиқӣ-суръат беҳтар мешавад.

Аз нигоҳи оянда: Ин равиш метавонад самтҳои зеринро дастгирӣ кунад:

• Ҷустуҷӯи меъмории нейронӣ барои муайян кардани худкори ҷойгиршавии мутахассисон,
• Routing-и динамикии сабуктар, ки барои ҳар тасвир тағйир меёбад,
• Мутобиқсозӣ ба ҳаҷмҳои сеченакаи тиббӣ,
• Тасдиқи мустақили беруна дар сатҳи бемор ва беморхона,
• Санҷиши generalization байни дастгоҳҳои истеҳсолкунандагони гуногун,
• Ченкунии энергия дар сахтафзори воқеии embedded ва дастгоҳҳои сайёр,
• Гузориши номуайянии сегментатсия,
• Сегментатсияи интерактивӣ бо ислоҳи табиб,
• Тарҳҳои махсуси мутахассис барои осебҳои контрасташ паст ва хеле хурд,
• Беҳтар кардани шарҳпазирии қарорҳои мутахассисон.

Маъно барои зиндагии рӯзмарра ва хизматрасонии тиббӣ

Қобилияти кор кардани модели тасвири тиббӣ дар дастгоҳҳои сайёр метавонад дар назария имкон диҳад, ки тасвирҳо на танҳо дар марказҳои бузурги додаҳо, балки дар терминалҳои утоқи ҷарроҳӣ, дастгоҳҳои ултрасадои сайёр, компютерҳои беморхона бо сахтафзори маҳдуд ё марказҳои дурдасти тиббӣ низ коркард шаванд.

Сегментатсияи тезтар метавонад:

• Кори ченкунии радиологро суръат бахшад.
• Ба ҳисобкунии автоматии ҳаҷми осеб кӯмак кунад.
• Нақшаи аввалини контурҳои радиотерапияро тавлид кунад.
• Намоиши сохторҳои анатомиро барои банақшагирии ҷарроҳӣ осон кунад.

Аммо ин имкониятҳо дар таҳқиқот аз ҷиҳати клиникӣ нишон дода нашудаанд. Барои истифодаи модел дар нигоҳубини воқеии бемор амнияти додаҳо, таҳлили хатогиҳо, тасдиқ дар дастгоҳҳои гуногун, назорати клиницист, арзёбии танзимгар ва таҳқиқоти проспективии клиникӣ лозим аст.

Усул ва натиҷаҳои таҳқиқот

Тарҳи техникии таҳқиқот

Ҷараёни асосии математикии модел

Якҷокунии контекст:

\[ C_{\mathrm{all}}=\mathrm{Concat}(E_m,E_a,E_t,\bar{X}) \]

Routing барои се мутахассиси аввал:

\[ [w_1,w_2,w_3]^T=\mathrm{Softmax}(W_g\sigma(W_{in}C_{\mathrm{all}})) \]

Шарти вазн:

\[ \sum_{i=1}^{3}w_i=1,\qquad w_4=1 \]

Якҷокунии мутахассис ва сутунмӯҳра:

\[ Y=\mathrm{MLP}(X)+s\left(\sum_{i=1}^{3}w_iE_i(X)+w_4E_4(X)\right) \]

Холи ҳаракаткунандаи саҳм:

\[ S_{\mathrm{avg}}^{(t)}=(1-\lambda)S_{\mathrm{avg}}^{(t-1)}+\lambda\mathrm{Mean}(w^{(t)}),\quad\lambda=0{,}1 \]

Ҳадди pruning:

\[ \tau=0{,}01 \]

Loss-и муттаҳид:

\[ \mathcal{L}_{\mathrm{mask}}=\mathcal{L}_{\mathrm{BCE}}+\mathcal{L}_{\mathrm{Dice}} \]

Натиҷаҳои гузоришшудаи модели ниҳоӣ

Фарқ нисбат ба MedSAM-и асосӣ

Натиҷаи марҳилавии саҳми мутахассисон

Раванди умумии шаклҳо

• Шакли 1: Нишон медиҳад, ки модулҳои HeCon-MoAE чӣ гуна ба сутунмӯҳраи MedSAM пайваст мешаванд.
• Шакли 2: Дарахти дониши анатомиро аз бадани инсон то вазифаи клиникии сегментатсия нишон медиҳад.
• Шакли 3: Шабакаи routing ва меъмории дохилии чор шохаи мутахассисро муфассал мекунад.
• Шакли 4: Нобаробар будани тақсимоти намунаҳо байни ҳашт модалиятро нишон медиҳад.
• Шакли 5: Натиҷаҳои моделҳоро дар BT, MRG, fundus, рентген, дермоскопия ва дигар гурӯҳҳо муқоиса мекунад.
• Шакли 6: Фарқиятҳои сифатии сегментатсияро дар осеби хурд, сарҳади норавшан, топологияи номунтазам ва минтақаҳои ҳадафи ҷудо нишон медиҳад.

Натиҷаи техникӣ

Таҷрибаҳои таҳқиқот нишон медиҳанд, ки MedSAM-ро бе аз нав омӯзонидани тамоми сутунмӯҳра тавассути роҳҳои функсионалӣ гуногуни мутахассис мутобиқ кардан мумкин аст. Натиҷаи баландтарин вақте гирифта шуд, ки мутахассисон на ба ҳамаи қабатҳои шабака, балки ба блокҳои амиқи интихобшуда, ки дар онҳо хусусиятҳои маъноии сатҳи баланд ташаккул меёбанд, ҷойгир карда шуданд.

Буридани эволютсионӣ на танҳо бо хориҷ кардани шохаҳои камсаҳм шумораи параметрҳоро коҳиш дод, балки эҳтимолан бо кам кардани ихтилофи хусусиятҳо байни мутахассисон DSC ва HD95-ро беҳтар кард.

Бо вуҷуди ин, натиҷаҳо нишон намедиҳанд, ки Hetero-MedSAM барои истифодаи клиникӣ омода аст ё дар ҳамаи вазифаҳои сегментатсияи тасвири тиббӣ бартарӣ дорад. Бозёфтҳо барои маҷмӯаи додаҳои муайяни ҷамъшуда ва тарҳи таҷрибавии гузоришшудаи муҳаққиқон эътибор доранд.

Ёддошт оид ба Манбаъ ва Усул

Ин мундариҷа ба таҳқиқоти “Hetero-MedSAM: A Lightweight Medical Image Segmentation Framework Based on Heterogeneous Mixture of Experts and Evolutionary Pruning”, ки аз ҷониби Lieqiang Liu ва Chengping Zhao таҳия шудааст, асос ёфтааст.

Манбаъ як мақолаи таҳқиқотии preprint мебошад, ки дар SSRN ҷойгир буда ва барои пешниҳод ба Elsevier омода шудааст. Дар матн ба таври возеҳ “This preprint research paper has not been peer reviewed” навишта шудааст. Аз ин рӯ, таҳқиқот аз арзёбии мустақили илмии ҳамтоён нагузаштааст. Дар матн қабули маҷалла ё DOI-и мақола вуҷуд надорад.

Ин таҳқиқот озмоиши клиникӣ, таҷрибаи дахолат ба бемор ё таҳқиқоти амнияти дастгоҳи тиббӣ нест. Он таҳияи модели ҳисоббарорӣ ва таҳқиқоти муқоисавии сегментатсия мебошад, ки дар манбаъҳои кушодаи тасвирҳои тиббӣ анҷом дода шудааст.

Гуфта шудааст, ки тасвирҳои тиббии истифодашуда аз манбаъҳои кушода ва муқарраршуда гирифта шудаанд ва аз ин рӯ тасдиқи иловагии кумитаи ахлоқӣ талаб нашудааст. Муаллифон бархӯрди манфиатҳоро эълон накардаанд.

Маълумот дар папкаи Google Drive ва код дар repository-и GitHub, ки дар таҳқиқот нишон дода шудааст, дастрас буданаш гуфта мешавад. Бо вуҷуди ин, барои такрори пурраи натиҷаҳо гузориши дақиқтари усули тақсимоти додаҳо, тавлиди prompt, random seed-ҳо, модели GPU ва баъзе ҷузъиёти меъморӣ лозим буда метавонад.

4,40 миллион параметри гузоришшуда миқёси омӯзонидашавандаи мутобиқсозии моделро ифода мекунад. Сутунмӯҳраи яхкардашудаи MedSAM ҳангоми inference ҳамоно истифода мешавад. Аз ин рӯ, таҳқиқот нишон намедиҳад, ки тамоми модел танҳо бо 4,40 миллион параметр захира мешавад ё дар ҳар дастгоҳи камқувват кор мекунад.

Санҷиши суръати CPU дар Intel Xeon E5-2680 v4 анҷом дода шудааст. Дар ултрасадои сайёр, протсессори embedded, телефон, терминали клиникии камқувват ё дастгоҳи воқеии тиббии edge ченкунии иҷро гузориш нашудааст.

Натиҷаҳои баландтари Dice ва HD95-и пасттар иҷрои сегментатсияро нишон медиҳанд; онҳо далели дақиқии ташхис, муваффақияти табобат, амнияти ҷарроҳӣ ё беҳтар шудани натиҷаҳои бемор нестанд.

Ин мақола танҳо дар асоси таърифҳои меъморӣ, формулаҳо, раванди омодасозии додаҳо, ҷадвалҳо, графикҳо, аблятсияҳо, натиҷаҳои муқоисавӣ, маҳдудиятҳо ва тафсирҳои муаллифон дар preprint-и боршуда таҳия шудааст. Даъвоҳои муваффақияти клиникӣ, тасдиқи танзимгар, иҷрои real-time-и дастгоҳ ё фоидаи бемор, ки дар PDF нестанд, илова нашудаанд.