Академиялык изилдөөлөр, түшүнүктүү тил

Verianla | Кыргызча академиялык изилдөөлөр жана илим

27 сентябрь 2026, Жекшемби
VERİANLAКөз карандысыз илимий басма
Менюну ачуу же жабуу
...
Башкы бет / Саламаттык сактоо илимдери / Стоматология / Панорамалык тиш рентгендеринде чек араны көргөн жасалма интеллект: Лапласиан кыр багыттамалуу SAM 2 менен миллиметрден төмөн тиш сегментациясы
Стоматология

Панорамалык тиш рентгендеринде чек араны көргөн жасалма интеллект: Лапласиан кыр багыттамалуу SAM 2 менен миллиметрден төмөн тиш сегментациясы

Панорамалык стоматологиялык рентген сүрөттөрү үстүңкү жана астыңкы жаакты, тиштерди жана айланасындагы анатомиялык түзүлүштөрдү бир сүрөттө кеңири көрсөтө алгандыктан, ортодонтиялык пландоо, имплант баалоо жана стоматологиялык скринингде кеңири колдонулат.

18/07/2026  Veri Anla 64 көрүү
Панорамалык тиш рентгендеринде чек араны көргөн жасалма интеллект: Лапласиан кыр багыттамалуу SAM 2 менен миллиметрден төмөн тиш сегментациясы

Панорамалык стоматологиялык рентген сүрөттөрү үстүңкү жана астыңкы жаакты, тиштерди жана айланадагы анатомиялык түзүлүштөрдү бир сүрөттө кеңири көрсөтө алгандыктан, ортодонтиялык пландоо, имплант баалоо жана стоматологиялык скрининг процесстеринде кеңири колдонулат. Бирок бул сүрөттөрдө тиш тамыры менен альвеолалык сөөктүн, периодонталдык байламта аралыгынын жана коңшу тиштердин ортосундагы чек аралар көп учурда төмөн контрасттуу болот. Металл реставрациялар, аба жолу көлөкөлөрү, геометриялык үстү-үстүнө түшүүлөр жана сүрөттөө артефакттары да автоматтык чек ара аныктоону кыйындатат.

Бул изилдөөдө изилдөөчүлөр панорамалык рентген сүрөттөрүндө тиштердин тышкы чек араларын такыраак аныктоо үчүн EGA-SAM2-UNet деп аталган жасалма интеллект архитектурасын иштеп чыгышкан. Система жалпы сүрөттөрдө алдын ала үйрөтүлгөн SAM 2 негизги моделин панорамалык рентген сүрөттөрүнүн өзүнө таандык боз тон жана текстура бөлүштүрүлүшүнө ылайыкташтырат.

Моделдин негизги жаңылыгы Edge-Guided Attention, башкача айтканда Кыр багыттамалуу көңүл буруу модулу. Мурунку ыкмалардын көбүндө кыр маалыматы моделге кийин кошулган жардамчы өзгөчөлүк же өзүнчө чек ара жоготуусу катары колдонулган. Бул изилдөөдө болсо Лапласиан кыр оператору аркылуу алынган структуралык маалымат каналдык жана мейкиндиктик көңүл буруу салмактарын эсептөөнүн түз ичине жайгаштырылган. Ошентип модель “тиш кайда?” деген суроого гана эмес, “тиш менен айланасындагы сөөк так кайсы жерде бөлүнөт?” деген суроого да көңүл бурууга мажбурланат.

SAM 2 коддоочусунун бардык параметрлерин кайра үйрөтүүнүн ордуна Төмөн даражалуу ылайыкташтыруу, башкача айтканда LoRA колдонулган. Бул ыкма менен моделдин параметрлеринин %99,5тен көбү тоңдурулуп, болгону болжол менен %0,43–0,47лик чакан бөлүгү гана үйрөтүлгөн. Көп масштабдуу RFB блоктору ар кандай өлчөмдөгү анатомиялык үлгүлөрдү чогултса, жогорудан төмөнгө кайчылаш көңүл буруу механизми жогорку деңгээлдеги тиш маалыматын төмөнкү деңгээлдеги текстура деталдары менен бириктирген.

Модель MICCAI STS 2024 жана DENTEX деп аталган эки коомдук панорамалык рентген маалымат топтомунда бааланган. MICCAI STS 2024 валидация топтомунда EGA-SAM2-UNet үчүн Dice окшоштук коэффициенти %93,9, кесилиш-биригүү катышы %88,5, орточо симметриялык чек ара аралык 0,18 mm жана HD95 чек ара катасы 0,79 mm деп билдирилген.

MedSAM моделинин HD95 мааниси 1,02 mm болсо, сунушталган ыкмада бул маанинин 0,79 mmге түшүшү изилдөөчүлөр тарабынан чек ара жайгаштырууда салыштырмалуу %22,6 жакшыруу катары чечмеленген. Бул катыш Dice ийгилигиндеги 22,6 баллдык өсүштү билдирбейт; 95. процентилдик чек ара аралыктагы салыштырмалуу азаюуну билдирет.

Модель MICCAI STS 2024 үстүндө үйрөтүлүп, эч кандай кошумча DENTEX ылайыкташтыруусу жүргүзүлбөстөн DENTEX валидация топтомунда сыналганда Dice %91,2 жана HD95 0,95 mm болуп сакталган. Жыйынтыктар ар башка сүрөттөө аппараттары жана борборлор арасында белгилүү деңгээлде өткөрүлө билүү бар экенин көрсөтөт. Ошентсе да маалымат аймагы өзгөргөндө Dice 2,7 пайыздык пунктка азайып, HD95 0,16 mm жогорулаган.

Абляция эксперименттери көрсөткүчтүн өсүшү бир гана компоненттен келбегенин көрсөткөн. LoRA ылайыкташтыруусу, көп масштабдуу RFB блоктору, кайчылаш көңүл буруу, EGA жана жарым көзөмөлдүү үйрөнүү кезеги менен кошулган сайын Dice %89,7ден %93,9га көтөрүлүп; HD95 1,49 mmден 0,79 mmге түшкөн. Эң айкын жеке модул салымдарынын бири кыр маалыматын көңүл буруу эсептөөсүнө кошуу аркылуу чек ара катасында алынган.

Изилдөө клиникалык жагынан үмүттөндүргөн сүрөт сегментация ыкмасын сунуштайт; бирок диагноз системасы эмес. Кариес, периапикалдык лезия, периодонталдык сөөк жоготуусу же имплант ылайыктуулугун диагноздобойт. Жыйынтыктар коомдук маалымат топтомдорундагы эсептөө эксперименттерине негизделет. Адам эксперттердин чек ара чийүү айырмачылыгы менен түз салыштыруу жүргүзүлгөн эмес, реалдуу клиникалык чечимдерди же бейтап жыйынтыктарын жакшыртканы көрсөтүлгөн эмес.

Кеңири Түшүндүрмө

Изилдөөnın негизги problemi эмне?

Bir сүрөт segmentasyon системасы, сүрөтdкошумчаi her пикселin кайсы yapıya ait экенин belirlemeye çalışır. Тиш сегментациясыnda amaç, her dişi çevresindкошумчаi alveol kemiğinden, yumuşak doku gölgelerinden жана komşu dişlerden ayıran туура бир maske oluşturmaktır.

Panoramik radyografilerde бул işlem birkaç себептен güçtür:

  • Тиш kökü менен alveol kemiğinin radyografik yoğunlukları birbirine yaklaşabilir.
  • Periodontal ligament аралыгы өтө ince жана төмөн kontrastlı болушу мүмкүн.
  • Komşu dişler özellikle çapraşıklıkta üst üste binebilir.
  • Kök uçlarının чек араları çevredкошумчаi kemik dokusu ичинде silikleşebilir.
  • Metal dolgu, kron жана канал tedavileri жогорку yoğunluklu artefaktlar oluşturabilir.
  • Maksiller hava yolu жана diğer анатомиялык gölgeler dişlere benzeyen туура эмес kenarlar meydana getirebilir.
  • Panoramik сүрөтleme, üç өлчөмlu anatomiyi iki өлчөмlu düzleme yansıttığı үчүн büyütme жана geometrik bozulma içerir.

Bir модель dişin жалпы тармакını туура bulduğu hâlde чек араını birkaç пиксел dışarı taşırabilir. Бул durum özellikle iki komşu dişin tкошумча бир бардык сыяктуу birleşmesine, kök чек араının kemiğe taşmasına же тиш yüzeyinin бир bölümünün kaybolmasına эмне үчүн болушу мүмкүн.

Бул себептен жогорку Dice мааниси tкошумча өзүнчө yeterli эмес. Тиш тармакının чоң kısmı туура sınıflandırılmış olsa bile клиникалык açıdan маанилүү чек ара bölgelerinde ката bulunabilir. Изилдөө бул себептен hem bölgesel örtüşmeyi hem да чек ара uzaklığını ölçen metrikler kullanmıştır.

Manuel segmentasyon эмне үчүн yeterli görülmüyor?

Panoramik radyografide бардык dişlerin elle чек араlandırılması убакыт alıcıdır. Aynı uzman ар түрдүү zamanlarda ошол эле сүрөтyü biraz ар түрдүү çizebilir; iki uzman ортосунда да чек ара артык көрүүi değişebilir. Büyük сүрөт маалымат tabanlarında her dişi tкошумча tкошумча işaretlemкошумча клиникалык iş yükünü artırır.

Otomatik segmentasyon бул işlemler үчүн негизги бир ön adım болушу мүмкүн:

  • Dişlerin автоматтык numarтармакdırılması,
  • Тиш кошумчаsikliklerinin belirlenmesi,
  • Ortodontik ark жана тиш konumu analizi,
  • Kök çevresindкошумчаi анатомиялык mesafelerin hesaplanması,
  • İmplant plмааниa yazılımlarında тиш bölgelerinin ayrıştırılması,
  • Dental сүрөтlerin жасалма интеллект менен taranması,
  • Patoloji analizinden мурда кадимки анатомиялык yapıların ayrılması.

Bununla бирге автоматтык segmentasyonun güvenilir olabilmesi үчүн гана dişin жалпы konumunu değil, servikal bölgeyi, kök ucunu жана komşu dişler arasındaki ince чек араları да туура belirlemesi gerкошумчаir.

Literatürdкошумчаi негизги boşluk эмне?

Изилдөөya ылайык öncкошумчаi sistemler кыр маалыматыni жалпыlikle iki şкошумчаilde kullanmıştır:

  1. Modelin tahmini менен gerçкошумча чек ара arasındaki farkı cezтармакdıran yardımcı бир чек ара жоготуусу кошумчаlemкошумча,
  2. Sobel, Canny же Лапласиан менен çıkarılan кыр haritasını giriş сүрөтsüne ya да ara өзгөчөлүктөрe кошумча канал катары birleştirmкошумча.

Бул yaklaşımlarda кыр маалыматы көңүл буруу mкошумчаanizmasının dışında kalmaktadır. Model мурда өзүнүн көңүл буруу ağırlıklarını hesaplamakta, кыр маалыматы ise гана girişe кошумча өзгөчөлүк же çıkışı denetleyen ceza катары колдонулат.

EGA-SAM2-UNet’in önerdiği değişiklik, кыр маалыматыni түздөн-түз көңүл буруу ağırlıklarının hesaplanmasına sokmaktır. Böylece кыр haritası гана modele verilen başka бир маалымат эмес; кайсы өзгөчөлүк kanalının жана кайсы сүрөт konumunun маанилүү экениna karar veren mкошумчаanizmanın бир parçası hâline gelmкошумчаtedir.

SAM 2 эмне үчүн түздөн-түз kullanılamadı?

SAM 2, geniş жана жалпы сүрөт kolкошумчаsiyonlarından öğrenilmiş бир görsel негизги modeldir. Doğal fotoğraflardaki insanlar, araçlar же nesneler менен панорамалык стоматологиялык рентген сүрөттөрү ошол эле doku жана kontrast өзгөчөлүктөрүne ээ эмес.

Panoramik сүрөтlerde:

  • Renk маалыматsi bulunmaz,
  • Gri ton farklılıkları өтө küçüktür,
  • Anatomik yapılar üst üste biner,
  • Тиш менен kemik чек араı doğal fotoğraflardaki nesne чек араından дагы belirsizdir,
  • Artefaktlar gerçкошумча анатомиялык kenarlar сыяктуу görünebilir.

Бул тармак farkı эмне үчүнiyle SAM’ın sıfırdan uyarlama yapılmadan колдонулган sürümü изилдөөда %83,6 Dice жана 1,87 mm HD95 менен чек араlı kalmıştır. Бул жыйынтык, күчтүү бир жалпы сүрөт моделинn медициналык сүрөтlerde түздөн-түз güvenilir жыйынтык vermeyebileceğini көрсөтөт.

LoRA менен parametre verimli uyarlama

SAM 2’nin бардык ağırlıklarını yeniden eğitmкошумча жогорку bellкошумча, hesaplama жана маалымат талап кылат. Изилдөөчүлөр bunun ордуна LoRA kullanmıştır.

Изилдөөда алдын ала үйрөтүлгөн ağırlık matrisi \(W_0\) үчүн güncelleme бул төмөн dereceli çarpımla чек араlandırılmıştır:

\[ \Delta W=BA \]

İleri geçiş denklemi şöyledir:

\[ h=W_0x+\Delta Wx=W_0x+BAx \]

Burada:

  • \(W_0\), SAM 2’den gelen жана чоң деңгээлде dondurulan алдын ала үйрөтүлгөн ağırlık matrisidir.
  • \(x\), katmana verilen giriş özelliğidir.
  • \(\Delta W\), dental radyografi тармакına uyum sağlamak үчүн öğrenilen küçük güncellemedir.
  • \(A\) жана \(B\), төмөн dereceli eğitilebilir matrislerdir.
  • \(r\), төмөн dereceyi gösterir жана ana matris өлчөмlarından өтө дагы küçüktür.
  • \(h\), ылайыкташтырылган katmanın çıktısıdır.

Gündelik бир benzetmeyle modelin бардык маалыматsini yeniden yazmak ордуна, панорамалык рентген сүрөттөрү үчүн küçük бир “düzeltme кошумчаi” öğrenilmкошумчаtedir. Böylece жалпы görsel маалымат korunurken тиш dokularının yoğunluk örüntülerine uyum sağlanmaktadır.

Deneylerde LoRA derecesi \(r=16\), ölçкошумча katсаны \(\alpha=32\) катары belirlenmiş жана Transformer bloklarındaki sorgu, anahtar жана маани izdüşümlerine uygulanmıştır.

LoRA parametreleri болжол менен 0,42 milyon катары bildirilmiştir. Бул, modelin toplam parametrelerinin болжол менен %0,43’üne каршы gelmкошумчаtedir. Metnin ар түрдүү bölümlerinde болжол менен %0,47 мааниси да колдонулат; iki катыш да modelin өтө küçük бир bölümünün eğitildiğini билдирүү кылууда.

Көп масштабдуу RFB blokları ne yapıyor?

Тиш чек араları tкошумча бир өлчөм ölçeğinde эмес. Ön dişlerin ince kökleri, azı dişlerinin өтө köklü anatomisi, geniş kronlar жана өтө ince периодонталдык аралыкlar ар түрдүү görsel ölçкошумчаlerde маалымат талап кылат.

RFB, yani Receptive Field Block, ар түрдүү genişletme катышlarına ээ paralel evrişimler kullanmaktadır. Изилдөөда genişletme катышları:

\[ r=\{1,3,5\} \]

катары verilmiştir.

Küçük alıcı тармакlar ince yerel ayrıntıları, дагы geniş alıcı тармакlar ise dişin жалпы формасын жана çevresel bağlamı yakalamaya yardımcı болот. Böylece модель гана tкошумча бир пиксел çevresine değil, ар түрдүү büyüklükte анатомиялык bölgelere bakabilir.

Yukarıdan aşağı кайчылаш көңүл буруу эмне үчүн kullanıldı?

Kodlayıcının эрте katmanları ince doku жана кыр маалыматы taşırken derin katmanları “бул yapı бир diştir” сыяктуу дагы жогорку düzeyli мааниsal маалымат taşır. Erken өзгөчөлүктөр ayrıntılıdır fakat artefaktlardan etkilenebilir; derin өзгөчөлүктөр маанилүүdır fakat мейкиндиктик ayrıntıları дагы kabadır.

Изилдөөда üst декодер katmanından gelen өзгөчөлүктөр sorgu, коддоочуdan gelen atlama bağlantısı өзгөчөлүктөрү ise anahtar жана маани катары колдонулган:

\[ F_{\mathrm{fused}}= \operatorname{Attention} \left( Q=F_{\mathrm{up}}, K=F_{\mathrm{enc}}, V=F_{\mathrm{enc}} \right) \]

Burada:

  • \(F_{\mathrm{up}}\), öncкошумчаi декодер katmanından büyütülerкошумча gelen жогорку düzeyli özelliktir.
  • \(F_{\mathrm{enc}}\), коддоочуnın каршы gelen seviyesindкошумчаi ayrıntılı özelliktir.
  • \(Q\), sorguyu; \(K\), anahtarı; \(V\), мааниси temsil кылат.
  • \(F_{\mathrm{fused}}\), мааниsal маалыматyle süzülmüş birleşik özelliktir.

Amaç, EGA modülüne ulaşmadan мурда dişle ilgisiz gölge жана artefaktların бир bölümünü elemкошумча, төмөн seviyeli ayrıntıları жогорку seviyeli тиш маалыматsiyle kalibre etmкошумчаtir.

Лапласиан оператору эмне үчүн seçildi?

Лапласиан, сүрөт yoğunluğundaki ikinci dereceden değişimleri inceleyen бир кыр operatörüdür. Изилдөөnın belirttiği негизги avantajı izotropik olmasıdır. Бул, kenarın yönü değişse bile benzer түрдө жооп verebilmesi маанисиna gelir.

Тиш чек араları tкошумча yönde эмес:

  • Komşu dişlerin ортосунда дагы өтө düşey,
  • Mine-sement birleşimi çevresinde дагы өтө yatay,
  • Kök uçlarında eğik жана kavisli чек араlar bulunabilir.

Sobel сыяктуу birinci dereceden operatörler belirli yönlere дагы duyarlıdır жана бардык yönleri yakalayabilmкошумча үчүн ар түрдүү çкошумчаirdкошумчаler талап кылат. Лапласиан ise бардык yönlerdкошумчаi yoğunluk değişimlerine реакция verebilir.

Изилдөөда frкошумчаans тармакındaki Лапласиан davranışı бул şкошумчаilde verilmiştir:

\[ H(u,v)=-(u^2+v^2) \]

Burada:

  • \(u\) жана \(v\), сүрөтnün iki мейкиндиктик frкошумчаans yönünü,
  • \(H(u,v)\), Лапласиан filtrenin frкошумчаans yanıtını temsil кылат.

Frкошумчаans büyüdükçe \((u^2+v^2)\) terimi artmaktadır. Бул себептен Лапласиан, hızlı yoğunluk geçişlerini yani kenarları güçlendiren жогорку geçiren бир filtre сыяктуу davranır. Geniş жана homojen dentin же pulpa bölgeleri дагы төмөн frкошумчаanslıyken тиш-kemik geçişi сыяктуу чек араlar дагы жогорку frкошумчаanslı bileşenler içerir.

Кыр маалыматы кайсы сүрөтye uygulanıyor?

EGA modülü, Лапласиан operatörünü түздөн-түз ham panoramik сүрөтye uygulamakla чек араlı эмес. Operatör, ağın ara өзгөчөлүк haritasına канал bazında uygulanmaktadır.

Изилдөөда кыр tanımlayıcısı бул denklemle oluşturulmuştur:

\[ E= \operatorname{ReLU} \left( \mathcal{B} \left( \operatorname{Conv}_{dw}(F,K_{\mathrm{Lap}}) \right) \right) \]

Burada:

  • \(F\in\mathbb{R}^{C\times H\times W}\), ara өзгөчөлүк haritasıdır.
  • \(C\), канал саныnı; \(H\) жана \(W\), мейкиндиктик өлчөмları gösterir.
  • \(K_{\mathrm{Lap}}\), sabit 3×3 Лапласиан çкошумчаirdeğidir.
  • \(\operatorname{Conv}_{dw}\), her өзгөчөлүк kanalını өзүнчө işleyen derinlik yönlü evrişimdir.
  • \(\mathcal{B}\), Batch Normalization işlemini билдирүү кылат.
  • ReLU, negatif маанилери bastıran aktivasyon fonksiyonudur.
  • \(E\), көңүл буруу hesaplamasında kullanılacak yapısal кыр tanımlayıcısıdır.

Örnкошумча Лапласиан çкошумчаirdeği şöyledir:

\[ K_{\mathrm{Lap}}= \begin{bmatrix} 0 & 1 & 0\\ 1 & -4 & 1\\ 0 & 1 & 0 \end{bmatrix} \]

Бул sabit çкошумчаirdкошумча ağ тарабынан yeniden öğrenilmez. Изилдөөчүлөрın gerкошумчаçesine ылайык чек ара пикселleri toplam сүрөтnün %5’inden az экендиги үчүн такamen öğrenilebilir бир кыр filtresinde чек ара gradyanları arka plan пикселlerinin baskınlığı altında kaybболушу мүмкүн. Sabit Лапласиан çкошумчаirdeği, үйрөтүү процессиндеn bağımsız бир кыр dayanağı sağlamaktadır.

Kanal dikkati кантип hesaplanıyor?

Kanal dikkati, “кайсы өзгөчөлүк haritaları чек ара жагынан дагы маанилүү?” sorusuna жооп verir. Kenar haritası мурда küresel ortalama havuzlama менен her канал үчүн özetlenir, ardından өтө katmanlı algılayıcıdan geçirilir:

\[ M_c(E)= \sigma \left( \operatorname{MLP} \left( \operatorname{GAP}(E) \right) \right) \]

Burada:

  • \(\operatorname{GAP}\), küresel ortalama havuzlamadır.
  • MLP, өтө katmanlı algılayıcıdır.
  • \(\sigma\), маанилери 0–1 аралыгыna taşıyan sigmoid fonksiyonudur.
  • \(M_c(E)\), her өзгөчөлүк kanalının önem ağırlığıdır.

Uzamsal көңүл буруу кантип hesaplanıyor?

Uzamsal көңүл буруу ise “сүрөтnün кайсы konumlarına дагы fazla odaklanılmalıdır?” sorusuna жооп verir. Kenar haritası 7×7 конволюция жана sigmoid fonksiyonundan geçirilir:

\[ M_s(E)= \sigma \left( \operatorname{Conv}_{7\times7}(E) \right) \]

Burada \(M_s(E)\), сүрөт жогоркуliği жана genişliği boyunca her konuma verilen мейкиндиктик көңүл буруу ağırlığıdır.

Kanal dikkati кайсы өзгөчөлүк türlerinin маанилүү экенин, мейкиндиктик көңүл буруу ise чек араların сүрөтда nerede bulunduğunu belirlemeye çalışır.

EGA modülünün nihai birleşimi

Kanal жана мейкиндиктик көңүл буруу paralel түрдө orijinal өзгөчөлүк haritasına uygulanmış жана artık bağlantısıyla birleştirilmiştir:

\[ F_{\mathrm{EGA}} = F+ \left(F\otimes M_c(E)\right) + \left(F\otimes M_s(E)\right) \]

Burada:

  • \(F\), EGA modülüne giren ana өзгөчөлүк haritasıdır.
  • \(\otimes\), eleman bazında çarpımı билдирүү кылат.
  • \(F\otimes M_c(E)\), канал жагынан yeniden ağırlıklandırılmış өзгөчөлүктөрү,
  • \(F\otimes M_s(E)\), мейкиндиктик катары yeniden ağırlıklandırılmış өзгөчөлүктөрү,
  • \(F_{\mathrm{EGA}}\), кыр duyarlılığı artırılmış nihai çıktıyı gösterir.

Orijinal \(F\) özelliğinin жыйынтыкta korunması artık bağlantısıdır. Бул bağlantı, кыр modülünün учурдагы мааниsal маалыматyi такamen değiştirmesini önler жана гана чек араla ilgili өзгөчөлүктөрү güçlendirmesini sağlar.

Şкошумчаil 1 mimarinin кайсы akışını gösteriyor?

Изилдөөnın mimari şemasında panoramik radyografi мурда LoRA adaptörleri кошумчаlenmiş SAM 2 коддоочуsından geçmкошумчаtedir. Kodlayıcının төрт ар түрдүү seviyesinden өзгөчөлүк haritaları çıkarılmaktadır.

Her seviyede:

  1. RFB blokları ар түрдүү ölçкошумчаlerde bağlam toplamaktadır.
  2. Üst seviyeden gelen маалымат кайчылаш көңүл буруу аркылуу alt seviyeyi kalibre кылууда.
  3. EGA modülü Лапласиан кыр öncülünü канал жана мейкиндиктик dikkate aktarmaktadır.
  4. Kod çözücü blokları сүрөтnün çözünürlüğünü kademeli түрдө yeniden yükseltmкошумчаtedir.
  5. Son aşamada бардык dişleri gösteren segmentasyon maskesi üretilmкошумчаtedir.

Şema, modelin гана en derin SAM 2 özelliğini kullanmadığını; жогорку çözünürlüklü yüzey ayrıntıları менен төмөн çözünürlüklü мааниsal маалыматyi hiyerarşik катары birleştirdiğini көрсөтөт.

Şкошумчаil 2 EGA modülünü кантип ачыкlıyor?

EGA изилдөө şemasında ara өзгөчөлүк мурда Лапласиан çкошумчаirdкошумча evrişimi, Batch Normalization жана ReLU’dan geçirilerкошумча \(E\) кыр haritasına dönüştürülmкошумчаtedir.

Бул harita дагы кийин iki paralel kola ayrılmaktadır:

  • Kanal kolunda GAP, MLP жана sigmoid,
  • Uzamsal kolda 7×7 конволюция жана sigmoid uygulanmaktadır.

İki kolun ürettiği көңүл буруу ağırlıkları orijinal özellikle çarpılmakta жана artık birleştirme modülünde ana özellikle toplanmaktadır. Бул görsel, kenarın өзүнчө бир yan ağ катары tutulmadığını; түздөн-түз көңүл буруу ağırlıklarını üreten çкошумчаirdкошумча маалымат экенин ачыкça көрсөтөт.

Kayıp fonksiyonu кантип düzenlendi?

Model, Dice жоготуусу менен ikili çapraz entropi жоготуусуnın ağırlıklı toplamıyla үйрөтүлгөнtir:

\[ \mathcal{L} = \lambda_{\mathrm{Dice}}\mathcal{L}_{\mathrm{Dice}} + \lambda_{\mathrm{BCE}}\mathcal{L}_{\mathrm{BCE}} \]

Изилдөөда:

\[ \lambda_{\mathrm{Dice}}=0.7, \qquad \lambda_{\mathrm{BCE}}=0.3 \]

катары колдонулган.

Dice жоготуусу бул түрдө verilmiştir:

\[ \mathcal{L}_{\mathrm{Dice}} = 1- \frac{ 2\sum_i y_ip_i+\epsilon }{ \sum_i y_i+\sum_i p_i+\epsilon } \]

Burada:

  • \(y_i\), \(i\). пикселin gerçкошумча sınıfını,
  • \(p_i\), modelin ошол эле пиксел үчүн ürettiği тиш мүмкүн болгонlığını,
  • \(\epsilon\), sıfıra bölünmeyi önleyen küçük düzeltme terimini билдирүү кылат.

Dice жоготуусу, тиш пикселleri менен өтө дагы geniş arka plan ортосунда oluşan sınıf dengesizliğine karşı bölgesel örtüşmeyi destкошумчаlemкошумчаtedir.

İkili çapraz entropi жоготуусу şöyledir:

\[ \mathcal{L}_{\mathrm{BCE}} = -\frac{1}{N} \sum_i \left[ y_i\log(p_i) + (1-y_i)\log(1-p_i) \right] \]

Burada \(N\), değerlendirilen toplam пиксел саныdır. BCE her пикселin тиш же arka plan катары туура sınıflandırılmasını teşvik кылууда.

Verilen formüllerde өзүнчө бир кыр жоготуусу жок. Изилдөөnın маанилүү tasarım iddialarından бири да budur: чек ара duyarlılığı кошумча бир кыр жоготуусуndan değil, EGA modülünün көңүл буруу hesaplamasından sağlanmaktadır.

Yarı көзөмөлдүү үйрөнүү эмне үчүн kullanıldı?

MICCAI STS 2024 маалымат топтомуnde гана 30 үйрөтүү сүрөтsünün ayrıntılı etiketi bulunurken 2.350 сүрөт белгисиз/энбелгисизdir. Изилдөөчүлөр бул чоң белгисиз/энбелгисиз kısmı такamen dışlamak ордуна мугалим-окуучу düzeninde жарым көзөмөлдүү үйрөнүү kullanmıştır.

Etiketli сүрөтlerde gerçкошумча segmentasyon maskeleriyle Dice жана BCE жоготуусу hesaplanmıştır. Etiketsiz сүрөтlerde ise üstel harкошумчаetli ortalamayla güncellenen мугалим модель жасалма энбелгиler üretmiş, окуучу modelin бул жыйынтыктарla tutarlı tahmin oluşturması amaçlanmıştır.

Her GPU’daki sкошумчаiz сүрөтlük mini grupta:

  • 1 энбелгилүү сүрөт,
  • 7 белгисиз/энбелгисиз сүрөт

колдонулган. Төрт GPU менен etkili mini grup büyüklüğü 32 olmuştur.

Бул yaklaşım etiketleme maliyetini azaltabilmкошумчаtedir; бирок мугалим modelin hatalı жасалма энбелгиleri özellikle metal restorasyonlu же олуттуу çapraşıklık бар сүрөтlerde окуучу modele aktarılabilir. Изилдөө да жасалма энбелгиlerin bağımsız uzman контролдукünden geçirilmediğini чек араlılık катары kabul кылууда.

MICCAI STS 2024 маалымат топтому

Alt kümeСүрөт саныEtiketli тиш örneği
Etiketli үйрөтүү30420
Etiketsiz үйрөтүү2.350–
Doğrulama20280
Gizli test100Gizli
Toplam2.500700 ачык энбелгилүү тиш

Сүрөт çözünürlükleri 1932×1050 менен 2560×1440 пиксел ортосунда değişmкошумчаtedir. Ana салыштыруу таблицаsundaki жыйынтыктар, 20 сүрөтlük валидация топтомуnin beş bağımsız үйрөтүү изилдөөsında değerlendirilmesine dayanmaktadır. PDF’да 100 сүрөтlük жашыруун test kümesine ait өзүнчө бир көрсөткүч таблицаsu sunulmamıştır.

DENTEX маалымат топтому

DENTEX, üç ар түрдүү клиникалык kurumdan elde edilen 1.005 panoramik radyografiyi içermкошумчаtedir. Сүрөтler ар түрдүү cihazlar жана çкошумчаim protokollerinden geldiği үчүн gerçкошумча клиникалык çeşitliliğe дагы yakın бир тармак değişimi sunmaktadır.

Alt kümeСүрөт саны
Eğitim705
Doğrulama50
Gizli test250
Toplam1.005

Etiketler бир yıllık экспериментime ээ тиш hкошумчаimliği окуучуsi тарабынан hazırlanmış, 15 yıldan fazla клиникалык экспериментimi бар тиш hкошумчаimi тарабынан контролдук edilip düzeltilmiştir.

Изилдөө DENTEX’in тиш numarтармакdırma alt kümesindкошумчаi пиксел düzeyli тиш segmentasyon etiketlerini kullanmıştır. Çürük, derin çürük, periapikal lezyon жана gömülü тиш сыяктуу диагноз etiketleri бул изилдөөnın ana hedefi olmamıştır.

Сүрөт ön işleme

Bütün сүрөтlere standartlaştırılmış ön işleme uygulanmıştır:

  1. Piksel yoğunlukları min–maks ölçкошумчаleme менен 0–1 аралыгыna getirilmiştir.
  2. Сүрөтler bikübik enterpolasyonla 1024×1024 пикселe yeniden өлчөмlandırılmıştır.
  3. Rastgele yatay çevirme uygulanmıştır.
  4. ±15 derece rastgele döndürme yapılmıştır.
  5. Parlaklık жана kontrast ±%10 değiştirilmiştir.

Бул işlemler modelin ар түрдүү çкошумчаim koşullarına karşı дагы dayanıklı olmasını amaçlamaktadır. Бирок yeniden өлчөмlandırma өтө ince анатомиялык чек араların пиксел temsilini değiştirebilir. Ayrıca изилдөө, yeniden өлчөмlandırılmış сүрөтlerde пиксел uzaklıklarının milimetreye кантип dönüştürüldüğünü ayrıntılı түрдө ачыкlamamaktadır.

Eğitim протоколу

ParametreИзилдөөда колдонулган маани
YazılımPyTorch 2.1.0
Donanım4 × NVIDIA RTX 3090, her бири 24 GB
Eğitim мөөнөтү100 epoch
OptimizasyonAdamW
Баштапкы үйрөнүү катышı\(1\times10^{-4}\)
Ağırlık çürümesi\(1\times10^{-2}\)
Öğrenme катышı planıKosinüs азайышы, алгачкы 5 epoch ısınma
Mini grupGPU өзүнчө 8; toplam 32
Gradyan kırpmaAzami norm 1,0
Erken durdurmaDoğrulama Dice үчүн 15 epoch sabır
LoRA derecesi16
LoRA ölçeği32

Performans ölçütleri ne мааниa geliyor?

Dice benzerlik katсаны

Tahmin edilen тиш maskesi менен uzman etiketinin ne деңгээлде örtüştüğünü gösterir. %100’e yaklaştıkça örtüşme artar. Бирок geniş тиш iç тармакlarının туура bulunması, ince чек ара hatalarının etkisini ылайыкce azaltabilir.

IoU

Tahmin менен gerçкошумча maskenin kesişiminin birleşimlerine катышıdır. Dice сыяктуу bölgesel туураluğu ölçer, бирок matematiksel ölçeği дагы katıdır.

ASD

Tahmin edilen жана gerçкошумча чек араlar arasındaki çift yönlü ortalama mesafeyi ölçer. Төмөн маани дагы iyidir.

HD95

İki чек ара arasındaki mesafelerin 95. yüzdeliğini ölçer. En kötü %5’lik uç маанилери dışarıda bırakarak чек араın чоң bölümündкошумчаi kötü durum hatasını temsil кылат.

HD95 = 0,79 mm, бардык чек ара noktalarının azami hatasının 0,79 mm экендиги дегенди билдирбейт. Чек ара uzaklıklarının %95’inin бул değerin altında kaldığını билдирүү eden dayanıklı бир ölçüttür; kтармак %5 ичинде дагы чоң hatalar bulunabilir.

İstatistiksel баалоо кантип yapıldı?

Bütün эксперименттер ар түрдүү rastgele баштапкыlarla beş kez tкошумчаrarlanmıştır. Her metrik үчүн ortalama жана стандарттуу sapma bildirilmiştir.

Ыкмаler arasındaki farklar:

  • Сүрөт düzeyinde Wilcoxon işaretli sıralar тести,
  • Төрт metrik үчүн Bonferroni düzeltmesi,
  • Aile düzeyinde \(\alpha=0,05\),
  • 1.000 yeniden örnкошумчаlemeli bootstrap менен %95 güven аралыгы

kullanılarak бааланган.

Ana analizde 20 туураlama сүрөтsünün beş koşudaki değerleriyle en az \(n=100\) gözlem oluşturulmuştur. PDF, ошол эле сүрөтlerin ар түрдүү koşulardaki tкошумчаrarlarının көз карандылык yapısının статистикалык modelde ошондой эле ele alınıp alınmadığını ayrıntılandırmamaktadır.

Ana модель салыштыруу

ModelDice (%)IoU (%)ASD (mm)HD95 (mm)
UNet91,3 ± 0,484,3 ± 0,50,25 ± 0,031,12 ± 0,08
UNet++91,4 ± 0,385,2 ± 0,40,27 ± 0,021,28 ± 0,06
nnUNet92,1 ± 0,385,9 ± 0,50,21 ± 0,030,97 ± 0,07
Swin-UNet91,2 ± 0,484,5 ± 0,50,25 ± 0,021,05 ± 0,07
TransUNet91,5 ± 0,584,8 ± 0,60,24 ± 0,041,03 ± 0,08
SAM, sıfır atış83,6 ± 1,272,5 ± 1,10,47 ± 0,081,87 ± 0,15
MedSAM90,6 ± 0,582,8 ± 0,60,24 ± 0,031,02 ± 0,09
SAM2-Adapter92,3 ± 0,586,1 ± 0,60,20 ± 0,040,94 ± 0,08
EGA-SAM2-UNet93,9 ± 0,288,5 ± 0,30,18 ± 0,010,79 ± 0,04

Önerilen ыкма төрт metriğin такamında karşılaştırılan modellerden дагы iyi жыйынтык vermiştir. MedSAM, nnUNet, UNet++ жана Swin-UNet менен yapılan ikili салыштырууlardaki düzeltilmiş p маанилери 0,05’in altında bildirilmiştir.

%22,6 чек ара iyileşmesi кантип hesaplanıyor?

MedSAM үчүн HD95 1,02 mm, önerilen модель үчүн 0,79 mm’dir. Göreli azalma:

\[ \frac{1.02-0.79}{1.02}\times100 \approx22.6\% \]

катары hesaplanmaktadır.

Бул катыш чек ара hatasının ылайыкli azalmasıdır. Modelin жалпы туураluğunun %22,6 arttığı же клиникалык ката riskinin %22,6 azaldığı дегенди билдирбейт.

Kenar operatörlerinin karşılaştırılması

Kenar ыкмаiDice (%)IoU (%)ASD (mm)HD95 (mm)
Kenar yok, гана CA93,086,80,190,95
Sobel93,287,00,190,91
Canny93,387,20,180,88
Öğrenilebilir 3×3 конволюция93,186,90,200,93
Лапласиан EGA93,988,50,180,79

Лапласиан, ikinci en iyi Canny sonucuna ылайык HD95’i 0,88 mm’den 0,79 mm’ye düşürmüştür. Изилдөөчүлөр бул болжол менен %10,2 ылайыкli azalmayı Laplasyenin yön bağımsız yapısı, sıfır geçişli чек ара yerelleştirmesi жана үйрөтүүden bağımsız sabit кыр dayanağıyla ачыкlamaktadır.

Öğrenilebilir 3×3 evrişimin Laplasyenden дагы төмөн көрсөткүч göstermesi, az sayıdaki чек ара пикселinin үйрөтүү sırasında arka plan gradyanları altında kalabileceği görüşünü destкошумчаleyen эксперименттик бир bulgu катары yorumlanmıştır.

Modüller tкошумча tкошумча ne kadar katkı sağladı?

YapılandırmaDice (%)HD95 (mm)
Dondurulmuş SAM 2 + стандарттуу UNet декодер89,71,49
+ LoRA91,81,15
+ RFB92,51,05
+ Кайчылаш көңүл буруу93,00,95
+ EGA, гана 30 энбелгилүү сүрөт93,40,86
+ Yarı көзөмөлдүү үйрөнүү93,90,79

LoRA’nın кошумчаlenmesi Dice değerini 2,1 балл artırmış жана HD95’i 0,34 mm düşürmüştür. Бул, doğal сүрөт тармакından radyografi тармакına uyarlamanın негизги önemini көрсөтөт.

EGA, гана 30 энбелгилүү сүрөт kullanıldığında bile HD95’i 0,95 mm’den 0,86 mm’ye düşürmüştür. Etiketsiz сүрөтler да кошумчаlendiğinde маани 0,79 mm’ye inmiştir.

Kanal жана мейкиндиктик көңүл буруу эмне үчүн paralel kullanıldı?

Dikkat yapılandırmasıDice (%)HD95 (mm)
Dikkat yok93,00,95
Yalnız канал93,20,91
Yalnız мейкиндиктик93,40,87
Kanal → мейкиндиктик, seri93,60,84
Kanal + мейкиндиктик, paralel93,90,79

Uzamsal көңүл буруу чек араın сүрөт үстүндөki konumunu түздөн-түз hedeflediği үчүн канал dikkatinden дагы чоң HD95 iyileşmesi sağlamıştır. Paralel колдонуу, кайсы өзгөчөлүк kanallarının маанилүү экендиги менен чек араın nerede bulunduğu sorularını ошол эле anda yanıtlamıştır.

Farklı маалымат топтомуne aktarım

Değerlendirme тармакıDice (%)IoU (%)ASD (mm)HD95 (mm)
MICCAI STS 202493,988,50,180,79
DENTEX91,285,10,230,95
Fark−2,7 балл−3,4 балл+0,05 mm+0,16 mm

Model DENTEX үчүн yeniden eğitilmeden же тармак uyarlaması yapılmadan бааланган. Бул себептен жыйынтык, ар түрдүү merkez жана cihazlara aktarım жагынан маанилүү. Бирок Mann–Whitney U тести iki маалымат топтомуndкошумчаi Dice dağılımları ортосунда маанилүү айырма bulunduğunu көрсөткөн:

\[ p=0.003 \]

Başka бир билдирүүyle тармак değişimi көрсөткүчı gerçкошумча жана ölçülebilir түрдө düşürmüştür; модель бардык клиникалык merkezlerde ошол эле туураlukta изилдөөmaktadır.

Zor olgularda көрсөткүч

Alt grupСүрөт саныDice (%)HD95 (mm)
Standart1095,20,65
Zorlu693,50,82
Өтө zor491,80,95

Өтө zor grup; şiddetli çapraşıklık, metal restorasyon artefaktları жана endodontik tedavili dişler içermкошумчаtedir. Performans стандарттуу olgulara ылайык düşmüş, бирок изилдөөда bildirilen HD95 0,95 mm düzeyinde kalmıştır.

Alt grup sayıları oldukça küçüktür. Özellikle өтө zor grupta гана төрт сүрөт bulunduğu үчүн бул жыйынтыктарыn geniş клиникалык popülasyonlara жалпыlenmesi көңүл буруу талап кылат.

Тиш türlerine ылайык жыйынтыктар

Тиш türüEGA Dice (%)nnUNet Dice (%)EGA HD95 (mm)nnUNet HD95 (mm)
Kesici dişler95,993,40,510,74
Kaninler95,092,50,600,85
Premolarlar93,691,10,791,02
Molarlar91,788,80,971,31

En төмөн ийгилик өтө köklü жана дагы karmaşık morfolojiye ээ azı dişlerinde görülmüştür. Буга rağmen EGA’nın nnUNet’e karşı en чоң Dice farkı да molarlarda elde кылынган. Изилдөөчүлөр bunu, karmaşık жана birbirine temas eden kök-kron чек араlarında ачык кыр маалыматыnin дагы fazla yarar sağlamasıyla ачыкlamaktadır.

Şкошумчаil 3 ne gösteriyor?

Görsel салыштырууда өзүнө таандыкn panoramik radyografi, EGA uygulanmadan öncкошумчаi модель yanıtı жана EGA sonrasındaki жооп yan yana sunulmaktadır.

EGA öncesi görselleştirmede жогорку реакция тармакları dişlerin çevresine дагы geniş жана dağınık түрдө yayılmaktadır. Özellikle komşu dişlerin temas ettiği bölgelerde өзгөчөлүктөр birbirine karışmaktadır.

EGA sonrasında yanıtların тиш konturlarında дагы ince жана belirgin түрдө yoğunlaştığı görülmкошумчаtedir. Авторлор бул değişimi, çapraşık же üst üste binen dişlerde “maske taşması” катары tanımlanan бир dişe ait maskenin komşu dişe yayılmasının azalmasıyla ilişkilendirmiştir.

Бул görsel nitel destкошумча sağlamaktadır; tкошумча өзүнчө ölçülmüş клиникалык туураluk kanıtı эмес. Nicel жыйынтыктар Dice, ASD жана HD95 таблицаlarıyla бааланган.

Hesaplama maliyeti

ModelParametreFLOPsÇıkarım мөөнөтү
UNet31,0 milyon54,8 G25 ± 2 ms
nnUNet31,2 milyon55,1 G26 ± 2 ms
MedSAM95,6 milyon172,4 G118 ± 6 ms
SAM2-UNet, так ince ayar96,1 milyon178,6 G122 ± 7 ms
EGA-SAM2-UNet96,8 milyon182,3 G124 ± 6 ms

EGA modülü болжол менен 0,28 milyon кошумча parametre, 3,7 G FLOPs жана сүрөт өзүнчө болжол менен 2 ms кошумча мөөнөт getirmiştir. Toplam maliyete катышla бул өсүү болжол менен %2 катары yorumlanmıştır.

124 ms’lik мөөнөт NVIDIA RTX 3090 үстүндө ölçülmüştür. Дагы төмөн donanımlı клиникалык маалыматsayarlarda, merkezi işlemcide же ар түрдүү yazılım yapılandırmalarında ошол эле hızın elde edileceği көрсөтүлгөн эмес.

Klinik açıdan 0,79 mm ne мааниa gelebilir?

Авторлор, ortodontik жана implant plмааниasında болжол менен 1 mm düzeyindкошумчаi ölçüm туураluğunun маанилүү экенин жактайт. İmplant менен komşu kök ортосунда 1,5–2,0 mm güvenlik mesafesi gerкошумчаtiğini жана panoramik сүрөтlerde болжол менен %10 geometrik büyütme hatası bulunabildiğini белгилейт.

nnUNet’in 0,97 mm HD95 değerinden önerilen modelin 0,79 mm değerine geçilmesi, чек ара belirsizliğinde 0,18 mm azalma маанисиna gelmкошумчаtedir. Изилдөөчүлөр bunun dar анатомиялык тармакlarda кошумча güvenlik payı sağlayabileceğini öne sürmкошумчаtedir.

Бирок бул баалоо түздөн-түз implant yerleştirme экспериментi эмес. Modelin segmentasyon çıktısı kullanılarak yapılan gerçкошумча implant planlarının дагы güvenli экендиги, komplikasyonları azalttığı же CBCT gerкошумчаsinimini ortadan kaldırdığı көрсөтүлгөн эмес.

Panoramik radyografi geometrik büyütme жана üst üste binme içerdiğinden, төмөн segmentasyon hatası сүрөтnün негизги физикалык чек араlamalarını ortadan kaldırmaz.

Изилдөөнүн күчтүү жактары

  • Кыр маалыматыni yardımcı giriş же kayıp ордуна көңүл буруу hesaplamasının içine yerleştirmesi,
  • Лапласиан, Sobel, Canny жана öğrenilebilir filtreleri контролдукlü түрдө салыштыруу,
  • LoRA, RFB, кайчылаш көңүл буруу, EGA жана жарым көзөмөлдүү үйрөнүүnin katkılarını өзүнчө өзүнчө incelemesi,
  • Beş ар түрдүү rastgele баштапкыla эксперимент tкошумчаrarı yapması,
  • Hem bölgesel örtüşme hem да чек ара uzaklığı metriklerini kullanması,
  • Wilcoxon тести, Bonferroni düzeltmesi жана bootstrap güven аралыкları bildirmesi,
  • Farklı merkezlerden gelen DENTEX verileriyle тармак dışı баалоо yapması,
  • Standart, zorlu жана өтө zor olguları өзүнчө incelemesi,
  • Тиш türlerine ылайык көрсөткүчı баалоосу,
  • Parametre, FLOPs жана çıkarım мөөнөтүni raporlaması,
  • Kamuya ачык маалымат топтомдору kullanması.

Изилдөөнүн чектөөлөрү

  • Изилдөө рецензиядан өтпөгөн бир preprint болуп саналат.
  • Ana көзөмөлдүү үйрөтүү гана 30 так энбелгилүү сүрөтye dayanmaktadır.
  • 2.350 белгисиз/энбелгисиз сүрөт үчүн üretilen жасалма энбелгиler bağımsız uzman контролдукünden geçirilmemiştir.
  • Ana салыштыруу жыйынтыктары 20 сүрөтlük валидация топтомуnde verilmiştir; 100 сүрөтlük жашыруун test kümesine ait өзүнчө жыйынтык raporlanmamıştır.
  • DENTEX баалоосу 50 сүрөтlük валидация топтомуnde yapılmıştır; жашыруун test жыйынтыктары verilmemiştir.
  • İnsan uzmanlar arasındaki segmentasyon farklılığı ölçülmemiştir.
  • 0,79 mm HD95’in uzman düzeyine ne kadar yakın экендиги bilinmemкошумчаtedir.
  • Panoramik сүрөтler yeniden 1024×1024’e өлчөмlandırılmıştır; пиксел-milimetre dönüşüm ыкмаi ayrıntılı ачыкlanmamıştır.
  • İstatistiksel örnкошумча саны ошол эле 20 сүрөтnün beş үйрөтүү koşusunda değerlendirilmesiyle oluşturulmuştur; tкошумчаrarlı ölçümlerin көз карандылык yapısı ayrıntılandırılmamıştır.
  • Ablasyon analizi bileşenleri sırayla кошумчаlemiş, bileşenler arasındaki etkileşimleri faktöriyel tasarımla incelememiştir.
  • Model гана yapısal тиш сегментациясы yapmaktadır.
  • Çürük, periapikal lezyon, периодонталдык kemik жоготуусу же gömülü тиш диагнозу değerlendirilmemiştir.
  • Gerçкошумча клиникалык iş akışında prospкошумчаtif колдонуу yapılmamıştır.
  • Segmentasyonun дарылоо kararlarını же бейтап жыйынтыктарыnı iyileştirdiği көрсөтүлгөн эмес.
  • DENTEX’te маанилүү көрсөткүч düşüşü görülmüş, ар түрдүү merkezlerde так eşdeğer жыйынтык korunmamıştır.
  • Өтө zor alt grup гана төрт сүрөт içermкошумчаtedir.
  • EGA’nın коддоочуdan bağımsız экендиги кийинки sürülmкошумчаtedir; бирок эксперименттик туураlama гана SAM 2 коддоочуsıyla yapılmıştır.
  • ResNet же ConvNeXt сыяктуу ар түрдүү коддоочуlarda көрсөткүч көрсөтүлгөн эмес.
  • Kod deposu, үйрөтүлгөн модель ağırlıkları же так yeniden üretim bağlantısı PDF’да verilmemiştir.
  • Çıkarım мөөнөтү гана RTX 3090 үстүндө ölçülmüştür.

Изилдөө эмнени айтат, эмнени айтпайт?

Изилдөөnın gösterdiğiИзилдөөnın göstermediği
Лапласиан кыр öncülünün көңүл буруу hesaplamasına кошумчаlenmesi туураlama verilerinde чек ара metriklerini iyileştirmiştir.Laplasyenin бардык медициналык сүрөт ылайыкvlerinde en iyi operatör экендиги kanıtlanmamıştır.
EGA-SAM2-UNet, karşılaştırılan modellerden дагы жогорку Dice жана дагы төмөн HD95 elde etmiştir.Modelin бардык клиникалык merkezlerde ошол эле ийгиликyı göstereceği kanıtlanmamıştır.
MICCAI’den DENTEX’e түздөн-түз aktarımda көрсөткүчın чоң kısmı korunmuştur.Alan değişiminden etkilenmediği söylenemez; көрсөткүч маанилүү түрдө düşmüştür.
LoRA, modelin küçük бир parametre bölümüyle dental тармакa uyarlanmasını sağlamıştır.Bütün үйрөтүү мөөнөтcinin төмөн donanımlı tкошумча бир маалыматsayarda yapıldığı көрсөтүлгөн эмес.
Model dişlerin пиксел düzeyinde чек араlarını ürкылууда.Çürük, enfкошумчаsiyon, tümör же периодонталдык оору диагнозу koymamaktadır.
HD95 0,79 mm катары bildirilmiştir.Bütün чек ара noktalarının hatasının 0,79 mm’den az экендиги söylenemez.
Zorlu olgularda 0,95 mm HD95 korunmuştur.Metal artefaktlı бардык olgularda güvenilir жыйынтык garanti edilmemкошумчаtedir.
Azı dişlerinde nnUNet’e ылайык дагы жогорку көрсөткүч elde кылынган.Azı dişlerindкошумчаi segmentasyonun hatasız экендиги söylenemez; en төмөн Dice yine бул gruptadır.
Model болжол менен 124 ms’да сүрөт işleyebilmiştir.Her клиникалык маалыматsayarda ошол эле hızla çalışacağı көрсөтүлгөн эмес.
Mimari teorik катары ар түрдүү коддоочуlarla birleştirilebilir.Kodlayıcıdan bağımsızlık ар түрдүү коддоочу эксперименттерiyle туураlanmamıştır.

Өткөн, бүгүнкү жана келечек жагынан мааниси

Geçmiş жагынан dental segmentasyon мурда klasik кыр operatörleri, eşikleme жана kümeleme ыкмаlerine dayanmıştır. CNN döneminde UNet сыяктуу mimariler сүрөт өзгөчөлүктөрүni үйрөнүүye başlamış, бирок төмөн kontrastlı чек араlar жана uzun mesafeli анатомиялык ilişkiler sorun olmaya devam etmiştir.

Transformer жана негизги модель döneminde жалпы görsel маалымат өтө дагы күчтүү абалга gelmiştir. Буга rağmen бул modeller doğal сүрөтlerde öğrendikleri маалыматyi медициналык radyografiye түздөн-түз aktardıklarında тармак farkı жана чек ара duyarsızlığı пайда çıkmıştır.

Bugün жагынан изилдөө, klasik сүрөт işlemedкошумчаi sabit Лапласиан оператору менен modern көңүл буруу mкошумчаanizmasını бир чогуу getirmкошумчаtedir. Temel fikir, klasik жана öğrenilebilir ыкмаleri birbirinin alternatifi катары görmкошумча ордуна sabit geometrik öncülleri öğrenilmiş temsilin içine yerleştirmкошумчаtir.

Gelecкошумча жагынан benzer кыр kılavuzlu көңүл буруу modülleri бул тармакlarda araştırılabilir:

  • Retina damarlarının ayrılması,
  • Histopatolojide hücre zarlarının чек араlandırılması,
  • Ultrason сүрөтlerinde lezyon чек араları,
  • Periodontal kemik seviyesi analizi,
  • Periapikal lezyon segmentasyonu,
  • Çürük жана restorasyon чек араlarının belirlenmesi,
  • CBCT’да üç өлчөмlu тиш жана kök segmentasyonu.

Бирок бул жалпыlenebilirlik henüz эксперименттик катары көрсөтүлгөн эмес. Gelecкошумча изилдөөların ар түрдүү анатомиялык bölgeler, ар түрдүү cihazlar жана prospкошумчаtif клиникалык маалыматтар үстүндө туураlama yapması керек.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Tкошумчаnik iş akışının özeti

AşamaUygulanan işlemAmaç
GirdiPanoramik dental radyografiDişlerin пиксел düzeyinde ayrılması
Ön işleme0–1 normalizasyon жана 1024×1024 yeniden өлчөмlandırmaСүрөтleri ortak ölçкошумчаte sunmak
Veri artırmaYatay çevirme, ±15° döndürme, ±%10 parlaklık/kontrastЖалпыleme kapasitesini artırmak
KodlayıcıSAM 2 Vision TransformerHiyerarşik görsel өзгөчөлүктөр çıkarmak
UyarlamaLoRA, \(r=16\), \(\alpha=32\)Az sayıda parametreyle radyografi тармакına uyum
Көп масштабдуу işlemeRFB, genişletme катышları 1, 3 жана 5Farklı büyüklüktкошумчаi анатомиялык örüntüleri yakalamak
Özellik birleştirmeYukarıdan aşağı кайчылаш көңүл бурууЖогорку seviye маани менен төмөн seviye ayrıntıyı birleştirmкошумча
Kenar çıkarmaSabit 3×3 Лапласиан çкошумчаirdeğiТөмөн kontrastlı geçişleri аныктоо
Dikkat kalibrasyonuParalel канал жана мейкиндиктик көңүл бурууÖnemli өзгөчөлүктөрү жана чек ара konumlarını güçlendirmкошумча
Kod çözmeUNet окшош hiyerarşik yeniden yapılandırmaТолук çözünürlüklü тиш maskesi üretmкошумча
EğitimDice + BCE жана жарым көзөмөлдүү tutarlılıkEtiketli жана белгисиз/энбелгисиз veriden yararlanmak

Temel denklemler

İşlemDenklemİşlev
LoRA\(h=W_0x+BAx\)Dondurulmuş ana modele төмөн dereceli güncelleme кошумчаlemкошумча
Кайчылаш көңүл буруу\(F_{\mathrm{fused}}=\operatorname{Attention}(F_{\mathrm{up}},F_{\mathrm{enc}},F_{\mathrm{enc}})\)Kodlayıcı ayrıntılarını жогорку seviye мааниla süzmкошумча
Kenar çıkarma\(E=\operatorname{ReLU}(\mathcal{B}(\operatorname{Conv}_{dw}(F,K_{\mathrm{Lap}})))\)Ara өзгөчөлүктөрden yapısal кыр tanımlayıcısı üretmкошумча
Kanal dikkati\(M_c(E)=\sigma(\operatorname{MLP}(\operatorname{GAP}(E)))\)Чек араla байланыштуу өзгөчөлүк kanallarını seçmкошумча
Uzamsal көңүл буруу\(M_s(E)=\sigma(\operatorname{Conv}_{7\times7}(E))\)Чек араın bulunduğu сүрөт konumlarını seçmкошумча
EGA birleşimi\(F_{\mathrm{EGA}}=F+F\otimes M_c(E)+F\otimes M_s(E)\)Semantik өзгөчөлүк менен iki tür кыр dikkatini birleştirmкошумча
Toplam kayıp\(\mathcal{L}=0.7\mathcal{L}_{Dice}+0.3\mathcal{L}_{BCE}\)Bölgesel örtüşme жана пиксел туураluğunu бирге optimize etmкошумча

Veri жана үйрөтүү özeti

АталышDeğer
MICCAI toplam сүрөт2.500
Etiketli үйрөтүү сүрөтsü30
Etiketsiz үйрөтүү сүрөтsü2.350
Doğrulama сүрөтsü20
DENTEX toplam сүрөт1.005
Bağımsız үйрөтүү koşusu5
Eğitim epoch саны100
LoRA eğitilebilir parametreYaklaşık 0,42 milyon
Toplam модель parametresi96,8 milyon

Ana сандык жыйынтыктар

DeğerlendirmeSonuç
MICCAI Dice%93,9 ± 0,2
MICCAI IoU%88,5 ± 0,3
MICCAI ASD0,18 ± 0,01 mm
MICCAI HD950,79 ± 0,04 mm
HD95 үчүн %95 güven аралыгы0,75–0,83 mm
Dice үчүн %95 güven аралыгы%93,7–94,1
MedSAM’a ылайык ылайыкli HD95 азайышы%22,6
DENTEX Dice%91,2 ± 0,5
DENTEX HD950,95 ± 0,06 mm
Zor olgularda Dice%91,8 ± 0,5
Zor olgularda HD950,95 ± 0,07 mm
Molar Dice%91,7 ± 0,5
Molar HD950,97 ± 0,07 mm
Сүрөт өзүнчө çıkarım мөөнөтү124 ± 6 ms, RTX 3090 үстүндө

Bilimsel жыйынтыктарыn tкошумчаnik yorumu

Изилдөөnın en маанилүү bulgusu гана дагы жогорку Dice мааниси эмес. Modelin en belirgin avantajı, чек ара hatasını temsil eden HD95 ölçütünde görülmüştür.

Бул жыйынтык, панорамалык рентген сүрөттөрүда жалпы тиш тармакının zaten күчтүү modellerle чоң деңгээлде bulunabildiğini; asıl geliştirme тармакının төмөн kontrastlı kök, boyun жана dişler arası чек араlar экенин көрсөтөт.

Sabit Лапласиан оператору tкошумча өзүнчө son segmentasyonu üretmemкошумчаtedir. Operatör, öğrenilmiş өзгөчөлүктөрүn кайсы bölümlerine көңүл буруу edileceğini yönlendirmкошумчаtedir. Бул себептен изилдөө klasik сүрөт işleme менен derin үйрөнүүnin birbirini такamlayabileceğine ilişkin бир örnкошумча sunmaktadır.

Бирок жыйынтыктарыn клиникалык değere dönüşebilmesi үчүн modelin ар түрдүү ülkelerden, cihazlardan жана бейтап gruplarından gelen prospкошумчаtif сүрөтlerde sınanması; uzmanlar arası referans farklılığının belirlenmesi жана segmentasyon çıktılarının gerçкошумча дарылоо planlarına etkisinin ölçülmesi керек.

Булак жана Ыкма Жөнүндө Эскертүү

Бул içerik, Yukun Du, Rui Zhang, Yude Ji, Jiaqian Song жана Bo Ma тарабынан hazırlanan “Hierarchical Refinement of SAM 2 via Edge-Guided Attention for High-Fidelity Dental Segmentation in Panoramic Radiography” аталышlı изилдөөya dayanmaktadır.

Авторлор Shihezi Üniversitesi Bilgi Bilimi жана Tкошумчаnolojisi Fakültesi менен Shihezi Üniversitesi Klinik Tıp Fakültesi bünyesinde изилдөөktadır.

Belge, panoramik dental radyografi segmentasyonu үчүн жаңы бир жасалма интеллект архитектурасы geliştiren hesaplamalı ыкма geliştirme жана салыштырууlı көрсөткүч изилдөөsı niteliğinde бир preprint болуп саналат.

Metinde ачыкça “This preprint research paper has not been peer reviewed” билдирүүsi бар. Dolayısıyla изилдөө рецензиядан өтпөгөнtir. PDF’да туураlanabilir nihai dergi kabulü же изилдөөnın kendisine ait DOI маалыматsi жок.

Изилдөөда гана kamuya ачык MICCAI STS 2024 жана DENTEX сүрөт маалымат топтомдору колдонулган. Авторлор түздөн-түз жаңы бейтап verisi toplamamış, hastalara сүрөтleme же клиникалык müдагыle uygulamamıştır.

Изилдөө, Shihezi Üniversitesi İnovasyon жана Gelişim Özel Projesi kapsamında CXFZ202309 numaralı destкошумчаle finanse кылынган. Авторлор mali же адамsel çıkar çatışması bulunmadığını bildirmiştir.

Ana көрсөткүч жыйынтыктары MICCAI STS 2024 маалымат топтомуndкошумчаi 20 сүрөтlük валидация топтомуnde beş үйрөтүү koşusu үстүндөn verilmiştir. Veri setinde 100 сүрөтlük жашыруун test топтому bulunmasına rağmen PDF’да бул kümeye ait өзүнчө жыйынтык таблицаsu sunulmamıştır.

DENTEX тармак dışı баалоосу 50 сүрөтlük валидация топтомуnde yapılmıştır. Жыйынтыктар ар түрдүү маалымат тармакında жалпыleme potansiyeli көрсөтөт; бирок Dice değerindкошумчаi 2,7 puanlık düşüş, тармак farkının такamen ortadan kaldırılmadığını көрсөтөт.

Изилдөө клиникалык эксперимент эмес. Modelin implant komplikasyonlarını azalttığı, ortodontik дарылоо жыйынтыктарыnı iyileştirdiği же тиш hкошумчаimi баалоосуnin ордуна geçtiği көрсөтүлгөн эмес.

EGA-SAM2-UNet гана тиш yapılarının segmentasyonunu hedeflemкошумчаtedir. Çürük, периодонталдык оору, periapikal patoloji, tümör же diğer dental hastalıklar үчүн туураlanmış диагноз системасы эмес.

Изилдөөда bildirilen HD95 маанилери чек ара uzaklığı ölçütleridir. Бул değerler сүрөтleme sisteminin geometrik büyütme, üst üste binme жана radyografik bozulma сыяктуу негизги физикалык чек араlamalarını ortadan kaldırmaz.

EGA modülünün коддоочуdan bağımsız экендиги mimari açıdan кийинки sürülmкошумчаtedir; бирок изилдөөда гана SAM 2 tabanlı yapı эксперименттик катары бааланган. Farklı CNN же Transformer коддоочуlarıyla жалпыlenebilirlik henüz туураlanmamıştır.

Бул içerik гана yüklenen PDF’dкошумчаi ыкма, matematiksel denklemler, эксперимент протоколу, şкошумчаiller, таблицаlar жана авторлорın yorumları негизги alınarak hazırlanmıştır. PDF’да bulunmayan диагноз ийгиликsı, клиникалык güvenlik garantisi, бардык сүрөтleme cihazlarında eşit көрсөткүч же insan uzman düzeyine ulaşıldığı iddiası кошумчаlenmemiştir.


Бөлүшүү:

Пикирлер текшерилгенден кийин жарыяланат.Пикириңиз жактыруу процессине жөнөтүлүп, ылайыктуу деп табылганда көрүнөт.

Пикир калтырыңыз

E-mail дарегиңиз жарыяланбайт. Милдеттүү талаалар * менен белгиленген

Бул сайтта кукилерге уруксат берүү тажрыйбаңызды жакшыртат. Куки саясаты