Bu çalışma, iki boyutlu görüntüler üzerinde önceden eğitilmiş DINOv2 görsel temel modelinin üç boyutlu beyin MR hacimlerinin sınıflandırılmasında kullanılıp kullanılamayacağını incelemiştir. Her MR hacmi eksenel iki boyutlu dilimlere ayrılmış, dilimlerden DINOv2 ile özellik vektörleri çıkarılmış ve bu özellikler öğrenilebilir bir yumuşak dikkat mekanizmasıyla tek bir hacim temsiline dönüştürülmüştür. Önerilen çerçeve, Alzheimer Hastalığı Nörogörüntüleme Girişimi veri setinde %89,3 doğruluk ve %95,6 AUROC; çok sınıflı baş ağrısı kohortunda ise %78,6 doğruluk ve %89,2 AUROC bildirmiştir. Bununla birlikte çalışma hakem değerlendirmesinden geçmemiştir; kurumsal veri kaynağı, görüntüleme protokolleri ve dış doğrulama ayrıntıları eksiktir. Ayrıca deneyler gerçek anlamda bilinmeyen anomali tespitinden çok, önceden tanımlanmış sınıfların denetimli sınıflandırılmasını ölçmektedir.

Modelin temel yaklaşımı, üç boyutlu bir sinir ağını sıfırdan eğitmek yerine her MR dilimini hazır bir iki boyutlu temel modelle temsil etmektir. Sistem daha sonra bütün dilimlere eşit davranmak yerine, sınıflandırma açısından daha bilgilendirici olduğunu öğrendiği dilimlere daha yüksek ağırlık vermektedir. Eğitim sırasında çapraz entropi kaybına denetimli karşıt öğrenme ve sınıf içi varyans düzenlileştirmesi eklenmiştir. Bu yapı, az sayıda etiketli örnek ve dengesiz sınıflar altında daha ayırt edici hacim temsilleri üretmeyi amaçlamaktadır.

Türkiye açısından değerlendirme: Yaklaşım, Türkiye’deki radyoloji araştırmalarında sınırlı etiketli verilerle beyin MR sınıflandırma modelleri geliştirilmesi, farklı hastanelerden gelen üç boyutlu görüntülerin daha düşük hesaplama maliyetiyle işlenmesi ve araştırma amaçlı karar destek sistemlerinin değerlendirilmesi bakımından önemlidir. Ancak Türkiye’de klinik kullanım düşünülmeden önce çok merkezli yerel veriyle dış doğrulama, farklı MR cihazları ve çekim protokolleri altında dayanıklılık analizi, radyolog karşılaştırması, veri koruma ve etik kurul süreçleri, model kalibrasyonu ve ileriye dönük klinik değerlendirme yapılmalıdır. Bu çalışmadan Türk hastalarındaki tanısal başarı, Türkiye’deki hastanelerde güvenli kullanım veya klinik sonuçlarda iyileşme çıkarılamaz.

Araştırmanın temel sorusu nedir?

Araştırmanın temel sorusu, doğal görüntüler üzerinde önceden eğitilmiş iki boyutlu bir temel modelin üç boyutlu tıbbi görüntülerdeki sınıflandırma görevlerine nasıl aktarılabileceğidir. Üç boyutlu MR verileri hacimsel bir yapı taşırken DINOv2 gibi yaygın görsel temel modeller iki boyutlu görüntüler üzerinde çalışmaktadır. Bu nedenle yalnızca her dilimi ayrı ayrı sınıflandırmak, komşu dilimler arasındaki hacimsel bağlamın kaybolmasına neden olabilir.

Çalışma bu sorunu, her iki boyutlu dilimden çıkarılan özellikleri öğrenilebilir dikkat ağırlıklarıyla birleştirerek çözmeyi önermektedir. Amaç, tüm dilimlerin basit ortalamasını almak yerine hastalık veya sınıf ayrımı açısından daha önemli olduğu öğrenilen dilimlerin hacim temsilindeki etkisini artırmaktır.

Çalışma neden önemlidir?

Üç boyutlu tıbbi görüntü modelleri genellikle çok sayıda etiketlenmiş inceleme, yüksek hesaplama kapasitesi ve kapsamlı bellek gerektirir. Tıbbi görüntülerin uzmanlar tarafından etiketlenmesi ise maliyetli ve zaman alıcıdır. Nadir durumların sayısı daha da az olduğundan sınıf dengesizliği ortaya çıkabilir.

Araştırma, büyük bir üç boyutlu modeli baştan eğitmek yerine önceden eğitilmiş DINOv2 modelini dondurulmuş özellik çıkarıcı olarak kullanmıştır. Böylece yalnızca dikkat modülü ile sınıflandırma başlığı görev verileri üzerinde eğitilmiştir. Bu tercih, az verili koşullarda aşırı uyum riskini ve eğitilecek parametre sayısını azaltmayı hedeflemektedir.

Kullanılan DINOv2 modeli nasıl çalışmaktadır?

DINOv2, etiket gerektirmeyen özdenetimli öğrenmeyle önceden eğitilmiş bir Vision Transformer modelidir. Çalışmada 86 milyon parametreli ViT-Base sürümü kullanılmıştır. Model, bir görüntüyü küçük parçalara ayırarak bu parçalar arasındaki ilişkileri öz-dikkat mekanizması üzerinden temsil etmektedir.

Her beyin MR hacmi eksenel dilimlere ayrılmıştır. Dilimler yeniden boyutlandırma, normalleştirme ve modelin beklediği görüntü biçimine dönüştürme işlemlerinden sonra DINOv2’ye verilmiştir. Her dilim için modelin sondan bir önceki katmanından bir özellik vektörü çıkarılmıştır. DINOv2 ağırlıkları eğitim sırasında değiştirilmemiştir.

Dikkat tabanlı küresel birleştirme nedir?

Dikkat tabanlı küresel birleştirme, farklı MR dilimlerinin hacim düzeyindeki sınıflandırmaya eşit katkı yapmak zorunda olmadığı varsayımına dayanır. Bazı dilimler sınıflar arasındaki ayrımı sağlayan anatomik veya patolojik özellikleri taşırken bazıları daha az bilgi içerebilir.

Çalışmadaki dikkat modülü, her dilimin DINOv2 özellik vektörünü tek katmanlı bir çok katmanlı algılayıcıya aktarır. Gizli boyutu 256 olan bu modül her dilim için bir önem puanı üretir. Softmax işlemi puanları toplamı 1 olan ağırlıklara dönüştürür. Hacim temsili, dilim özelliklerinin bu ağırlıklarla hesaplanan ağırlıklı toplamıdır.

1. Üç boyutlu MR hacmi iki boyutlu eksenel dilimlere ayrılır.
2. Her dilim için DINOv2 özellik vektörü çıkarılır.
3. Dikkat modülü her dilime içerik temelli bir önem puanı verir.
4. Softmax, puanları karşılaştırılabilir ağırlıklara dönüştürür.
5. Dilim özellikleri ağırlıklı olarak toplanır ve tek bir hacim vektörü elde edilir.
6. Hacim vektörü sınıflandırma başlığına aktarılır.

Bu yöntem basit ortalamadan farklı olarak bilgi içermeyen dilimlerin etkisini azaltabilir. Maksimum havuzlamadan farklı olarak yalnızca tek bir dilim veya özellik değerine dayanmaz. Bununla birlikte dilimlerin sıralamasını koruyan tam bir üç boyutlu uzamsal model değildir; komşu dilimler arasındaki geometrik ilişkiler açık biçimde modellenmemektedir.

Bileşik eğitim hedefi neyi amaçlamaktadır?

Çalışma üç kayıp bileşenini birlikte kullanmıştır:

• Çapraz entropi kaybı: Modelin tahmin ettiği sınıf olasılıkları ile gerçek sınıf etiketleri arasındaki uyuşmazlığı azaltır.
• Denetimli karşıt öğrenme: Aynı sınıfa ait hacim temsillerini özellik uzayında birbirine yaklaştırırken farklı sınıfları birbirinden uzaklaştırır.
• Sınıf içi varyans düzenlileştirmesi: Aynı sınıftaki örneklerin temsilleri arasında aşırı değişkenlik oluşmasını engellemeyi amaçlar.

Karşıt kayıp için 0,5, sınıf içi varyans düzenlileştirmesi için 0,1 ağırlık kullanılmıştır. Karşıt öğrenmenin sıcaklık parametresi 0,1 olarak belirlenmiştir. Çalışmada toplam kayıp fonksiyonunun açık matematiksel formülü verilmemiştir; bu nedenle bileşenlerin sözel tanımının ötesinde yeni bir formül üretmek doğru olmayacaktır.

Hangi veri setleri kullanılmıştır?

Birinci veri seti, Alzheimer hastalığı araştırmalarında kullanılan Alzheimer’s Disease Neuroimaging Initiative (ADNI) koleksiyonudur. Çalışmada normal bireylerle Alzheimer hastalığı sınıfı karşılaştırılmıştır. Her iki sınıf için 190’ar kişi olmak üzere toplam 380 inceleme bildirilmiştir.

İkinci veri seti, normal kontrol, migren, gerilim tipi baş ağrısı ve küme baş ağrısı sınıflarından oluşan kurumsal bir kohorttur. Toplam örnek sayısı 410’dur. Ancak veri setinin toplandığı kurumun adı, etiketleme ölçütleri, hastaların demografik özellikleri ve görüntüleme protokolü çalışmada açıklanmamıştır.

Veriler kişi düzeyinde eğitim, doğrulama ve test kümelerine ayrılmıştır. Aynı kişiye ait dilimlerin farklı veri kümelerine dağılmasını önlemek için bölmenin kişi düzeyinde yapıldığı belirtilmiştir. Bu yaklaşım dilim düzeyinde veri sızıntısını önlemek açısından önemlidir.

Ana sonuçlar ne göstermektedir?

Önerilen çerçeve her iki veri setinde de çalışmada kullanılan beş temel karşılaştırma yönteminden daha yüksek sonuç vermiştir. ADNI testinde doğruluk %89,3, F1 skoru %89,3 ve AUROC %95,6 olarak bildirilmiştir. Baş ağrısı kohortunda doğruluk %78,6, F1 skoru %78,6 ve AUROC %89,2’dir.

ADNI veri setinde önerilen yöntem, ImageNet aktarımı temel çizgisine göre doğrulukta 2,5 yüzde puan; sıfırdan eğitilen 3B CNN’ye göre 3,7 yüzde puan daha yüksek sonuç vermiştir. Baş ağrısı kohortunda ImageNet aktarımına göre fark 4,5 yüzde puan, 3B CNN’ye göre 5,8 yüzde puandır. Ancak bu farkların istatistiksel anlamlılığı için ayrı bir karşılaştırma testi veya p değeri sunulmamıştır.

Baş ağrısı sınıfları arasında performans nasıl değişmiştir?

Baş ağrısı kohortunda en yüksek F1 skoru migren sınıfında %81,0, en düşük F1 skoru ise küme baş ağrısı sınıfında %72,1 olarak bildirilmiştir. Küme baş ağrısı sınıfı aynı zamanda en az eğitim ve test örneğine sahip sınıftır. Bu sonuç, daha küçük sınıflardaki performansın ayrıca değerlendirilmesi gerektiğini göstermektedir; ancak çalışma sınıf büyüklüğü ile hata oranı arasında nedensel bir analiz yapmamıştır.

Ablasyon deneyleri hangi bileşenin daha önemli olduğunu göstermektedir?

Ablasyon deneylerinde en büyük düşüş dikkat mekanizması kaldırıldığında görülmüştür. Dikkatin kaldırılması ADNI doğruluğunu %89,3’ten %86,8’e, baş ağrısı doğruluğunu ise %78,6’dan %75,2’ye düşürmüştür. Başka bir ifadeyle dikkat modülünün katkısı iki veri setinde sırasıyla 2,5 ve 3,4 yüzde puan olarak hesaplanmaktadır.

Karşıt öğrenmenin çıkarılması doğruluğu ADNI’de 1,8, baş ağrısı kohortunda 2,3 yüzde puan azaltmıştır. Sınıf içi varyans düzenlileştirmesinin etkisi daha sınırlıdır; düşüşler sırasıyla 1,2 ve 1,5 yüzde puandır. Bu karşılaştırmalar, bileşenlerin model sonucuyla ilişkili olduğunu göstermektedir. Bununla birlikte farklı eğitim çalıştırmaları, rastgele başlangıçlar ve istatistiksel karşılaştırmalar ayrıntılı biçimde raporlanmadığı için katkıların kesinliği sınırlıdır.

Çalışmanın desteklediği sonuçlar nelerdir?

• DINOv2’den çıkarılan iki boyutlu dilim özellikleri, öğrenilebilir dikkat mekanizmasıyla hacim düzeyinde birleştirilebilir.
• Önerilen yapı, çalışmada kullanılan veri bölünmelerinde basit ortalama, maksimum havuzlama, 2B CNN, 3B CNN ve standart aktarım öğrenmesi temel çizgilerinden daha yüksek sonuç vermiştir.
• Ablasyon sonuçlarında en büyük tek bileşen katkısı dikkat tabanlı dilim ağırlıklandırmasında görülmüştür.
• Karşıt öğrenme ve sınıf içi varyans düzenlileştirmesi tam modelin sonuçlarına ek katkı sağlamıştır.
• Modelin başarımı iki sınıflı ADNI görevinde, dört sınıflı baş ağrısı görevine göre daha yüksektir.

Çalışma neyi kanıtlamamaktadır?

• Modelin klinik tanı koyabildiğini veya radyoloğun yerini alabileceğini kanıtlamamaktadır.
• Modelin eğitim sırasında görülmeyen yeni hastalıkları veya bilinmeyen anomalileri yakalayabildiğini göstermemektedir.
• Baş ağrısı sınıflandırmasının farklı hastanelerde, cihazlarda veya hasta topluluklarında aynı sonucu vereceğini göstermemektedir.
• Yüksek AUROC değeri, modelin klinikte güvenli, kalibre edilmiş veya hasta sonuçlarını iyileştiren bir sistem olduğu anlamına gelmemektedir.
• Dikkat ağırlıklarının gerçek bir hastalık mekanizmasını veya nedensel anatomik ilişkiyi gösterdiği kanıtlanmamıştır.
• Türkiye’deki hasta grupları veya sağlık kuruluşları için doğrudan sonuç sunmamaktadır.

Görsel açıklamalarındaki eksiklik ne anlama gelmektedir?

Çalışma, birinci şeklin ADNI örneklerindeki dilim dikkat ağırlıklarını, ikinci şeklin ise hacim temsillerinin t-SNE izdüşümünü gösterdiğini belirtmektedir. Metne göre model Alzheimer hastalığında hipokampal atrofi ve ventrikül genişlemesiyle ilişkilendirilen orta beyin dilimlerine daha yüksek ağırlık vermiştir. t-SNE gösteriminin de normal ve Alzheimer sınıfları arasında ayrışma sunduğu ileri sürülmektedir.

Ancak yüklenen sürümde her iki şeklin yalnızca başlığı bulunmaktadır; dikkat eğrileri, MR dilimleri ve t-SNE grafiği görünmemektedir. Bu nedenle metindeki görsel yorumlar bağımsız olarak incelenememiştir. Ayrıca dikkat ağırlığı tek başına modelin karar nedenini güvenilir biçimde açıklayan bir klinik kanıt olarak kabul edilmemelidir.

Çalışmanın güçlü yönleri nelerdir?

• İki farklı veri seti ve iki farklı sınıflandırma zorluğu kullanılmıştır.
• Veri bölünmesinin kişi düzeyinde yapıldığı belirtilmiştir.
• Basit bir temel çizgi yerine beş farklı karşılaştırma yöntemi sunulmuştur.
• Dikkat, karşıt öğrenme ve varyans düzenlileştirmesi ayrı ayrı ablasyon deneyleriyle değerlendirilmiştir.
• Doğruluk dışında kesinlik, duyarlılık, F1 ve AUROC değerleri raporlanmıştır.
• Sonuçların değişkenliğini değerlendirmek amacıyla 1.000 yinelemeli bootstrap kullanıldığı belirtilmiştir.

Çalışmanın sınırlılıkları nelerdir?

En önemli sınırlılık, verilerin ve deneylerin tam olarak yeniden üretilebilmesi için gerekli ayrıntıların eksik olmasıdır. Kurumsal kohortun kaynağı, hasta seçimi, etiketleme süreci, cihaz özellikleri, MR sekansları ve veri erişimi açıklanmamıştır. Kullanılan ön işleme adımları genel düzeyde verilmiş; kafatası çıkarma, atlas kaydı, yeniden örnekleme ve yoğunluk normalleştirmesinde kullanılan yazılımlar ile parametreler belirtilmemiştir.

ADNI dışındaki veri tek bir kurumsal kohorta dayanmaktadır. Çok merkezli dış doğrulama bulunmamaktadır. Model kalibrasyonu, karar eşiği, yanlış pozitif ve yanlış negatif örneklerin sayısı, karışıklık matrisi, özgüllük ve pozitif öngörü değeri gibi klinik yorum açısından önemli ayrıntılar sunulmamıştır.

Çalışmada “anomali tespiti” ifadesi kullanılmasına rağmen yöntem normal veriden sapmayı açık uçlu biçimde belirleyen tek sınıflı veya denetimsiz bir sistem değildir. Model, eğitim sırasında tanımlanmış sınıfları birbirinden ayırmaktadır. Araştırmacı da bu durumu sınırlılıklar arasında kabul etmekte ve gerçek anomali tespiti için yalnızca normal verilerle eğitilen tek sınıflı bir yapının gelecekte incelenmesini önermektedir.

Çalışmanın Yöntemi ve Bulguları

Veri hazırlama ve model akışı

Kayıp fonksiyonu ve veri artırma

Toplam eğitim hedefinde çapraz entropi ana bileşen olarak kullanılmıştır. Denetimli karşıt kayıp 0,5, sınıf içi varyans düzenlileştirmesi 0,1 ağırlıkla eklenmiştir. Verilere rastgele döndürme, çevirme ve yoğunluk dönüşümleri uygulanmıştır. Ancak dönüşümlerin aralıkları ve olasılıkları raporlanmamıştır.

Değerlendirme ölçütleri

• Doğruluk: Doğru sınıflandırılan test örneklerinin bütün örneklere oranı.
• Kesinlik: Bir sınıfa ait olduğu tahmin edilen örneklerin ne kadarının gerçekten o sınıfa ait olduğunu gösterir.
• Duyarlılık: Gerçek sınıf örneklerinin ne kadarının model tarafından yakalandığını gösterir.
• F1 skoru: Kesinlik ve duyarlılığın harmonik ortalamasıdır.
• AUROC: Modelin farklı karar eşikleri boyunca sınıfları ayırabilme gücünü özetler.

Metriklerin sınıf bazında hesaplanarak ortalandığı belirtilmiştir. Belirsizlik tahmini için 1.000 bootstrap yinelemesi kullanılmıştır. Bununla birlikte tablolardaki “±” değerlerinin hangi güven düzeyini temsil ettiği açıkça yazılmamıştır.

Sonuçların teknik yorumu

ADNI görevindeki %95,6 AUROC, modelin kullanılan test kümesinde normal ve Alzheimer sınıflarını sıralama bakımından güçlü bir ayrım ürettiğini göstermektedir. Ancak test kümesi yalnızca 80 kişiden oluşmaktadır. AUROC değeri tek başına belirli bir klinik karar eşiğindeki yanlış negatif ve yanlış pozitif sayılarını göstermemektedir.

Baş ağrısı kohortundaki %89,2 AUROC ve %78,6 doğruluk, dört sınıflı görevin iki sınıflı ADNI görevinden daha zor olduğunu göstermektedir. En düşük sınıf başarımı küme baş ağrısında görülmüştür. Bu sınıfta test kümesi yalnızca 15 kişiden oluştuğundan ölçümlerdeki belirsizlik diğer sınıflardan daha yüksek olabilir.

Ablasyon analizleri dikkat mekanizmasının modeldeki en etkili ek bileşen olduğunu desteklemektedir. Yine de çalışma farklı dikkat mimarileri, 3B temel modeller veya tıbbi görüntüler üzerinde önceden eğitilmiş temel modellerle kapsamlı bir karşılaştırma yapmamıştır. Bu nedenle sonuçlar dikkat yaklaşımının bütün alternatiflerden üstün olduğunu değil, yalnızca çalışmada seçilen temel çizgilere göre daha yüksek sonuç verdiğini göstermektedir.

Kaynak ve Yöntem Notu

Çalışmanın tam özgün adı: Leveraging Foundation Models for 3D Image Anomaly Detection

Yazar: Michael Harris

Yazar sıralaması: Tek yazarlı çalışma

Eş birinci yazar: Bulunmuyor.

Sorumlu yazar: SSRN kaydında Michael Harris iletişim yazarı olarak gösterilmektedir.

Kurum: The University of Texas at Austin, Texas, ABD

DOI:10.2139/ssrn.6979438

Dergi: Çalışma bir dergide yayımlanmamıştır.

Yayınevi: Özgün bir dergi yayınevi bilgisi bulunmamaktadır.

Platform: SSRN

Yayın yılı: 2026

Kaynak türü: Deneysel makine öğrenmesi çalışması niteliğinde preprint

Hakemlik durumu: Bu çalışma hakem değerlendirmesinden geçmemiş bir preprinttir; sonuçları bu sınırlılık dikkate alınarak okunmalıdır.

Resmî bağlantı:SSRN çalışma sayfası

Bu makale yüklenen 37 sayfalık çalışma baştan sona incelenerek hazırlanmıştır. Bilimsel yöntem, veri sayıları ve performans sonuçları yalnızca çalışmada bildirilen bilgilere dayanmaktadır. Çalışmada bulunmayan klinik başarı, tanı güvenliği veya Türkiye’ye özgü performans iddiası eklenmemiştir.

Kaynak kimliğinde açıklığa kavuşturulması gereken bir tutarsızlık bulunmaktadır: görünür çalışma kapağı ve SSRN kaydı Michael Harris’i yazar gösterirken dosyanın teknik üstverisindeki yazar alanında farklı bir ad yer almaktadır. Ayrıca kurumsal baş ağrısı kohortunun kaynağı, görüntüleme protokolleri, ayrıntılı etik süreç ve veri erişim koşulları açıklanmamıştır.

Çalışma klinik bir doğrulama araştırması değildir. Model radyologlarla karşılaştırılmamış, ileriye dönük klinik ortamda denenmemiş, farklı hastanelerde dış doğrulamadan geçirilmemiş ve hasta sonuçları üzerindeki etkisi değerlendirilmemiştir. Sonuçlar yalnızca bildirilen veri kümeleri, veri bölünmeleri ve deney koşulları için geçerlidir.