Tarım zararlıları, ürün kayıplarının en önemli nedenlerinden biri. Geleneksel yöntemlerde çiftçiler veya uzmanlar tarlayı gezerek yaprakları, tuzakları ve bitki üzerindeki zararlı belirtilerini kontrol eder. Bu yöntem hâlâ değerli olsa da zaman alır, geniş alanlarda zorlaşır ve erken uyarı sağlamada yetersiz kalabilir.

Bu preprint çalışma, ürün zararlılarını daha hızlı tespit etmek için RGB kamera görüntülerini, yazılımla oluşturulan pseudo-thermal görüntülerle birleştiren bir yapay zekâ sistemi öneriyor. Sistem, gerçek termal kamera kullanmadan RGB görüntüden termal benzeri bir temsil üretiyor. Ardından bu birleşik görüntüler YOLOv12 nesne tespit modeliyle işleniyor.

Çalışmada beyaz sinek, böcek ve güve sınıflarını içeren 7.774 etiketli görüntü kullanılmış. Model; zararlının türünü, görüntüdeki konumunu, sayısını ve güven skorunu üretmeye çalışıyor. Sonuçlarda %87,1 mAP, %88,3 precision ve %80,7 recall değerleri raporlanıyor. Bu değerler, yöntemin klasik RGB tabanlı modellere göre daha güçlü olabileceğini düşündürüyor.

Ancak çalışma preprint olduğu için temkinli okunmalı. Ayrıca pseudo-thermal görüntü gerçek termal veri değildir; yalnızca RGB görüntüden türetilen termal benzeri bir gösterimdir. Sis, yağmur, düşük ışık, örtülme, yaprak damarları ve su damlaları gibi durumlarda hatalar oluşabilir.

Problem Ne?

Tarımda zararlıların erken fark edilmesi, verim kayıplarını azaltmak için kritik öneme sahiptir. Zararlı yoğunluğu erken yakalanırsa, mücadele daha hedefli ve kontrollü yapılabilir. Aksi halde zarar büyür, ürün kaybı artar ve çoğu zaman daha fazla kimyasal müdahale gerekir.

Fakat tarlada zararlı tespiti pratikte zordur. Zararlılar küçük olabilir, yaprak rengine karışabilir, gölgede kalabilir veya yaprakların altında saklanabilir. Özellikle beyaz sinek gibi küçük zararlılar, karmaşık arka planlarda kolayca gözden kaçabilir. Manuel kontrol ise geniş alanlarda yavaş, yorucu ve kişiye bağlıdır.

Son yıllarda RGB kamera görüntüleriyle yapay zekâ tabanlı zararlı tespit sistemleri geliştiriliyor. Ancak yalnızca RGB görüntüye dayanan sistemler düşük ışık, gölge, karmaşık arka plan, örtülme ve zararlının bitki yüzeyiyle benzer renkte olması gibi durumlarda performans kaybedebilir.

Termal görüntüleme, bazı koşullarda nesneleri daha belirgin hale getirebilir. Fakat gerçek termal kameralar pahalıdır ve küçük-orta ölçekli çiftçiler için yaygınlaştırılması zor olabilir. Ayrıca termal sensörler, IoT altyapısı ve saha kurulumu maliyeti artırır.

Bu makalenin temel sorusu şudur: Gerçek termal kamera kullanmadan, yalnızca RGB görüntüden üretilen termal benzeri özelliklerle zararlı tespiti daha ucuz ve daha güçlü hale getirilebilir mi?

Yöntem Ne Öneriyor?

Çalışma, RGB–pseudo-thermal görüntü füzyonuna dayalı bir zararlı tespit sistemi öneriyor.

İlk adımda standart RGB yaprak veya ürün görüntüsü alınıyor. Bu görüntü klasik kamera, telefon kamerası veya saha kamerası gibi erişilebilir donanımlardan gelebilir. Ardından aynı görüntü gri tonlamaya çevrilip termal haritaya benzeyen bir renklendirme uygulanıyor. Bu işlem gerçek sıcaklık ölçümü yapmıyor; yalnızca görüntü yoğunluklarını termal benzeri bir renk uzayına dönüştürüyor.

İkinci adımda RGB görüntü ile pseudo-thermal görüntü birleştiriliyor. Amaç, RGB’nin doku ve renk bilgisini, pseudo-thermal temsilin kontrast artırıcı etkisiyle birlikte kullanmak. Böylece modelin küçük, kamufle olmuş veya kısmen örtülmüş zararlıları daha iyi yakalaması hedefleniyor.

Üçüncü adımda YOLOv12 nesne tespit mimarisi kullanılıyor. YOLO ailesi, görüntüdeki nesneleri tek geçişte bulmaya çalışan hızlı nesne tespit modelleriyle bilinir. Bu çalışmada model; zararlının sınıfını, görüntüdeki konum kutusunu, güven skorunu ve zararlı sayısını üretmek üzere eğitiliyor.

Dördüncü adımda sistem kullanıcı arayüzüne bağlanıyor. Makalede Streamlit tabanlı bir arayüz geliştirildiği belirtiliyor. Bu arayüz görüntü yükleme, canlı kamera girişi, tespit sonucu gösterme, zararlı sayma, uyarı üretme ve JSON raporu oluşturma gibi pratik özellikler sunuyor.

Bu yaklaşımın temel iddiası, pahalı termal donanım olmadan daha zengin bir görüntü temsili elde etmek ve zararlı tespitini gerçek zamanlı, düşük maliyetli ve saha kullanımına daha yakın hale getirmektir.

Formüller Ne Anlatıyor?

Makaledeki formüller, görüntünün nasıl dönüştürüldüğünü ve modelin nasıl karar verdiğini sade biçimde anlatıyor.

İlk önemli formül, RGB görüntünün gri tonlamaya çevrilmesidir. Bu işlemde kırmızı, yeşil ve mavi kanallar farklı ağırlıklarla birleştirilir. İnsan gözünün yeşil kanala daha duyarlı olması nedeniyle yeşil kanal daha yüksek ağırlık alır. Böylece her piksel için tek bir parlaklık değeri elde edilir.

Sonra bu gri tonlama görüntü, termal benzeri bir renk haritasına dönüştürülür. Makalede OpenCV’nin COLORMAP_INFERNO yaklaşımından söz ediliyor. Bu işlem gerçek sıcaklık bilgisi üretmez; ancak koyu-açık alanları termal görüntüye benzer renklerle göstererek bazı kontrast farklarını daha görünür hale getirebilir.

Bir diğer formül, RGB ve pseudo-thermal görüntülerin karıştırılmasıdır. Çalışmada iki görüntünün yarı yarıya ağırlıklandırıldığı bir füzyon yaklaşımı kullanılıyor. Böylece hem gerçek renk/doku bilgisi hem de termal benzeri kontrast bilgisi model girişine taşınıyor.

YOLO tarafında kullanılan kayıp fonksiyonu, modelin üç şeyi aynı anda öğrenmesini sağlar: nesnenin yerini doğru kutulamak, nesne olup olmadığını anlamak ve doğru sınıfı seçmek. Kutu kaybı, konum hatasını; nesne kaybı, zararlının varlığına ilişkin güveni; sınıf kaybı ise beyaz sinek, böcek veya güve gibi sınıf tahminini temsil eder.

Bounding box formülleri, modelin verdiği merkez koordinatı ve kutu genişlik-yükseklik değerinden sol üst ve sağ alt köşe koordinatlarının nasıl hesaplandığını gösterir. Bu sayede zararlı görüntü üzerinde kırmızı kutuyla işaretlenebilir.

Grafik / Tablo / Şema Ana Mesajı

Makaledeki sistem mimarisi şeması, RGB görüntünün pseudo-thermal görüntüyle birleştirildiğini ve ardından YOLOv12 modeline verildiğini gösteriyor. Şemanın ana mesajı şu: Sistem, tek bir görüntüden iki farklı temsil üretip bunları birleştirerek zararlı tespitini güçlendirmeye çalışıyor.

Örnek veri görselleri, AgriPest-7774 veri setinde beyaz sinek, böcek ve güve örneklerinin etiketlendiğini gösteriyor. Bu görsellerin ana mesajı, modelin laboratuvar çizimi veya tamamen yapay görüntülerle değil, tarla koşullarından gelen gerçek görsellerle eğitildiğidir.

Veri dağılım tablosu, beyaz sinek sınıfının veri setinde en büyük paya sahip olduğunu gösteriyor. Beyaz sinek 3.200 görüntüyle veri setinin yaklaşık %41’ini oluştururken, böcek ve güve sınıfları daha az temsil ediliyor. Bu durum modelin beyaz sinekte daha fazla örnek görmesine, daha az temsil edilen sınıflarda ise genelleme riskinin artmasına neden olabilir.

Model performans tablosu, önerilen yöntemin manuel kontrol, RGB + derin öğrenme, termal + IoT, Faster R-CNN, VGG16 ve ResNet50 gibi yaklaşımlarla karşılaştırıldığını gösteriyor. Önerilen YOLOv12 RGB–pseudo-thermal yaklaşımı %87,1 mAP ile en yüksek performansı rapor ediyor. Ancak bu karşılaştırmanın nasıl standartlaştırıldığı, veri setleri ve eğitim koşulları açısından dikkatli incelenmelidir.

Zararlı kaynaklı ürün kaybı grafiği, pirinç, buğday ve mısırda zararlıların ciddi kayıp oluşturabileceğini görselleştiriyor. Ana mesaj, zararlı tespitinin yalnızca teknik bir bilgisayarlı görü problemi değil, gıda güvenliği ve verim kaybı açısından da önemli olduğudur.

Eğitim kaybı grafikleri, modelin 100 epoch boyunca öğrenme sürecinde kutu, sınıf ve nesne kayıplarının azaldığını gösteriyor. Bu, modelin eğitim verisindeki zararlı konumlarını ve sınıflarını öğrenebildiğini düşündürüyor.

mAP ilerleme grafiği, modelin eğitim boyunca ortalama hassasiyetinin arttığını ve sonunda %87,1 civarında istikrar kazandığını anlatıyor. Bu, modelin eğitim sürecinde belirli bir performans seviyesine ulaştığını gösteriyor.

Pseudo-thermal tespit görseli, beyaz sineğin termal benzeri görünümde işaretlendiğini ve güven skoruyla gösterildiğini anlatıyor. Bu görselin ana mesajı, sistemin yalnızca sınıf tahmini yapmadığı; aynı zamanda zararlının görüntüdeki yerini de kutuyla gösterdiğidir.

Hata analizi görselleri ise çalışmanın en önemli bölümlerinden biridir. Yaprak damarları, su damlaları veya arka plan dokuları bazen zararlı gibi algılanabilir. Kısmen örtülmüş zararlılar kaçırılabilir. Bu, sistemin pratikte hâlâ dikkatli doğrulama gerektirdiğini gösterir.

Deneyler Nasıl Yapılmış?

Çalışmada 7.774 etiketli tarımsal zararlı görüntüsünden oluşan bir veri seti kullanılmış. Görüntüler gerçek tarla koşullarından toplanmış ve beyaz sinek, böcek ve güve olmak üzere üç ana zararlı sınıfına ayrılmış. Görüntüler Roboflow aracıyla kutu ve sınıf etiketi içerecek şekilde işaretlenmiş.

Veri seti eğitim ve doğrulama bölümlerine ayrılmış. Görüntüler YOLOv12 girişine uygun olacak şekilde 640 × 640 piksel boyutuna getirilmiş. Eğitimde COCO ön eğitimli ağırlıkların kullanıldığı belirtiliyor. Bu, modelin genel nesne özelliklerini önceden öğrenmiş bir başlangıç noktasından tarımsal zararlı tespitine uyarlanması anlamına gelir.

RGB görüntülerden pseudo-thermal görüntüler oluşturulmuş. Bunun için görüntü önce gri tonlamaya çevrilmiş, ardından termal benzeri renk haritası uygulanmış. Sonra RGB ve pseudo-thermal temsiller birleştirilerek model girişine verilmiş.

Model 100 epoch boyunca eğitilmiş. Eğitim sürecinde kutu kaybı, sınıf kaybı ve nesne kaybının düştüğü raporlanmış. Bu kayıpların azalması, modelin zararlıları daha doğru konumlandırmayı ve sınıflandırmayı öğrendiğini gösterir.

Performans mAP, precision ve recall değerleriyle değerlendirilmiş. mAP, modelin farklı güven eşikleri ve konum doğruluğu seviyelerinde ne kadar başarılı tespit yaptığını gösterir. Precision, modelin “zararlı var” dediği durumların ne kadarının doğru olduğunu; recall ise gerçek zararlıların ne kadarını yakalayabildiğini ifade eder.

Sistem ayrıca Streamlit tabanlı bir arayüzle test edilmiş. Bu arayüzde görüntü yükleme, tespit sonucu görme, kırmızı kutularla zararlı konumu işaretleme, güven skoru gösterme, JSON raporu indirme ve sesli/görsel uyarı üretme özellikleri bulunuyor.

Sonuçlar Ne Gösteriyor?

Çalışmada önerilen YOLOv12 RGB–pseudo-thermal sistemi %87,1 mAP, %88,3 precision ve %80,7 recall değerlerine ulaşmış. Bu sonuçlar, sistemin veri setindeki zararlıları tespit etmede güçlü bir performans sergilediğini gösteriyor.

Sınıf bazında beyaz sinek, böcek ve güve için mAP değerleri birbirine yakın raporlanıyor. Bu, modelin yalnızca tek bir sınıfa aşırı odaklanmadığını düşündürse de veri setinde beyaz sinek daha baskın olduğu için az temsil edilen türlerde daha fazla doğrulama gerekir.

Karşılaştırma tablolarında önerilen sistemin RGB tabanlı derin öğrenme yaklaşımlarından, VGG16, ResNet50 ve Faster R-CNN gibi modellerden daha yüksek performans verdiği belirtiliyor. Ayrıca gerçek termal sensör veya IoT sistemi kullanmadan düşük maliyetli ve gerçek zamanlı çalışabilecek bir çözüm olarak sunuluyor.

Pseudo-thermal füzyonun özellikle küçük ve kamufle olmuş zararlıları görünür kılmada yardımcı olduğu savunuluyor. Ancak bu nokta dikkatli yorumlanmalıdır; çünkü pseudo-thermal gerçek sıcaklık verisi değildir. RGB görüntünün dönüştürülmüş halidir. Bu nedenle gerçek termal sensörün sağlayacağı fiziksel sıcaklık bilgisiyle aynı şey değildir.

Hata analizi, sistemin hâlâ bazı koşullarda zorlandığını gösteriyor. Yaprak damarları, toprak dokusu veya su damlaları bazen zararlı gibi algılanabilir. Kısmen yaprak altında kalan veya görüntüde küçük görünen zararlılar kaçırılabilir. Yağmur, sis, toz ve düşük ışık gibi koşullar sistemin güven skorunu düşürebilir.

Bu Neden Önemli?

Tarımda erken zararlı tespiti, hem verim kaybını azaltmak hem de gereksiz kimyasal kullanımını önlemek açısından önemlidir. Eğer zararlı yoğunluğu erken ve doğru şekilde saptanabilirse, müdahale daha hedefli yapılabilir. Bu da hem üretici maliyetini hem de çevresel yükü azaltabilir.

Bu çalışma, pahalı termal kameralar olmadan daha zengin görüntü temsili üretme fikrini test ediyor. Eğer bu yaklaşım farklı ürünlerde, farklı zararlılarda ve gerçek saha koşullarında güçlü biçimde doğrulanırsa, düşük maliyetli erken uyarı sistemleri için pratik bir yol açabilir.

Özellikle küçük çiftçiler veya orta ölçekli işletmeler için pahalı IoT altyapıları ve termal kameralar erişilebilir olmayabilir. RGB kamera tabanlı, yazılım destekli ve gerçek zamanlı çalışabilen sistemler bu açıdan daha uygulanabilir görünebilir.

Ayrıca Streamlit gibi basit bir arayüzle sonuçların kullanıcıya gösterilmesi, akademik model ile saha kullanımı arasındaki boşluğu azaltır. Çiftçi veya teknik personel yalnızca model çıktısını değil; zararlı türünü, konumunu, güven skorunu, sayısını ve uyarıyı görebilir.

Dikkat Noktaları

Bu makale preprinttir; hakem değerlendirmesinden geçmemiştir. Bu nedenle sonuçlar kesinleşmiş tarımsal karar sistemi gibi sunulmamalıdır.

Pseudo-thermal görüntü gerçek termal görüntü değildir. Gerçek termal kamera, nesnelerin sıcaklık farklarını ölçer. Bu çalışmadaki pseudo-thermal yaklaşım ise RGB görüntünün parlaklık ve renk bilgisinden termal benzeri bir görsel üretir. Bu nedenle fiziksel sıcaklık verisinin yerini tam olarak tutmaz.

Veri setinde beyaz sinek sınıfı daha baskındır. Bu durum modelin bazı sınıflarda daha iyi, daha az temsil edilen sınıflarda daha zayıf genelleme yapmasına yol açabilir. Daha dengeli, çok bölgeli, çok sezonlu ve daha fazla zararlı türü içeren veri setleri gerekir.

Saha koşulları çok değişkendir. Yağmur, sis, toz, rüzgâr, hareket bulanıklığı, düşük kamera çözünürlüğü, yanlış açı, yaprakların üst üste binmesi ve gölgeler model performansını etkileyebilir.

Modelin yanlış pozitif ve yanlış negatif üretmesi mümkündür. Yanlış pozitif durumda sistem zararlı olmayan bir dokuyu zararlı gibi işaretleyebilir. Yanlış negatif durumda ise gerçek zararlıyı kaçırabilir. Bu nedenle böyle sistemler doğrudan otomatik ilaçlama kararı vermek yerine, uzman kontrolünü destekleyen erken uyarı aracı olarak düşünülmelidir.

Karşılaştırılan yöntemlerin tümünün aynı veri seti ve aynı deney şartlarında değerlendirilip değerlendirilmediği, sonuçların güvenilir yorumlanması açısından önemlidir. Makaledeki performans karşılaştırmaları umut verici olsa da bağımsız veri setlerinde tekrarlanmalıdır.

Sonuç

Bu çalışma, tarım zararlılarının görüntü tabanlı tespitinde düşük maliyetli ve gerçek zamanlı bir yaklaşım sunuyor. RGB görüntülerden pseudo-thermal temsiller üretilmesi, gerçek termal kamera kullanmadan modele ek görsel kontrast sağlama fikrine dayanıyor. YOLOv12 ile birleştirildiğinde sistem, beyaz sinek, böcek ve güve gibi zararlıları yüksek doğrulukla tespit edebildiğini raporluyor.

En dikkat çekici yön, sistemin yalnızca akademik model olarak kalmaması; Streamlit arayüzüyle görüntü yükleme, canlı analiz, uyarı üretme ve rapor oluşturma gibi pratik özelliklere yönelmesi. Bu, hassas tarımda yapay zekânın sahaya yaklaşması açısından önemli bir adımdır.

Ancak güvenli yorum şu olmalıdır: Bu sistem zararlı tespitinde güçlü bir adaydır; fakat gerçek termal görüntünün yerini tamamen almaz ve doğrudan otomatik ilaçlama kararı için tek başına yeterli görülmemelidir. Daha fazla ürün, daha fazla zararlı türü, farklı iklimler, farklı kamera koşulları ve çok sezonlu bağımsız testlerle doğrulanması gerekir.

Kaynak ve Yöntem Notu

Bu yazı, “Multimodal Fusion Framework for Automated Crop Infestation Detection” başlıklı preprint makaleden hazırlanmıştır. Çalışma, RGB görüntülerden yazılımla oluşturulan pseudo-thermal temsilleri YOLOv12 nesne tespit mimarisiyle birleştirerek tarım zararlılarını gerçek zamanlı tespit etmeyi amaçlamaktadır. Veri seti 7.774 etiketli görüntüden oluşmakta; beyaz sinek, böcek ve güve sınıflarını içermektedir.

Metin birebir çeviri değildir. Makaledeki ana fikir, yöntem, formüller, grafikler, deney akışı, sonuçlar ve sınırlılıklar Verianla okuyucusu için sadeleştirilerek özgün Türkçe editoryal içerik halinde yeniden anlatılmıştır. Çalışma preprint olduğu için bulgular kesin tarımsal uygulama tavsiyesi değil, daha fazla saha doğrulaması gerektiren araştırma sonuçları olarak değerlendirilmelidir.