Wadudu waharibifu wa kilimo ni moja ya sababu kuu za upotevu wa mazao. Katika mbinu za kitamaduni, wakulima au wataalamu huzunguka shambani kukagua majani, mitego, na dalili za wadudu kwenye mimea. Ingawa mbinu hii bado ni ya thamani, inachukua muda, ni ngumu katika maeneo makubwa, na inaweza kuwa haitoshi kutoa onyo la mapema.

Utafiti huu wa awali (preprint) unapendekeza mfumo wa akili bandia unaounganisha picha za kamera ya RGB na picha za pseudo-thermal zilizoundwa na programu ili kugundua wadudu wa mazao kwa haraka zaidi. Mfumo huu unazalisha uwakilishi unaofanana na picha ya joto (thermal) kutoka kwenye picha ya RGB bila kutumia kamera halisi ya joto. Kisha, picha hizi zilizounganishwa huchakatwa na modeli ya kutambua vitu ya YOLOv12.

Katika utafiti huu, picha 7,774 zilizowekwa lebo zinazojumuisha makundi ya inzi weupe, wadudu, na nondo zilitumika. Modeli inajaribu kuzalisha aina ya mdudu, nafasi yake kwenye picha, idadi yake, na alama ya ujasiri (confidence score). Matokeo yanaripoti maadili ya mAP ya 87.1%, usahihi (precision) wa 88.3%, na uwezo wa kukumbuka (recall) wa 80.7%. Maadili haya yanapendekeza kuwa mbinu hii inaweza kuwa na nguvu zaidi ikilinganishwa na modeli za kawaida zinazotegemea RGB.

Hata hivyo, kwa kuwa utafiti huu ni wa awali, unapaswa kusomwa kwa tahadhari. Aidha, picha ya pseudo-thermal si data halisi ya joto; ni uwakilishi tu unaofanana na joto unaotokana na picha ya RGB. Makosa yanaweza kutokea katika hali kama vile ukungu, mvua, mwanga mdogo, kufichwa, mishipa ya majani, na matone ya maji.

1. Kichwa

Kugundua mapema wadudu katika kilimo ni muhimu sana ili kupunguza upotevu wa mazao. Ikiwa msongamano wa wadudu utagunduliwa mapema, udhibiti unaweza kufanywa kwa usahihi na kwa udhibiti zaidi. Vinginevyo, uharibifu hukua, upotevu wa mazao huongezeka, na mara nyingi uingiliaji zaidi wa kemikali unahitajika.

Lakini kwa vitendo, kugundua wadudu shambani ni vigumu. Wadudu wanaweza kuwa wadogo, wanaweza kuchanganyikana na rangi ya jani, kubaki kwenye kivuli, au kujificha chini ya majani. Hasa wadudu wadogo kama vile inzi weupe wanaweza kutoonekana kwa urahisi katika asili zenye utata. Udhibiti wa mikono kwenye maeneo makubwa ni wa polepole, unachosha, na unategemea mtu.

Katika miaka ya hivi karibuni, mifumo ya kugundua wadudu inayotegemea akili bandia ikitumia picha za kamera za RGB inatengenezwa. Hata hivyo, mifumo inayotegemea picha za RGB pekee inaweza kupoteza ufanisi katika hali kama vile mwanga mdogo, vivuli, asili yenye utata, kufichwa, na mdudu kuwa na rangi inayofanana na uso wa mmea.

Upigaji picha wa joto (thermal imaging) unaweza kufanya vitu vionekane wazi zaidi chini ya baadhi ya hali. Lakini kamera halisi za joto ni ghali na inaweza kuwa vigumu kusambazwa kwa wakulima wa kiwango kidogo na cha kati. Aidha, vitambuzi vya joto huongeza gharama za miundombinu ya IoT na ufungaji wa shambani.

Swali la msingi la makala haya ni: Je, bila kutumia kamera halisi ya joto, utambuzi wa wadudu unaweza kufanywa kwa bei nafuu na kuwa na nguvu zaidi kwa kutumia sifa zinazofanana na joto zinazozalishwa tu kutoka kwa picha za RGB?

2. Muhtasari mfupi

Utafiti unapendekeza mfumo wa kugundua wadudu unaotegemea muunganiko wa picha za RGB na pseudo-thermal.

Katika hatua ya kwanza, picha ya kawaida ya RGB ya jani au zao inachukuliwa. Picha hii inaweza kutoka kwa vifaa vinavyopatikana kama vile kamera ya kawaida, kamera ya simu, au kamera ya shambani. Kisha, picha hiyo hiyo inabadilishwa kuwa ya kijivu na kupakwa rangi inayofanana na ramani ya joto. Mchakato huu haufanyi kipimo halisi ya joto; inabadilisha tu nguvu ya picha kuwa nafasi ya rangi inayofanana na joto.

Katika hatua ya pili, picha ya RGB na picha ya pseudo-thermal zinaunganishwa. Lengo ni kutumia taarifa ya muundo na rangi ya RGB pamoja na athari ya kuongeza utofauti (contrast) ya uwakilishi wa pseudo-thermal. Hivyo, inalenga modeli iweze kukamata vizuri zaidi wadudu wadogo, waliojificha, au waliofichwa kwa kiasi.

Katika hatua ya tatu, usanifu wa kugundua vitu wa YOLOv12 unatumika. Familia ya YOLO inajulikana kwa modeli za haraka za kugundua vitu zinazojaribu kupata vitu kwenye picha kwa mpito mmoja tu. Katika utafiti huu, modeli inafunzwa kuzalisha darasa la mdudu, sanduku la nafasi kwenye picha, alama ya ujasiri, na idadi ya wadudu.

Katika hatua ya nne, mfumo unaunganishwa kwenye kiolesura cha mtumiaji. Makala inaeleza kuwa kiolesura kinachotegemea Streamlit kimetengenezwa. Kiolesura hiki kinatoa vipengele vya vitendo kama vile kupakia picha, uingizaji wa kamera ya moja kwa moja, kuonyesha matokeo ya ugunduzi, kuhesabu wadudu, kuzalisha maonyo, na kuunda ripoti ya JSON.

Madai ya kimsingi ya mbinu hii ni kupata uwakilishi wa picha ulio tajiri zaidi bila vifaa vya joto vya gharama kubwa, na kufanya utambuzi wa wadudu uwe wa wakati halisi, wa gharama nafuu, na uwe karibu zaidi na matumizi ya shambani.

3. Maelezo ya kina

Fomula katika makala zinaeleza kwa urahisi jinsi picha inavyobadilishwa na jinsi modeli inavyofanya uamuzi.

Fomula ya kwanza muhimu ni kubadilisha picha ya RGB kuwa ya kijivu. Katika mchakato huu, njia za nyekundu, kijani, na bluu zinaunganishwa kwa uzani tofauti. Kwa sababu jicho la mwanadamu ni nyeti zaidi kwa njia ya kijani, njia ya kijani inapata uzani wa juu zaidi. Hivyo, thamani moja ya mwangaza inapatikana kwa kila pikseli.

Kisha, picha hii ya kijivu inabadilishwa kuwa ramani ya rangi inayofanana na joto. Makala yanataja mbinu ya COLORMAP_INFERNO ya OpenCV. Mchakato huu hauzalishi taarifa halisi ya joto; hata hivyo, inaweza kufanya baadhi ya tofauti za utofauti (contrast) kuonekana zaidi kwa kuonyesha maeneo meusi-meupe yenye rangi zinazofanana na picha ya joto.

Fomula nyingine ni kuchanganya picha za RGB na pseudo-thermal. Utafiti huu unatumia mbinu ya muunganiko ambapo picha zote mbili zinapimwa kwa nusu-nusu. Kwa njia hii, taarifa zote za rangi/muundo wa kweli na taarifa za utofauti zinazofanana na joto hupelekwa kwenye uingizaji wa modeli.

Kazi ya upotevu (loss function) inayotumika kwa upande wa YOLO inawezesha modeli kujifunza mambo matatu kwa wakati mmoja: kuweka sanduku sahihi kwa nafasi ya kitu, kuelewa kama ni kitu au la, na kuchagua darasa sahihi. Upotevu wa sanduku unawakilisha kosa la nafasi; upotevu wa kitu unawakilisha ujasiri kuhusu uwepo wa mdudu; na upotevu wa darasa unawakilisha ubashiri wa darasa kama vile inzi mweupe, mdudu, au nondo.

Fomula za sanduku la mipaka (bounding box) zinaonyesha jinsi viwianishi vya pembe ya juu-kushoto na chini-kulia vinavyohesabiwa kutokana na viwianishi vya katikati, upana na urefu wa sanduku vinavyotolewa na modeli. Kwa njia hii, mdudu anaweza kuwekewa alama kwa sanduku jekundu kwenye picha.

4. Mbinu na matokeo ya utafiti

Mchoro wa usanifu wa mfumo katika makala unaonyesha kuwa picha ya RGB inaunganishwa na picha ya pseudo-thermal na kisha inapewa modeli ya YOLOv12. Ujumbe mkuu wa mchoro ni huu: Mfumo unajaribu kuimarisha utambuzi wa wadudu kwa kuzalisha uwakilishi miwili tofauti kutoka kwenye picha moja na kuziunganisha.

Taswira za sampuli ya data zinaonyesha kuwa mifano ya inzi weupe, wadudu, na nondo zimewekwa lebo katika seti ya data ya AgriPest-7774. Ujumbe mkuu wa taswira hizi ni kwamba modeli haijafunzwa kwa michoro ya maabara au picha za bandia kabisa, bali kwa taswira halisi zinazotoka kwa hali ya shambani.

Jedwali la usambazaji wa data linaonyesha kuwa darasa la inzi weupe lina sehemu kubwa zaidi katika seti ya data. Huku inzi weupe wakiwa na picha 3,200 (takriban 41% ya seti ya data), madarasa ya wadudu na nondo yanawakilishwa kidogo zaidi. Hali hii inaweza kusababisha modeli kuona mifano zaidi katika inzi weupe, na kuongeza hatari ya kujumuisha ujumla (generalization) katika madarasa yanayowakilishwa kidogo.

Jedwali la utendaji wa modeli linaonyesha kwamba mbinu inayopendekezwa inalinganishwa na mbinu kama vile udhibiti wa mikono, RGB + kujifunza kwa kina, thermal + IoT, Faster R-CNN, VGG16 na ResNet50. Mbinu inayopendekezwa ya YOLOv12 RGB-pseudo-thermal inaripoti utendaji wa juu zaidi na 87.1% mAP. Hata hivyo, jinsi ulinganisho huu unavyosawazishwa unapaswa kuchunguzwa kwa makini kwa upande wa seti za data na hali za mafunzo.

Grafu ya upotevu wa mazao yanayosababishwa na wadudu inaonyesha jinsi wadudu wanaweza kusababisha hasara kubwa kwa mchele, ngano, na mahindi. Ujumbe mkuu ni kwamba utambuzi wa wadudu sio tu tatizo la kiufundi la maono ya kompyuta (computer vision), lakini pia ni muhimu kwa upande wa usalama wa chakula na upotevu wa mazao.

Grafu za upotevu wa mafunzo (training loss) zinaonyesha kuwa upotevu wa sanduku, darasa, na kitu umezidi kupungua wakati wa mchakato wa kujifunza wa modeli katika epochs 100. Hii inashauri kwamba modeli inaweza kujifunza nafasi za wadudu na madarasa katika data ya mafunzo.

Grafu ya maendeleo ya mAP inaeleza kuwa usahihi wa wastani wa modeli uliongezeka wakati wa mafunzo na hatimaye kuimarika karibu 87.1%. Hii inaonyesha kuwa modeli ilifikia kiwango fulani cha utendaji wakati wa mchakato wa mafunzo.

Taswira ya kugundua ya pseudo-thermal inaeleza kuwa inzi mweupe amewekewa alama katika mwonekano unaofanana na joto na unaonyeshwa kwa alama ya ujasiri. Ujumbe mkuu wa taswira hii ni kwamba mfumo haufanyi tu ubashiri wa darasa; pia unaonyesha nafasi ya mdudu kwenye picha kwa sanduku.

Taswira za uchambuzi wa makosa ni mojawapo ya sehemu muhimu zaidi za utafiti. Wakati mwingine, mishipa ya majani, matone ya maji, au miundo ya asili inaweza kuonekana kama mdudu. Wadudu waliofichwa kwa kiasi wanaweza kukosekana. Hii inaonyesha kwamba kwa vitendo, mfumo bado unahitaji uthibitisho makini.

5. Maelezo ya chanzo na mbinu

Utafiti ulitumia seti ya data inayojumuisha picha 7,774 zilizowekwa lebo za wadudu wa kilimo. Picha zilikusanywa kutoka kwa hali halisi za shambani na kugawanywa katika madarasa makuu matatu ya wadudu: inzi weupe, wadudu, na nondo. Picha ziliwekewa alama kupitia Roboflow ili kujumuisha sanduku na lebo ya darasa.

Seti ya data imegawanywa katika sehemu za mafunzo na uthibitisho. Picha zimebadilishwa ukubwa hadi pikseli 640 × 640 ili zifae kwa uingizaji wa YOLOv12. Inatajwa kuwa uzani uliotayarishwa awali (pre-trained weights) wa COCO ulitumika katika mafunzo. Hii inamaanisha kubadilisha modeli ili igundue wadudu wa kilimo kuanzia hatua ya mwanzo ambapo tayari imejifunza sifa za jumla za vitu.

Picha za pseudo-thermal ziliundwa kutoka kwa picha za RGB. Kwa hili, picha kwanza ilibadilishwa kuwa ya kijivu, kisha ramani ya rangi inayofanana na joto ilitumika. Baadaye, uwakilishi wa RGB na pseudo-thermal ziliunganishwa na kutolewa kama uingizaji wa modeli.

Modeli ilifunzwa kwa epochs 100. Wakati wa mchakato wa mafunzo, iliripotiwa kwamba upotevu wa sanduku, upotevu wa darasa, na upotevu wa kitu ulipungua. Kupungua kwa upotevu huu kunaonyesha kuwa modeli imejifunza kuweka wadudu katika nafasi zao na kuwapanga katika makundi kwa usahihi zaidi.

Utendaji ulitathminiwa kwa maadili ya mAP, usahihi (precision), na uwezo wa kukumbuka (recall). mAP inaonyesha jinsi modeli ilivyofanikiwa kugundua katika vizingiti tofauti vya ujasiri na viwango vya usahihi wa nafasi. Precision inaeleza kiasi gani cha hali ambazo modeli inasema "kuna mdudu" ni sahihi; wakati recall inawakilisha kiasi gani cha wadudu halisi iliweza kuwakamata.

Mfumo huu pia ulijaribiwa kwa kutumia kiolesura kinachotegemea Streamlit. Kiolesura hiki kina vipengele vya kupakia picha, kuona matokeo ya ugunduzi, kuweka alama kwenye nafasi za wadudu kwa visanduku vyekundu, kuonyesha alama ya ujasiri, kupakua ripoti ya JSON, na kuzalisha maonyo ya sauti/kuona.

6. Lebo za meta

Mfumo unaopendekezwa katika utafiti, YOLOv12 RGB-pseudo-thermal, ulifikia maadili ya 87.1% mAP, 88.3% precision, na 80.7% recall. Matokeo haya yanaonyesha kwamba mfumo una utendaji thabiti katika kugundua wadudu katika seti ya data.

Kulingana na madarasa, maadili ya mAP kwa inzi weupe, wadudu, na nondo yanaripotiwa kuwa karibu na kila mmoja. Ingawa hii inapendekeza kuwa modeli haikuzingatia sana darasa moja pekee, uthibitisho zaidi unahitajika kwa aina zinazowakilishwa kidogo kwa sababu inzi weupe walikuwa wengi zaidi kwenye seti ya data.

Katika majedwali ya ulinganisho, inatajwa kuwa mfumo unaopendekezwa unatoa utendaji wa juu zaidi kuliko mbinu za kujifunza kwa kina zinazotegemea RGB na modeli kama vile VGG16, ResNet50, na Faster R-CNN. Pia inawasilishwa kama suluhisho ambalo linaweza kufanya kazi kwa wakati halisi na kwa gharama nafuu bila kutumia kitambuzi halisi cha joto au mfumo wa IoT.

Inadaiwa kuwa muunganiko wa pseudo-thermal unasaidia kufanya wadudu wadogo na waliojificha waonekane. Hata hivyo, hoja hii inapaswa kufasiriwa kwa uangalifu; kwa sababu pseudo-thermal si data halisi ya joto. Ni toleo lililobadilishwa la picha ya RGB. Kwa hivyo, si sawa na taarifa ya kimwili ya joto inayotolewa na kitambuzi halisi cha joto.

Uchambuzi wa makosa unaonyesha kuwa mfumo bado unakumbana na changamoto katika baadhi ya hali. Wakati mwingine mishipa ya majani, muundo wa udongo, au matone ya maji yanaweza kugunduliwa kama mdudu. Wadudu wanaobaki kwa kiasi chini ya majani au kuonekana wadogo kwenye picha wanaweza kukosekana. Hali kama vile mvua, ukungu, vumbi, na mwanga mdogo inaweza kupunguza alama ya ujasiri ya mfumo.

Kwa Nini Hili Ni Muhimu?

Ugunduzi wa mapema wa wadudu katika kilimo ni muhimu ili kupunguza upotevu wa mazao na kuzuia matumizi yasiyo ya lazima ya kemikali. Ikiwa msongamano wa wadudu unaweza kugunduliwa mapema na kwa usahihi, uingiliaji unaweza kufanywa kwa umakini zaidi. Hii inaweza kupunguza gharama za mzalishaji na mzigo wa kimazingira.

Utafiti huu unajaribu wazo la kuzalisha uwakilishi tajiri zaidi wa picha bila kamera ghali za joto. Ikiwa mbinu hii itathibitishwa kwa uthabiti kwenye mazao tofauti, wadudu tofauti, na katika hali halisi ya shambani, inaweza kufungua njia ya vitendo kwa mifumo ya onyo la mapema ya gharama nafuu.

Hasa kwa wakulima wadogo au biashara za kiwango cha kati, miundombinu ghali ya IoT na kamera za joto zinaweza kutopatikana kwa urahisi. Mifumo inayotegemea kamera za RGB, inayosaidiwa na programu, na inayoweza kufanya kazi kwa wakati halisi inaweza kuonekana inafaa zaidi kwa mtazamo huu.

Aidha, kuonyesha matokeo kwa mtumiaji na kiolesura rahisi kama Streamlit hupunguza pengo kati ya modeli ya kitaaluma na matumizi ya shambani. Mkulima au mtaalamu wa kiufundi hawezi tu kuona matokeo ya modeli, bali pia aina ya mdudu, nafasi, alama ya ujasiri, idadi, na onyo.

Mambo ya Kuzingatia

Makala haya ni ya awali (preprint); hayajapitia uhakiki wa marika (peer review). Kwa hivyo, matokeo hayapaswi kuwasilishwa kama mfumo uliothibitishwa wa kufanya maamuzi ya kilimo.

Picha ya pseudo-thermal si picha halisi ya joto. Kamera halisi ya joto hupima tofauti za joto za vitu. Mbinu ya pseudo-thermal katika utafiti huu inazalisha mwonekano unaofanana na joto kutoka kwa taarifa ya mwangaza na rangi ya picha ya RGB. Kwa hivyo, haichukui nafasi kamili ya data ya kimwili ya joto.

Darasa la inzi weupe lilitawala zaidi katika seti ya data. Hali hii inaweza kusababisha modeli kujumuisha vizuri zaidi kwa baadhi ya madarasa, na vibaya zaidi kwa madarasa yanayowakilishwa kidogo. Seti za data zilizosawazishwa zaidi zinazohusisha mikoa mingi, misimu mingi, na spishi nyingi za wadudu zinahitajika.

Hali za shambani hubadilika sana. Mvua, ukungu, vumbi, upepo, ukungu wa mwendo (motion blur), kiwango cha chini cha kamera, pembe isiyo sahihi, majani kupandana juu ya mengine, na vivuli vinaweza kuathiri utendaji wa modeli.

Inawezekana kwa modeli kuzalisha chanya ya uongo (false positive) na hasi ya uongo (false negative). Katika hali ya chanya ya uongo, mfumo unaweza kuweka alama kwenye muundo usio wa mdudu kama mdudu. Katika hali ya hasi ya uongo, inaweza kukosa mdudu halisi. Kwa hivyo, badala ya kufanya uamuzi wa kiotomatiki wa kupuliza dawa moja kwa moja, mifumo kama hii inapaswa kuzingatiwa kama zana za onyo la mapema zinazounga mkono udhibiti wa wataalamu.

Ni muhimu kwa ukalimani wa kuaminika wa matokeo kuwa mbinu zote zilizolinganishwa zilitathminiwa kwenye seti sawa ya data na chini ya hali sawa za majaribio. Ingawa ulinganisho wa utendaji katika makala unaleta matumaini, unapaswa kurudiwa kwenye seti huru za data.

Hitimisho

Utafiti huu unatoa mbinu ya gharama nafuu na ya wakati halisi katika utambuzi wa wadudu wa kilimo unaotegemea picha. Kuzalisha uwakilishi wa pseudo-thermal kutoka kwenye picha za RGB kunategemea wazo la kutoa tofauti za ziada za kuona kwa modeli bila kutumia kamera halisi ya joto. Unapojumuishwa na YOLOv12, mfumo unaripoti kuwa unaweza kugundua wadudu kama inzi weupe, wadudu na nondo kwa usahihi mkubwa.

Jambo la kuvutia zaidi ni kwamba mfumo haubaki tu kama modeli ya kitaaluma; unaelekea kwenye vipengele vya vitendo kama vile kupakia picha, uchambuzi wa moja kwa moja, kutoa onyo na kuunda ripoti kwa kutumia kiolesura cha Streamlit. Hii ni hatua muhimu katika suala la akili bandia kukaribia shambani katika kilimo cha usahihi (precision agriculture).

Hata hivyo, tafsiri salama inapaswa kuwa: Mfumo huu ni mgombea mzuri katika utambuzi wa wadudu; lakini hauchukui nafasi kabisa ya picha halisi ya joto na haupaswi kuonekana kama wa kutosha pekee kwa uamuzi wa kiotomatiki wa kupuliza dawa. Inahitaji kuthibitishwa na bidhaa zaidi, aina zaidi za wadudu, hali tofauti za hewa, hali tofauti za kamera na majaribio huru ya misimu mingi.

Chanzo na Ujumbe wa Mbinu

Makala haya yametayarishwa kutokana na makala ya awali (preprint) yenye kichwa cha habari "Multimodal Fusion Framework for Automated Crop Infestation Detection". Utafiti huu unalenga kugundua wadudu wa kilimo kwa wakati halisi kwa kuunganisha uwakilishi wa pseudo-thermal uliozaliwa na programu kutoka kwenye picha za RGB na usanifu wa kugundua vitu wa YOLOv12. Seti ya data ina picha 7,774 zilizowekwa lebo; ikijumuisha madarasa ya inzi weupe, wadudu, na nondo.

Maandishi haya si tafsiri ya neno kwa neno. Wazo kuu, mbinu, fomula, grafu, mtiririko wa jaribio, matokeo na mapungufu katika makala yamerahisishwa kwa wasomaji wa Verianla na kusimuliwa tena kama maudhui asili ya uhariri. Kwa kuwa utafiti ni wa awali (preprint), matokeo hayapaswi kuchukuliwa kama ushauri kamili wa matumizi ya kilimo, bali kama matokeo ya utafiti yanayohitaji uthibitisho zaidi wa shambani.