Tabiy til qayta ishlash proyek'tlar'ida ko'pincha e'tibor model arxitektur'asiga katta til modellari'na yoki yanai algoritmlara yo'naladi. Oylaypti muvaffaqyyatli sun'iy intellekt sistema'ning tamel'ida ko'pincha yanada zerikli ama yanada belgilang'an ish bor'ligi: sifat etiketla'ngan ma'lumot yaratish. Named Entity Recognition ya'ni nomli yo'namg tanish metn ichida shaxs tizim joy dorilik texnik qism hukuk kavram yoki soha maxsusiy muhim ifoda'larni top'ish va tasnifla'sh'ni maqsad qila'di.

Bu tadqiqot NER ma'lumot to'plami tayyorlash'ning amaliy qiyin'lik'lariga odakla'nadi. Bir tadqiqotchi yoki soha mutahassisi matn ichidagi her token'ni etiketla'sh zorunludig'ida tur'adi. Bir yo'namg matnda yuzlab'la marta takror bo'lada. Musha'k bilan tanlang'an ifoda model'ning foydalang'an token sinirlari'yla tam ortushs'vushma'ydi. Yo'namg bo'lmagan her token'ning ham "O" ya'ni Fasli etiket'i olsh gerek. Bu kichik ko'ringan ishlar katta ma'lumot to'plam'lar'ida hafta'lar yoki oylar' o'tadigan yoriq'la'sh ish akishiga donush'nada.

AutoLabel-NER bu muammoga engil çevrimdışı va och'iq manba masaüstü yechimni taklif qiladi. Vosita ma'lumot'ni foydalanuvchi'ning kompyuter'idan tashqariga chiqarma'ydi; server bulut hisob'i yoki to'lang'an litsenziya'ni gerek'li qilma'ydi. Etiketla'sh sura'sida ayni yo'namg'ni dokumen'ting tamamiga avtomatik yay'ala'di tanlang'an matn'ni token sinirlari'ga hizala'ya'di qolgan barchasi token'larni tek tiq'la'y Outside etiket' bilan tamamlay'la'di va natija'ni BIO JSON XLSX va CSV format'lar'ida chiqara'y ol'adi.

Muammo nima?

Modern tabiy til qayta ishlash ko'proq biçimda nazora'tka o'rganish'ga asosla'nadi. Nazora'tka o'rganish esa to'g'ri va izchi etiketla'ngan ma'lumot'ga ehtiyoj duyadi. Bir model qaysi yo'namg'larni tani'yadi qaysi kavram'larni alohida qila'di va qaysi misol'lar'dan umumala'sh qila'di' ko'prag'i marta ma'lumot to'plami'ning sifat'i belgilaydi. Shuning uchun ma'lumot tayyor'lash model o'qitish'dan oldin krit'ik bosqich'idir.

NER vazifa'sida etiketla'sh yanada zahmat'lizdir. Chunki yalniq cum'laya umumiy etiket bersh yeterli emas; matn ichida'gi her token'ning roli belgilana'nsa kerak. Bir yo'namg ifoda'sining birinchi token'i "B" davom etgan token'lar "I" yo'namg tashqa'rida token'lar esa "O" etiket' aladi. Bu tuzilma BIO tagging kabi bilan'adi.

Misol uchun texnik'iy matn'da "double-acting cylinder" ifoda'si aktuator bo'lada. Bu holat'da "double-acting" B-ACTUATOR "cylinder" I-ACTUATOR kabi belgila'nadi. Ayni matn'da "5/2-way solenoid valve" biror oldin-aktuator "FL limit switch" esa sensor bo'lada. Qolgan so'zlar'ning barchasi'n O etiket' olsa kerak. Bu jarayon' elle qilin'sa'nda hem sekinla'ydi hem xato yaratish'ga och'iq bo'ladi.

Tadqiqot'ning ta'kif etilgan uchta asosiy muammo bor'ligi. Birinchisi takror muammo'sidir. Ayni yo'namg ayni belgi'da ko'p miqdarda o'tadi va her safar'i ayni etiket'ning beril'gani gerek. Ikkinchisi hizala'sh muammo'sidir. Foydalanuvchi'ning musha'k bilan tanlang'an matn qisim'i model'ning foydalang'an token sinirlari'yla tam ortushs'vushma'mas'sa noto'g'ri yoki buzilgan BIO silsilala'ri yaratilsa'di. Uchinchisi Outside etiket muammo'sidir. Yo'namg bo'lmagan token'lar'n ham etiketla'nsa kerak; lekin bu ish ko'pincha vosita'lar'da avtomatik va xavfli biçimde tamamlan'maydi.

Mavjud vosita'lar bu muammolar'ning barchas'ni bir paytda yechil'mas'ligi mumkin. Bulut asosidagi vosita'lar zamonaviy interfeys sunaydigan'da gizli ma'lumot'ning tashqi servistga yuklan'shin'ini gerek'li qilas'n'da. Veb asosidagi kuchliroq vosita'lar o'rnatish va server boshqaruv' isita'ydi. Savdo vosita'lar to'lang'an litsenziya'y cheklash'la'nsa'da. Sodda spreadsheet yoki notebook yechim'lari ko'rsin'tish izchi'lik va BIO uygunsun'ligi jah'atidan risk'li bo'lada.

Usul nima taklif qiladi?

AutoLabel-NER NER ma'lumot to'plami yaratish'ni yagona kompyuter asosida ishlang'an o'rnatish'i engil va gizli'lik do'sti masaüstü ilova'si bilan yechish'ni taklif qiladi. Vosita to'rt qatlam'li arxitektur asosida kuril'adi: taqdim qatlami dilbilim qayta ishlash qatlami etiketla'sh motor va davamiylash/chiqar'mash qatlami'.

Taqdim qatlami foydalanuvchi'ning etiketla'sh qilan'gan grafik interfeysi'dir. CustomTkinter bilan tayyorlang'an. Interfeys'da matn sohasi etiket buton'lari yo'namg ro'yxati holat chizig'i ilgari ko'rsatgich' tema va zoom tanla'nmalari bor'ligi. Foydalanuvchi etiket'larni o'z soha'siga qara'nda belgilash mumkin; misol uchun huquq'cha "MAHKAMA" "QONUN" "TORAFLAR"; sog'lig'cha "DORILIK" "KAS'ALIK" "DAVOLIK"; endüstri'yada "SENSOR" "AKTUATOR" "QISM" kabi maxsus etiket'lar yaratsa'di.

Dilbilim qayta ishlash qatlami NLTK asosidagi cum'la va so'z tokenizatsiya'sini foydalanadi. Eng kritik funksiyala'rdan birigasi ekranda tanlang'an matn araliq'ni manba matn'dagi token sinirlari'na bog'lash'dir. Bu hizala'sh bo'lmas'sa foydalanuvchi to'g'ri so'z tanlang'an'ligini o'ylasa'n'da chiqar'ilgan BIO fayli model o'qitish uchun noto'g'ri bo'lada.

Etiketla'sh motor'i vosita'ning samaradog'lik markazid ir. Tanlang'an yo'namg'larning çakis'h'masini oldini oladj yahlashtiril'gan bo'shluq'larni tozala'ydi ayni yo'namg takror'larni belgi'da umumiy etiketla'ydi qolgan token'larni tek ishlamada Outside sifatida tamamla'ydi va orqayga al'/qayta qil'ish tarix'ini boshqaradi. Bu tuzilma hem tezlik hem izchi'lik taqdim qilish'ni maqsad qila'di.

Davamiylash va chiqar'mash qatlami proyek'ting barchasi holat'ini yerli JSON fayli'nda saqlaydi. Manba matn etiket sxema rangla'r va belgila'ngan spanla'r ayni proyek fayli'nda tut'iladi. Etiketla'sh tamamlang'an'da vosita BIO JSON XLSX va CSV format'lar'ida chiqa't yaratadi. BIO chiqa'ti Hugging Face Transformers spaCy va Flair kabi misli NER o'qitsh kutubxonayla'ri bilan to'g'ridan-to'g'ri uyum'ludir.

Formulalar nima aytadi?

Tadqiqot'da klassik anlamda matematik'iy model formülü yo'q. Bu makola yazilim vosita'si va ish akish tadqiqat'idir. Lekin NER etiketla'sh mantiq'i BIO sxemasi va ma'lumot to'plami yaratish jarayon'i sodda ko'satin'maslar bilan tushuntir'ilshe'di.

NER vazifa umumiy ravishda quyidagicha o'ylana'ladi:

BIO etiketla'sh sxemasi uchta asosiy holat'dan iborat:

Bu yerda \(B\) yo'namg ifoda'sining bosh'lang'ich'ini \(I\) ayni yo'namg devom'ini \(O\) herhangi yo'namg'ga oid bo'lmagan token'ni taqdim qila'di.

Ko'p so'z'li yo'namg ifoda'si uchun tuzilma quyidagicha ko'rsatilsa'di:

Bu yerda \(X\) etiket sinf'ni taqdim qila'di. Misol uchun \(X=\text{AKTUATOR}\) bo'lsa birinchi token \(B\text{-AKTUATOR}\) keyingi token'lar \(I\text{-AKTUATOR}\) etiket' ala'di.

AutoLabel-NER'ning avtomatik takror yay'al'ma mantiq'i sodda biçimde quyidagicha qisa't'lanadi:

Qolgan token'larning tamamla'nish'i esa quyidagicha o'ylana'ladi:

Bu ifoda'lar tadqiqot'da birebir matematik'iy formula sifatida sunalin'maydi; AutoLabel-NER'ning ma'lumot etiketla'sh mantiq'ini Verianla o'quvchi uchun soddalash'tir'adigan tahrirviy ko'satin'maslar'idir.