Тадқиқоти академӣ, забони фаҳмо

Verianla | Тадқиқоти академӣ ва илм ба забони тоҷикӣ

27 сентябр 2026, якшанбе
VERİANLAНашри мустақили илмӣ
Кушодан ё бастани меню
...
Саҳифаи асосӣ / Илмҳои гуманитарӣ / Забоншиносӣ / Пеш аз модели зеҳни сунъӣ маълумот меояд: Тамғагузории офлайн дар матнҳои махфӣ бо AutoLabel-NER
Забоншиносӣ

Пеш аз модели зеҳни сунъӣ маълумот меояд: Тамғагузории офлайн дар матнҳои махфӣ бо AutoLabel-NER

Дар лоиҳаҳои коркарди забони табиӣ таваҷҷуҳ аксар вақт ба меъмории модел, моделҳои бузурги забонӣ ё алгоритмҳои нав равона мешавад. Аммо дар пояи низоми муваффақи зеҳни сунъӣ аксар вақт кори камтар ҷолиб, вале ҳалкунанда меистад: истеҳсоли маълумоти босифати тамғагузоришуда.

06/06/2026  Veri Anla 94 боздид
Пеш аз модели зеҳни сунъӣ маълумот меояд: Тамғагузории офлайн дар матнҳои махфӣ бо AutoLabel-NER

Дар лоиҳаҳои коркарди забони табиӣ таваҷҷуҳ аксар вақт ба меъмории модел, моделҳои бузурги забонӣ ё алгоритмҳои нав равона мешавад. Аммо дар пояи низоми муваффақи зеҳни сунъӣ аксар вақт кори камтар ҷолиб, вале ҳалкунанда меистад: истеҳсоли маълумоти босифати тамғагузоришуда. Named Entity Recognition, яъне шинохти воҳидҳои номдор, ҳадаф дорад дар дохили матн шахс, созмон, ҷой, дору, ҷузъи техникӣ, мафҳуми ҳуқуқӣ ё ифодаҳои муҳими махсуси соҳаро пайдо ва тасниф кунад.

Ин кор ба мушкилоти амалии омода кардани маҷмӯи додаҳои NER тамаркуз мекунад. Муҳаққиқ ё коршиноси соҳа маҷбур аст ҳар token-и матнро тамғагузорӣ кунад. Як воҳид метавонад дар матн садҳо бор такрор шавад. Ифодаи бо муш интихобшуда метавонад бо сарҳадҳои token-и истифодашавандаи модел пурра мувофиқат накунад. Ҳар token-е, ки воҳид нест, низ бояд тамғаи “O”, яъне Outside бигирад. Ин корҳои ба назар хурд дар маҷмӯи додаҳои калон метавонанд ба ҷараёни кори хастакунандае табдил ёбанд, ки ҳафтаҳо ё моҳҳо идома мекунад.

AutoLabel-NER барои ин масъала роҳи ҳалли сабук, офлайн ва кушодаасоси мизи кориро пешниҳод мекунад. Абзор маълумотро аз компютери корбар берун намебарорад; ба сервер, ҳисоби абрӣ ё иҷозатномаи пулакӣ ниёз надорад. Ҳангоми тамғагузорӣ метавонад ҳамон воҳидро ба таври худкор дар тамоми ҳуҷҷат паҳн кунад, матни интихобшударо ба сарҳадҳои token мутобиқ созад, ҳамаи token-ҳои боқимондаро бо як клик бо тамғаи Outside пур кунад ва натиҷаро дар форматҳо BIO, JSON, XLSX ва CSV содир намояд.

Мушкил чист?

Коркарди муосири забони табиӣ то ҳадди зиёд ба омӯзиши назоратшаванда такя мекунад. Омӯзиши назоратшаванда бошад, ба маълумоти дуруст ва пайваста тамғагузоришуда ниёз дорад. Кадом воҳидҳоро шинохтани модел, кадом мафҳумҳоро ҷудо кардан ва аз кадом намунаҳо умумисозӣ намуданро аксар вақт сифати маҷмӯи додаҳо муайян мекунад. Аз ин рӯ, омодасозии маълумот қадами муҳимест, ки пеш аз омӯзиши модел меояд.

Дар вазифаи NER тамғагузорӣ боз ҳам заҳматталабтар аст. Зеро додани як тамғаи умумӣ ба ҷумла кофӣ нест; нақши ҳар token дар матн бояд муайян карда шавад. Token-и аввали ифодаи воҳид тамғаи “B”, token-ҳои идомадиҳанда “I” ва token-ҳои берун аз воҳид “O” мегиранд. Ин сохтор BIO tagging ном дорад.

Масалан, дар матни техникӣ ифодаи “double-acting cylinder” метавонад як actuator бошад. Дар ин ҳолат “double-acting” ҳамчун B-ACTUATOR ва “cylinder” ҳамчун I-ACTUATOR тамғагузорӣ мешавад. Дар ҳамон матн “5/2-way solenoid valve” метавонад pre-actuator ва “FL limit switch” sensor бошад. Ҳамаи калимаҳои боқимонда низ бояд тамғаи O гиранд. Вақте ин амал дастӣ анҷом дода мешавад, ҳам суст ва ҳам бештар хатопазир мегардад.

Кор се мушкили асосиро таъкид мекунад. Якум, мушкили такрор аст. Як воҳид метавонад дар ҳамон ҳуҷҷат борҳо пайдо шавад ва ҳар дафъа бояд ҳамон тамға дода шавад. Дуюм, мушкили alignment аст. Агар порчаи матни бо муш интихобкардаи корбар бо сарҳадҳои token-и истифодашавандаи модел пурра мувофиқат накунад, пайдарпаии BIO-и нодуруст ё вайрон ба вуҷуд омада метавонад. Сеюм, мушкили тамғаи Outside аст. Token-ҳои ғайривоҳид низ бояд тамғагузорӣ шаванд; аммо дар бисёр абзорҳо ин амал ба таври худкор ва бехатар анҷом намешавад.

Абзорҳои мавҷуда метавонанд ҳамаи ин мушкилотро ҳамзамон ҳал накунанд. Абзорҳои абрӣ интерфейси муосир пешниҳод мекунанд, аммо метавонанд бор кардани маълумоти махфиро ба хидмати беруна талаб кунанд. Абзорҳои қавии вебӣ насб ва идоракунии сервер мехоҳанд. Абзорҳои тиҷоратӣ метавонанд бо иҷозатномаи пулакӣ маҳдуд бошанд. Ҳалҳои оддии spreadsheet ё notebook бошанд, аз ҷиҳати визуализатсия, пайвастагӣ ва мутобиқати BIO хавф дошта метавонанд.

Усул чӣ пешниҳод мекунад?

AutoLabel-NER пешниҳод мекунад, ки истеҳсоли маҷмӯи додаҳои NER тавассути барномаи сабук ва дӯстдори махфият ҳал карда шавад, ки дар як компютер кор мекунад ва насби он осон аст. Абзор бар меъмории чорқабата сохта шудааст: қабати намоиш, қабати коркарди забонӣ, муҳаррики тамғагузорӣ ва қабати нигоҳдорӣ/содирот.

Қабати намоиш интерфейси графикиест, ки корбар дар он тамғагузорӣ мекунад. Он бо CustomTkinter сохта шудааст. Дар интерфейс майдони матн, тугмаҳои тамға, рӯйхати воҳидҳо, сатри ҳолат, нишондиҳандаи пешрафт, имконоти мавзӯъ ва калонкунӣ мавҷуданд. Корбар метавонад тамғаҳоро мувофиқи соҳаи худ муайян кунад; масалан, дар ҳуқуқ “MAHKEME”, “KANUN”, “TARAFLAR”; дар тандурустӣ “İLAÇ”, “HASTALIK”, “TEDAVİ”; дар саноат “SENSÖR”, “AKTÜATÖR”, “BİLEŞEN” барин тамғаҳои махсус созад.

Қабати коркарди забонӣ tokenization-и ҷумла ва калимаро бар асоси NLTK истифода мекунад. Яке аз вазифаҳои муҳимтарин пайваст кардани фосилаи матнии интихобшуда дар экран ба сарҳадҳои token дар матни аслӣ аст. Бе чунин ҳамоҳангсозӣ корбар метавонад фикр кунад, ки калимаи дурустро интихоб кардааст, аммо файли BIO-и содиршуда барои омӯзиши модел хато шавад.

Муҳаррики тамғагузорӣ маркази маҳсулнокии абзор аст. Он бархӯрди воҳидҳои интихобшударо пешгирӣ мекунад, фосилаҳои тасодуфан интихобшударо тоза мекунад, такрорҳои ҳамон воҳидро дар тамоми ҳуҷҷат ба таври худкор тамғагузорӣ мекунад, token-ҳои боқимондаро бо як амал ҳамчун Outside пур мекунад ва таърихи undo/redo-ро идора мекунад. Ин сохтор ҳам суръат ва ҳам пайвастагиро ҳадаф мегирад.

Қабати нигоҳдорӣ ва содирот тамоми ҳолати лоиҳаро дар файли маҳаллии JSON нигоҳ медорад. Матни манбаъ, схемаи тамға, рангҳо ва span-ҳои ишорашуда дар ҳамон файли лоиҳа нигоҳ дошта мешаванд. Пас аз анҷоми тамғагузорӣ абзор дар форматҳо BIO, JSON, XLSX ва CSV натиҷа истеҳсол мекунад. Натиҷаи BIO бо китобхонаҳои маъмули омӯзиши NER, ба монанди Hugging Face Transformers, spaCy ва Flair, мустақиман мутобиқ аст.

Формулаҳо чиро нишон медиҳанд?

Дар кор формулаи классикии модели математикӣ мавҷуд нест. Ин мақола кори абзори нармафзорӣ ва ҷараёни кор аст. Аммо мантиқи тамғагузории NER, схемаи BIO ва раванди истеҳсоли маҷмӯи додаҳоро метавон бо нишондиҳандаҳои сода шарҳ дод.

Вазифаи NER-ро умуман чунин тасаввур кардан мумкин аст:

\[ \text{Metin} \rightarrow \text{Tokenlar} \rightarrow \text{BIO Etiketleri} \rightarrow \text{NER Eğitim Verisi} \]

Схемаи тамғагузории BIO аз се ҳолати асосӣ иборат аст:

\[ BIO = \{B\text{-Entity}, I\text{-Entity}, O\} \]

Дар ин ҷо \(B\) оғози ифодаи воҳид, \(I\) идомаи ҳамон воҳид ва \(O\) token-еро ифода мекунад, ки ба ягон воҳид тааллуқ надорад.

Барои ифодаи воҳиди чандкалимаӣ сохторро чунин нишон додан мумкин аст:

\[ [t_1,t_2,\ldots,t_n] \rightarrow [B\text{-}X,I\text{-}X,\ldots,I\text{-}X] \]

Дар ин ҷо \(X\) синфи тамғаро ифода мекунад. Масалан, агар \(X=\text{ACTUATOR}\) бошад, token-и аввал тамғаи \(B\text{-ACTUATOR}\) ва token-ҳои баъдӣ тамғаи \(I\text{-ACTUATOR}\) мегиранд.

Мантиқи паҳнкунии худкори такрор дар AutoLabel-NER ба таври сода чунин ҷамъбаст мешавад:

\[ \text{Bir kez etiketlenen varlık} \rightarrow \text{Belgedeki aynı eşleşmelere aynı etiket} \]

Пур кардани token-ҳои боқимонда бошад, чунин тасаввур карда мешавад:

\[ \forall t_i \notin \text{EntitySpan}, \quad label(t_i)=O \]

Ин ифодаҳо дар кор ҳамчун формулаҳои аслии математикӣ пешниҳод нашудаанд; онҳо нишондиҳандаҳои таҳририе мебошанд, ки мантиқи тамғагузории маълумот дар AutoLabel-NER-ро барои хонандаи Verianla сода мекунанд.

Паёми асосии график, ҷадвал ва схема

Ҷадвали metadata-и код нишон медиҳад, ки AutoLabel-NER ҳамчун нармафзори амалии таҳқиқотӣ ҷойгир шудааст. Абзор дар версияи v1.0.0 пешниҳод шудааст; тавассути GitHub дастрас мешавад, иҷозатномаи MIT дорад, бо Python 3.8 ва болотар кор мекунад ва аз CustomTkinter, NLTK, pandas, openpyxl ва PyInstaller истифода мебарад. Пешниҳоди файли мустақили иҷрошаванда барои Windows истифодаи абзорро барои корбарони ғайритехникӣ низ осон мекунад.

Паёми асосии ҷадвали муқоисавӣ ин аст, ки AutoLabel-NER фосилаи байни абзорҳои мавҷударо ҳадаф мегирад. Абзорҳое ба монанди Doccano ва Label Studio метавонанд интерфейси қавӣ диҳанд; BRAT ва INCEpTION барои тамғагузории академӣ самараноканд; абзорҳои тиҷоратӣ ба монанди Prodigy хуб тарҳрезӣ шудаанд. Аммо иддаои AutoLabel-NER ин аст, ки кори комилан офлайн, бидуни server, нигоҳдории маҳаллии маълумот, tokenization бар асоси NLTK, паҳнкунии худкори тамға, тозакунии фосила, пур кардани тамғаи Outside бо як клик ва содироти native BIO-ро дар як абзори сабуки мизи корӣ муттаҳид мекунад.

Схемаи меъмории чорқабата ҷараёни кори абзорро равшан нишон медиҳад. Матни хом аввал ба интерфейси корбар меояд. Сипас қабати коркарди забонӣ бар асоси NLTK мувофиқати ҷумла, калима ва фосилаи аломатҳоро иҷро мекунад. Муҳаррики тамғагузорӣ auto-tagging, пуркунии Outside, назорати бархӯрд ва undo/redo-ро идора мекунад. Қабати охир бошад, маълумотро дар форматҳо JSON, XLSX, CSV ва BIO содир мекунад.

Схемаи ҷараёни кори шашқадамӣ нишон медиҳад, ки корбар чӣ гуна аз матни хом ба маълумоти омӯзишӣ мегузарад: матн ворид мешавад, тамғаҳо муайян мегарданд, воҳидҳо дастӣ ишора мешаванд, ҳамон тамғаҳо ба намунаҳои монанд паҳн мешаванд, token-ҳои боқимонда ҳамчун O тамғагузорӣ мешаванд ва маҷмӯи дода содир мегардад. Ҷиҳати муҳими ин ҷараён дар якҷо истифода бурдани марҳилаҳое мебошад, ки қарори дастӣ талаб мекунанд, бо марҳилаҳои худкори маҳсулнокӣ.

Намоиши интерфейс нишон медиҳад, ки барнома танҳо backend-и техникӣ нест; он бо тугмаҳои тамға, равшансозии ранга, рӯйхати воҳидҳо ва нишондиҳандаи пешрафт ба ҷараёни кори воқеии корбар нигаронида шудааст. Намоиши натиҷаи BIO бошад, нишон медиҳад, ки абзор танҳо тамғагузории визуалӣ анҷом намедиҳад, балки натиҷаи сатҳи token истеҳсол мекунад, ки метавонад мустақиман ба омӯзиши модел ворид шавад.

Озмоишҳо чӣ гуна анҷом дода шудаанд?

Кор озмоиши классикии омӯзиши мошинӣ пешниҳод намекунад; бештар муаррифии абзори нармафзор, намоиши ҷараёни кор ва арзёбии таъсири истифода анҷом медиҳад. Аз ин рӯ, ба ҷойи муқоисаи дақиқии модел, саҳми амалии абзор дар раванди истеҳсоли маҷмӯи додаҳои NER шарҳ дода мешавад.

Аввал аз рӯйи як ҷумлаи кӯтоҳи мушаххасоти техникӣ тамғагузории намунавӣ анҷом дода мешавад. Дар ҷумла ифодаҳои махсуси соҳавӣ, ба монанди “double-acting cylinder”, “5/2-way solenoid valve”, “FL limit switch” ва “BL limit switch”, тамғагузорӣ мешаванд. Ҳадаф нишон додани тарзи ишора кардани воҳидҳои техникӣ, ба монанди actuator, pre-actuator ва sensor мебошад.

Корбар матнро ворид мекунад, тамғаҳоро муайян менамояд, намунаҳои аввалини воҳидҳоро интихоб карда, тамғаҳои мувофиқро медиҳад. Вақте хусусияти Auto-tagging фаъол аст, такрорҳои ҳамон воҳид дар дохили ҳуҷҷат ба таври худкор тамғагузорӣ мешаванд. Сипас амали “Label Rest as O” ҳамаи token-ҳои тамғагузоринашударо бо тамғаи Outside пур мекунад. Дар марҳилаи охир абзор натиҷаҳои BIO, JSON, XLSX ва CSV истеҳсол мекунад.

Кор инчунин як намунаи истифодаи миқёси калонтарро зикр мекунад. AutoLabel-NER барои сохтани корпуси соҳавии NER аз мушаххасоти талаботи саноатӣ истифода шудааст. Ин корпус чанд ҳазор мушаххасот, даҳҳо ҳазор ҷумла ва садҳо ҳазор token-ро дар бар мегирад. Қайд мешавад, ки дар зермаҷмӯи санҷиши муштарак inter-annotator agreement-и қавӣ гузориш шудааст, яъне тамғагузорони гуногун асосан тамғаҳои мутобиқ истеҳсол кардаанд.

Гузориш мешавад, ки натиҷаи BIO-и аз ин маҷмӯи дода истеҳсолшуда бе табдили миёнаравӣ барои fine-tune кардани моделҳои transformer-based NER истифода шудааст ва беҳтарин модел дар test set-и нигоҳдошташуда ба холи 0.9721 F1 расидааст. Ин натиҷа нишон медиҳад, ки абзор танҳо осонии интерфейс намедиҳад, балки ба истеҳсоли маълумоти мутобиқ ва истифодашаванда барои омӯзиши модел саҳм мегузорад.

Натиҷаҳо чиро нишон медиҳанд?

Натиҷаи аввал ин аст, ки дар лоиҳаҳои NER тамғагузории маълумот аз меъмории модел камаҳаммияттар нест. Бе сарҳадҳои дурусти token, пайдарпаии мутобиқи BIO ва тамғаҳои пурраи O ҳатто қавитарин модели transformer метавонад бо маълумоти хато ё номувофиқ омӯзонида шавад.

Натиҷаи дуюм ин аст, ки кори офлайн дар баъзе соҳаҳо арзиши калидӣ дорад. Матнҳое ба монанди қайдҳои клиникӣ, ҳуҷҷатҳои ҳуқуқӣ, гузоришҳои дохилии ширкат, санадҳои молиявӣ ё мушаххасоти саноатӣ метавонанд ба абри умумӣ бор карда нашаванд. AutoLabel-NER бо нигоҳ доштани чунин маълумот дар компютери маҳаллӣ анҷоми таҳқиқотро осон мекунад.

Натиҷаи сеюм ин аст, ки паҳнкунии худкори тамға метавонад сарбории такрориро ба таври ҷиддӣ кам кунад. Агар ҳамон воҳид дар чанд ҷойи ҳуҷҷат пайдо шавад, дастӣ як-як ишора кардан ҳам талафи вақт ва ҳам хатари номувофиқӣ меорад. Exact-string label propagation ин такрорҳоро ба таври назаррас коҳиш медиҳад.

Натиҷаи чорум ин аст, ки ҳамоҳангсозии token масъалаи ноаён, вале муҳими сифат мебошад. Интихобе, ки дар интерфейси корбар дуруст менамояд, агар бо tokenization-и модел мувофиқ набошад, метавонад файли BIO-ро вайрон кунад. Tokenization-и NLTK ва alignment-и фосилаи аломатҳо дар AutoLabel-NER барои кам кардани ин хавф пешбинӣ шудаанд.

Натиҷаи панҷум ин аст, ки содироти стандартӣ ҷараёни таҳқиқотро тез мекунад. Гирифтани натиҷаҳои BIO, JSON, XLSX ва CSV аз як абзор гузариш ба китобхонаҳое ба монанди Hugging Face Transformers, spaCy ва Flair-ро осон мекунад. Ба ин васила хатогиҳои пинҳонӣ, ки муҳаққиқон ҳангоми навиштани script-ҳои табдили маълумот содир карда метавонанд, кам мешаванд.

Чаро ин муҳим аст?

Ин кор як нуқтаи аксар вақт фаромӯшшудаи лоиҳаҳои зеҳни сунъиро равшан мекунад: Агар инфрасохтори тамғагузории маълумот қавӣ набошад, муваффақияти модел низ осебпазир мегардад. Махсусан дар соҳаҳои махсус маҷмӯи додаи тайёр аксар вақт вуҷуд надорад. Муҳаққиқоне, ки мехоҳанд дар матнҳои тиббӣ, ҳуқуқӣ, молиявӣ ё саноатӣ модел омӯзонанд, бисёр вақт маҷбур мешаванд маҷмӯи додаи худро созанд.

Аҳаммияти абзорҳое ба монанди AutoLabel-NER дар ҳамин ҷо зоҳир мешавад. Абзор модели бузург пешниҳод намекунад; аммо истеҳсоли маълумоти тозаеро, ки модел аз он омӯзад, осон мекунад. Ин аз дидгоҳи зеҳни сунъии data-centric муҳим аст. Зеро иҷрои модел бояд на танҳо бо меъморӣ, балки бо сифати маълумот низ беҳтар карда шавад.

Ҷанбаи махфият низ муҳим аст. Муассисаи тандурустӣ метавонад қайдҳои беморонро, ширкат ҳуҷҷатҳои техникиашро, гурӯҳи ҳуқуқӣ парвандаҳоро ё муассисаи молиявӣ гузоришҳояшро ба хидмати абрии беруна бор карда натавонад. Абзори тамғагузории офлайн ва маҳаллӣ барои таҳқиқот ва рушди модел дар чунин соҳаҳо роҳи амалӣ мекушояд.

Арзиши муҳандисии корро низ набояд кам донист. Нармафзори хуби таҳқиқотӣ танҳо тавлиди алгоритми мураккаб нест; баъзан автоматикунонии хурди дуруст дар ҷои дуруст аст. Хусусиятҳое ба монанди пур кардани тамғаи O бо як клик, тозакунии фосила, alignment-и сарҳади token ва паҳн кардани ҳамон воҳид метавонанд дар лоиҳаҳои бузурги тамғагузории маълумот фарқи ҷиддии вақт ва сифат ба вуҷуд оранд.

Нуктаҳои мавриди таваҷҷуҳ

Нуктаи аввал ин аст, ки кор preprint мебошад. Азбаски аз арзёбии ҳамтоён нагузаштааст, иддаоҳо, доираи кор ва натиҷаҳои арзёбии нармафзор метавонанд дар оянда тағйир ёбанд. Аз ин рӯ, кор бояд ҳамчун муаррифии умедбахши нармафзори таҳқиқотӣ хонда шавад.

Нуктаи дуюм ин аст, ки стратегияи auto-tagging-и абзор ба exact-string matching такя мекунад. Гирифтани ҳамон пайдарпаии калима такрорҳоро тез мекунад, аммо дар мувофиқатҳои дорои маънои гуногун вобаста ба замина назорати корбар лозим аст. Ҳар паҳнкунии худкор набояд дуруст ҳисоб карда шавад.

Нуктаи сеюм ин аст, ки сифати тамғагузории NER танҳо аз абзор вобаста нест. Дастури тамғагузорӣ, омӯзиши annotator, коршиносии соҳавӣ, ҳалли ихтилоф ва протоколи назорати сифат ҳамоно заруранд. Абзор метавонад хуб бошад, вале схемаи бад муайяншудаи тамға боз ҳам маълумоти номувофиқ истеҳсол мекунад.

Нуктаи чорум ин аст, ки tokenization-и NLTK метавонад барои ҳар забон ва соҳа идеалӣ набошад. Дар матнҳои техникии англисӣ натиҷаи хуб дода метавонад, аммо дар тоҷикӣ, туркӣ, арабӣ, матнҳои code-mixed, ихтисороти тиббӣ ё соҳаҳои дорои рамзҳои махсус tokenization бояд алоҳида санҷида шавад.

Нуктаи панҷум ин аст, ки кори офлайн барои махфият арзишманд бошад ҳам, ба танҳоӣ амнияти комилро маъно намедиҳад. Иҷозатҳои файл дар компютери маҳаллӣ, рамзгузории диск, нусхабардорӣ, назорати дастрасӣ ва мубодилаи бехатари файлҳои лоиҳа низ бояд алоҳида баррасӣ шаванд.

Хулоса

Ин кор хотиррасон мекунад, ки омодасозии маълумот дар лоиҳаҳои коркарди забони табиӣ то чӣ андоза марказӣ аст. AutoLabel-NER барои муҳаққиқоне, ки мехоҳанд дар соҳаҳои махсус маҷмӯи додаҳои NER созанд, абзори офлайн, кушодаасос ва сабуки мизи кориро пешниҳод мекунад.

Ҷиҳати қавии абзор он аст, ки се мушкили амалиро дар як ҷараёни кор ҳал кардан мехоҳад: такрор ба такрор тамғагузорӣ кардани воҳидҳои бозпайдошаванда, номувофиқии интихоби корбар бо сарҳадҳои token ва пур кардани token-ҳои ғайривоҳид бо тамғаи O. Вақте ба ин дастгирии содироти BIO, JSON, XLSX ва CSV илова мешавад, гузариш аз матни хом ба омӯзиши модел муназзамтар мегардад.

Аз нигоҳи Verianla паёми асосии кор чунин аст: Муваффақият дар зеҳни сунъӣ танҳо аз моделҳои бузург намеояд. Махсусан дар соҳаҳои махсус, сохтани маҷмӯи додаҳои боэътимод кори стратегӣ ба андозаи рушди модел аст. AutoLabel-NER як абзори амалии таҳқиқотист, ки мехоҳад ин “кори маълумот”-ро тезтар, бехатартар ва такроршавандатар кунад.

Ёддошт оид ба манбаъ ва усул

Ин муҳтаво бар асоси preprint бо унвони “AutoLabel-NER: A Lightweight Offline Annotation Tool for Building Custom Named Entity Recognition Datasets”, ки аз ҷониби Abderrahmane Boudribila, Abdelouahed Tajer ва Zakaria Boulghasoul таҳия шудааст, омода гардидааст. Кор абзори AutoLabel-NER-ро муаррифӣ мекунад, ки дорои хусусиятҳои тамғагузории офлайнии NER, BIO tagging, ҳамоҳангсозии token бар асоси NLTK, паҳнкунии худкори тамға, пур кардани тамғаи Outside, нигоҳдории маҳаллии лоиҳа ва содироти стандартии маълумот мебошад.

Ин муҳтаво тарҷумаи калима ба калима нест; ғояи асосии кор мутобиқи хатти нашрии Verianla содда карда шуда, ба мақолаи таҳририи аслии тоҷикӣ табдил дода шудааст.


Мубодила:

Шарҳҳо пас аз баррасӣ нашр мешаванд.Шарҳи шумо ба раванди тасдиқ фиристода шуда, пас аз пазируфта шудан намоён мегардад.

Шарҳ гузоред

Нишонии почтаи электронии шумо нашр намешавад. Майдонҳои ҳатмӣ бо * нишон дода шудаанд

Иҷозат додан ба кукиҳо таҷрибаи шуморо дар ин сомона беҳтар мекунад. Сиёсати кукиҳо