Фарди берун аз тақсимот (out-of-distribution, OOD) ба шахси қаблан диданашудае ишора мекунад, ки берун аз тақсимоти ҳувиятҳое қарор дорад, ки низоми шинохти шахс ҳангоми омӯзиш омӯхтааст. Вақте ба низоми анъанавии шинохти маҷмуаи пӯшида чунин намуна ворид мешавад, модел метавонад шахси номаълумро маҷбуран ба яке аз синфҳои мавҷуда мансуб кунад. Усули таҳиякардаи Sergio Garcia, Francisco Gomez-Donoso ва Miguel Cazorla ба ҷойи ҳалли ин масъала танҳо аз рӯйи чеҳра ё танҳо аз рӯйи овоз, дараҷаи мутобиқати ду модалияти биометриро бо ҳам месанҷад.

Модел аз тасвири чеҳра тавассути FaceNet вектори аломатҳои 512-ченака ва аз сабти овоз 80 аломати Mel-Frequency Cepstral Coefficient (MFCC)-ро ҷудо мекунад. Ду шохаи алоҳидаи шабакаи асабӣ ин бознамоишҳоро ба фазои умумии embedding-и 1200-ченака проексия мекунанд. Ҳангоми омӯзиш талафоти контрастивии бар InfoNCE асосёфта ҷуфтҳои чеҳра-овози ба як шахс тааллуқдоштаро ба ҳам наздик ва ҷуфтҳои шахсони гуногунро аз ҳам дур мекунад.

Ҳангоми инференс шахси наздиктарин дар галереяи ҳувиятҳо ҷустуҷӯ намешавад. Ба ҷойи ин, шабоҳати косинусӣ байни embedding-и чеҳра ва embedding-и овоз чен карда мешавад. Агар қимат аз остонаи муайяншудаи \(\delta\) паст бошад, ҷуфт ҳамчун OOD ва агар аз остона боло бошад, ҳамчун дохили тақсимот тасниф мешавад.

Дар озмоишҳои бар Custom, LombardGrid ва VoxCeleb асосёфта, усул махсусан ҳангоми афзоиши шумораи ҳувиятҳо нисбат ба муқоисаи FaceNet-only натиҷаҳои устувортар додааст. Дар озмоиши VoxCeleb Big қимати AUROC-и усули мултимодалӣ 0,977 ва қимати муқоисаи FaceNet-only 0,529 буд. Бо вуҷуди ин, натиҷаҳо муқоисаи фарогири state-of-the-art бо ҳамаи усулҳои мултимодалии шинохти шахс нестанд ва санҷиши васеъмиқёси ахлоқӣ ва амалиётии модел дар ҷаҳони воқеӣ ҳамчун кори оянда гузошта шудааст.

Масъалаи фарди берун аз тақсимот чист?

Агар шабакаи асабӣ тавре тарҳрезӣ шуда бошад, ки танҳо аз байни синфҳои ҳангоми омӯзиш дидааш интихоб кунад, метавонад ҳувиятеро, ки қаблан ҳеҷ гоҳ надидааст, низ ба яке аз синфҳои маълум мансуб созад. Эътимоди баланди модел ҳатман маънои воқеан шинохта шудани ин шахсро надорад.

Ин масъала махсусан дар низомҳои шинохти шахс муҳим аст. Қобилияти низом барои гуфтани «ин шахс яке аз шахсоне нест, ки ман ҳангоми омӯзиш дидаам» аз қобилияти танҳо таснифи дуруст фарқ мекунад.

Мақола ин масъаларо бо истифодаи ҳамзамони ду модалияти ҷудогонаи биометрӣ — чеҳра ва овоз — баррасӣ мекунад.

Чеҳра ва Овоз Якҷо Чӣ Гуна Муайянсозии OOD-ро Таъмин Мекунанд?

Фарзияи асосии низоми пешниҳодшуда ин аст, ки бознамоишҳои чеҳра ва овози як шахсро пас аз омӯзиши контрастивӣ дар фазои умумии ниҳонӣ бо ҳам мутобиқ кардан мумкин аст. Модел ба ҷойи кӯшиши «ёфтани ҳувияти шахс дар галерея» мепурсад, ки оё чеҳра ва овоз дар фазои бознамоиши омӯхташуда ба андозае мутобиқанд, ки ба як ҳувият тааллуқ дошта бошанд.

Ҷониби чеҳра: FaceNet

Тасвирҳои чеҳра мустақиман ҳамчун пикселҳои хом ба шабакаи контрастивии пешниҳодшуда дода намешаванд. Аввал онҳо тавассути FaceNet коркард мешаванд ва барои ҳар тасвир embedding-и чеҳраи 512-ченака сохта мешавад.

Ин бознамоиш барои рамзгузории аломатҳои фарқкунандаи чеҳра дар фазои метрикии фишурда истифода мешавад. Сипас вектори 512-ченака ба шохаи чеҳраи шабакаи мултимодалии пешниҳодшуда интиқол меёбад.

Ҷониби овоз: MFCC

Барои маълумоти овозӣ Mel-Frequency Cepstral Coefficients истифода шудаанд. Аз ҳар порчаи овоз 80 аломати MFCC ҷудо карда шудааст.

Пеш аз ҷудокунии MFCC амплитудаи овоз бо gain normalization-и хаттӣ ба қимати ҳадафии 0,03 нормализатсия шудааст. Муаллифон махсус таъкид мекунанд, ки ин RMS ё peak normalization нест. Ҳадаф коҳиш додани тағйирпазирии нолозимест, ки фарқияти сатҳи садои сабт дар аломатҳои спектралӣ ба вуҷуд меорад.

Ду модалият дар фазои умумӣ ба ҳам меоянд

Шохаҳои чеҳра ва овоз сохторҳои бисёрқабатаи монандро истифода мебаранд. Дар охири ҳар ду шоха бознамоиш ба фазои умумии embedding-и 1200-ченака проексия мешавад.

Дар ҳар блоки миёна ҷузъҳои Linear, BatchNorm1d, ReLU ва Dropout мавҷуданд. Дар манбаъ барои модел дар маҷмӯъ 2.544.480 параметри омӯзишпазир гузориш шудааст.

Омӯзиши Контрастивӣ Дар Ин Ҷо Чиро Меомӯзад?

Омӯзиши контрастивӣ ҳадаф дорад, ки ҷуфтҳои чеҳра-овози ба як шахс тааллуқдоштаро дар фазои embedding ба ҳам наздик ва ҷуфтҳои шахсони гуногунро аз ҳам дур кунад. Ҳамин тавр, низом ба ҷойи аз бар кардани тамғаи синф кӯшиш мекунад мутобиқати ҳувиятиро байни ду модалияти гуногун омӯзад.

Ҷуфтҳои мусбат ва манфӣ

Чеҳраи \(f_i\) ва овози \(a_i\), ки ба як шахс тааллуқ доранд, ҷуфти мусбат месозанд.

Вақте чеҳраи \(f_i\) ва овози \(a_j\) ба шахсони гуногун тааллуқ доранд ва \(i \neq j\), онҳо ҷуфти манфӣ месозанд.

Манбаъ нишон медиҳад, ки барои як шахс бо 40 намунаи чеҳра ва 40 намунаи овоз 1600 таркиби мувофиқати мусбат сохта шуданаш мумкин аст. Барои мисол, дар ҳолати 50 нафар дар маҷмӯъ 80.000 ҷуфти мусбат ва 3.920.000 ҷуфти эҳтимолии манфӣ ҳисоб карда мешавад. Ин бахш намунаи таркиби методологӣ аст; маънои онро надорад, ки ҳамаи маҷмуаҳои маълумоти истифодашуда воқеан аз 50 нафар иборатанд.

Талафоти InfoNCE

Талафоти контрастивии ҳангоми омӯзиш истифодашуда:

\[ L_{\text{contrastive}} = -\frac{1}{N} \sum_{i=1}^{N} \log \frac{ \exp(sim(z_{f_i},z_{a_i})/\tau) }{ \sum_{j=1}^{N} \exp(sim(z_{f_i},z_{a_j})/\tau) } \]

чунин шакл дорад.

Дар ин ҷо \(z_f\) embedding-и чеҳра, \(z_a\) embedding-и овоз, \(N\) андозаи batch ва \(\tau\) параметри ҳароратро ифода мекунад.

Меъёри шабоҳат шабоҳати косинусӣ аст:

\[ sim(z_f,z_a) = \frac{z_f \cdot z_a} {\|z_f\|\|z_a\|} \]

Ба параметрҳои омӯзиш 50 epoch, batch size-и баробар ба шумораи синфҳо, 0,0005 learning rate ва қимати ҳароратии \(\tau=0,05\) дохил мешаванд.

Низом Дар Бораи Шахси Номаълум Чӣ Гуна Қарор Мегирад?

Ҳангоми инференс ду embedding-и ҷуфти чеҳра-овоз тавлид шуда, шабоҳати косинусии байни онҳо ҳисоб карда мешавад. Дар манбаъ қарори OOD чунин муайян шудааст:

\[ OOD(z_f,z_a)= \begin{cases} 1, & sim(z_f,z_a)<\delta \\ 0, & \text{aksi halde} \end{cases} \]

\(\delta\) остонаи қарор аст.

Дар манбаъ остонаи ибтидоӣ бо истифода аз нисфи шабоҳати миёнаи ҷуфтҳои мусбати омӯзиш ба таври эмпирикӣ сохта шудааст. Аммо муаллифон ин қиматро ҳамчун параметри собити беҳинашудаи модел пешниҳод намекунанд. Дар озмоишҳо диапазони васеи threshold санҷида шуда, ҳассосияти усул дар нуқтаҳои гуногуни корӣ алоҳида омӯхта шудааст.

Нозукии муҳим: «шахси қаблан диданашуда» ҳамеша шабоҳати паст ба вуҷуд намеорад

Ин нукта барои фаҳмидани усул бисёр муҳим аст. Модел метавонад чеҳра ва овози шахсеро, ки қаблан надидааст, низ дар фазои умумии embedding хуб мувофиқ созад.

Аз ин рӯ, механизми OOD-и низом ба саволи «оё ман ин ҳувиятро қаблан аз бар кардаам?» асос намеёбад. Чизи ченшаванда cross-modal consistency байни чеҳра ва овоз аст.

Тақсимоти шабоҳат пеш ва пас аз омӯзиш

Расми 2 дар саҳифаи 9-и манбаъ нишон медиҳад, ки пеш аз омӯзиши контрастивӣ бознамоишҳои чеҳра ва овоз дар ҳамаи маҷмуаҳои маълумот тақрибан дар атрофи сифр ҷамъ шудаанд. Ба ибораи дигар, аломатҳои чеҳраи FaceNet ва аломатҳои овозии MFCC табиатан дар як фазои координатӣ ҳамоҳанг нестанд.

Дар Расми 3 ва Расми 4-и ҳамон саҳифа дида мешавад, ки пас аз омӯзиш шабоҳатҳои косинусии ҷуфтҳои мусбати чеҳра-овози LombardGrid ҳам дар маҷмуаи омӯзишӣ ва ҳам дар маҷмуаи санҷишӣ ба 1 наздик мешаванд. Ин тағйирот нишонаи мустақими визуалии он аст, ки модели контрастивӣ байни ду модалияти гуногун бознамоиши умумиро омӯхтааст.

Усул ва Натиҷаҳои Таҳқиқот

Маҷмуаҳои маълумоти истифодашуда

Таҳқиқот се манбаи асосии маълумотро истифода мебарад: маҷмуаи маълумоти custom-и сохтаи муҳаққиқон, VoxCeleb1 ва Lombard Grid.

Маҷмуаи маълумоти Custom

Маҷмуаи маълумоти махсус маълумоти чеҳра ва овози 15 шахси гуногунро дар бар мегирад. Манбаъҳо ҳам видеоҳои платформаҳои дастраси умум, мисли YouTube, ва ҳам сабтҳои вақти воқеии шахсони розигидодаро фаро мегиранд.

Ҳар шахс аз 3-10 клипи овозӣ дорад ва дарозии миёнаи овозҳо 4-8 сония аст. Бо татбиқи augmentation ба маълумоти омӯзишӣ барои ҳар шахс 40 кадри чеҳра ва 40 намунаи овоз омода шудааст. Барои санҷиш ба ҳар шахс се кадри чеҳра ва се намунаи овоз ҷудо карда шуда, таваҷҷуҳ шудааст, ки сабтҳои санҷишӣ аз манбаъҳои дигаре нисбат ба сабтҳои омӯзишӣ гирифта шаванд.

VoxCeleb1

VoxCeleb1 маҷмуаи васеъмиқёси маълумоти гӯяндагон аст, ки зиёда аз 100.000 клипи овозии марбут ба 1251 шахсро дар бар мегирад. Сабтҳо аз ҷиҳати садои замина, лаҳҷа ва шароити микрофон гуногунанд.

Дар ин таҳқиқот видеоҳои санҷишӣ аз видеоҳои омӯзишӣ ҷудо нигоҳ дошта шудаанд. Барои омӯзиш барои ҳар шахс 20 кадри чеҳра ва 20 намунаи овоз ҳадаф таъин шуда, пас аз augmentation ба 40 чеҳра ва 40 намунаи овоз расонида шудааст.

Lombard Grid

Lombard Grid 54 гӯянда ва барои ҳар шахс зиёда аз 1000 клипи овозиро дар бар мегирад. Мавҷудияти сабтҳои видеоии ҳамзамон бо овозҳо онро барои мувофиқсозии чеҳра-овоз муносиб месозад.

Дар ин таҳқиқот барои ҳар шахс 20 чеҳра ва 20 овоз барои омӯзиш ва 5 чеҳра ва 5 овоз аз сабтҳои дигар барои санҷиш интихоб шудааст. Аз сабаби сохтори назоратшавандаи маълумот augmentation татбиқ нашудааст.

Натиҷаҳои маҷмуаи маълумоти Custom

Дар маҷмуаи маълумоти Custom ҳам усули мултимодалӣ ва ҳам FaceNet-only baseline намунаҳои IID ва OOD-ро бо муваффақияти баланд ҷудо кардаанд. Дар таҳлили ROC:

Фарқ хеле калон нест; аммо графикҳои threshold нишон медиҳанд, ки усули мултимодалӣ нисбат ба остонаи қарор минтақаи устувортареро ба вуҷуд меорад.

Натиҷаҳои LombardGrid

Дар маҷмуаи маълумоти назоратшавандаи LombardGrid ҳар ду усул ба қимати AUROC=1 расидаанд. Аз ин рӯ, танҳо аз рӯйи каҷи ROC наметавон гуфт, ки усули мултимодалӣ бартарӣ дорад.

Фарқе, ки манбаъ таъкид мекунад, ин аст, ки усули мултимодалӣ иҷрои баланди IID/OOD-ро дар диапазони васеътари threshold нигоҳ медорад. Ба ибораи дигар, ҳарчанд онҳо ба иҷрои авҷии яксон мерасанд, ҳассосияташон ба интихоби остона яксон нест.

VoxCeleb Mini

Дар озмоиши VoxCeleb Mini низоми мултимодалӣ AUROC=0,974 ва усули FaceNet-only AUROC=0,971 гирифтааст. Аз нигоҳи ROC усулҳо ба ҳам наздиканд.

Аммо бо баланд шудани ҳадафи муайянсозии OOD, низоми мултимодалӣ аз ҷиҳати нигоҳ доштани дақиқии IID устувортар мондааст.

VoxCeleb Big: ҳангоми афзоиши миқёс чӣ рӯй медиҳад?

Фарқи равшантарини мақола дар озмоиши VoxCeleb Big дида мешавад.

Қимати AUROC-и усули мултимодалӣ 0,977, дар ҳоле ки қимати муқоисаи FaceNet-only 0,529 аст. Дуюмӣ иҷрои ROC-и наздик ба ҷудокунии тасодуфиро ифода мекунад.

Шарҳи муаллифон ба тарзи кори низоми FaceNet-only марбут аст. Ин baseline embedding-и дархостро бо галереяи васеи ҳувиятҳои сабтшуда муқоиса мекунад. Бо калон шудани галерея тақсимоти шабоҳати байни синфҳо ба ҳам пӯшидан мегирад ва остонаи барои ҷудокунии маълум-номаълум истифодашаванда осебпазиртар мешавад.

Усули мултимодалӣ бошад, ба ҷойи муқоисаи 1:N бо ҳамаи ҳувиятҳои сабтшуда мутобиқати байни худи чеҳра ва овози додашударо чен мекунад.

Мураккабии ҳисоббарорӣ

Манбаъ мегӯяд, ки усули пешниҳодшуда ҳангоми инференс танҳо:

• як embedding-и чеҳра,
• як embedding-и овоз,
• як ҳисоби шабоҳати косинусӣ

талаб мекунад.

Аз ин рӯ, хароҷоти ҳисоббарорӣ барои ҳар санҷиш новобаста аз андозаи галерея ҳамчун O(1) ифода шудааст. Баръакс, дар шинохти анъанавии шахс бар асоси галереяи 1:N, азбаски дархост бо ҳамаи ҳувиятҳои сабтшуда муқоиса мешавад, ҳаҷми ҳисоббарорӣ бо андозаи галерея меафзояд.

Ин иддаои мураккабӣ ба расмиёти санҷишии дар таҳқиқот муайяншуда тааллуқ дорад; маънои онро надорад, ки дар низоми воқеӣ ҳамаи таъхирҳои камера, коркарди пешакии овоз, FaceNet feature extraction ё сахтафзор O(1) ва дорои вақти собитанд.

Маҳдудиятҳои муҳими таҳқиқот

• Муқоисаи асосии озмоишӣ танҳо бо FaceNet-only unimodal baseline анҷом шудааст.
• Бо дигар усулҳои мултимодалии state-of-the-art муқоисаи пурраи озмоишӣ анҷом нашудааст.
• Multimodal fusion baseline-ҳои алтернативӣ, мисли feature concatenation-и сода, ба муқоисаи асосӣ дохил нашудаанд.
• Таҳлили муфассали аблятсионӣ, ки саҳми мустақили ҳар модалиятро ба таври миқдорӣ ҷудо мекунад, ҳанӯз анҷом нашудааст.
• Остонаи қарори OOD нуқтаи кори эмпирикӣ аст; ҳамчун як остонаи ягонаи универсалии беҳина пешниҳод намешавад.
• Маҷмуаи маълумоти Custom танҳо аз 15 шахс иборат аст.
• Валидатсияи хеле васеътар дар шароити ҷаҳони воқеӣ ҳамчун кори оянда гузошта шудааст.
• Арзёбии васеъмиқёси ахлоқ, махфият ва истифодаи низоми воқеӣ ба анҷом нарасидааст.

Корҳои оянда

Муаллифон ният доранд ба низом модалиятҳои иловагӣ, мисли тарзи роҳравӣ ва маълумоти амиқӣ, ворид кунанд, моделсозии замониро истифода баранд, усулҳои омӯзиши self-supervised ва few-shot-ро таҳқиқ намоянд ва ниёз ба маълумотро коҳиш диҳанд.

Ҳамчунин валидатсияи васеътари ҷаҳони воқеӣ, арзёбиҳои ахлоқӣ ва озмоишҳои амиқтари аблятсионӣ барои чен кардани саҳми ҳар модалият ба натиҷа аз мавзӯъҳои таҳқиқоти оянда мебошанд.

Таҳқиқот чӣ мегӯяд?

Ҳамоҳангсозии контрастивии бознамоишҳои чеҳра ва овоз дар як фазои embedding метавонад, махсусан ҳангоми калон шудани галереяи ҳувиятҳо, ҷудокунии IID/OOD-ро тавассути cross-modal consistency устувортар созад. Қавитарин далели озмоишии таҳқиқот аз натиҷаҳои VoxCeleb Big меояд.

Таҳқиқот чӣ намегӯяд?

Наметавон хулоса кард, ки низом ҳамаи шахсони қаблан диданашударо бе хато муайян мекунад. Нишон дода нашудааст, ки усул аз ҳамаи низомҳои мултимодалии биометрӣ бартар аст. Ин таҳқиқот ба танҳоӣ ҳам исбот намекунад, ки биометрияи чеҳра-овоз барои густариш дар барномаҳои амният, назорат ё тасдиқи ҳувият омода аст.

Ёддошти Манбаъ ва Усул

Таҳқиқоти аслӣ: Multimodal Recognition of Out-of-Distribution Individuals Using Contrastive Learning

Муаллифон: Sergio Garcia; Francisco Gomez-Donoso; Miguel Cazorla.

Муаллифи масъул: Miguel Cazorla.

Муассиса: University Institute for Computer Research, University of Alicante, Alicante, Spain.

Маҷалла: AI.

Ношир: MDPI.

Сабти библиографӣ: AI 2026, 7, 162.

DOI: 10.3390/ai7050162

Навъи мақола: Зеҳни сунъии таҷрибавӣ / таҳқиқоти мултимодалии шинохти шахс.

Раванди нашр: 31 Январ 2026 қабул шуд; 6 Апрел 2026 бозбинӣ шуд; 24 Апрел 2026 пазируфта шуд; 6 Май 2026 нашр шуд.

Иҷозатнома: Creative Commons Attribution (CC BY).

Маблағгузорӣ: Таҳқиқот дар доираи гранти PID2022-138453OB-I00 аз ҷониби MICIU/AEI/10.13039/501100011033 ва “ERDF A way of making Europe” дастгирӣ шудааст.

Ахлоқ: Таҳқиқот мутобиқи Эъломияи Ҳелсинки гузаронда шуда, аз ҷониби University of Alicante Ethics Committee бо рамзи протоколи UA-2023-07-31 дар Июл 2023 тасдиқ шудааст.

Ризояти огоҳона: Аз шахсони ба таҳқиқот дохилшуда ризояти огоҳона гирифта шудааст.

Дастрасии маълумот: Гузориш шудааст, ки маълумоти хоми пуштибонкунандаи натиҷаҳо аз ҷониби муаллифон дар асоси дархост пешниҳод мешавад.

Бархӯрди манфиатҳо: Муаллифон аз набудани бархӯрди манфиатҳо хабар медиҳанд.

Ҳастаи методологӣ: Embedding-ҳои 512-ченакаи чеҳраи аз FaceNet гирифташуда ва 80 аломати овозии MFCC тавассути ду шохаи алоҳидаи шабакаи асабӣ ба фазои умумии embedding-и 1200-ченака проексия шудаанд. Бо талафоти контрастивии InfoNCE ҷуфтҳои чеҳра-овози як шахс ба ҳам наздик ва ҷуфтҳои шахсони гуногун аз ҳам дур карда шудаанд. Қарори OOD аз рӯйи шабоҳати косинусӣ байни embedding-ҳои чеҳра ва овоз бо threshold-и эмпирикӣ гирифта шудааст.

Ҳудуди асосии тафсир: Таҳқиқот муқоисаи васеи state-of-the-art multimodal baseline-ро анҷом намедиҳад. Қисми муҳими натиҷаҳо ба муқоисаи назоратшаванда бо FaceNet-only baseline асос ёфта, ablation-и васеътар, миқёсбандӣ дар ҷаҳони воқеӣ ва арзёбии ахлоқӣ ҳамчун кори оянда гузошта шудаанд.

Усули муҳтавои Verianla: Ин матни тоҷикӣ тарҷумаи ҷумла ба ҷумлаи PDF-и манбаъ нест. Бо нигоҳ доштани маҷмуаҳои маълумот, бознамоишҳои чеҳра ва овоз, меъмории шабака, талафоти контрастивӣ, механизми остонаи OOD, протоколи омӯзиш, натиҷаҳои ROC/AUROC, таҳлили миқёс, равиши ҳисоббарорӣ, изҳороти ахлоқӣ ва маҳдудиятҳои методологии таҳқиқот, ба забони тоҷикӣ баёни мустақили илмӣ сохта шудааст. Натиҷаи иҷро, шумораи шахсон, натиҷаи клиникӣ/амниятӣ ё муваффақияти густариш, ки дар манбаъ мавҷуд нест, илова нашудааст.