Ин таҳқиқот муқоиса мекунад, ки вақте ҷузъи чеҳра ба мисли чашм, бинӣ, даҳон, мӯй ё пӯсти рӯй бо ниқоби семантикӣ пурра пинҳон мешавад, усулҳои муосири пуркунии тасвир (image inpainting) бар асоси зеҳни сунъӣ минтақаи гумшударо то чӣ андоза дубора сохта метавонанд. Бо истифода аз тасвирҳои чеҳраи CelebA-HQ/CelebAMask-HQ ва 12 синфи гуногуни ниқоби семантикӣ, оилаҳои гуногуни меъморӣ ба мисли MI-GAN, Latent-based, CMT, MAT, LaMa, Co-Mod-GAN, MADF ва дар миқёси маҳдуд RePaint арзёбӣ шудаанд. Дар марҳилаи дуюми таҳқиқот модели MAT бо 24.000 тасвири омӯзишӣ зери стратегияҳои тасодуфӣ, семантикӣ ва омехта, ки ин ду навъи ниқобро якҷо мекунанд, аз сифр дубора омӯзонда шуда, дар 6000 тасвир санҷида шудааст. Омӯзиши ниқоби омехта аз рӯи FID дар 10 синф аз 12 синфи ниқоби семантикӣ пасттарин қиматро додааст; дар як синф бо ниқоби тасодуфӣ натиҷаи баробар гирифта шудааст, дар синфи васеътарини ниқоби якҷоя бошад иҷрои бадтар нишон додааст. Бо вуҷуди ин, таҳқиқот нишон намедиҳад, ки ҷузъҳои пурра пӯшидашудаи чеҳра бе хато ё аз ҷиҳати ҳувият ба шахси аслӣ дуруст барқарор карда мешаванд.

Мушкилии асосии таҳқиқот фарқи иттилоотӣ байни ниқобҳои тасодуфӣ ва семантикӣ мебошад. Ниқоби тасодуфӣ метавонад танҳо як қисми чашм, лаб ё минтақаи мӯйро пӯшонад ва модел аз сохтори пикселҳои боқимонда истифода барад. Ниқоби семантикӣ бошад тамоми ҷузъи ҳадафро хориҷ карда, ишораҳои сохтории маҳаллиро аз байн мебарад. Дар ин ҳолат модел маҷбур аст минтақаи нонамоёнро танҳо аз геометрияи чеҳраи атроф, texture, symmetry ва муносибатҳои оморие, ки ҳангоми омӯзиш омӯхтааст, тахмин кунад.

Таҷрибаҳои визуалии таҳқиқот нишон медиҳанд, ки ин фарқ на танҳо дар метрикаҳо, балки дар чеҳраҳои тавлидшуда низ пайдо мешавад. Моделҳо метавонанд мижгони аз ҳад ғафс ё сиёҳ, гавҳараки чашми нодуруст ҷойгиршуда, лабу дандонҳои якҷошуда, сарҳадҳои намоёни ниқоб, рангҳои тағйирёфтаи пӯст, ҷараёни ғайривоқеии мӯй, гӯшҳои гумшуда ё дар баъзе ҳолатҳо чашми иловагӣ ба вуҷуд оранд. Аз ин рӯ, FID-и паст худ аз худ маънои реконструксияи анатомӣ ё ҳувиятии комилро надорад.

Чаро масъалаи пуркунии тасвир бо ниқобҳои семантикӣ душвортар мешавад?

Пуркунии тасвир — дубора сохтани сунъии минтақаи гумшуда ё пинҳоншудаи тасвир бо истифода аз иттилооти атроф аст. Дар чеҳраи инсон ин вазифа махсусан душвор аст; зеро ҷойгиршавии нисбии чашмҳо, геометрияи бинӣ–даҳон, сохтори ҷоғ, ҷараёни мӯй, ранги пӯст ва симметрияи чеҳра аз хусусиятҳои сершумори ба ҳам вобастаанд.

Ниқобҳои семантикии истифодашуда дар таҳқиқот аз холигиҳои шакли тасодуфӣ фарқ мекунанд. Ниқобҳо бо истифода аз тамғаи сегментатсияи ҷузъи муайяни анатомӣ/визуалӣ тамоми он ҷузъро пинҳон мекунанд. Масалан, ниқоби чашм ҳам чашмҳо ва ҳам абрӯҳоро; синфҳои даҳон комбинатсияҳои гуногуни лаби боло, лаби поён ва минтақаи даҳонро; ниқоби мӯй тамоми мӯйро; ниқоби “face” бошад пӯсти рӯйро ба истиснои гардан, чашм, бинӣ, даҳон ва гӯшҳо мепӯшонад.

Азбаски ин амал ба модел чашм ё лаби қисман намоён намегузорад, масъалаи реконструксия номуайян мешавад. Ба як муҳити намоёни чеҳра шаклҳои зиёди эҳтимолии чашм, лаб ё мӯй мувофиқ омада метавонанд. Аз ин рӯ, боварибахш будани тасвири тавлидшуда аз нигоҳи визуалӣ маънои онро надорад, ки ҷузъи аслии пинҳоншуда воқеан айнан барқарор шудааст.

Кадом моделҳои зеҳни сунъӣ таҳқиқ шуданд?

Муҳаққиқон усулҳоеро аз адабиёти қаблии image inpainting интихоб карданд, ки оилаҳои гуногуни меъмориро намояндагӣ мекунанд. Дар байни онҳо системаҳои бар GAN, Transformer, representation-и latent ва diffusion асосёфта ҳастанд.

Доираи RePaint аз дигар моделҳо ба таври равшан фарқ мекунад. Муҳаққиқон гузориш додаанд, ки пур кардани як тасвир бо як синфи ниқоби семантикӣ тақрибан панҷ дақиқа тӯл мекашад; арзёбии 10 тасвир бо 12 синф тақрибан 10 соат талаб мекунад. Аз ин рӯ, RePaint танҳо дар 10 тасвир санҷида шуда, ба муқоисаи миқдории ҳаммиқёс бо дигар усулҳо дохил нашудааст.

Маҷмӯаи додаҳо ва сегментатсияи семантикӣ чӣ гуна истифода шуданд?

Дар таҳқиқот тақрибан 30.000 тасвири баландсифати чеҳра бар асоси CelebA-HQ истифода шудааст. Тасвирҳои аслӣ 1024 × 1024 қарор доранд ва мувофиқи талаботи модел аз нав андозагирӣ шудаанд. Барои сегментатсияи семантикии чеҳра сохтори 19-синфа асос гирифта шудааст.

Шакли 1-и таҳқиқот дар паҳлӯи тасвири аслии чеҳра намуди ба қисмҳои семантикӣ ҷудошудаи чеҳраро нишон медиҳад. Мӯй, пӯсти рӯй, чашмҳо/абрӯҳо, бинӣ, гӯшҳо, лаби боло, лаби поён ва даҳон ҳамчун минтақаҳои гуногун рамзгузорӣ шудаанд. Ҳамин тавр, ба ҷойи ниқобҳои росткунҷа ё изи хасуи тасодуфӣ, ниқобҳое сохта шудаанд, ки сарҳадҳои ҷузъи воқеии чеҳраро пайгирӣ мекунанд.

FID, P-IDS ва U-IDS чиро чен мекунанд?

Муҳаққиқон ба ҷойи PSNR ва SSIM дар сатҳи пиксел метрикаҳои perceptual-и бар Inception feature space асосёфтаро интихоб кардаанд. Меъёри асосӣ Fréchet Inception Distance (FID) мебошад. FID фарқи тақсимоти тасвирҳои воқеӣ ва тавлидшударо дар feature space муқоиса мекунад ва дар таҳқиқот FID-и пасттар натиҷаи беҳтар дониста шудааст:

\[ FID(p_r,p_g)=\|\mu_r-\mu_g\|_2^2+ Tr\left(\Sigma_r+\Sigma_g-2(\Sigma_r\Sigma_g)^{1/2}\right) \]

Дар ин ҷо \(\mu_r\) ва \(\mu_g\) миёнаҳои хусусиятҳои тасвирҳои воқеӣ ва тавлидшуда; \(\Sigma_r\) ва \(\Sigma_g\) матритсаҳои covariance-ро намояндагӣ мекунанд.

Мақола инчунин P-IDS ва U-IDS-ро истифода мекунад. Аммо дар манбаъ номувофиқати муҳими методологӣ вуҷуд дорад. Муодилаҳои дода ин меъёрҳоро ҳамчун миёнаи масофаҳои квадратӣ байни хусусиятҳои тасвирҳои воқеӣ ва тавлидшуда менависанд:

\[ P\text{-}IDS=\frac{1}{N}\sum_{i=1}^{N}\|f(x_i)-f(x'_i)\|_2^2 \]

\[ U\text{-}IDS=\frac{1}{N}\sum_{i=1}^{N}\|f_u(x_i)-f_u(x'_i)\|_2^2 \]

Дар ин шакли муодила масофаи хурдтар маънои matching-и наздиктари feature-ро дорад. Аммо шарҳи Ҷадвали 4 ва тафсири натиҷаҳои таҳқиқот барои P-IDS/U-IDS қиматҳои баландтарро ҳамчун иҷрои беҳтарин рейтинг мекунанд. Азбаски манбаъ ин фарқи самтро шарҳ намедиҳад, натиҷаҳои P-IDS ва U-IDS дар ин ҷо ҳамон тавре, ки муаллифон гузориш додаанд, оварда мешаванд, вале самти метрика мустақилона қатъӣ муайян карда намешавад.

Дар қарори 256 кадом моделҳо пешсаф шуданд?

Дар қарори 256 × 256 аз рӯи FID MI-GAN дар 10 синф аз 12 синфи ниқоби семантикӣ ба се модели беҳтарин дохил шуда, дар чор синф беҳтарин қиматро додааст. Модели Latent-based дар нӯҳ синф ба се беҳтарин дохил шуда, дар шаш синф беҳтарин FID-ро додааст. MAT бошад дар ҳашт синфи ниқоб дар байни се беҳтарин ҷой гирифтааст.

Мувофиқи тафсири худи таҳқиқот оид ба P-IDS, MI-GAN дар ҳамаи синфҳои ниқоб баландтарин P-IDS-ро додааст; дар U-IDS бошад дар 10 синф баландтарин натиҷаро нишон додааст. Бо вуҷуди ин, бинобар номувофиқати муодила–тафсир оид ба самти P-IDS/U-IDS, ин рейтинг набояд бо ҳамон қатъияти натиҷаҳои FID тафсир шавад.

Хатоҳои визуалӣ дар қарори 512 чӣ буданд?

Дар муқоисаи 512 × 512 модели FFHQ-и MAT аз рӯи FID дар ҳамаи 12 синфи ниқоб дар байни се модели беҳтарин ҷой гирифта, дар ҳафт синф беҳтарин қимати FID-ро додааст. Модели MAT бар асоси CelebA дар 11 синф ба се беҳтарин дохил шудааст.

Аммо намунаҳои визуалии Шакли 2-и таҳқиқот нишон медиҳанд, ки score-ҳои миқдорӣ ба танҳоӣ кофӣ нестанд. Муҳаққиқон гузориш додаанд, ки LaMa ва MADF дар барқарорсозии чашм метавонанд чашмҳои хира ё ба ҳам омехтаро тавлид кунанд; LaMa дар баъзе ниқобҳои бинӣ метавонад бинии хурд ва сохтори монанди ду даҳон эҷод кунад; MAT дар баъзе ниқобҳои рӯй мижгонро ғафс кунад; Co-Mod-GAN дар атрофи бинӣ сарҳадҳои намоён гузорад; MADF бошад дар баъзе намунаҳо чашми иловагӣ ё дандонҳое, ки болои лаб мебароянд, тавлид кунад.

Фарқи Co-Mod-GAN ва LaMa дар қарори 1024

Дар арзёбии 1024 × 1024 танҳо Co-Mod-GAN ва LaMa муқоиса шудаанд. Аз рӯи FID, Co-Mod-GAN дар 11 синф аз 12 синфи ниқоби семантикӣ нисбат ба LaMa қимати пасттар гирифтааст. Ягона истисно ниқоби лаби боло E мебошад; дар ин ҷо FID-и LaMa 0,37 ва Co-Mod-GAN 0,72 аст.

Дар Шакли 3 намунаҳои LaMa дар қарорҳои 256, 512 ва 1024 паҳлу ба паҳлу нишон дода мешаванд ва ҳангоми баланд шудани қарор дар баъзе ҷузъҳои чеҳра вайроншавиҳои намоён дида мешаванд. Дар Шакли 4 бошад output-ҳои Co-Mod-GAN дар 512 ва 1024 ба ҳам наздиктар менамоянд. Ин мушоҳида асоси арзёбии муаллифони манбаъ аст, ки Co-Mod-GAN-ро барои қарори баланд модели муассиртар медонанд.

Бо вуҷуди ин, дар матни усул ҷумлае бо маънои “LaMa азбаски дар қарори баланд бесамар дониста шуд, дар 512 ва 256 арзёбӣ гардид” мавҷуд аст, аммо бахши баъдӣ, Ҷадвали 5 ва Шакли 3 натиҷаҳои 1024-и LaMa-ро ошкоро нишон медиҳанд. Ин зиддияти дохили манбаъ бояд бе ҳал кардан нигоҳ дошта шавад.

Кадом ҷузъҳои чеҳра барои моделҳо бештар мушкиланд?

Натиҷаҳо нишон медиҳанд, ки як модели ягона дар ҳамаи минтақаҳои чеҳра бартарии боэътимод надорад. Дар баррасии визуалии model-based-и таҳқиқоти манбаъ намудҳои зерини хато гузориш шудаанд:

• Чашм: мижгони аз ҳад ғафс, чашми сиёҳ, номувофиқати ҷойгиршавӣ ё ранги гавҳараки чашм, сохтори хира ё омехтаи чашм.
• Даҳон ва лаб: якҷошавии лабҳо, дандонҳои ғайривоқеӣ ё кафида, баромадани дандон болои лаб, мушкилоти ҷойгиршавӣ ва ранги лаби поён.
• Пӯсти рӯй: намоён шудани сарҳади ниқоб, фарқи ранги пӯст, кӯтоҳ/борик шудани рӯй, сохторҳои монанди инъикос.
• Мӯй: ҷараёни ғайритабиӣ, гум шудани идомаи ранг, тавлиди мӯй ба қисмҳо ё пур шудани баъзе минтақаҳои ниқоб бо замина/гӯш.
• Гӯш: гӯши гумшуда ё иваз шудани минтақаи гӯш бо мӯй.
• Бинӣ: гарчанде дар бисёр моделҳо нисбатан муваффақ аст, дар баъзе ҳолатҳо реконструксияи нопурра, хурд ё дорои сарҳади намоён.

Шакли иловагии A1 буришҳои калонкардашудаи комбинатсияҳои чашм, даҳон/лаб, рӯй ва бинӣ+даҳонро аз рӯи модел муқоиса мекунад. Ин намуди наздик нуқсонҳое ба мисли ғафсии мижгон, якҷошавии лаб–дандон ва гузариши рангро, ки дар тасвири пурра диданашон душвор аст, равшантар менамояд.

Усул ва Натиҷаҳои Таҳқиқот

Таҷҳизоти таҷриба

Вақтҳои кори модел

Таҳқиқот мегӯяд, ки усулҳо ба истиснои RePaint метавонанд як тасвирро дар камтар аз 0,3 сония пур кунанд. Мувофиқи Ҷадвали 6, вақти коркарди 2000 тасвир чунин аст:

Дар ин ҷо номувофиқати қарор дар дохили манбаъ вуҷуд дорад. Ҷадвали интихоби модел 1 барои CMT, Latent-based, MI-GAN ва RePaint қарори 256-ро нишон медиҳад, аммо Ҷадвали 6 вақти ҳисоббарории ин моделҳоро дар сутуни 512 × 512 ҷойгир мекунад. Мақола сабаби инро шарҳ намедиҳад; аз ин рӯ ҷадвали вақт ҳамон тавре, ки дар манбаъ дида мешавад, оварда шудааст.

Чаро MAT дубора омӯзонда шуд?

MAT, ки дар муқоисаҳои қарори 512 натиҷаҳои қавӣ дошт, барои муқоисаи се стратегияи алоҳидаи омӯзиш барои масъалаи ниқоби семантикӣ истифода шуд:

1. Омӯзиш танҳо бо ниқобҳои тасодуфӣ,
2. Омӯзиш танҳо бо ниқобҳои семантикӣ,
3. Омӯзиши омехта бо истифодаи якҷояи ниқобҳои тасодуфӣ ва семантикӣ.

Модели MAT дар ҳар таҷриба аз сифр оғоз шудааст. Барои омӯзиш 24.000 тасвир ва барои тест 6000 тасвир истифода шудааст. Learning rate-и Adam optimizer \(1\times10^{-4}\), \(\beta_1=0.9\) ва \(\beta_2=0.999\) муайян шуда; batch size 8 ва давомнокии омӯзиш 100 epoch истифода шудааст. Batch size бо сабаби маҳдудияти 40 GB хотираи дастрас барои ҳар GPU ба 8 маҳдуд шудааст.

Ҳамчун data augmentation-и стандартӣ flip-и уфуқии тасодуфӣ ва rotation истифода шудааст, color jitter-и иловагӣ ё дигар geometric transformation татбиқ нашудааст. Гузориш шудааст, ки ҳар session-и омӯзиш тақрибан 7 рӯз 13 соат тӯл кашидааст.

Чаро ниқоби тасодуфӣ аз танҳо ниқоби семантикӣ беҳтар баромад?

Дар натиҷаи омӯзиши дубораи аввал, бо вуҷуди он ки тест бо ниқобҳои семантикӣ анҷом шуд, модели MAT, ки танҳо бо ниқобҳои тасодуфӣ омӯзонда шуда буд, умуман FID-и пасттар аз MAT-и танҳо бо ниқобҳои семантикӣ омӯзонда дод. Муаллифон инро бо он шарҳ медиҳанд, ки ниқобҳои тасодуфӣ минтақаҳои гумшудаи хеле гуногун эҷод карда, моделро маҷбур мекунанд муносибатҳои контекстиро дар тамоми тасвир омӯзад.

Ин шарҳ тафсире мебошад, ки аз ҷониби таҳқиқот пешниҳод шудааст. Таҳқиқот механизми overfitting-ро бо таҷрибаҳои ҷудогона мустақиман чен накардааст; аз ин рӯ, набояд умумисозии сабабӣ ба шакли “ниқоби тасодуфӣ ҳатман overfitting-ро кам мекунад” анҷом дода шавад.

Натиҷаҳои FID-и стратегияи ниқоби омехта

Омӯзиши омехта дар синфҳои A, C, D, E, F, G, H, I, J ва K нисбат ба ҳар ду стратегияи ҷудогона FID-и пасттар додааст. Дар синфи B ҳамон FID-и 0,93 бо омӯзиши тасодуфӣ гирифта шудааст. Дар синфи васеътарини L бошад FID-и омӯзиши омехта ба 130,82 расида, аз омӯзиши тасодуфӣ ва семантикӣ ҳам бадтар шудааст. Аз ин рӯ, натиҷаро ҳамчун “усули омехта дар ҳама ҳолат бартарӣ дорад” умумӣ кардан мумкин нест.

Санҷиши bootstrap чиро нишон дод?

Муҳаққиқон барои санҷидани он ки фарқҳои FID танҳо аз намунаҳои муайяни тест бармеоянд ё не, аз маҷмӯаи тестии 6000-тасвирӣ bootstrap analysis анҷом доданд. Дар ҳар арзёбӣ 1000 тасвири нодир интихоб шуда, раванд 100 маротиба такрор шуд. Як тасвир дар як bootstrap sample такрор нашуд, аммо метавонист дар sample-ҳои гуногуни bootstrap дубора пайдо шавад.

Дар Ҷадвали иловагии A2 нишон дода шудааст, ки омӯзиши ниқоби омехта дар синфҳои A, C, D, E, F, G, I, J ва K нисбат ба ҳам омӯзиши тасодуфӣ ва ҳам семантикӣ FID-и пасттар дода, фарқҳо дар сатҳи p<0,01 аз ҷиҳати оморӣ маънодор мебошанд. Барои B ва H ин маънодории дуҷониба нишон дода нашудааст; дар синфи L равиши омехта FID-и бадтар додааст.

Намунаҳои визуалӣ равиши омехтаро чӣ гуна нишон медиҳанд?

Дар Шакли 5 барқарорсозии рӯй, мӯй ва даҳон/лаби пурраи моделҳои MAT, ки бо ниқобҳои тасодуфӣ, семантикӣ ва омехта омӯзонда шудаанд, паҳлу ба паҳлу нишон дода мешавад. Мувофиқи арзёбии визуалии муаллифон, модели бо ниқоби тасодуфӣ омӯзонда метавонад ранги рӯйро бо атроф беҳтар омезад, аммо геометрияи рӯй кӯтоҳ ва номувофиқ намояд. Омӯзиши семантикӣ метавонад ба шакли рӯй бештар наздик шавад, аммо ранги пӯст бо атроф мувофиқ набошад. Омӯзиши омехта байни ин ду навъи хато натиҷаи мутавозинтар додааст.

Дар мӯй омӯзиши тасодуфӣ метавонад дар ҷараёни мӯй, омӯзиши семантикӣ бошад дар идомаи ранг мушкил дошта бошад, дар ҳоле ки стратегияи омехта ҳар ду хусусиятро беҳтар мувозинат кардааст. Дар намунаи даҳон низ омӯзиши омехта аз ду стратегияи дигар визуалӣ беҳтар нишон дода шудааст. Аммо инҳо намунаҳои визуалии интихобшудаанд; таҳқиқот perceptual user study-и кӯркардашуда бо баҳогузорони мустақили инсонро гузориш намедиҳад.

Маҳдудиятҳои сохторие, ки таҳқиқот муайян мекунад

Муҳаққиқон мегӯянд, ки танҳо тағйир додани додаҳои омӯзишӣ мушкилро пурра ҳал намекунад ва меъмориҳои мавҷуда маҳдудиятҳои сохторӣ доранд:

• Local receptive field ва convolutional bias: Ниқоби пурраи семантикӣ метавонад ҳамаи ишораҳои маҳаллиеро, ки моделҳои CNN/GAN истифода мебаранд, аз байн барад.
• Мулоҳизаи глобалӣ ва семантикии заиф: Моделҳои Transformer ва diffusion метавонанд контексти васеъро модел кунанд, аммо на ҳамеша муносибати дақиқи сохтории байни ҷузъҳои анатомии тасвирро нигоҳ медоранд.
• Prior-ҳои сохтории маҳдуд: Моделҳо анатомияи чеҳраро ҳамчун қоидаҳои ошкор намедонанд; асосан муносибатҳои омории додаҳои омӯзиширо меомӯзанд.
• Номуайянӣ: Барои ҷузъи комилан нонамоён якчанд ҳалли визуалӣ қобили қабул вуҷуд дошта метавонад.

Муаллифон пешниҳод мекунанд, ки дар оянда меъмориҳое таҳқиқ шаванд, ки ҷузъҳои чеҳраро ошкор модел мекунанд, геометрияи чеҳра ва вобастагии ҷузъҳоро ба ҳисоб мегиранд; инчунин омӯзиши adaptive mask ва loss function-ҳои хоси ҷузъҳо таҳқиқ шаванд.

Таҳқиқот чиро исбот намекунад?

• Исбот намекунад, ки чашм, даҳон, бинӣ ё мӯйи аслии зери ниқоб аз ҷиҳати ҳувият дуруст барқарор карда мешавад.
• Исбот намекунад, ки ҷузъҳои тавлидшудаи чеҳра аз ҷиҳати анатомӣ барои реконструксияи тиббӣ боэътимоданд.
• Таҳқиқот додаҳои бемори воқеӣ, осеб, сӯхтагӣ ё реконструксияи ҷарроҳии чеҳраро истифода намекунад.
• Муваффақияти нигоҳ доштани ҳувияти воқеиро дар системаҳои ҳифзи махфият ё шинохти чеҳра чен намекунад.
• Нишон намедиҳад, ки равиши ниқоби омехта дар ҳамаи ниқобҳо ё ҳамаи меъмориҳои inpainting бартарӣ дорад.
• Нишон намедиҳад, ки FID-и паст аз нигоҳи чашми инсон ё ҳифзи ҳувият натиҷаи комил аст.
• Азбаски RePaint бо шумораи баробари намунаҳо ва буҷаи ҳисоббарории баробар бо дигар моделҳо муқоиса нашудааст, натиҷагирии “моделҳои diffusion умуман бадтаранд”-ро дастгирӣ намекунад.

Ёддошт оид ба Манбаъ ва Усул

Маблағгузорӣ, додаҳо ва бархӯрди манфиатҳо

Муаллифон гузориш додаанд, ки таҳқиқот маблағгузории беруна нагирифтааст. Гуфта шудааст, ки ҳаққи коркарди мақола аз ҷониби Texas A&M International University пардохта шудааст. Муаллифон изҳор кардаанд, ки бархӯрди манфиатҳо вуҷуд надорад.

Тасвирҳои чеҳраи истифодашуда дар таҳқиқот аз маҷмӯаи оммавии CelebAMask-HQ гирифта шудаанд ва таҳқиқоти манбаъ мегӯяд, ки ин маҷмӯа танҳо барои мақсадҳои таҳқиқоти ғайритиҷоратӣ истифода шудааст. Муаллифон мегӯянд, ки иҷозаи бозтақсимкунии тасвирҳои хоми чеҳраро надоранд.

Изҳорот оид ба истифодаи зеҳни сунъии тавлидӣ

Дар бахши ташаккури таҳқиқоти манбаъ муаллифон гузориш додаанд, ки барои беҳтар кардани хонданбобии мақола версияи “GPT-5 mini, free version”-и ChatGPT-ро истифода кардаанд; баъдан мундариҷаро худашон бозбинӣ ва таҳрир карда, масъулияти матни нашршударо қабул кардаанд. Ин изҳорот маънои онро надорад, ки натиҷаҳои таҷрибавии image inpainting-и таҳқиқот аз ҷониби ChatGPT тавлид шудаанд.

Саҳми муаллифон

Ҳар се муаллиф ба консептуализатсия саҳм гузоштаанд. Методология, software, data curation ва project management аз ҷониби Hussein Sharadga ва Abdullah Hayajneh анҷом дода шуда; ҳар се муаллиф дар validation ва investigation иштирок кардаанд. Draft-и аслӣ аз ҷониби Hussein Sharadga ва Abdullah Hayajneh омода шуда; ҳар се муаллиф ба review ва editing саҳм гузоштаанд.

Сабти номувофиқатиҳои дохили манбаъ

• Дар ҳоле ки муодилаҳои P-IDS ва U-IDS ҳамчун ченаки масофа муайян шудаанд, ҷадвалҳо ва матн қимати баландтарро иҷрои беҳтар тафсир мекунанд. Манбаъ ин фарқро шарҳ намедиҳад.
• Матни усул мегӯяд, ки LaMa аз сабаби бесамар будан дар қарори баланд дар 256 ва 512 арзёбӣ шудааст, аммо баъдан натиҷаҳои 1024-и LaMa гузориш мешаванд.
• Ҷадвали модели 1 барои CMT, Latent-based, MI-GAN ва RePaint қарори 256-ро нишон медиҳад, дар ҳоле ки Ҷадвали 6 вақти ҳисоббарории ин моделҳоро дар сутуни 512 × 512 нишон медиҳад.

Маҳдудиятҳои асосӣ

• Натиҷаҳо ба як оилаи асосии маҷмӯаи додаҳои чеҳра такя мекунанд.
• Маҷмӯаи додаҳои реконструксияи клиникӣ ё осебии чеҳра истифода нашудааст.
• Ҳар модел дар қарорҳои яксон ва бо буҷаи ҳисоббарории яксон санҷида нашудааст.
• RePaint танҳо дар 10 тасвир ба таври маҳдуд арзёбӣ шудааст.
• Барои арзёбии сифати визуалӣ таҳқиқоти мустақил ва кӯркардашудаи баҳогузорони инсон пешниҳод нашудааст.
• FID ченаки монандии perceptual-и тақсимотӣ мебошад; исбот намекунад, ки ҷузъи воқеии гумшудаи чеҳраи шахси аслӣ дубора сохта шудааст.
• Дар синфи васеътарини L-и ниқоби семантикӣ омӯзиши омехта FID-и бадтар тавлид кардааст.
• Дар манбаъ оид ба самти метрикаи P-IDS/U-IDS номувофиқати таъриф ва тафсир вуҷуд дорад.

Қавитарин натиҷаи таҳқиқот ин аст, ки ҷузъҳои семантикии пурра пинҳоншудаи чеҳра ҳанӯз барои моделҳои мавҷудаи image inpainting масъалаи душвор мебошанд ва гуногунии ниқоб метавонад ба иҷрои омӯзиш таъсири назаррас расонад. Гарчанде стратегияи омӯзиши омехтаи тасодуфӣ–семантикӣ FID-ро дар бисёр ҷузъҳои чеҳра беҳтар кардааст, таҳқиқот нишон намедиҳад, ки реконструксияи комили чеҳра ба даст омадааст; баръакс, он нишон медиҳад, ки ин ҳанӯз масъалаи кушодаи таҳқиқотӣ мебошад.