LogicPainter, чаҳорчӯбаи нейронии рассомӣ аст, ки ба ҷойи услубӣ кардани тасвири истинод дар як қадам, онро бо зарбаҳои ошкори мӯқалам, бо коркарди пешзамина пеш аз пасзамина ва ҳаракат аз сохтори дағал ба ҷузъиёти нозук аз нав месозад. Система модулҳои saliency mask, sketcher, controllable stroke generator, layer renderer ва digital canvas-ро муттаҳид мекунад. Параметрҳои мӯқалам аз оғози тасодуфӣ тавассути feature-space loss ба таври итеративӣ оптимизатсия мешаванд ва ин раванд дар мақола ҳамчун diffusion-driven refinement тафсир мешавад. Озмоишҳо дар CelebA, ImageNet ва аксҳои ҷаҳони воқеӣ, инчунин таҳқиқоти корбарон нишон медиҳанд, ки LogicPainter метавонад байни садоқат ба муҳтаво, намуди рассомона ва тартиби инсонмонанди рангкунӣ тавозуни қавӣ барқарор кунад. Бо вуҷуди ин, кор preprint-и аз баррасии ҳамтоён нагузашта аст ва натиҷаи “мантиқи инсонӣ” ченкунии мустақими раванди маърифатии рассомони воқеӣ нест, балки арзёбии таҷрибавиест, ки ба дарки корбарон аз тартиби рангкунии система асос меёбад.

Навоварии асосии LogicPainter дар он аст, ки рассомии зеҳни сунъиро танҳо ҳамчун масъалаи табдили тасвир ба тасвир намебинад. Система рангкуниро ҳамчун раванди тартиботии эҷоди визуалӣ муайян мекунад, ки дар он кадом минтақа аввал коркард мешавад, зарбаҳои мӯқалам чӣ гуна тавлид мешаванд, canvas бо кадом тартиб нав мешавад ва ҷузъиёт аз як қабат ба қабати дигар чӣ гуна зиёд мегарданд, ба таври ошкор моделсозӣ шудааст.

LogicPainter чист?

LogicPainter чаҳорчӯбаи рассомии зеҳни сунъист, ки ба ҷойи тавлиди мустақими тасвири истинод ҳамчун як баромади услубишуда, онро бо зарбаҳои мӯқалам тадриҷан месозад; пешзаминаро аввал, пасзаминаро баъд ранг мекунад ва ҳар минтақаро аз сохтори дағал ба ҷузъиёти нозук қабатбандӣ мекунад.

Нуқтаи ибтидоии кор ин назар аст, ки байни интиқоли классикии услуби тасвир ва “раванди рангкунӣ” ба маънои воқеӣ фарқ вуҷуд дорад. Модели интиқоли услуб метавонад тасвири ниҳоиро мустақим табдил диҳад. LogicPainter бошад кӯшиш мекунад тарзи ташаккули тасвирро низ моделсозӣ кунад: sketch сохта мешавад, объекти асосӣ муайян мегардад, пешзамина ранг мешавад, пасзамина илова мегардад ва зарбаҳои мӯқалам дар миқёсҳои торафт хурдтар такмил дода мешаванд.

Аз ин рӯ, AI painting дар кор чунин мафҳумсозӣ мешавад: на эҷоди тасвири ниҳоӣ дар як зарба, балки ташаккули тадриҷии он тавассути зарбаҳои ошкор ва пайдарпайи мӯқалам.

Масъалаи таҳқиқот

Масъалаи асосие, ки муаллифон зикр мекунанд, ду қисм дорад. Гарчанде бисёр системаҳои мавҷудаи рассомии нейронӣ коркарди stroke-by-stroke анҷом медиҳанд, онҳо ошкор модел намекунанд, ки кадом объект бояд аввал бо афзалиятҳои семантикие, ки рассомони инсон истифода карда метавонанд, ранг шавад. Аз ҷониби дигар, байни нигоҳ доштани ҷузъиёт ва тақвияти хусусияти намоёни зарбаи рассомона созиши равшан вуҷуд дорад.

Агар усул муҳтавои тасвирро аз ҳад сахт нигоҳ дорад, натиҷа метавонад ба бозсозии фотографӣ наздик шавад. Агар текстураи мӯқалам ва услубсозӣ аз ҳад зиёд тақвият ёбанд, сохтори объект ва ҷузъиёти хурди семантикӣ гум шуда метавонанд. LogicPainter мекӯшад ин ду ҳадафро дар як pipeline якҷо баррасӣ кунад.

LogicPainter Тартиби Инсонмонанди Рангкуниро Чӣ Гуна Моделсозӣ Мекунад?

LogicPainter тасвирро бар асоси saliency ба пешзамина ва пасзамина ҷудо мекунад; аввал объекти асосиро дар се қабат аз шакли дағал то ҷузъиёти нозук коркард мекунад, сипас бо нигоҳ доштани ҳамон ҳолати canvas пасзаминаро низ қабат-қабат анҷом медиҳад. Ҳамин тавр, система ба ҷойи он ки тамоми тасвирро аз оғоз баробар муҳим шуморад, тартиби семантикии “аввал объекти асосӣ, баъд муҳит”-ро татбиқ мекунад.

Панҷ ҷузъи асосӣ

Дар Расми 2-и мақола меъмории LogicPainter ба панҷ модули асосӣ ҷудо шудааст:

1. Salience mask module: Объекти асосии пешзаминаро дар тасвири истинод муайян мекунад.
2. Sketcher: Дар canvas-и аввалия як пешшарти эскизии сохторӣ ҷойгир мекунад.
3. Stroke generator: Зарбаҳои рассомонаи мӯқаламро бо шакл ва ранги идорашаванда тавлид мекунад.
4. Layer renderer: Зарбаҳои мӯқаламро дар қабатҳо ба canvas ҷойгир ва оптимизатсия мекунад.
5. Digital canvas: Ҳолати тасвирест, ки ҳамаи амалҳои итеративӣ дар он ҷамъ мешаванд.

Ниқоби пешзамина бо \(M_f\) ва ниқоби пасзамина бо \(M_b\) нишон дода мешавад. Ин ду ниқоб танҳо ҳамчун вазни диққат истифода намешаванд; онҳо тартиби воқеии рангкунии тасвирро муайян мекунанд.

Марҳилаи 1: Пешзамина

Дар марҳилаи аввал модел танҳо дар объекти асосие, ки бо ниқоби пешзамина муайян шудааст, кор мекунад. Контури асосие, ки Sketcher месозад, ба ташаккули сохтори глобалӣ кӯмак мекунад. Layer renderer ва stroke generator якҷо объекти асосиро дар се қабати ҳалнокӣ/ҷузъиёт пеш мебаранд.

Марҳилаи 2: Пасзамина

Марҳилаи дуюм бо canvas-и холӣ оғоз намешавад. Canvas-и анҷомёфтаи марҳилаи пешзамина мустақиман ҳамчун ҳолати ибтидоӣ истифода мешавад. Ҳамин тавр, пасзамина дар атрофи объекти асосии аллакай сохташуда ҷойгир шуда, афзалияти семантикии пешзамина нигоҳ дошта мешавад.

Коркарди Қабатӣ Аз Дағал Ба Нозук Чӣ Маъно Дорад?

Коркарди аз дағал ба нозук маънои онро дорад, ки дар қабати аввал минтақаҳои васеъ ва композитсияи умумии ранг/сохтор бо зарбаҳои калон ва камшумори мӯқалам сохта шуда, дар қабатҳои баъдӣ бо истифода аз зарбаҳои бештар ва аз нигоҳи визуалӣ хурдтар шакл, текстура ва ҷузъиёти маҳаллӣ тадриҷан зиёд карда мешаванд.

LogicPainter дар аксари таҷрибаҳо се қабат истифода мебарад. Қабати аввал сохтори умумӣ ва тақсимоти асосии рангро месозад. Қабатҳои дуюм ва сеюм тавассути grid-ҳои торафт зичтар зарбаҳоро дар миқёси хурдтари визуалӣ илова мекунанд.

Шумораи grid барои қабати \(l\) дар манбаъ бо формулаи зерин муайян шудааст:

\[ W_l=(2^{l+1}-1)^2 \]

Дар ин ҷо \(W_l\) шумораи grid дар қабати дахлдор аст. Агар дар ҳар grid \(\sigma\) зарбаи мӯқалам истифода шавад, шумораи умумии зарбаҳо:

\[ T=W_l\times \sigma \]

мешавад.

Дар мисоли додаи манбаъ барои \(\sigma=3\) ва \(l=1\):

\[ T=(2^{1+1}-1)^2 \times 3 =3^2\times3 =27 \]

зарбаи мӯқалам истифода мешавад.

Бо афзоиши индекси қабат дар ҳамон canvas grid-ҳои бештар истифода мешаванд, аз ин рӯ ҳар минтақаи маҳаллӣ метавонад бо зарбаҳои миқёси нозуктар коркард шавад. Ин механизм ба таври визуалӣ гузариши “блокҳои васеи ранг → шаклҳои миқёси миёна → ҷузъиёти нозук”-ро ба вуҷуд меорад.

Навсозии canvas

Ҳар як зарбаи мӯқалам бо мантиқи alpha compositing ба canvas-и мавҷуда ҷойгир карда мешавад. Дар манбаъ навсозии canvas чунин дода шудааст:

\[ O^{t+1}_{l} = O^{t}_{l}\odot(1-\alpha_t) + \alpha_t\times m_t \]

Дар ин ҷо \(O^{t}_{l}\) ҳолати canvas дар қабати \(l\) пеш аз зарбаи \(t\) мебошад; \(\alpha_t\) дастгирии alpha-и зарбаи мӯқалам ва \(m_t\) параметрҳои рангро ифода мекунад. Муодила омехта шудани зарбаи навро бо ҳолати пешинаи canvas ба андозаи ниқоби худ тавсиф мекунад.

Анҷоми қабат

Вақте ҳамаи \(T\) зарбаҳои як қабат ҷойгир мешаванд:

\[ O_l=O^{T}_{l} \]

ба даст меояд. Тасвири ниҳоӣ бошад бо якҷо кардани қабатҳо тавассути тағйири мувофиқи андоза ва ҳамоҳангсозӣ муайян мешавад:

\[ O=\sum_{l=1}^{L} U_l(O_l) \]

Дар кор индекси қабати охирин \(L=3\) аст.

Stroke Generator Чӣ Гуна Кор Мекунад?

Stroke generator-и LogicPainter ба ҷойи супоридани шакл ва ранги мӯқалам ба як баромади GAN, ду generator истифода мекунад: аввал прототипи зарба тавлид мешавад, баъд generator-и дуюм зарбаро тоза карда ба ранги ҳадаф дубора ранг мекунад; бо ин роҳ примитивҳои мӯқалами устувортар ва идорашаванда ба даст меоянд, ки метавонанд чандин бор ба canvas гузошта шаванд.

Муаллифон қайд мекунанд, ки тавлиди мӯқалам бар асоси GAN-и стандартӣ дар баъзе ҳолатҳо метавонад дар заминаи сафед арзишҳои ифлос ё гетерогении пикселӣ ба вуҷуд оварад. Вақте чунин баромад бевосита борҳо ба canvas гузошта мешавад, метавонад доғҳои номатлуби рангро ба вуҷуд орад.

Аз ин рӯ LogicPainter сохтори ду-generator-иро истифода мебарад:

• \(G\): Аз параметрҳои тасодуфӣ морфологияи асосии зарбаи мӯқаламро тавлид мекунад.
• \(G'\): Зарбаи тавлидшударо бо параметрҳои ранги ҳадаф дубора ранг ва тоза мекунад.
• \(D\): Discriminator аст, ки мекӯшад намунаҳои ҳақиқии stroke-ро аз баромадҳои ду generator фарқ кунад.

Талафоти discriminator

Манбаъ талафоти discriminator-ро чунин муайян мекунад:

\[ \mathcal{L}_D= \frac{1}{K} \sum_{k=1}^{K} \left[ -\log D(x_k) -\log(1-D(G(n_k))) -\log(1-D(G'(G(n_k),m_k))) \right] \]

Ҷузъи аввал таснифи намунаҳои ҳақиқии stroke ҳамчун ҳақиқӣ ва ҷузъҳои дуюму сеюм ҷудо кардани баромадҳои ду generator-ро ҳамчун сохта ташвиқ мекунанд.

Талафоти generator-и якум

\[ \mathcal{L}_G= \frac{1}{K} \sum_{k=1}^{K} -\log D(G(n_k)) \]

Ин талафот ҳадаф дорад прототипҳои stroke-и тавлидкардаи \(G\)-ро аз назари discriminator ба намунаҳои ҳақиқии stroke наздик кунад.

Талафоти generator-и дуюм

\[ \mathcal{L}_{G'}= \frac{1}{K} \sum_{k=1}^{K} -\log D(G'(G(n_k),m_k)) \]

Generator-и дуюм мекӯшад баромади stroke-и дуборарангшударо воқеӣ гардонад.

Дуборарангкунӣ бар асоси Alpha

Шакли ниҳоии рангаи мӯқалам дар манбаъ:

\[ S=\alpha\times m_t \]

ифода шудааст.

Дастгирии alpha аз прототипи stroke:

\[ \alpha_t=\phi(G(n_t)) \]

гирифта мешавад ва stroke-и ниҳоӣ:

\[ S=G'(G(n_t),m_t) = \phi(G(n_t))\times m_t \]

ба даст меояд. Ин ҷудосозӣ дастгирии геометрии мӯқаламро аз маълумоти ранг ҷудо мекунад.

Оё Diffusion-Driven Refinement Як DDPM-и Воқеист?

Не. LogicPainter ба маънои DDPM-и стандартӣ дар фазои пикселӣ занҷири эҳтимолии diffusion-и пеш ва пас намесозад; кор ислоҳи параметрҳои тасодуфан оғозшудаи мӯқалам ва ҳолатҳои canvas-ро тавассути навсозиҳои такрории gradient ба сӯи тасвири ҳадаф ҳамчун раванди refinement-и монанд ба reverse-diffusion тафсир мекунад.

Ин фарқ барои фаҳмиши дурусти мақола муҳим аст. Дар равиши LogicPainter тавлиди классикии pixel-space DDPM дар шакли “noise → denoising → image” анҷом дода намешавад.

Ба ҷояш параметрҳои latent stroke:

\[ z_l^t=\{n_l^t,m_l^t\} \]

муайян мешаванд. \(n_l^t\) шакли прототипии зарба ва \(m_l^t\) параметрҳои рангро идора мекунад.

Stroke-и дахлдор:

\[ S_l^t=G'(G(n_l^t),m_l^t) \]

ба ин шакл тавлид мешавад.

Сипас гузариши canvas ба таври абстрактӣ:

\[ O_l^{t+1}=\mathcal{T}(O_l^t,z_l^t) \]

ифода мешавад. \(\mathcal{T}\) дар ин ҷо оператори дифференсиалшавандаи stroke render ва compositing аст.

Feature-space discrepancy

Модел ба ҷойи оптимизатсияи мустақими фарқи пикселии хом аз намояндагии feature-и бар ResNet асосёфта истифода мекунад. Талафот дар марҳилаи пешзамина:

\[ \mathcal{L}(I,O)= \frac{1}{J} \sum_{j=1}^{J} \left\| R(I\odot M_f)_j - R(O\odot M_f)_j \right\| \]

мебошад.

Барои пасзамина ҳамин сохтор бо ниқоби \(M_b\):

\[ \mathcal{L}_{bg}(I,O)= \frac{1}{J} \sum_{j=1}^{J} \left\| R(I\odot M_b)_j - R(O\odot M_b)_j \right\| \]

истифода мешавад.

Дар ин ҷо \(R(\cdot)\) feature extractor-и ResNet ва \(J\) шумораи feature map-ҳои гирифташударо ифода мекунад.

Навсозии параметрҳои stroke

Параметрҳои stroke бо оптимизатсияи бар gradient асосёфта:

\[ z_l^{t+1} = z_l^t - \eta\nabla_{z_l^t}\mathcal{L}_l^t \]

нав карда мешаванд.

\(\eta\) андозаи қадам аст. Ҳамин тавр конфигуратсияҳои stroke, ки муҳтавои ҳадафро суст ифода мекунанд, тадриҷан ислоҳ мешаванд.

Рушди canvas:

\[ O_l^0\rightarrow O_l^1\rightarrow \cdots \rightarrow O_l^T \]

ба ин шакл пеш меравад. Муаллифон ин занҷирро ҳамчун refinement-и монанд ба reverse-diffusion тафсир мекунанд; аммо ошкор мегӯянд, ки ин даъвои як модели дақиқи Markov diffusion ба маънои DDPM нест.

Усул ва Натиҷаҳои Таҳқиқот

Инфрасохтори таҷрибавӣ

Ҳамаи таҷрибаҳо дар workstation бо Intel i7-7700K CPU ва NVIDIA Titan RTX GPU анҷом дода шудаанд.

Барои арзёбӣ се манбаи дода истифода шудааст:

• CelebA,
• ImageNet,
• аксҳои ҷаҳони воқеӣ.

Тасвирҳои санҷишӣ категорияҳои гуногуни семантикӣ, аз ҷумла портрет, ҳайвон, растанӣ, гул ва биноҳоро фаро мегиранд.

Конфигуратсияи пешфарзи LogicPainter:

• рангкунии думарҳилавии пешзамина/пасзамина,
• се қабати render,
• ResNet асосёфтаи feature extraction loss,
• \(\sigma=3\) stroke барои ҳар grid

истифода мекунад.

Муқоисаҳои визуалӣ

Дар Расми 6 раванди тавлид дар CelebA, ImageNet ва аксҳои воқеӣ нишон дода шудааст. Дар тасвирҳо объекти асосӣ аввал бо изҳои дағали мӯқалам пайдо шуда, баъд ҷузъиёташ зиёд мегардад ва дар марҳилаи охир пасзамина пурра мешавад.

Тибқи арзёбии визуалии муаллифон, сохторҳои рӯй, контурҳои ҳайвонот, гулбаргҳо ва геометрияи биноҳо баъд аз услубсозӣ то ҳадди зиёд шинохташаванда мемонанд. Ҳамзамон тасвирҳои ниҳоӣ ба ҷойи бозсозии холиси фотографӣ изҳои намоёни мӯқалам ҳосил мекунанд.

Муқоиса бо усулҳои рақиб

LogicPainter бо се усули намояндагӣ муқоиса шудааст:

Таҳқиқоти Корбарон Дар Бораи LogicPainter Чӣ Нишон Доданд?

Таҳқиқоти корбарон нишон медиҳанд, ки LogicPainter махсусан аз ҷиҳати ранг, якпорчагии эстетикӣ ва тартиби инсонмонанди рангкунӣ қавӣ дарк шудааст; дар айни замон дар баъзе меъёрҳои ҷудогона, мисли текстура ё нигоҳдории холиси муҳтаво, усулҳои рақиб метавонанд холҳои баландтар гиранд.

Таҳқиқоти якуми корбарон

Ба таҳқиқоти аввали корбарон дар маҷмӯъ 20 иштирокчӣ дохил шуданд. Иштирокчиён аз гурӯҳҳои гуногуни синну сол, ҷинс ва таҳсил дар доираи 18–40 сол буданд; %10-и онҳо заминаи санъат доштанд.

Ҳар натиҷа дар миқёси 1,0–5,0 бо панҷ меъёри зерин арзёбӣ шуд:

• Content,
• Texture,
• Colour,
• Style,
• Beauty.

LogicPainter дар иштирокчиёни дорои заминаи санъат

Дар ин гурӯҳ меъёрҳои ранг, услуб ва зебоӣ дар сатҳи эътимоди %95 аз 4 хол боло монданд. Махсусан барои метрикаи Colour фосилаи 4,531–4,644 гузориш шудааст.

LogicPainter дар иштирокчиёни бидуни заминаи санъат

Дар иштирокчиёни бидуни заминаи санъат фосилаҳои эътимоди %95 барои Content, Colour, Style ва Beauty аз 4 хол боло монданд.

Таҳқиқоти дуюми корбарон: тартиби рангкунӣ

Дар таҳқиқоти дуюми корбарон иштирокчиён на танҳо тасвири ниҳоӣ, балки видеоҳои рангкунии тавлидкардаи усулҳоро низ арзёбӣ карданд. Миқёс боз 1–5 буд ва арзиши баландтар нишон медиҳад, ки раванд ба амалияи рангкунии рассоми инсон наздиктар дарк шудааст.

Дар Расми 9 LogicPainter ҳам дар гурӯҳҳои дорои заминаи санъат ва ҳам бидуни он баҳои наздик ба 5 гирифта, аз SNP, PTF ва LTP-и муқоисашуда ба таври равшан баландтар арзёбӣ шудааст. Азбаски расми манбаъ арзишҳои дақиқи bar-ро дар шакли матн намедиҳад, дар ин ҷо аз график рақами дақиқи нав ҳосил карда нашудааст.

Таҳқиқоти Ablation Кадом Ҷузъҳоро Муҳим Нишон Доданд?

Озмоишҳои ablation нишон доданд, ки сифати тасвири ниҳоӣ на танҳо ба меъмории асосӣ, балки ба feature extractor-и истифодашуда, услуби stroke, тартиби қабатҳо ва шумораи stroke дар ҳар grid низ вобаста аст; махсусан feature-ҳои ResNet ва танзими зичии миёнаи \(\sigma=3\) байни нигоҳдории муҳтаво ва арзиши ҳисоббарорӣ тавозуни муносиб фароҳам меоранд.

ResNet ва GoogleNet

Барои feature-extraction loss, ResNet ва GoogleNet муқоиса шуданд. Тибқи натиҷаҳои манбаъ, feature-ҳои GoogleNet дар баъзе намунаҳо ҷузъиёти бештари муҳтаворо аз даст медиҳанд, дар ҳоле ки ResNet байни муҳтавои сохторӣ ва намуди услубишуда тавозуни қавитар медиҳад.

Услуби stroke

Илова ба услуби пешфарзи stroke, маҷмӯи додаҳои stroke-и монанди pastel аз Neural Painter низ санҷида шуд. Ин тағйир нишон дод, ки бе тағйири меъмории модел метавон натиҷаҳои визуалии бештар pastel ё ба watercolor монанд тавлид кард.

Тартиби қабатҳо

Модели пешфарз пас аз анҷом додани ҳамаи қабатҳои foreground ба қабатҳои background мегузарад. Дар озмоиши ablation ҳамчун алтернатива foreground ва background дар дохили як қабат якҷо коркард шуда, сипас ба қабати болотар гузашта шуд.

Натиҷаҳо нишон медиҳанд, ки LogicPainter метавонад тартибҳои гуногуни рангкуниро дастгирӣ кунад ва ҳамзамон хусусияти коркарди аз дағал ба нозукро нигоҳ дорад.

Шумораи stroke

Шумораи stroke барои ҳар grid байни \(\sigma=1\) ва \(\sigma=5\) санҷида шуд.

• \(\sigma=1\): Натиҷаҳо камтар зич ва талафи ҷузъиёт бештар аст.
• \(\sigma=5\): Ҷузъиёти нозуки бештар нигоҳ дошта мешавад.
• \(\sigma=3\): Аз ҷониби манбаъ ҳамчун созиши хуб байни сифати визуалӣ ва арзиши ҳисоббарорӣ интихоб шудааст.

Услуби нави stroke

Муаллифон ҳамчунин механизми алтернативии stroke сохтанд, ки доираҳои холии диаметрашон тағйирёбандаро дар тӯли каҷҳои кубии Bézier ҳаракат медиҳад. Дар ин таҷрибаҳо низ нишон дода шуд, ки ҳангоми нигоҳ доштани муҳтавои асосии семантикӣ метавон текстураҳо ва хусусиятҳои бадеии гуногун тавлид кард.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

• Тартиби foreground-first/background-second метавонад ба таври ошкор татбиқ шавад.
• Layered coarse-to-fine rendering метавонад ҷузъиёти визуалиро тадриҷан зиёд кунад.
• Stroke generator-и думарҳилавӣ метавонад идоракунии шакл ва рангро аз ҳам ҷудо кунад.
• Feature-space loss метавонад дар оптимизатсияи итеративии параметрҳои stroke истифода шавад.
• LogicPainter метавонад услубҳои гуногуни stroke-ро дастгирӣ кунад.
• Корбарон тартиби рангкунии LogicPainter-ро нисбат ба усулҳои муқоисашуда инсонмонандтар арзёбӣ карданд.
• Модел байни нигоҳдории муҳтаво ва услуби рассомона тавозуни рақобатпазир пешниҳод мекунад.

Натиҷаҳое, ки таҳқиқот дастгирӣ намекунад

• LogicPainter исбот намекунад, ки раванди маърифатии рассомони воқеиро пурра моделсозӣ мекунад.
• Ибораи “Human-logic” модели нейрокогнитивии мағзи инсон нест.
• LogicPainter DDPM-и стандартӣ нест.
• Усул дар ҳар метрикаи ҷудогонаи корбар аз ҳамаи рақибон беҳтар нест.
• Таҳқиқоти якуми корбарон бо 20 нафар як таҳқиқоти калони рафторӣ нест, ки тамоми аҳолиро намояндагӣ кунад.
• Кор рангҳои воқеии физикӣ, соиши мӯқалам ё динамикаи рангҳои моеъро симулятсия намекунад.
• Саҳнаҳои динамикӣ ва назорати афзалиятҳои аз ҷониби корбар роҳнамоишаванда дар кори ҷорӣ масъалаҳои ҳалшуда нестанд; онҳо ҳамчун кори оянда пешниҳод шудаанд.

Самтҳои кори оянда

Муаллифон пешниҳод мекунанд, ки дар оянда усул ба саҳнаҳои динамикӣ васеъ карда шавад, афзалиятҳои расмии аз ҷониби корбар роҳнамоишаванда ба система ворид шаванд ва услубҳои бадеии бештари stroke дастгирӣ гарданд. Ин хусусиятҳо қобилиятҳои санҷидашудаи системаи ҷорӣ нестанд, балки самтҳои барои таҳқиқи оянда пешбинишудаанд.

Ёддошти Манбаъ ва Усул

Унвони аслӣ: LogicPainter: Layered Stroke Rendering with Diffusion-Driven Refinement for Human-Logic AI Painting.

Муаллифон: Qian Wang, Cai Guo, Hong-Ning Dai, Maaike Kleinsmann, Yike Guo ва Pan Wang.

Муаллифи масъул: Pan Wang.

Муассисаҳо: Guangdong University of Technology, Hanshan Normal University, Hong Kong Baptist University, Delft University of Technology ва The Hong Kong University of Science and Technology.

ORCID: Манбаъ барои Qian Wang маълумоти ORCID-и 0000-0002-5892-8093 медиҳад.

Платформа: SSRN.

SSRN Abstract No.: 7023467.

Навъи манбаъ: Preprint-и таҳқиқотӣ.

Ҳолати баррасии ҳамтоён: Аз баррасии ҳамтоён нагузаштааст.

DOI: Дар манбаъ нишон дода нашудааст.

Маҷалла: Сабти ниҳоии маҷаллаи peer-reviewed дар манбаъ дода нашудааст. Дар поёни саҳифаҳо ибораи “Preprint submitted to Elsevier” мавҷуд аст.

Маблағгузорӣ: Манбаъ мегӯяд, ки лоиҳаи таҳқиқотӣ аз ҷониби “National Science Foundation No. 62402122” дастгирӣ шудааст.

Усули асосӣ: Ҷудокунии foreground/background бар асоси saliency, sketch prior, stroke generator-и думарҳилавии бар GAN асосёфта, ResNet feature-space loss, coarse-to-fine layer renderer, stroke compositing-и дифференсиалшаванда ва iterative stroke optimisation-и бар gradient асосёфта.

Маҷмӯаҳои додаҳо: CelebA, ImageNet ва аксҳои ҷаҳони воқеӣ.

Усулҳои муқоисашуда: Stylized Neural Painting (SNP), Paint Transformer (PTF) ва Learning to Paint (LTP).

Сахтафзор: Intel i7-7700K CPU ва NVIDIA Titan RTX GPU.

Танзими пешфарзи rendering: Се қабат ва \(\sigma=3\) зарбаи мӯқалам барои ҳар grid.

Маҳдудияти асосии методологӣ: Ибораи “Diffusion-driven” ҳаммаънои DDPM-и классикӣ нест. Манбаъ ошкор мегӯяд, ки гузаришҳои p ва q на барои даъвои занҷири пурраи DDPM Markov, балки барои мафҳумсозии такмили итеративии ҳолатҳои stroke-canvas истифода мешаванд.

Маҳдудияти таҳқиқоти корбарон: Натиҷаҳои марбут ба тартиби инсонмонанди рангкунӣ ба дарки корбарон асос ёфтаанд. Таҳқиқоти аввал бо 20 иштирокчӣ анҷом ёфтааст ва ин арзёбӣ ченкунии таҷрибавии нейроилмии равандҳои маърифатии рассомони воқеӣ нест.