Utafiti huu wa preprint ambao haujapitiwa na wataalamu wenza unalenga kupanua uga wa kuona katika mifumo ya upigaji picha wa pikseli moja inayotumia kigunduzi kimoja cha nguvu ya mwanga, huku ikihifadhi mwonekano asilia wa kifaa na kupunguza mzigo wa kumbukumbu wa matatizo makubwa ya kinyume. Watafiti wameunda mbinu isiyohitaji mafunzo waliyoipa jina KronFOTV-SPI kwa kuunganisha modeli ya zao la Kronecker, inayogawanya matriksi kubwa ya vipimo katika matriksi mbili ndogo, na urekebishaji wa total variation wa mpangilio wa sehemu kwa lengo la kuhifadhi kingo za picha na maumbo madogo. Mbinu hiyo imejaribiwa katika mfumo halisi wa macho unaotumia leza ya 532 nm, kifaa cha kioo kidogo cha kidijitali chenye pikseli 1024×768, kigunduzi cha pikseli moja na mifumo ya mwangaza ya Hadamard.

KronFOTV-SPI imeunda upya lengo la mwonekano la USAF 1951 katika mwonekano wa pikseli 1024×768 kwa kutumia eneo lote tendaji la kifaa cha kioo kidogo cha kidijitali. Mfumo huo ulitoa uga wa kuona mpana mara 48 kwa msingi wa eneo la pikseli ukilinganishwa na upigaji picha wa pikseli moja wa kawaida wa pikseli 128×128, huku ukihifadhi mwonekano wa mistari wa 44,19 µm. Kwa kutumia matriksi mbili zenye vipimo vya 1024×1024 na 768×768 badala ya kuhifadhi wazi matriksi kubwa ya vipimo, mahitaji ya kumbukumbu yaliyoripotiwa yalipungua kutoka 2 GiB hadi takribani 12,5 MiB, na muda wa wastani wa uundaji upya ukapungua kutoka sekunde 14,210 hadi sekunde 6,2535.

Mbinu pia ilijaribiwa kwenye sampuli halisi ya jani la Caladium bicolor, na iliripotiwa kuwa mishipa mikuu, ya pili na mishipa midogo ya mtandao iliweza kuonekana katika uga mpana. Hata hivyo, majaribio yalikuwa na malengo mawili pekee, urefu mmoja wa wimbi, sampuli ya asilimia 100 na mazingira yaliyodhibitiwa ya maabara. Muda ulioripotiwa hauwakilishi upataji wa picha bali hatua ya kompyuta pekee; viwango vya chini vya sampuli, mwanga hafifu, vitu vinavyosogea, viwango tofauti vya mtawanyiko na uwezo wa kurudiwa katika maabara huru havikutathminiwa.

Upigaji picha wa pikseli moja hufanyaje kazi?

Upigaji picha wa pikseli moja (single-pixel imaging, SPI) hauhifadhi picha ya pande mbili ya eneo moja kwa moja kwa sensa ya kamera yenye safu ya pikseli. Badala yake, eneo huangazwa mfululizo kwa mifumo tofauti ya anga au mwanga kutoka eneo hilo humoduliwa kwa mifumo hiyo. Kwa kila mfumo, jumla ya nguvu ya mwanga kutoka eneo hupimwa na kigunduzi kimoja kisicho na mwonekano wa anga. Kompyuta huunda upya picha kwa kutatua uhusiano kati ya mifumo inayojulikana na jumla ya thamani za mwanga zilizopimwa.

Muundo huu unaweza kuwa muhimu hasa katika maeneo ya infrared, terahertz, X-ray au baadhi ya aina za upigaji picha wa chembe ambako safu za sensa zenye mwonekano wa juu ni ghali au hazina ufanisi. Hata hivyo, kadiri idadi ya pikseli kwenye picha inavyoongezeka, matriksi ya vipimo inayopaswa kuhifadhiwa na kutatuliwa hukua kwa kasi sana.

Tatizo kuu la utafiti ni nini?

Katika modeli ya kawaida ya SPI, uhusiano kati ya vekta ya picha na vipimo huonyeshwa kama ifuatavyo:

\[ \mathbf{y} = \boldsymbol{\Phi}\mathbf{x} \]

• x: Ni vekta ya pikseli ya picha ya pande mbili iliyobadilishwa kuwa ya mwelekeo mmoja.
• y: Ni vekta ya vipimo inayopatikana kutoka kwa kigunduzi cha pikseli moja.
• Φ: Ni matriksi ya vipimo inayojumuisha uhusiano wa kila mfumo wa mwangaza na pikseli za picha.

Katika picha ya pikseli N×N, vekta x ina vipengele N². Ikiwa idadi ya vipimo inafafanuliwa kama M=τN², ukubwa wa matriksi Φ huwa M×N². Katika sampuli kamili M=N², hivyo jumla ya idadi ya vipengele vya matriksi hufikia mpangilio wa N⁴.

Kwa mfano, kwa picha ya pikseli 128×128, matriksi ya usahihi maradufu yenye vipengele 16.384×16.384 huhitaji takribani 2 GiB ya kumbukumbu. Mbinu hiyo hiyo ikitumika moja kwa moja kwa picha ya pikseli 1024×768, ukubwa wa matriksi na mzigo wa kompyuta huvuka mipaka ya vitendo ya kompyuta za kawaida. Kwa hiyo, hata DMD yenye vioo vidogo 1024×768 inapotumiwa, mifumo mingi ya SPI hutumia eneo dogo tu la pikseli 128×128 au 256×256.

Mapungufu ya mbinu zilizopo za uga mpana ni yapi?

SPI ya kuunganisha pikseli

SPI ya kuunganisha pikseli (pixel-binning SPI, PBSPI) hupanua kila pikseli ya mfumo mdogo kuwa vioo vidogo kadhaa kwenye DMD ili kuangaza eneo kubwa zaidi la kimwili. Katika utafiti huu, kila pikseli ya kipimo ilibadilishwa kuwa eneo la vioo vidogo 6×6 na uga wa kuona wa kimwili wa pikseli 768×768 ukapatikana.

Hata hivyo, kwa kuwa vioo vidogo 6×6 hufanya kazi kama seli moja ya kipimo, mwonekano asilia wa kifaa hautumiki. Katika Kielelezo 2 na Kielelezo 3 inaonekana kuwa mistari katika picha ya PBSPI inakuwa minene, makundi madogo ya mistari yanaungana na kingo zinaonekana za visanduku.

SPI sambamba

SPI sambamba (parallel SPI, PSPI) hugawanya eneo la picha katika maeneo madogo na kuyapima kwa wakati mmoja kwa vigunduzi kadhaa vya pikseli moja. Katika mpangilio wa PSPI wa utafiti, maeneo 4×4 ya mifumo 128×128 na vigunduzi 16 vilitumika, na eneo la jumla la pikseli 464×464 likaundwa.

Ingawa mbinu hii hupanua uga wa kuona, inahitaji maunzi changamano zaidi, urekebishaji wa njia nyingi na kuunganisha picha ndogo. Katika Kielelezo 2 na Kielelezo 3 kuna tofauti za mwangaza wa usuli na mipaka ya kuunganisha kati ya maeneo madogo katika picha ya PSPI.

Mbinu za Kronecker zenye kujifunza kwa kina

Katika tafiti za awali, modeli za vipimo vya Kronecker zimeunganishwa na mitandao ya deep unfolding na moduli za denoise zinazotegemea Transformer. Ingawa mbinu hizi zinaweza kutoa ubora wa juu wa picha, zinaweza kuhitaji seti kubwa za data za mafunzo, gharama kubwa ya mafunzo na urekebishaji kwa mifumo mahususi ya macho. KronFOTV-SPI imewasilishwa kama mbinu ya uboreshaji inayoelezeka inayotegemea modeli ya kimwili na prior ya picha, bila kutumia mtandao uliofunzwa.

Zao la Kronecker hupunguzaje matriksi kubwa?

Watafiti wamehifadhi picha kama matriksi X ya pande mbili badala ya kuibadilisha kuwa vekta ya mwelekeo mmoja. Modeli ya kipimo imebadilishwa kuwa:

\[ \mathbf{Y} = \mathbf{A}\mathbf{X}\mathbf{B}^{\mathsf{T}} \]

• X ∈ R^N₁×N₂: Ni picha ya pande mbili inayopaswa kuundwa upya.
• Y ∈ R^M₁×M₂: Ni vipimo vya pikseli moja vilivyopangwa kwa pande mbili.
• A ∈ R^M₁×N₁: Ni matriksi ya kipimo katika mhimili mmoja wa picha.
• B ∈ R^M₂×N₂: Ni matriksi ya kipimo katika mhimili mwingine.
• B^T: Ni transpose ya matriksi B.

Matriksi kamili ya kipimo hufafanuliwa kwa uhusiano huu:

\[ \boldsymbol{\Phi} = \mathbf{B} \otimes \mathbf{A} \]

Alama ⊗ hapa inaonyesha zao la Kronecker. Muundo huu huruhusu matriksi A na B kuhifadhiwa kando badala ya kuhifadhi moja kwa moja matriksi kubwa Φ.

Ugumu wa kumbukumbu kwa matriksi ya kawaida ni:

\[ O(M_1M_2N_1N_2) \]

na baada ya utenganishaji wa Kronecker hushuka hadi:

\[ O(M_1N_1 + M_2N_2) \]

. Katika hali ya sampuli kamili ya utafiti, matriksi A ina ukubwa wa 1024×1024 na matriksi B ina ukubwa wa 768×768. Kwa kutumia thamani za usahihi maradufu za baiti 8, mahitaji ya jumla ya kumbukumbu ya matriksi hizi mbili ni takribani:

\[ (1024^2 + 768^2)\times 8 = 13.107.200\ \text{bayt} \approx 12,5\ \text{MiB} \]

Thamani hii inalingana na 12,5 MiB iliyoripotiwa katika makala.

Uwiano wa sampuli umefafanuliwaje?

Katika modeli ya Kronecker, uwiano wa sampuli umetolewa kama:

\[ SR = \frac{M_1M_2}{N_1N_2} \]

M₁M₂ inawakilisha jumla ya idadi ya vipimo na N₁N₂ jumla ya idadi ya pikseli katika picha. Ulinganisho mkuu wa majaribio ulifanywa katika hali ya SR=%100. Kwa hiyo, utafiti unalenga zaidi kuunda upya mwonekano kamili wa asili kwa namna inayoweza kudhibitiwa kimahesabu kuliko kuonyesha mafanikio ya upigaji picha uliobanwa kwa sampuli ya chini sana.

Kwa nini total variation imetumika?

Katika picha za asili, pikseli jirani kwa kawaida hufanana; mabadiliko makubwa huonekana zaidi katika mipaka ya vitu na maumbo. Urekebishaji wa total variation (total variation, TV) hujaribu kupunguza kelele na kuhifadhi kingo kwa kuweka sehemu kubwa ya gradient za picha kuwa ndogo.

TV ya kawaida hutegemea waendeshaji wa tofauti wa mpangilio wa kwanza au mpangilio mwingine kamili. Ingawa mbinu hii hufanya vizuri katika maeneo tambarare, inaweza kusababisha artefakti ya “staircasing” inayogawanya mabadiliko laini ya toni kuwa ngazi na kusawazisha kupita kiasi maumbo madogo.

Fractional-order total variation (fractional-order total variation, FOTV) hufafanua gradient katika mpangilio α usio namba kamili. Kwa kuwa derivative ya sehemu hutegemea si pikseli jirani za karibu pekee bali historia pana ya ujirani, ina muundo usio wa eneo moja. Katika mbinu ya utafiti, lengo ni kupunguza kelele huku ikihifadhi mistari na maumbo madogo.

Tatizo la uboreshaji la KronFOTV-SPI ni nini?

Tatizo lililopendekezwa la uundaji upya kwanza limefafanuliwa kama:

\[ \underset{\mathbf{X}}{\operatorname{arg\,min}}\;FOTV_1^{\alpha}(\mathbf{X})\quad\text{koşuluyla}\quad \mathbf{Y}=\mathbf{A}\mathbf{X}\mathbf{B}^{\mathsf{T}} \]

Katika utekelezaji wa discrete linaandikwa kama:

\[ \underset{\mathbf{X}}{\operatorname{arg\,min}}\;\|\nabla^{\alpha}\mathbf{X}\|_1\quad\text{koşuluyla}\quad \mathbf{Y}=\mathbf{A}\mathbf{X}\mathbf{B}^{\mathsf{T}} \]

• ∇^αX: Ni gradient ya sehemu ya mpangilio α ya picha.
• ||·||₁: Ni jumla ya thamani kamili za coefficients za gradient.
• Y=AXB^T: Ni sharti la data linalohakikisha picha iliyoundwa upya inalingana na vipimo vya kimwili.

Gradient ya sehemu imehesabiwaje?

Watafiti wametumia mbinu ya tofauti ya sehemu ya Grünwald-Letnikov. Gradient ya pande mbili ina vipengele vya mlalo na wima:

\[ (\nabla^{\alpha}\mathbf{X})_{i,j} = \left[(\nabla_h^{\alpha}\mathbf{X})_{i,j}, (\nabla_v^{\alpha}\mathbf{X})_{i,j}\right] \]

Kipengele cha mlalo:

\[ (\nabla_h^{\alpha}\mathbf{X})_{i,j} =\sum_{k=0}^{K}(-1)^k \binom{\alpha}{k}X_{i,j-k} \]

Kipengele cha wima:

\[ (\nabla_v^{\alpha}\mathbf{X})_{i,j} =\sum_{k=0}^{K}(-1)^k \binom{\alpha}{k}X_{i-k,j} \]

Coefficient ya binomial iliyopanuliwa ni:

\[ \binom{\alpha}{k} =\frac{\Gamma(\alpha+1)} {\Gamma(k+1)\Gamma(\alpha-k+1)} \]

Na Gamma function ni:

\[ \Gamma(\tau)=\int_{0}^{\infty}e^{-x}x^{\tau-1}\,dx \]

α isipokuwa namba kamili, coefficients hutoa uzito tofauti kwa pikseli jirani katika umbali tofauti. Thamani K huamua tofauti ya sehemu itahesabiwa hadi jirani wangapi. Hata hivyo, urefu wa kukata K uliotumika katika majaribio haujaripotiwa wazi.

Algoriti ya ADMM hutatua picha vipi?

Ili kutenganisha neno L1 lisilo laini na gumu kutofautishwa kutoka sharti la data, kigezo msaidizi Z=∇^αX kimefafanuliwa. Katika augmented Lagrangian, vikwazo viwili vimezingatiwa pamoja:

\[ \mathbf{Y}=\mathbf{A}\mathbf{X}\mathbf{B}^{\mathsf{T}} \]

na

\[ \mathbf{Z}=\nabla^{\alpha}\mathbf{X} \]

Muundo wa msingi wa function ni:

\[ \mathcal{L}_{\mu,\beta} =\|\mathbf{Z}\|_1 +\langle\mathbf{U},\mathbf{Y}-\mathbf{A}\mathbf{X}\mathbf{B}^{\mathsf{T}}\rangle +\frac{\mu}{2}\|\mathbf{Y}-\mathbf{A}\mathbf{X}\mathbf{B}^{\mathsf{T}}\|_F^2 +\langle\mathbf{V},\mathbf{Z}-\nabla^\alpha\mathbf{X}\rangle +\frac{\beta}{2}\|\mathbf{Z}-\nabla^\alpha\mathbf{X}\|_F^2 \]

• U na V: Ni vizidishi vya Lagrange vya vikwazo viwili.
• μ na β: Ni coefficients za adhabu za uthabiti wa data na uthabiti wa gradient ya sehemu.
• ||·||_F: Ni Frobenius norm; mzizi wa mraba wa jumla ya mraba wa vipengele vya matriksi.

Alternating Direction Method of Multipliers (ADMM) hugawanya tatizo katika hatua mbili ndogo.

Tatizo dogo la prior: sasisho la Z

Kigezo Z husasishwa kwa soft thresholding:

\[ \mathbf{Z}^{k+1} =\operatorname{soft} \left(\nabla^\alpha\mathbf{X}^{k} -\frac{\mathbf{V}^{k}}{\beta}, \frac{1}{\beta}\right) \]

Soft-thresholding function:

\[ \operatorname{soft}(v,\sigma) =\max(|v|-\sigma,0)\operatorname{sgn}(v) \]

Hatua hii husogeza gradient ndogo za sehemu kuelekea sifuri ili kupunguza kelele huku ikijaribu kuhifadhi gradient kubwa, yaani kingo na maumbo yanayoonekana wazi.

Tatizo dogo la data: sasisho la X

Kigezo X huhesabiwa ili kiendane na vipimo pamoja na gradient ya sehemu iliyosasishwa. Equation ya Euler-Lagrange ina muundo:

\[ \mu\mathbf{A}^{\mathsf{T}}\mathbf{A} \mathbf{X}\mathbf{B}^{\mathsf{T}}\mathbf{B} +\beta(\nabla^\alpha)^{\mathsf{T}}\nabla^\alpha\mathbf{X} =\mathbf{T}^{k} \]

Baada ya vectorization, suluhisho limetolewa kama:

\[ \mathbf{X}^{k+1} =\operatorname{mat} \left(\mathbf{H}^{-1} \operatorname{vec}(\mathbf{T}^{k})\right) \]

Ambapo:

\[ \mathbf{H} =\mu(\mathbf{B}^{\mathsf{T}}\mathbf{B}) \otimes(\mathbf{A}^{\mathsf{T}}\mathbf{A}) +\beta(\nabla^\alpha)^{\mathsf{T}}\nabla^\alpha\mathbf{I} \]

hutumika. Ingawa H^-1 imeandikwa katika uwakilishi wa algoriti, kwa tatizo lenye variables 786.432 haiwezekani kivitendo kuunda matriksi hii wazi na kuigeuza. Kwa kuwa makala inaripoti matumizi ya kumbukumbu ya 12,5 MiB, ni lazima utekelezaji uwe umetumia muundo maalum wa matriksi au operesheni zisizo wazi; hata hivyo, maelezo haya ya utekelezaji hayajaelezwa wazi.

Kusasisha vizidishi vya Lagrange

Baada ya kila iteration, vizidishi vinavyohusiana na vikwazo vya kipimo na gradient husasishwa:

\[ \mathbf{U}^{k+1} =\mathbf{U}^{k} +\mu(\mathbf{Y}-\mathbf{A}\mathbf{X}^{k+1}\mathbf{B}^{\mathsf{T}}) \]

\[ \mathbf{V}^{k+1} =\mathbf{V}^{k} +\beta(\mathbf{Z}^{k+1}-\nabla^\alpha\mathbf{X}^{k+1}) \]

Algoriti hukomeshwa mabaki ya kipimo na prior yanapokuwa madogo vya kutosha au idadi ya juu ya iterations inapofikiwa. Hata hivyo, thamani za μ, β, tolerance δ, iteration ya juu K na thamani za picha ya mwanzo zilizotumika katika majaribio hazijatolewa.

Mpangilio wa majaribio ya macho uliundwaje?

Muonekano wa juu kwenye ukurasa wa 9 ambako Kielelezo 1 kipo unaonyesha njia ya mwanga ndani ya mfumo. Mpangilio ulikuwa na vipengele vifuatavyo:

• Leza ya wimbi endelevu ya 532 nm
• Mfumo wa 4f wa kupanua boriti unaojumuisha lenzi mbili na tundu la sindano
• Kichujio cha anga kinachosawazisha wasifu wa mwanga
• Kifaa cha kioo kidogo cha kidijitali Texas Instruments DLP V7000
• Mwonekano wa vioo vidogo 1024×768
• Nafasi ya kioo kidogo 13,68×13,68 µm
• Iris inayochagua daraja la sifuri la diffraction
• Lenzi ya upigaji picha inayotupa mifumo kwenye lengo
• Lenzi inayokusanya mwanga unaopita
• Kigunduzi cha pikseli moja Thorlabs PDA100A2
• Kifaa cha kukusanya data USB3133A

Mifumo ya Hadamard iliyopangwa kwa Cake-Cutting ilipakiwa kwenye DMD kwa kasi ya 10 kHz. Ukuzaji wa lenzi ya upigaji picha uliwekwa 1,53×. Kitu cha kwanza cha majaribio kilikuwa lengo hasi la mwonekano la USAF 1951 lenye jozi za mistari kuanzia Group 0 hadi Group 7.

Mbinu nne zilizolinganishwa ziliundwaje?

Katika jaribio la lengo la USAF, nguvu ya mwanga ilidumishwa katika 2,565 mW/cm², gain ya kigunduzi 20 dB na uwiano wa sampuli %100.

Kielelezo 2 kinaonyesha nini kuhusu uga wa kuona na mwonekano?

Kielelezo 2 kwenye ukurasa wa 11 kinalinganisha maeneo yanayofunikwa na wasifu wa mistari wa mbinu nne kwenye lengo lile lile la mwonekano.

• TSPI: Inaweza kutofautisha mistari midogo lakini hupiga picha sehemu ndogo tu ya lengo.
• PBSPI: Hufunika eneo kubwa zaidi lakini mistari midogo huwa hafifu kutokana na kuunganisha pikseli.
• PSPI: Hutoa uga mpana zaidi kuliko TSPI; tofauti za mwangaza na mipaka ya kuunganisha huonekana kwenye mipaka ya maeneo madogo.
• KronFOTV-SPI: Huunda upya lengo lote katika pikseli 1024×768 kwa mistari na kingo zinazoonekana wazi.

Kulingana na wasifu wa msongamano wa mistari, TSPI na PSPI zilifikia mwonekano wa mistari wa 44,19 µm unaolingana na Group 3 Element 4. KronFOTV-SPI pia ilihifadhi mwonekano huo wa 44,19 µm katika uga mzima mpana. Nafasi ndogo zaidi ya mistari ambayo PBSPI iliweza kutofautisha iliripotiwa kuwa 111,36 µm, inayolingana na Group 2 Element 2.

Ongezeko la uga wa kuona linapaswa kuhesabiwaje?

Ulinganisho dhidi ya mbinu ya kawaida kwa msingi wa idadi ya pikseli ni:

\[ \frac{1024\times768}{128\times128}=48 \]

Kwa hiyo, ongezeko la uga wa kuona mara 48 lililoripotiwa linaendana na Table 1.

Uwiano wa eneo la pikseli ukilinganishwa na SPI sambamba ni:

\[ \frac{1024\times768}{464\times464}\approx3,65 \]

na ukilinganishwa na SPI ya kuunganisha pikseli ni:

\[ \frac{1024\times768}{768\times768}\approx1,33 \]

. Thamani hizi haziendani na uwiano wa 1,8× na 2,2× uliotolewa katika muhtasari na sehemu ya hitimisho kwa SPI sambamba na PBSPI. Hata vipimo vya mstari vya mlalo au wima vikilinganishwa kando, jozi moja ya 1,8× na 2,2× haipatikani. Kwa hiyo, uwiano huu miwili katika maandishi asilia unahitaji maelezo au marekebisho.

Matokeo ya kumbukumbu na muda wa usindikaji ni yapi?

Majaribio yalifanywa kwenye kompyuta yenye MATLAB R2020b, kichakataji Intel Core i5-12490F, 32 GB RAM na Windows 10. Thamani ziliripotiwa kama wastani wa marudio 20.

Matumizi ya kumbukumbu ya KronFOTV-SPI ni takribani %0,61 ya 2 GiB; kwa maneno mengine, takribani sehemu moja ya 164 ya matriksi ya kawaida. Muda wa usindikaji ni takribani %44 ya muda wa TSPI na takribani %4,6 ya muda wa PSPI.

Muda huu unaonyesha uundaji upya wa kompyuta pekee. Katika sampuli kamili ya pikseli 1024×768, mifumo 786.432 inahitajika. Ikiwa mifumo inaonyeshwa kwa kasi ya 10 kHz na ikidhaniwa kuwa kila mfumo unalingana na kipimo kimoja bila kuchelewa zaidi, muda wa chini kabisa wa kuonyesha mifumo utakuwa:

\[ \frac{786.432}{10.000}\approx78,64\ \text{saniye} \]

Kwa hiyo, utafiti hauonyeshi kwamba upataji wa picha kutoka mwanzo hadi mwisho hukamilika ndani ya sekunde 6,25.

Kielelezo 3 kinaeleza nini kuhusu ubora wa picha?

Kielelezo 3 kwenye ukurasa wa 13 kinaonyesha picha iliyoundwa upya kwa kila mbinu pamoja na mwonekano uliokuzwa wa eneo la kati. Katika ukubuzaji wa PBSPI, uundaji wa vizuizi na kuungana kwa mistari huonekana wazi. Katika picha pana ya PSPI, kutolingana kwa usuli kati ya maeneo madogo tofauti kunaonekana. KronFOTV-SPI, huku ikifunika eneo pana zaidi, huonyesha makundi ya mistari kwa ukali unaokaribia TSPI.

Vipimo vya ubora wa picha visivyohitaji rejea vilionyesha nini?

Kwa sababu ilionekana kuwa vigumu kupata picha halisi ya rejea iliyolinganishwa, utafiti ulitumia vipimo vitatu vya ubora wa picha visivyohitaji rejea: BRISQUE, NIQE na PIQE. Katika vipimo vyote vitatu, thamani ndogo hufasiriwa kama ubora wa juu wa kuona.

KronFOTV-SPI ilitoa thamani ya chini zaidi ya NIQE na matokeo sawa na TSPI na PSPI kwa BRISQUE. Hata hivyo, thamani yake ya PIQE ilikuwa juu kuliko TSPI na PSPI. Kwa hiyo, kwenye lengo la USAF, mbinu iliyopendekezwa si bora zaidi katika vipimo vyote vya ubora; inaweza kusemwa kwamba inadumisha ubora unaokaribia TSPI ya uga mdogo licha ya uga wake mpana.

Kwa kuwa vipimo kama BRISQUE na NIQE hutegemea takwimu za picha za asili, tafsiri yake kwenye lengo la USAF lenye mistari ya binary inaweza kuwa na mipaka. Zaidi ya hayo, vipimo hivi haviwezi kuchukua nafasi kikamilifu ya PSNR, SSIM au kipimo cha modulation transfer function kinachotegemea rejea inayojulikana.

Kwa nini mpangilio wa sehemu α=1,4 ulichaguliwa?

Katika Kielelezo 4 kwenye ukurasa wa 15, coefficient α ilibadilishwa kati ya 0,2 na 2,0. Kwa kila thamani, marudio 20 yalifanywa na wastani pamoja na standard deviation za vipimo vya ubora zikaonyeshwa.

• α=0,6: Urekebishaji ulibaki dhaifu; usuli ulikuwa na kelele, contrast ndogo na mistari midogo isiyo wazi.
• α=1,0: Kelele ilipungua lakini maelezo madogo hayakufikia kiwango bora.
• α=1,4: PIQE ilifikia kiwango cha chini kabisa na kwa kuonekana ilitoa uwiano bora zaidi kati ya kelele na maelezo.
• α=1,8: Picha ilisawazishwa zaidi na kupoteza maelezo ya masafa ya juu.

Mchoro wa BRISQUE ulikaa karibu thabiti kote α, huku NIQE ikiendelea kushuka α ilipoongezeka. Kwa hiyo, α=1,4 si minimum ya kihisabati ya vipimo vyote kwa wakati mmoja. Chaguo hili limehalalishwa hasa na minimum ya PIQE na uwiano wa kuona kati ya maelezo na kelele.

Nini kilipatikana kwenye sampuli halisi ya jani?

Katika jaribio la pili, jani lililokaushwa la Caladium bicolor lenye mtawanyiko lilitumika. Nguvu ya mwangaza iliwekwa 6,86 mW/cm² na gain ya kigunduzi 20 dB.

Katika picha ya rejea ya Kielelezo 5 kwenye ukurasa wa 16, maeneo yanayofunikwa na mbinu nne yanaonyeshwa kwa visanduku vya rangi:

• Bluu: KronFOTV-SPI
• Zambarau: PBSPI
• Kijani: PSPI
• Nyekundu: TSPI

KronFOTV-SPI ilifunika sehemu kubwa karibu ya jani lote huku ikihifadhi mishipa mikuu, mishipa ya pili ya pembeni na muundo wa mishipa midogo ya mtandao katikati. Picha ya PBSPI ilionekana ya vizuizi na hafifu, ya PSPI ilikuwa na usuli usio sawa, na ya TSPI ilikuwa kali lakini ya eneo dogo sana.

Thamani zilizozungushwa za BRISQUE/NIQE/PIQE zilizoonyeshwa kwa eneo la mshipa wa kati uliokuzwa ni:

Mbinu iliyopendekezwa ilitoa thamani za chini zaidi za BRISQUE na PIQE. Thamani za NIQE zikizungushwa hadi nafasi mbili za desimali zinaonekana 18,88 kwa mbinu zote; kwa hiyo, kielelezo hiki pekee hakiwezi kutoa hitimisho la ubora dhahiri wa NIQE.

Nguvu za mbinu ni zipi?

• Imetumia eneo lote tendaji la DMD la pikseli 1024×768 kwa kigunduzi kimoja.
• Imepunguza sana matumizi ya kumbukumbu kwa kugawanya matriksi kubwa ya kawaida ya vipimo katika matriksi mbili ndogo.
• Haihitaji mafunzo ya kujifunza kwa kina au seti kubwa ya data ya mafunzo.
• Kwa kuwa inategemea modeli ya kimwili, hatua zake za usindikaji zinaelezeka zaidi kuliko black box iliyofunzwa.
• Imehifadhi mwonekano wa mistari wa 44,19 µm katika uga mpana kwenye lengo sanifu la mwonekano.
• Imewezesha kuonekana kwa miundo ya mishipa katika viwango tofauti kwenye sampuli halisi ya jani.
• Imetumia kigunduzi kimoja tu dhidi ya PSPI yenye vigunduzi 16.
• Muda wa usindikaji na vipimo vya kumbukumbu vimeripotiwa kwa marudio 20.

Mapungufu ya utafiti ni yapi?

• Hali ya preprint: Utafiti haujapitiwa na wataalamu wenza.
• Aina chache za malengo: Lengo la USAF 1951 na sampuli moja ya jani pekee zimetumika.
• Sampuli kamili: Matokeo makuu yanategemea uwiano wa sampuli wa %100; utendaji kwa idadi ndogo ya vipimo haujaonyeshwa.
• Muda wa jumla wa upataji: Sekunde 6,25 ni za uundaji upya pekee; muda wa kuonyesha mifumo na kukusanya data haujajumuishwa.
• Vitu vinavyosogea: Athari ya mwendo wa kitu wakati wa takribani mamia ya maelfu ya vipimo mfululizo haijajaribiwa.
• Utendaji katika mwanga hafifu: Viwango tofauti vya photon, kelele ya kigunduzi au uwiano wa signal-to-noise havijatathminiwa kwa utaratibu.
• Upungufu wa parameters: μ, β, tolerance, idadi ya juu ya iterations na urefu wa kukata tofauti ya sehemu havijaripotiwa.
• Maelezo ya utekelezaji: Haijaelezwa jinsi matriksi kubwa H inavyogeuzwa au kutatuliwa kwa namna isiyo wazi katika vitendo.
• Kutolingana kwa uwiano wa FOV: Uwiano ulioripotiwa wa 1,8× na 2,2× dhidi ya mbinu sambamba na ya kuunganisha pikseli hauendani na vipimo vya jedwali.
• Vipimo vya ubora: Vipimo vya ubora wa picha asilia visivyohitaji rejea vimetumika kwenye lengo la USAF, huku vipimo kamili vya kosa vinavyotegemea rejea havijatolewa.
• Ulinganisho wa takwimu: Ingawa wastani na standard deviation zimetolewa, hakuna jaribio la umuhimu wa takwimu lililofanywa kwa tofauti kati ya mbinu.
• Uwezo wa kujumlisha: Matumizi katika upigaji picha wa kitabibu, remote sensing na ukaguzi wa viwandani hayajaonyeshwa kwa majaribio; yametajwa tu kama maeneo yanayowezekana ya matumizi.

Matokeo yanayoungwa mkono na utafiti

• Utenganishaji wa Kronecker umepunguza hitaji la kuhifadhi wazi matriksi kamili ya vipimo ya pikseli 1024×768.
• Katika mpangilio uliopendekezwa wa majaribio, eneo lote asilia la pikseli za DMD limetumika kwa kigunduzi kimoja.
• Mwonekano wa 44,19 µm umehifadhiwa katika uga mpana wa kuona kwenye lengo la USAF.
• Coefficient ya FOTV α=1,4 imeonekana kufaa kwa lengo la USAF lililochunguzwa kwa PIQE na uwiano wa kuona wa maelezo.
• Katika sampuli ya jani, KronFOTV-SPI imetoa picha pana zaidi na yenye maelezo zaidi ya mtandao wa mishipa kuliko mbinu zilizolinganishwa.
• Kwenye kompyuta na utekelezaji wa MATLAB uliotajwa, matumizi ya kumbukumbu ya 12,5 MiB na muda wa usindikaji wa takribani sekunde 6,25 yamepimwa.

Matokeo ambayo utafiti haujathibitisha

• Mfumo haujaonyesha video ya pikseli moja ya 1024×768 kwa wakati halisi.
• Haijaonyeshwa kwamba upataji wa picha wote hukamilika ndani ya sekunde 6,25.
• Haijathibitishwa kwamba ubora na mwonekano ule ule utahifadhiwa katika uwiano wa chini wa sampuli.
• Mafanikio katika tishu hai inayosogea au upigaji picha wa kliniki hayajaonyeshwa.
• Hakuna ushahidi wa utambuzi wa kitabibu, ugunduzi wa ugonjwa au matumizi salama ya kliniki uliotolewa.
• Uwezo wa kurudiwa katika maabara tofauti, vifaa tofauti vya DMD au urefu tofauti wa wimbi haujatathminiwa.
• Haijaonyeshwa kwamba KronFOTV-SPI ni bora kuliko mbinu nyingine kwa picha zote na hali zote za kelele.

Matokeo yana maana gani kiteknolojia na kimatumizi?

Mchango dhahiri zaidi wa utafiti ni kupunguza kikwazo cha kumbukumbu kinachozuia matumizi ya pikseli zote za modulator ya kimwili. Mbinu hii inaweza kutathminiwa hasa katika mifumo ya upigaji picha inayofanya kazi nje ya mwanga unaoonekana, ambako safu za sensa zenye mwonekano wa juu hazipatikani au ni ghali.

Modeli ya Kronecker inaweza baadaye kuunganishwa na modulator tofauti kama DMD yenye mwonekano wa juu zaidi, spatial light modulator ya liquid crystal, diski inayozunguka ya coding, safu ya LED au safu ya leza. Katika makala, kikomo cha juu cha kinadharia cha mwonekano kimeonyeshwa kama:

\[ N_{\max}=N_{\mathrm{SLM}} \]

Hapa N_SLM ni jumla ya idadi ya pikseli za kifaa cha modulation. Kwa DMD ya utafiti:

\[ 1024\times768=786.432\approx7,86\times10^5 \]

degrees of freedom za anga zinapatikana. Usawa huu unaonyesha kwamba pikseli zote za modulator zinaweza kuwekewa coding kivyake; hauondoi mipaka halisi ya mfumo kama kikomo cha diffraction ya macho, ubora wa lenzi, imaging ya pikseli za DMD, uwiano wa signal-to-noise na uthabiti wa mitambo.

Mbinu na Matokeo ya Utafiti

Muhtasari wa kiufundi wa mbinu

Matokeo makuu ya kiasi

• Uga wa kuona wa KronFOTV-SPI: Pikseli 1024×768
• Matumizi ya anga ya DMD: %100
• Ongezeko la eneo la pikseli dhidi ya SPI ya kawaida ya 128×128: Mara 48
• Mwonekano wa KronFOTV-SPI: 44,19 µm
• Mwonekano wa PBSPI: 111,36 µm
• Matumizi ya kumbukumbu ya KronFOTV-SPI: 12,5 MiB
• Matumizi ya kumbukumbu ya mbinu za kawaida: 2 GiB
• Muda wa wastani wa uundaji upya wa KronFOTV-SPI: Sekunde 6,2535
• Muda wa wastani wa uundaji upya wa TSPI: Sekunde 14,210
• Muda wa wastani wa uundaji upya wa PBSPI: Sekunde 14,919
• Muda wa wastani wa uundaji upya wa PSPI: Sekunde 135,54
• NIQE ya chini zaidi kwenye lengo la USAF: KronFOTV-SPI, 18,8688 ± 0,0004
• PIQE ya chini zaidi kwenye lengo la USAF: TSPI, 52,1962 ± 3,1968
• BRISQUE/NIQE/PIQE ya KronFOTV-SPI katika eneo la kati la jani: 35,45/18,88/17,43

Ujumbe mkuu wa vielelezo

Taarifa zinazokosekana kwa ajili ya kurudiwa

• Parameters za adhabu za ADMM μ na β
• Tolerance ya kusimamisha δ
• Idadi ya juu ya iterations
• Picha ya mwanzo
• Urefu wa kukata K wa gradient ya sehemu
• Mbinu ya vitendo ya kutatua matriksi H
• Mpangilio kamili wa usawazishaji kati ya DMD na DAQ
• Muda wa integration kwa kila kipimo
• Muda wa jumla wa kukusanya data
• Hifadhi ya wazi ya msimbo chanzo na data za majaribio

Maelezo ya Chanzo na Mbinu

• Jina kamili asilia la utafiti: Wide-field, native-resolution single-pixel imaging via Kronecker product modeling and fractional-order total variation regularization
• Waandishi na mpangilio wao: Qi Zhou; Xiaohui Zhu; Yanfeng Bai; Jintao Zhai; Jian Li; Xiaoqian Liang; Weijun Zhou; Wei Tan; Xianwei Huang; Xiquan Fu
• Mchango sawa: Qi Zhou na Xiaohui Zhu walichangia kwa kiwango sawa katika utafiti.
• Waandishi wa mawasiliano: Xiaohui Zhu, Yanfeng Bai, Xianwei Huang na Xiquan Fu
• Taasisi 1: College of Computer Science and Electronic Engineering, Hunan University, Changsha, China
• Taasisi 2: Yuelushan Center for Industrial Innovation, Changsha, China
• Taasisi 3: School of Electrical and Information Engineering, Hunan Institute of Engineering, Xiangtan, China
• Aina ya chanzo: Makala ya utafiti wa majaribio ya preprint
• Hali ya mapitio ya wataalamu wenza: Utafiti huu ni preprint na haujapitiwa na wataalamu wenza.
• Jukwaa la uchapishaji: SSRN
• Tarehe ya kuchapishwa kwenye SSRN: 18 Juni 2026
• DOI: 10.2139/ssrn.6963127
• Nambari ya rekodi ya SSRN: 6963127
• Jarida lililopitiwa na wataalamu wenza: Toleo la jarida lililopitiwa na wataalamu wenza halijathibitishwa.
• Mchapishaji asilia aliyepitiwa: Hakuweza kuthibitishwa kutokana na toleo hili la preprint.
• Kiungo rasmi:Ukurasa wa utafiti wa SSRN
• Upatikanaji wa data: Makala inaeleza kwamba data zitatolewa kwa ombi; hakuna hifadhi ya data ya wazi iliyotolewa.
• Mgongano wa maslahi: Waandishi wameripoti kwamba hakuna mgongano wa maslahi.

Makala hii ya Verianla imeandaliwa baada ya kuchunguza maandishi makuu, modeli ya kihisabati, algoriti ya uboreshaji, hali za majaribio, majedwali, ulinganisho wa michoro na picha, majadiliano na sehemu ya hitimisho ya PDF ya kurasa 24 iliyopakiwa. Hakuna mafanikio ya majaribio, manufaa ya kliniki au uthibitishaji wa uwanjani wa viwandani ambao haupo kwenye PDF ulioongezwa. Chanzo cha nje kilitumika tu kuthibitisha rekodi ya SSRN, DOI, tarehe ya kupakiwa na utambulisho wa kibibliografia.

Matokeo ya utafiti yalipatikana katika kiwango cha maabara, katika mpangilio wa macho uliodhibitiwa na kwenye vitu viwili vya majaribio visivyosogea. Haijaonyeshwa kwamba KronFOTV-SPI iko tayari kwa matumizi ya moja kwa moja katika upigaji picha wa kitabibu, ukaguzi wa viwandani au remote sensing. Kwa matumizi halisi, viwango vya chini vya sampuli, mwendo, kiwango cha mwanga kinachobadilika, urefu tofauti wa wimbi, mtawanyiko, makosa ya calibration, muda wa jumla wa upataji na uwezo wa kurudiwa katika mifumo huru vinapaswa kutathminiwa.