CipherAPR ni mfumo wa nje ya mtandao wa kubuni polinomu za digrii mseto unaochagua, kwa kila tabaka, digrii za polinomu zitakazotumika badala ya aktivishaji za ReLU katika mitandao ya neva inayofanya kazi chini ya usimbaji homomorfiki kamili wa RNS-CKKS, huku ukizingatia matumizi ya ciphertext-level katika uchaguzi huo. Tatizo kuu la utafiti ni kwamba makadirio ya ReLU ya digrii kubwa hutumia multiplicative depth zaidi huku yakihifadhi usahihi, na kuongeza operesheni ghali za bootstrapping. CipherAPR hailengi tu kupunguza idadi ya bootstrapping; pia hujumuisha katika uamuzi wa usanifu kiwango ambacho viwango vya ciphertext vilivyorejeshwa baada ya bootstrapping vinatumika kwa ufanisi.

Mfumo una vipengele vinne vikuu. Low-Magnitude Activation Ratio (LMAR) hutambua tabaka za aktivishaji ambazo viingizo vyake vimejikusanya katika eneo nyeti karibu na sifuri la ReLU, na kutoa kipaumbele kwa tabaka zinazopaswa kupewa digrii kubwa zaidi. Domain-Adaptive Approximation (DAAP) huunda eneo la ukadiriaji wa polinomu linalolingana na masafa ya aktivishaji yaliyoonekana katika kila tabaka. Multi-Objective Coefficient Tuning (MOCT) hujaribu kupunguza hitilafu ya ukadiriaji huku pia ikidhibiti ukubwa wa vigawo na tabia nje ya eneo kuu. Ciphertext-Level Utilization (CLU) huweka nyuma katika mchakato wa utafutaji usanidi wa wagombea unaotumia bajeti ya level iliyorejeshwa katika sehemu za bootstrapping kwa kutokuwa na uwiano.

Katika utafiti, kwenye CIFAR-10 na CIFAR-100 ilitathminiwa mitandao ya ResNet20, ResNet32, ResNet44 na VGG11. Chini ya mipangilio ileile ya RNS-CKKS, CipherAPR ilitoa speedup ya 1,09×–1,39× katika configurations zilizoripotiwa ikilinganishwa na AutoFHE, huku ikihifadhi ciphertext accuracy inayofanana. Katika mfano ulio wazi zaidi wa CIFAR-10/ResNet20, AutoFHE ikiwa na 11 bootstrapping na total latency ya sekunde 4659 ilitoa ciphertext accuracy ya %92,89, huku CipherAPR ikiwa na 7 bootstrapping na latency ya sekunde 3341 ikitoa accuracy ya %92,61.

Matokeo haya hayapaswi kufasiriwa kwamba “bootstrapping chache huwa haraka kiotomatiki katika kila hali”. Chanzo kinaonyesha kuwa level ambayo ciphertext ipo pia huathiri gharama ya operesheni kama rotation, rescaling na key-switching. Katika baadhi ya usanidi, gharama ya operesheni za mstari ya CipherAPR iliongezeka, lakini kupungua zaidi kwa muda wa bootstrapping kulipunguza tena ucheleweshaji wa jumla.

CipherAPR si primitive mpya ya usimbaji FHE na haibadilishi utaratibu wa usalama wa RNS-CKKS. LMAR, DAAP, MOCT, CAPR na CLU hufanya kazi katika usanifu wa modeli wa nje ya mtandao juu ya aktivishaji za plaintext training/calibration au vigezo vya public model. Viingizo vya mtumiaji mtandaoni hubaki vimesimbwa chini ya RNS-CKKS ya kawaida; chanzo kinasema confidentiality hurithiwa kutoka kwa vigezo vya RNS-CKKS vilivyotumika na dhana ya usalama ya Ring Learning With Errors.

Kwa nini tatizo hili linatokea?

Fully Homomorphic Encryption (FHE) huruhusu seva kufanya hesabu juu ya data iliyosimbwa bila kubadilisha data ya mtumiaji kuwa maandishi wazi. Kipengele hiki ni muhimu katika mazingira ya Machine Learning as a Service: mtumiaji husimba ingizo lake, seva huendesha inference ya mtandao wa neva juu ya ciphertext, na mtumiaji hufungua tu matokeo ya mwisho yaliyosimbwa upande wake.

RNS-CKKS inayotumiwa na utafiti ni mpango wa FHE unaosaidia aritmetiki ya makadirio ya namba halisi au changamano. Vekta ya ujumbe husimbwa katika umbo la plaintext polynomial \(m(x)\) na kusimbwa kama ciphertext. Hesabu:

hufanywa juu ya cyclotomic ring.

Hapa modulus ni:

kwa umbo hili. \(\ell\) ni thamani ya ciphertext level inayoonyesha multiplicative capacity iliyobaki ya ciphertext. Kwa sababu kila homomorphic multiplication huongeza scale ya ciphertext, kwa kawaida rescaling huhitajika. Rescaling huondoa prime ya mwisho \(q_\ell\) kutoka modulus chain:

na hivyo level moja hutumika.

Level inapokaribia sifuri, bootstrapping huhitajika ili ciphertext iweze kubeba multiplication zaidi. Bootstrapping huinua ciphertext tena hadi level ya juu inayoweza kutumika, lakini ni operesheni ghali sana katika encrypted inference ya RNS-CKKS.

Kwa Nini Kupunguza Idadi ya Bootstrapping Pekee Hakutoshi?

Ingawa idadi ya bootstrapping ni muhimu, gharama ya operesheni ya RNS-CKKS pia hutegemea level ambayo ciphertext inahesabiwa; level ya juu ina RNS prime hai nyingi zaidi, hivyo operesheni kama rotation, relinearization, multiplication na rescaling zinaweza kuwa ghali zaidi. Kwa hiyo CipherAPR haizingatii tu idadi ya bootstrapping, bali pia ufanisi wa matumizi ya bajeti ya level iliyorejeshwa baada ya bootstrapping katika sehemu mbalimbali.

Kwa nini level katika RNS-CKKS huathiri gharama ya operesheni?

Chanzo kinafafanua active RNS basis kama:

. Idadi ya prime hai ni:

kwa hiyo level inapoongezeka, modulus limb nyingi zaidi hushiriki katika hesabu.

Jumla ya gharama ya primitive homomorphic operation katika level \(\ell\) huandikwa:

.

Hapa \(\mathcal{P}\) inaonyesha aina za primitive operation kama AddCP, AddCC, MulCP, MulCC, Rot, Relin na RS; \(n_k\) idadi ya operesheni husika; na \(t_k(\ell)\) gharama ya operesheni moja katika level \(\ell\).

Utegemezi wa takriban wa level unaotumiwa na chanzo ni:

.

\(N\) ni ring degree. \(\alpha_k\) na \(\beta_k\) ni operation-dependent constants. Operesheni katika kundi la kwanza hukua takriban kwa mstari na idadi ya RNS limb hai; aina za rotation na relinearization zenye key-switching zina utegemezi mkubwa zaidi wa level katika cost model ya chanzo.

Kwa hiyo kupunguza effective level \(L_{\mathrm{eff}}\) baada ya bootstrapping kunaweza kupunguza gharama ya operesheni zinazofuata; lakini \(L_{\mathrm{eff}}\) iliyo chini sana inaweza kuacha multiplicative-depth isiyotosha na kuongeza tena idadi ya bootstrapping.

Chanzo kinaeleza kwa dhana inference latency ya jumla kama:

.

\(N_{\mathrm{boot}}\) ni idadi ya bootstrapping; \(T_{\mathrm{boot}}\) ni gharama ya bootstrapping moja; na \(T_{\mathrm{seg}}^{(j)}\) ni gharama ya hesabu ya sehemu kati ya bootstrapping mbili. Fomula inaonyesha wazi kwamba latency ya jumla haitegemei \(N_{\mathrm{boot}}\) pekee.

Kwa nini ReLU haiwezi kuhesabiwa moja kwa moja?

RNS-CKKS hutoa hasa arithmetic operations kama addition na multiplication. Katika CNN:

kazi hii si polynomial moja kwa moja. Kwa hiyo ReLU hubadilishwa na polynomial approximation inayofaa kwa homomorphic evaluation.

Chanzo kinaeleza ReLU kupitia sign function kama:

.

Sign function ni kazi ngumu kukadiriwa kwa usahihi wa juu na polynomial moja ya digrii ndogo kwa sababu ya discontinuity karibu na sifuri. Kwa hiyo utafiti hutumia composite polynomial:

.

Digrii ya kila sub-polynomial inaonyeshwa kama:

.

Multiplicative depth ya composite polynomial

Wakati Baby Step Giant Step (BSGS) polynomial evaluation inatumika, chanzo kinaweka upper bound ya depth ya sub-polynomial ya \(i\) kwa:

.

Composite depth ya jumla hukadiriwa kama:

.

Degree set ya juu kwa kawaida huzalisha polynomial yenye nguvu zaidi ya uelezaji ambayo inaweza kuongeza ReLU approximation fidelity, lakini inaweza kuhitaji multiplicative depth zaidi na hivyo bootstrapping ya mara nyingi zaidi au katika nafasi tofauti.

CipherAPR inaboresha tatizo gani?

Tuchukulie encrypted network yenye activation layer \(L\). Digrii za polynomial zinazotolewa kwa tabaka ni:

zinazoonyeshwa na degree vector. \(\mathbb{D}\) ni polynomial degree set inayoruhusiwa kutumika.

Seti ya bootstrapping placement zinazowezekana kwa degree configuration fulani \(\mathbf{d}\) hufafanuliwa kama:

. \(\Lambda\) huwakilisha cryptographic setting ya kudumu kama ring degree, modulus chain na security level.

Thamani ya latency ya configuration:

hufafanuliwa hivyo.

Hapa \(T(\mathbf{d},\pi;\Lambda)\) ni end-to-end encrypted inference latency chini ya polynomial degrees na bootstrapping placement maalum.

Tatizo kuu la uboreshaji ni:

.

Kwa hiyo CipherAPR haitafuti tu configuration ya haraka zaidi. Hutafuta layer-wise degree assignment yenye encrypted inference latency ya chini zaidi huku ikihifadhi minimum accepted accuracy constraint.

Mchakato wa hatua tatu wa usanifu wa nje ya mtandao wa CipherAPR

LMAR: Ni tabaka gani linahitaji zaidi ongezeko la digrii?

Tabia muhimu ya ReLU iko karibu na sifuri. Ingizo likienda upande hasi, toleo la ReLU huwa sifuri; upande chanya, ingizo hupitishwa. Polynomial approximation huwa katika hatari zaidi ya kuwakilisha vibaya uamuzi wa sign/gating hasa kwa thamani zilizo karibu na sifuri.

Kwa hiyo CipherAPR hufafanua Low-Magnitude Activation Ratio kwa layer \(\ell\):

Hapa \(x_{\ell,i}\) ni ingizo katika activation layer ya \(\ell\) la neuron ya \(i\); \(k_\ell\) ni jumla ya neuron katika layer hiyo; \(\epsilon\) ni threshold inayofafanua eneo la “karibu na sifuri”; na \(\mathbf{1}(\cdot)\) ni indicator function inayotoa 1 ikiwa sharti ni kweli na 0 ikiwa si kweli.

LMAR ni uwiano usio na kipimo katika masafa ya 0–1. LMAR kubwa inaonyesha kwamba sehemu kubwa zaidi ya activation input za tabaka iko karibu na sifuri. Chanzo hutumia hili kupanga tabaka zinazoweza kufaidika zaidi na polynomial degree ya juu chini ya level budget ileile.

LMAR Inapima Nini na Kwa Nini Ni Muhimu?

LMAR ni uwiano usio na kipimo unaopima ni kiasi gani cha viingizo vya tabaka la aktivishaji kiko katika eneo nyeti karibu na sifuri la ReLU; uwiano unapoongezeka, hatari ya polynomial ya digrii ndogo kuwakilisha vibaya tabia ya gating huwa muhimu zaidi, na CipherAPR huzipa tabaka hizo kipaumbele cha juu kwa ongezeko la digrii.

Threshold ya \(\epsilon\) inaamuliwaje?

Badala ya kuweka \(\epsilon\) kwa mkono, chanzo hutumia mbinu ya Otsu kwenye usambazaji wa activation magnitude wa tabaka zote.

Within-class variance:

Between-class variance:

.

\(w_1,w_2\) zinaonyesha uwezekano wa madarasa mawili ya activation-magnitude; \(\mu_1,\mu_2\) wastani wa madarasa; na \(\sigma_1^2,\sigma_2^2\) variance ndani ya darasa.

Chanzo huchagua \(\epsilon\) bora kama threshold inayoongeza:

uwiano huo.

Je, LMAR ni heuristic ya majaribio pekee?

Appendix A pia hutoa hoja ya kinadharia ya mpaka kwa upangaji wa LMAR. Acha layer pre-activation ya \(\ell\) iwe \(X_\ell\), na polynomial approximation iwe \(p_d(x)\). Ikiwa polynomial huhifadhi sign sahihi katika eneo \(|x|\ge\epsilon\), uwezekano wa gating sign inconsistency:

huwekewa upper bound.

Mlinganyo huu hausemi kwamba LMAR ni uwezekano halisi wa sign inconsistency kutokea. LMAR ni upper bound ya hatari chini ya shape constraint iliyotajwa.

Chanzo pia hutoa mpaka kwa athari ya approximation error kwenye expected loss:

.

Hapa \(L_\ell\) ni Lipschitz constant ya sub-network inayofuata; \(L_{\mathrm{loss}}\) ni Lipschitz constant ya loss function; na \(c_{\epsilon,d}\) inawakilisha maximum polynomial deviation ndani ya approximation region iliyo karibu na sifuri. Tafsiri ya chanzo ni kwamba, mambo mengine yakiwa sawa, LMAR kubwa inaweza kuongeza mchango wa approximation error kwenye expected loss.

Degree update inachaguliwaje?

Activation layer hupangwa kutoka kubwa hadi ndogo kwa thamani za LMAR. Ikiwa rank ya layer \(\ell\) ni \(r_\ell\), na jumla ya layer ni \(M\), normalized rank score:

huhesabiwa.

Tabaka zenye LMAR kubwa hukaribia 1; zenye LMAR ndogo hukaribia 0.

Kwa IncreaseDegree na DecreaseDegree, chanzo hutumia centered hinge functions:

Hapa \(\tau_c=0.5\), na \(m\in[0,0.5)\) ni update selectivity margin.

Action probabilities:

huhesabiwa.

ID ni ongezeko la degree, DD ni upunguzaji wa degree, na KD ni kuhifadhi degree. Kwa layer iliyobadilishwa katika iteration iliyotangulia, dynamic coefficients:

hupunguzwa. Chanzo hutumia utaratibu huu wa cooling kupunguza kubadilishwa kwa layer ileile mbele na nyuma mfululizo katika iteration zinazofuatana.

DAAP — kwa nini approximation domain hubadilika kulingana na layer?

Activation distribution ya kila layer si sawa. Kutumia approximation domain ileile pana kwa layer zote kunaweza kuunda tatizo la polynomial fitting lililo gumu kuliko inavyohitajika katika baadhi ya layer.

DAAP huchukua empirical activation bounds za layer \(\ell\) kama:

na huhesabu symmetric core radius kama:

.

\(B>1\) ni global scaling factor inayotumika kwa activation-domain normalization. Chanzo kinasisitiza kuwa hii si ukubwa sawa na CKKS encryption scale. \(a>0\) ni minimum core-domain radius.

Core domain:

na extended domain ni:

hufafanuliwa hivyo.

\(\rho_{\mathrm{ext}}>1\) huunda ukingo wa usalama kwa activation tail zinazoweza kutokea nje ya normal core domain.

Kwa Nini DAAP na MOCT Hutumiwa Pamoja?

DAAP hubadilisha eneo la ukadiriaji wa polinomu kulingana na usambazaji halisi wa activation wa layer, huku MOCT ikirekebisha coefficients za polinomu hiyo kwa kuzingatia kwa pamoja core error, tabia ya extended-domain, curvature na ukubwa wa coefficient; lengo ni kupata approximation error ndogo na tabia thabiti zaidi ya namba kwa ciphertext arithmetic chini ya polynomial degree ileile.

MOCT loss function

Final ReLU approximation:

hufafanuliwa hivyo.

MOCT hutumia sehemu nne za loss.

Core Error (CE):

ni maximum approximation error ndani ya core domain.

Extended Domain Constraint (EDC):

huadhibu polynomial output inapopita nje ya kiwango salama kinachotarajiwa ndani ya extended domain.

Curvature Penalty (CP):

hutumiwa katika chanzo kama curvature regularization ili kukandamiza polynomial oscillation na tabia inayofanana na Runge.

Coefficient Regularization (CR):

hupunguza ukubwa wa polynomial coefficient.

Jumla ya loss:

hufafanuliwa hivyo.

Katika majaribio ya makala:

zilitumiwa.

MOCT hufanya trainable coefficients za odd-degree za sub-polynomial ya kwanza \(p_1(x)\) pekee; coefficients nyingine hubaki fixed. Chanzo kilitumia 10.000 MOCT epoch.

CAPR ni nini?

Cosine-scheduled Activation Progressive Replacement (CAPR) ni mbinu ya screening ya nje ya mtandao inayokadiria kwa bajeti ndogo accuracy ya mwisho ya candidate mixed-degree network kabla ya kufanya full 300-epoch training.

Tuchukulie total training budget ni \(T\), idadi ya stage ni \(Q\), na minimum stage epoch ni \(M_{\min}\). Epoch allocation ya kila stage:

hutolewa kwa namna hii.

Kwa chaguo-msingi, chanzo hutumia:

.

Idadi ya activation zinazopangwa kubadilishwa katika stage \(q\):

na idadi ya jumla ya activation zilizobadilishwa:

huamuliwa hivyo.

CAPR si final accuracy. Makala hutumia CAPR kama low-budget staged accuracy estimate kwa candidate screening pekee; configurations zilizochaguliwa baadaye hufanyiwa full training.

Latency proxy na dynamic programming

CipherAPR haijaribu kila candidate kwa encrypted inference halisi; vinginevyo search ingekuwa ghali kupita kiasi. Badala yake, huunda feasible bootstrapping positions karibu na layer fulani na kutafuta minimum proxy latency kwa dynamic programming.

DP state hufuatilia layer iliyofikiwa na ciphertext level iliyobaki. Bootstrapping ikiongezwa, level huwekwa upya kuwa \(L_{\mathrm{eff}}\) na bootstrapping cost huongezwa.

Linear operator costs huchukuliwa kutoka lookup table iliyoandaliwa kulingana na input ciphertext level. Polynomial layer cost hutumia monotonic cost model inayohusiana na degree.

Candidate score

Kwa candidate \(\mathbf{d}'\), score ni:

hufafanuliwa hivyo.

Kadiri \(\lambda\) inavyoongezeka, uzito wa preference ya accuracy huongezeka; inapopungua, uzito wa preference ya latency huongezeka. Utafiti huhifadhi candidate pool tofauti za accuracy-oriented na latency-oriented.

CLU — ciphertext-level utilization

Tuchukulie bootstrapping placements zinagawa network katika segment \(S\). Ikiwa layer set katika segment \(s\) ni \(\mathcal{L}_s\), na level consumption ya kila layer ni \(c_\ell\), basi:

ni segment depth consumption.

Segment-level utilization:

huhesabiwa hivyo.

Mabadiliko kati ya segment jirani:

na adjacent variation:

hufafanuliwa hivyo.

\(RMS_{\mathrm{adj}}\) ya chini huwakilisha matumizi ya level yaliyo sawia zaidi kati ya bootstrapping segments. CLU si objective inayotumiwa badala ya final latency au accuracy; hutumiwa kama conservative structural filter kati ya candidates waliopita score preselection.

Vigezo vya offline search

• Pool width \(W=15\).
• Maximum search iteration \(T_{\max}=30\).
• CLU retention ratio \(\eta_{\mathrm{CLU}}=0.95\).
• Initial accuracy-oriented preference weight: \(\lambda_{\mathrm{acc}}^{(0)}=1.0\).
• Initial latency-oriented preference weight: \(\lambda_{\mathrm{lat}}^{(0)}=0.1\).
• Katika iteration moja, baada ya duplicate removal, candidates wasiozidi \(2W=30\) hupelekwa kwenye CAPR evaluation.

Mbinu na Matokeo ya Utafiti

Mazingira ya majaribio

Chanzo kinatenganisha wazi muda wa offline design na online encrypted inference latency. Ulinganisho wa online performance katika makala haujumuishi gharama ya training/search ndani ya inference latency.

Dataseti

Ili kupunguza muda wa offline search, subset ya 5000-image fast-training ilitumika. Tathmini ya mwisho ya ciphertext inference ilifanywa kwenye 10.000-image test set. Metriki ni top-1 accuracy.

Vigezo vya RNS-CKKS

Muundo wa modulus-chain umeripotiwa katika chanzo kama:

bit.

Vigezo vya training

Original networks:

• Optimizer: SGD.
• Epoch: 200.
• Batch size: 128.
• Initial learning rate: 0,1.
• Learning-rate schedule: cosine decay.
• Momentum: 0,9.
• Weight decay: 0,0005.
• Gradient clipping: 1,0.

Kwa polynomial networks, 300 epoch na initial learning rate 0,08 zilitumika; angalau 8 epoch zilitumika kwa kila stage.

Final CipherAPR training:

• Batch size: 128.
• Learning rate: 0,01.
• Momentum: 0,9.
• Weight decay: \(5\times10^{-4}\).
• Gradient clipping: 0,1.
• KL-divergence weight: \(\tau=0.9\).

Kwa CAPR candidate evaluation, zilitumika 20 total epoch pekee na minimum 2 epoch kwa kila stage.

Vigezo vya DAAP/MOCT

• Approximation-domain minimum: \(a=0.2\).
• Extension factor: \(\rho_{\mathrm{ext}}=1.5\).
• CIFAR-10 domain estimation: 30 image.
• CIFAR-100 domain estimation: 100 image.
• Uniform perturbation: \(\epsilon=0.1\).
• MOCT training: 10.000 epoch.

Matokeo makuu ya encrypted inference

Chanzo kinaripoti speedup ya jumla ya CipherAPR dhidi ya AutoFHE katika paired settings hizi kuwa katika kiwango cha 1,09×–1,39×.

Speedup ya CipherAPR ya 1,09×–1,39× Inamaanisha Nini?

Speedup hii inaonyesha kupungua kwa end-to-end encrypted-inference latency iliyopimwa dhidi ya AutoFHE katika configurations zilizochaguliwa za ResNet/VGG chini ya fixed RNS-CKKS cryptographic setting ileile na malengo yanayolinganishwa ya encrypted accuracy; matokeo si dhamana ya speedup ya jumla kwa network zote, vigezo vyote vya FHE au hardware zote.

Runtime breakdown: kwa nini baadhi ya linear operations huwa ghali zaidi?

Mfano wa CIFAR-10/ResNet32 high-BT unaonyesha mwingiliano huu wazi. AutoFHE ikiwa na 19 bootstrapping huzalisha 5040 s za bootstrapping na 1838 s za linear cost, huku CipherAPR ikiwa na 13 bootstrapping ikipunguza muda wa bootstrapping hadi 3449 s. Kwa upande mwingine linear cost huongezeka hadi 2208 s. Kwa kuwa faida ya bootstrapping ni kubwa zaidi, total latency bado hupungua kutoka 7294 s hadi 6064 s.

Mfano wa matumizi ya restored-level

Kwa configuration ya CIFAR-10/ResNet32 high-BT, chanzo kinasema kila bootstrapping hurejesha hadi 16 level na input ciphertext huanza katika level 18.

Jumla ya level zinazopatikana:

huhesabiwa hivyo.

Kwa AutoFHE:

level zinapatikana, na katika Table 6 total effective usage ni 235. Kwa msingi huo, chanzo kinahesabu kuwa 87 level zilibaki bila kutumika.

Kwa CipherAPR:

level zinapatikana; effective usage ni 195 na unused budget ni 31 level.

Kwa mujibu wa chanzo, katika paired AutoFHE/CipherAPR settings tisa za Table 6, CipherAPR ilionyesha unused level budget ndogo katika saba.

Matokeo ya majaribio ya LMAR

Tathmini ya LMAR ilifanywa kwenye CIFAR-10/ResNet32. Activation sites zilipobadilishwa hatua kwa hatua na polynomial, mpangilio wa LMAR ulilinganishwa na mipangilio ya Forward na Reverse-LMAR.

Matokeo makuu ya Figure 5 katika chanzo ni kwamba LMAR-based ordering hurejesha accuracy kwa haraka zaidi hasa katika hatua za mwanzo ambapo activation chache zimebadilishwa. Kwa utaratibu uleule wa fine-tuning, baadhi ya partially replaced models zilifikia %94,05 inference accuracy na kuzidi kidogo baseline ya original ReLU network. Thamani hii si matokeo yanayochukua nafasi ya jedwali kuu la encrypted-inference la CipherAPR; ni supporting experiment tofauti ya kutathmini LMAR kama degree-prioritization signal.

Matokeo ya DAAP + MOCT approximation error

Chanzo kinaripoti kwamba DAAP + MOCT imepunguza MaxE dhidi ya Minimax kwa %39,44–%85,39 kutegemea depth.

DAAP domain trade-off

Matokeo yanaonyesha approximation-stability trade-off muhimu. Kwa mfano, katika depth 6, kuongeza \(v\) kutoka 0,12 hadi 0,30 hupunguza maximum coefficient magnitude kutoka \(3,89\times10^2\) hadi \(2,54\times10^1\), huku kukiongeza Core MaxE kutoka \(2,85\times10^{-3}\) hadi \(2,91\times10^{-2}\). Chanzo hutumia \(v=0.20,\rho_{\mathrm{ext}}=1.50\) kama default iliyosawazishwa.

MOCT weight ablation

Matokeo ya \(w_1=0\) kurudi kwenye DAAP baseline yanaonyesha kuwa Core Error term ndiyo inayoendesha core-domain update. Ingawa \(w_3=0\) hupunguza Core MaxE, huongeza Outer MaxE hadi \(7,12\times10^{-2}\) na maximum coefficient hadi \(1,04\times10^2\). Chanzo kinatafsiri hili kuwa curvature penalty huchangia outer-domain numerical behavior kwa kuzuia overfitting kwa core region pekee.

Tathmini ya latency proxy, CAPR na CLU

Chanzo kinaripoti katika Figure 6a kwamba latency proxy huhifadhi real encrypted latency ordering ndani ya bootstrapping settings tofauti. Kazi ya proxy si kufanya global calibration ya latency kwa sekunde; ni kupanga candidates ndani ya setting ileile.

Figure 6b inaonyesha kuwa CAPR inaweza kutenganisha kwa haraka trainable configurations kutoka failure regime ndani ya training budget ndogo. Chanzo hutumia CAPR kama screening estimate badala ya final accuracy.

Thamani jozi katika jedwali ni katika muundo wa `CLU / without CLU`. Chanzo kinasisitiza kuwa final best scores hubaki karibu sawa. Kwa hiyo athari kuu ya CLU si “kuboresha sana final optimum”, bali kufanya early search trajectory kuelekea best configuration ya kiwango kileile kuwa na ufanisi zaidi.

Gharama ya offline search

Kila candidate hufanyiwa fine-tune kwenye 5000-image fast-training subset kwa 20 CAPR epoch na batch size 128. Hii ni sawa na 800 mini-batch update kwa kila candidate.

Chanzo hukadiria serial offline search cost kama:

.

\(N_{\mathrm{eval}}\) ni idadi ya candidate configurations zinazotathminiwa kwa CAPR; \(T_{\mathrm{CAPR}}^{20}\) ni muda wa 20-epoch CAPR kwa kila candidate.

Katika pilot measurements, muda wa CAPR kwa candidate ni takriban dakika 10–25 kwa ResNet settings na dakika 20–30 kwa VGG. Kwa CLU-guided run yenye tathmini 180–210, chanzo kinakadiria takriban siku 1–3 za serial kwa ResNet models na takriban siku 2–4 za serial kwa VGG models.

Kikomo muhimu: Hizi si full-search wall-clock times zilizopimwa end-to-end, bali serial cost estimates. Kwa kuwa candidate evaluations ni huru, utekelezaji sambamba unaweza kupunguza real wall-clock time ikiwa kuna workers wa kutosha.

Appendix B: je, mixed degree kweli hubadilika kati ya layer?

Ndiyo. Depth profiles katika Appendix B zinaonyesha kuwa CipherAPR haitumii polynomial degree moja kwa activation layer zote. Activation yenye depth 0 ni prune/identity; depth 2 ni shallow polynomial; thamani zaidi ya 2 humaanisha composite approximations za kina zaidi.

Katika mfano wa chanzo wa CIFAR-10/ResNet32, kwa depth>2 katika 7-bootstrapping setting idadi ya activation ni 2, huku katika 13-bootstrapping setting ikiongezeka hadi 12. Hata hivyo baadhi ya activation hupunguzwa au kubaki katika depth 2. Hii inaonyesha kuwa mixed-degree approach ni layer-selective kweli.

Matokeo yanayoungwa mkono na utafiti

• CipherAPR hujumuisha taarifa ya restored-level utilization katika polynomial degree design chini ya fixed RNS-CKKS backend.
• Katika ResNet na VGG configurations zilizotathminiwa, encrypted-inference speedup ya 1,09×–1,39× dhidi ya AutoFHE imeripotiwa.
• Faida kubwa zaidi iliyoripotiwa katika CIFAR-10/ResNet20 high bootstrapping setting ni kupungua kutoka 4659 s hadi 3341 s.
• CipherAPR imepunguza idadi ya bootstrapping katika paired settings nyingi.
• Katika paired AutoFHE/CipherAPR settings tisa, unused restored-level budget ndogo ilionekana katika saba.
• LMAR imeungwa mkono kama forward-only heuristic yenye manufaa kwa kuzipa activation layer kipaumbele chini ya replacement budget iliyozuiliwa.
• DAAP + MOCT imepunguza MaxE kwa %39,44–%85,39 dhidi ya Minimax chini ya approximation depth ileile.
• CLU imewezesha kufikia kiwango kilekile cha CLU-run best kwa CAPR evaluations chache katika early search trajectory bila kubadilisha sana final best score.

Matokeo ambayo utafiti hauungi mkono

• CipherAPR si FHE encryption scheme mpya au salama zaidi.
• CipherAPR haibadilishi RNS-CKKS encryption/decryption au bootstrapping primitive.
• Speedup ya 1,09×–1,39× si dhamana kwa network zote, hardware zote na cryptographic parameter sets zote.
• Haiwezi kuhitimishwa kuwa idadi ya bootstrapping peke yake huamua encrypted-inference performance.
• CAPR accuracy estimate si final fully-trained encrypted-network accuracy.
• Latency proxy si absolute seconds predictor ya real latency kati ya settings zote; hutumiwa kama within-setting ranking signal.
• Haiwezi kusemwa kuwa CLU inaboresha final optimum score kwa kiasi kikubwa; faida yake kuu iko katika search trajectory.
• Thamani za siku 1–4 zilizotolewa kwa offline search si measured end-to-end wall-clock times, bali serial estimates.
• Utafiti hauchukui nafasi ya compiler-side scheduling.
• Matokeo ya ResNet/VGG na CIFAR-10/CIFAR-100 hayawezi kuhamishwa moja kwa moja kwa Transformer architectures.

Vikwazo vya msingi na kazi ya baadaye

Utafiti unalenga offline structural design chini ya fixed encrypted backend. Mixed-degree polynomial network inayoundwa na CipherAPR haichukui nafasi ya compiler-side bootstrapping scheduling. Waandishi wanaona joint optimization ya structural design na compiler scheduling kuwa hatua ya kawaida inayofuata.

Katika CNN za kina zaidi, degree-assignment search space na CAPR evaluation cost huongezeka pamoja na idadi ya activation layer. Chanzo kinasema kuwa accuracy proxies zenye ufanisi zaidi au hybrid importance metrics zinaweza kuhitajika katika network za kina zaidi kama ResNet-110.

Kupanua kwa Transformer architectures pia ni tatizo tofauti la utafiti. Softmax, layer normalization na attention blocks zina sifa za polynomial approximation na ciphertext-level consumption tofauti na CNN ReLU. Kwa hiyo matokeo ya sasa ya ResNet/VGG hayawezi kuhamishwa moja kwa moja kwa Transformer.

Wigo wa usalama

Security discussion ya CipherAPR imewekewa mipaka ya standard FHE inference confidentiality. Katika hatua ya offline, LMAR, DAAP, MOCT, CAPR na CLU hazioni user inference ciphertexts. Katika hatua ya online, server:

hutekeleza hesabu hiyo kwenye standard RNS-CKKS.

\(\tilde{f}\) ni fixed public polynomial network iliyotengenezwa offline na CipherAPR; \(pk\) ni public evaluation key; \(ct_{\mathrm{in}}\) ni input ya mtumiaji iliyosimbwa; \(ct_{\mathrm{out}}\) ni matokeo ya inference yaliyosimbwa.

Chanzo kinasisitiza kuwa CipherAPR haiongezi cryptographic primitive mpya kwenye standard encryption, decryption, key-switching au bootstrapping mechanism. Kwa hiyo confidentiality claim imewekewa mipaka na RNS-CKKS security parameterization iliyopo na RLWE hardness assumptions.

Maelezo ya Chanzo na Mbinu

Kichwa asili: CipherAPR: Accelerating RNS-CKKS Encrypted Inference via Importance-Guided and Level-Aware Mixed-Degree Polynomial Design

Waandishi: Junping Wan; Yucen Liao; Yinglong Liao; Zejiu Tan; Jinming Xu; Zoe L. Jiang; Binxing Fang.

Mpangilio wa waandishi: Junping Wan ni wa kwanza; Yucen Liao wa pili; Yinglong Liao wa tatu; Zejiu Tan wa nne; Jinming Xu wa tano; Zoe L. Jiang wa sita; Binxing Fang wa saba.

Waandishi wa mawasiliano: Zoe L. Jiang na Binxing Fang.

Taasisi 1: School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen 518055, China.

Taasisi 2: Department of Optoelectronic Engineering, Jinan University, Guangzhou 510632, China.

Taasisi 3: College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China.

Taasisi 4: School of Cyberspace Security, Guangzhou University, Guangzhou 510006, China.

Mchango sawa: Chanzo hakina tamko la uandishi wa kwanza wa pamoja au mchango sawa.

Jarida: Cryptography.

Mchapishaji: MDPI.

Juzuu / toleo / makala: 10(4), Article 44.

Idadi ya kurasa: 28.

DOI: 10.3390/cryptography10040044.

Iliwasilishwa: 11 Mei 2026.

Marekebisho: 19 Juni 2026.

Ilikubaliwa: 19 Juni 2026.

Ilichapishwa: 2 Julai 2026.

Aina ya chanzo: Makala ya utafiti iliyopitiwa na rika; inaunganisha offline algorithmic design/search, polynomial approximation, cryptographic execution benchmark na ablation/sensitivity analyses kwa encrypted neural-network inference chini ya FHE.

Mapitio ya rika: Cryptography ni jarida la MDPI lililopitiwa na rika; maelezo ya sasa ya mchakato wa MDPI yanasema single-anonymized peer review hutumika.

Hali ya preprint: Faili iliyoshughulikiwa na Verianla ni Version of Record iliyochapishwa; hakuna preprint tofauti iliyotumiwa kama msingi katika utafiti huu.

Leseni: Creative Commons Attribution 4.0 International (CC BY 4.0).

Maneno muhimu: encrypted inference; bootstrapping; ciphertext-level utilization; fully homomorphic encryption; RNS-CKKS.

Familia kuu ya modeli: Kwenye CIFAR-10 na CIFAR-100: ResNet20, ResNet32, ResNet44 na VGG11.

Ulinganisho mkuu: MPCNN na AutoFHE. DaCapo, Orion na ReSBM zimejadiliwa kama compiler-side execution optimizers, lakini hazikujumuishwa moja kwa moja kama baseline katika structural-design benchmark.

Miundombinu ya FHE: RNS-CKKS; Microsoft SEAL; miundombinu ya implementation ya AutoFHE.

Security setting: Ring degree \(2^{16}\); modulus-chain length 1552 bit; private-key Hamming weight 192; 128-bit security.

Hardware ya offline training: NVIDIA RTX A6000, Ubuntu 20.04.

Hardware ya encrypted inference: Intel Xeon Platinum 8462Y+, 128 vCPU, 1 TiB RAM, Ubuntu 20.04.

Software ya offline: Python 3.8, PyTorch 1.13.1.

Online encrypted execution: C++ na Microsoft SEAL.

Vipengele vikuu vya mbinu: LMAR, probabilistic degree tuning, DAAP, MOCT, latency proxy, CAPR na CLU.

Matokeo makuu ya performance: Encrypted-inference speedup ya 1,09×–1,39× katika configurations zilizotathminiwa dhidi ya AutoFHE; ciphertext accuracy inayofanana.

Mfano wa speedup kubwa zaidi iliyoripotiwa: Katika CIFAR-10/ResNet20 high bootstrapping setting, AutoFHE 4659 s na 11 bootstrapping; CipherAPR 3341 s na 7 bootstrapping.

Matokeo ya approximation: Katika Table 7, DAAP + MOCT imepunguza MaxE dhidi ya Minimax kwa %39,44–%85,39 kutegemea depth.

Matokeo ya CLU: Katika accuracy-oriented na latency-oriented search, CLU ilipunguza CAPR evaluations zinazohitajika kufikia CLU-run best hadi 210/330 na 180/330 mtawalia, bila kubadilisha sana final normalized best score.

Ufadhili: National Key R&D Program of China (2023YFB3106500); National Natural Science Foundation of China (62272131); Shenzhen Social Science Fund (SZ2025B011); Shenzhen Science and Technology Major Project (KJZD20230923114908017).

Upatikanaji wa data: Imeelezwa kuwa data zilizowasilishwa katika utafiti zinaweza kupatikana kutoka kwa corresponding author kwa ombi la busara. Public datasets zilizotumiwa ni CIFAR-10 na CIFAR-100.

Mgongano wa maslahi: Waandishi wanatangaza kuwa hakuna mgongano wa maslahi. Chanzo pia kinasema kuwa funding sponsors hawakuwa na jukumu katika study design, data collection/analysis/interpretation, uandishi wa makala au uamuzi wa kuchapisha.

Michango ya waandishi: Conceptualization: Junping Wan, Jinming Xu, Zoe L. Jiang, Binxing Fang; methodology: Junping Wan, Yucen Liao, Yinglong Liao, Zejiu Tan; software: Junping Wan; validation: Junping Wan, Yucen Liao, Zejiu Tan; formal analysis: Junping Wan, Yinglong Liao, Zejiu Tan; investigation na data curation: Junping Wan; resources: Zoe L. Jiang na Binxing Fang; original draft: Junping Wan; review/editing: waandishi wote; visualization: Yucen Liao, Yinglong Liao na Zejiu Tan; supervision/project administration/funding acquisition: Zoe L. Jiang na Binxing Fang.

Bodi ya maadili / ridhaa iliyoarifiwa: Katika PDF ya chanzo hakuna tamko tofauti la Institutional Review Board au Informed Consent lililoripotiwa. Utafiti unafanywa kwenye CIFAR benchmarks na majaribio ya computational encrypted inference.

Vikwazo vikuu vya kimethodolojia: Utafiti unalenga offline structural design chini ya fixed RNS-CKKS backend; hauchukui nafasi ya compiler scheduling. Gharama ya offline search huongezeka pamoja na idadi ya activation-layer. CAPR na latency proxy ni screening tools na hazichukui nafasi ya final full evaluation. Thamani za search za siku 1–4 ni serial estimates. Tathmini imewekewa mipaka ya CIFAR-10/CIFAR-100 na ResNet/VGG architectures; Transformer architectures zinahitaji kuchunguzwa tofauti.

Kikomo cha tafsiri ya security: Dai la usalama la CipherAPR si la cryptographic primitive mpya. Mfumo hutumia standard RNS-CKKS encryption/decryption/key-switching/bootstrapping mechanism; confidentiality hurithiwa kutoka RNS-CKKS parameterization inayotumiwa na RLWE assumption.