CipherAPR чаҳорчӯбаи офлайнии тарҳи полиномҳои дараҷаҳои омехта мебошад, ки дар шабакаҳои нейронии зери рамзгузории пурраи гомоморфии RNS-CKKS дараҷаи полиномҳои ивазкунандаи фаъолсозиҳои ReLU-ро барои ҳар қабат интихоб мекунад ва ҳангоми ин интихоб истифодаи ciphertext-level-ро ба назар мегирад. Масъалаи асосии таҳқиқот ин аст, ки наздиксозиҳои дараҷаи баланди ReLU ҳангоми нигоҳ доштани дақиқӣ multiplicative depth-и бештар сарф карда, амалиёти гаронбаҳои bootstrapping-ро зиёд мекунанд. CipherAPR танҳо кӯшиш намекунад шумораи bootstrapping-ро кам кунад; самаранокии воқеии истифодаи сатҳҳои ciphertext-и пас аз bootstrapping барқароршударо низ ба қарори тарҳ дохил мекунад.

Чаҳорчӯба чор ҷузъи асосӣ дорад. Low-Magnitude Activation Ratio (LMAR) қабатҳои фаъолсозиро, ки вурудҳояшон дар минтақаи ҳассоси атрофи сифри ReLU ҷамъ мешаванд, муайян карда, ба қабатҳое, ки бояд дараҷаи баландтар гиранд, афзалият медиҳад. Domain-Adaptive Approximation (DAAP) барои ҳар қабат минтақаи наздиксозии полиномиро мувофиқи диапазони мушоҳидашудаи фаъолсозӣ месозад. Multi-Objective Coefficient Tuning (MOCT) дар баробари коҳиш додани хатои наздиксозӣ кӯшиш мекунад бузургии коэффициентҳо ва рафтори берун аз минтақаи асосиро низ назорат кунад. Ciphertext-Level Utilization (CLU) бошад конфигуратсияҳои номзадеро, ки буҷети level-и барқароршудаи bootstrapping-ро дар сегментҳо нобаробар истифода мебаранд, дар раванди ҷустуҷӯ ақиб мегузорад.

Дар таҳқиқот дар CIFAR-10 ва CIFAR-100 шабакаҳои ResNet20, ResNet32, ResNet44 ва VGG11 арзёбӣ шудаанд. Дар ҳамон танзимоти RNS-CKKS, CipherAPR нисбат ба AutoFHE дар конфигуратсияҳои гузоришшуда 1,09×–1,39× суръатбахшӣ таъмин карда, дақиқии монанди ciphertext-ро нигоҳ доштааст. Дар мисоли равшантарини CIFAR-10/ResNet20, AutoFHE бо 11 bootstrapping ва 4659 сония таъхири умумӣ %92,89 дақиқии ciphertext додааст, дар ҳоле ки CipherAPR бо 7 bootstrapping ва 3341 сония таъхир %92,61 дақиқӣ додааст.

Ин натиҷаро набояд чунин шарҳ дод, ки “bootstrapping камтар дар ҳар ҳолат худкор тезтар аст”. Манбаъ нишон медиҳад, ки ciphertext дар кадом level қарор доштанаш ба хароҷоти rotation, rescaling ва key-switching низ таъсир мекунад. Дар баъзе конфигуратсияҳо хароҷоти амалиёти хаттии CipherAPR зиёд шудааст, аммо коҳиши калонтар дар вақти bootstrapping таъхири умумиро боз ҳам паст кардааст.

CipherAPR primitive-и нави рамзгузории FHE нест ва механизми амнияти RNS-CKKS-ро тағйир намедиҳад. LMAR, DAAP, MOCT, CAPR ва CLU дар тарҳи офлайнии модел бо фаъолсозиҳои plaintext training/calibration ё параметрҳои public model кор мекунанд. Вурудҳои онлайнии корбар зери RNS-CKKS-и стандартӣ рамзшуда мемонанд; манбаъ мегӯяд confidentiality аз параметрҳои истифодашудаи RNS-CKKS ва фарзияи амниятии Ring Learning With Errors мерос гирифта мешавад.

Чаро масъала ба вуҷуд меояд?

Fully Homomorphic Encryption (FHE) ба сервер имкон медиҳад бе табдил додани додаи корбар ба матни ошкор дар рӯи додаи рамзшуда ҳисоб анҷом диҳад. Ин хусусият дар сенарияҳои Machine Learning as a Service муҳим аст: корбар вурудашро рамз мекунад, сервер inference-и шабакаи нейрониро дар ciphertext иҷро мекунад ва корбар танҳо натиҷаи ниҳоии рамзшударо дар тарафи худ рамзкушоӣ мекунад.

RNS-CKKS, ки дар таҳқиқот истифода шудааст, схемаи FHE мебошад, ки арифметикаи тақрибии ададҳои ҳақиқӣ ё комплексиро дастгирӣ мекунад. Вектори паём дар шакли plaintext polynomial \(m(x)\) кодгузорӣ ва ҳамчун ciphertext рамз карда мешавад. Ҳисоб:

дар cyclotomic ring иҷро мешавад.

Дар ин ҷо modulus:

чунин аст. \(\ell\) қимати ciphertext level мебошад, ки multiplicative capacity-и боқимондаи ciphertext-ро нишон медиҳад. Азбаски ҳар homomorphic multiplication миқёси ciphertext-ро калон мекунад, одатан rescaling лозим мешавад. Rescaling prime-и охирини \(q_\ell\)-ро аз modulus chain хориҷ мекунад:

ва ҳамин тавр як level сарф мешавад.

Вақте level ба сифр наздик мешавад, барои он ки ciphertext multiplication-и бештарро бардошта тавонад, bootstrapping лозим аст. Bootstrapping ciphertext-ро ба level-и баланд ва дубора истифодашаванда мебардорад; аммо дар encrypted inference-и RNS-CKKS амалиёти хеле гарон аст.

Чаро Танҳо Кам Кардани Шумораи Bootstrapping Кофӣ Нест?

Гарчанде шумораи bootstrapping муҳим аст, хароҷоти амалиёти RNS-CKKS ба level-и ҳисобкунии ciphertext низ вобаста аст; level-и баланд prime-ҳои фаъоли RNS-и бештар дорад, бинобар ин rotation, relinearization, multiplication ва rescaling метавонанд гаронтар бошанд. Аз ин рӯ CipherAPR на танҳо шумораи bootstrapping, балки самаранокии сарфи буҷети level-и пас аз bootstrapping барқароршуда дар тамоми сегментҳоро низ ба назар мегирад.

Чаро level дар RNS-CKKS ба хароҷоти амалиёт таъсир мекунад?

Манбаъ active RNS basis-ро:

чунин муайян мекунад. Шумораи prime-и фаъол:

аст, бинобар ин бо баланд шудани level modulus limb-ҳои бештар дар ҳисоб иштирок мекунанд.

Ҷамъи хароҷоти primitive homomorphic operation дар level \(\ell\):

чунин навишта мешавад.

Дар ин ҷо \(\mathcal{P}\) навъҳои primitive operation монанди AddCP, AddCC, MulCP, MulCC, Rot, Relin ва RS-ро; \(n_k\) шумораи амалиёти дахлдорро; \(t_k(\ell)\) бошад хароҷоти як амалиёт дар level \(\ell\)-ро нишон медиҳад.

Вобастагии тақрибии level, ки манбаъ истифода мекунад:

чунин аст.

\(N\) ring degree аст. \(\alpha_k\) ва \(\beta_k\) operation-dependent constants мебошанд. Амалиётҳои гурӯҳи аввал бо шумораи RNS limb-ҳои фаъол тақрибан хаттӣ; rotation ва relinearization, ки key-switching доранд, дар cost model-и манбаъ вобастагии қавитари level нишон медиҳанд.

Аз ин рӯ паст кардани effective level-и \(L_{\mathrm{eff}}\) пас аз bootstrapping метавонад амалиёти минбаъдаро арзон кунад; аммо \(L_{\mathrm{eff}}\)-и аз ҳад паст multiplicative-depth-и кофӣ намегузорад ва метавонад шумораи bootstrapping-ро боз зиёд кунад.

Манбаъ inference latency-и умумиро консептуалӣ чунин ифода мекунад:

.

\(N_{\mathrm{boot}}\) шумораи bootstrapping; \(T_{\mathrm{boot}}\) хароҷоти як bootstrapping; \(T_{\mathrm{seg}}^{(j)}\) бошад хароҷоти ҳисобии сегмент байни ду bootstrapping аст. Формула равшан нишон медиҳад, ки latency-и умумӣ танҳо аз \(N_{\mathrm{boot}}\) вобаста нест.

Чаро ReLU мустақим ҳисоб карда намешавад?

RNS-CKKS асосан arithmetic operations монанди addition ва multiplication-ро таъмин мекунад. Дар CNN:

функсия мустақиман polynomial нест. Аз ин рӯ ReLU бо polynomial approximation-и муносиб барои homomorphic evaluation иваз мешавад.

Манбаъ ReLU-ро тавассути sign function:

чунин ифода мекунад.

Sign function аз сабаби discontinuity дар атрофи сифр функсияест, ки бо як polynomial-и дараҷаи паст бо дақиқии баланд наздик кардан душвор аст. Аз ин рӯ таҳқиқот composite polynomial:

сохторро истифода мебарад.

Дараҷаи ҳар sub-polynomial:

чунин нишон дода мешавад.

Multiplicative depth-и composite polynomial

Ҳангоми истифодаи Baby Step Giant Step (BSGS) polynomial evaluation манбаъ depth-и sub-polynomial-и \(i\)-умро:

аз боло маҳдуд мекунад.

Composite depth-и умумӣ тақрибан:

ҳисоб карда мешавад.

Degree set-и баландтар одатан polynomial-и ифоданоктар месозад, ки метавонад ReLU approximation fidelity-ро беҳтар кунад; аммо multiplicative depth-и бештар ва аз ин рӯ bootstrapping-и зуд-зуд ё дар ҷойҳои дигарро талаб карда метавонад.

CipherAPR кадом масъаларо оптимизатсия мекунад?

Фарз кунем дар encrypted network \(L\) activation layer ҳаст. Дараҷаҳои polynomial, ки ба қабатҳо дода мешаванд:

бо degree vector нишон дода мешаванд. \(\mathbb{D}\) маҷмӯи polynomial degree-ҳои иҷозатдодашуда аст.

Маҷмӯи bootstrapping placement-ҳои имконпазир барои degree configuration-и муайяни \(\mathbf{d}\):

муайян мешавад. \(\Lambda\) cryptographic setting-и собитро, аз ҷумла ring degree, modulus chain ва security level, ифода мекунад.

Қимати latency-и configuration:

муайян мешавад.

Дар ин ҷо \(T(\mathbf{d},\pi;\Lambda)\) end-to-end encrypted inference latency барои polynomial degrees ва bootstrapping placement-и муайян аст.

Масъалаи асосии оптимизатсия:

чунин аст.

Яъне CipherAPR танҳо configuration-и тезтаринро намеҷӯяд. Бо нигоҳ доштани minimum accepted accuracy constraint, layer-wise degree assignment-еро меҷӯяд, ки encrypted inference latency-и пасттаринро медиҳад.

Раванди се марҳилаи тарҳи офлайнии CipherAPR

LMAR: Кадом қабат ба баландшавии дараҷа бештар ниёз дорад?

Рафтори критикии ReLU дар атрофи сифр аст. Вақте вуруд манфӣ мешавад, баромади ReLU сифр мешавад; дар тарафи мусбат бошад вуруд гузаронида мешавад. Polynomial approximation махсусан дар қиматҳои наздик ба сифр бештар ба нодуруст нишон додани қарори sign/gating майл дорад.

Аз ин рӯ CipherAPR барои layer \(\ell\) Low-Magnitude Activation Ratio-ро муайян мекунад:

Дар ин ҷо \(x_{\ell,i}\), \(\ell\)-ум activation layer-даги \(i\)-ум neuron-рои вуруд; \(k_\ell\) шумораи умумии neuron дар он қабат; \(\epsilon\) threshold-и муайянкунандаи минтақаи “наздик ба сифр”; \(\mathbf{1}(\cdot)\) indicator function аст, ки агар шарт дуруст бошад 1 ва агар нодуруст бошад 0 медиҳад.

LMAR нисбати беандоза буда, дар фосилаи 0–1 аст. LMAR-и баланд нишон медиҳад, ки қисми бештари activation input-ҳои қабат дар атрофи сифр ҷойгиранд. Манбаъ инро барои тартиб додани қабатҳое истифода мебарад, ки бо ҳамон level budget аз polynomial degree-и баландтар бештар манфиат гирифта метавонанд.

LMAR Чиро Месанҷад ва Чаро Муҳим Аст?

LMAR нисбати беандозаест, ки чен мекунад чӣ қисми вурудҳои қабати фаъолсозӣ дар минтақаи ҳассоси атрофи сифри ReLU қарор доранд; бо афзоиши нисбат хатари нодуруст ифода кардани рафтори gating аз ҷониби полиноми дараҷаи паст муҳимтар мешавад ва CipherAPR чунин қабатҳоро барои баланд кардани дараҷа бо афзалияти бештар арзёбӣ мекунад.

Threshold-и \(\epsilon\) чӣ гуна муайян мешавад?

Манбаъ ба ҷойи дастӣ собит кардани \(\epsilon\), усули Otsu-ро ба тақсимоти activation magnitude-и ҳамаи қабатҳо татбиқ мекунад.

Within-class variance:

Between-class variance:

чунин аст.

\(w_1,w_2\) эҳтимолҳои ду синфи activation-magnitude; \(\mu_1,\mu_2\) миёнаҳои синф; \(\sigma_1^2,\sigma_2^2\) variance-и дохилисинфиро нишон медиҳанд.

Манбаъ \(\epsilon\)-и оптималиро:

ҳамчун threshold, ки ин нисбатро максималӣ мекунад, интихоб мекунад.

Оё LMAR танҳо heuristic-и таҷрибавӣ аст?

Appendix A барои тартибдиҳии LMAR асосноккунии назариявии ҳадро низ медиҳад. Бигзор pre-activation-и layer \(\ell\) — \(X_\ell\) ва polynomial approximation — \(p_d(x)\) бошад. Агар polynomial дар минтақаи \(|x|\ge\epsilon\) sign-и дурустро нигоҳ дорад, эҳтимоли gating sign inconsistency:

аз боло маҳдуд мешавад.

Ин муодила намегӯяд, ки LMAR эҳтимоли дақиқи рух додани sign inconsistency аст. LMAR дар зери shape constraint-и нишондодашуда upper bound барои риск мебошад.

Манбаъ инчунин барои таъсири approximation error ба expected loss:

ҳадро медиҳад.

Дар ин ҷо \(L_\ell\) Lipschitz constant-и sub-network-и баъдӣ; \(L_{\mathrm{loss}}\) Lipschitz constant-и loss function; \(c_{\epsilon,d}\) бошад максималии polynomial deviation дар approximation region-и наздик ба сифрро нишон медиҳад. Тибқи шарҳи манбаъ, агар дигар омилҳо монанд бошанд, LMAR-и баланд метавонад саҳми approximation error-ро ба expected loss зиёд кунад.

Degree update чӣ гуна интихоб мешавад?

Activation layer-ҳо аз рӯи қимати LMAR аз калон ба хурд тартиб дода мешаванд. Агар rank-и қабати \(\ell\) — \(r_\ell\), шумораи умумии layer — \(M\) бошад, normalized rank score:

ҳисоб карда мешавад.

Қабатҳои LMAR-и баланд ба 1 ва қабатҳои LMAR-и паст ба 0 наздик мешаванд.

Барои IncreaseDegree ва DecreaseDegree манбаъ centered hinge functions-ро истифода мебарад:

Дар ин ҷо \(\tau_c=0.5\), \(m\in[0,0.5)\) бошад update selectivity margin аст.

Action probabilities:

ҳисоб карда мешаванд.

ID баланд кардани degree, DD паст кардани degree ва KD нигоҳ доштани degree аст. Барои layer-и дар iteration-и қаблӣ тағйирёфта dynamic coefficients:

коҳиш дода мешавад. Манбаъ ин механизми cooling-ро барои кам кардани тағйирдиҳии пайдарпайи ҳамон layer дар iteration-ҳои пайдарпай ба пешу пас истифода мебарад.

DAAP — чаро approximation domain вобаста ба қабат тағйир меёбад?

Activation distribution-и ҳар layer яксон нест. Татбиқи як approximation domain-и васеъ ба ҳамаи layer-ҳо метавонад дар баъзе қабатҳо масъалаи polynomial fitting-ро аз зарурат душвортар кунад.

DAAP қиматҳои empirical activation bounds-и layer \(\ell\)-ро:

мегирад ва symmetric core radius-ро:

ҳисоб мекунад.

\(B>1\) global scaling factor барои activation-domain normalization мебошад. Манбаъ махсус таъкид мекунад, ки ин ҳамон бузургии CKKS encryption scale нест. \(a>0\) minimum core-domain radius аст.

Core domain:

extended domain бошад:

муайян мешавад.

\(\rho_{\mathrm{ext}}>1\) барои activation tail-ҳое, ки берун аз core domain-и маъмул мондаанд, вале метавонанд дучор шаванд, захираи амниятӣ месозад.

Чаро DAAP ва MOCT Якҷо Истифода Мешаванд?

Ҳангоме ки DAAP минтақаи наздиксозии полиномро ба тақсимоти воқеии фаъолсозии қабат мутобиқ мекунад, MOCT коэффициентҳои ҳамон полиномро бо назардошти якҷояи core error, рафтори extended-domain, curvature ва бузургии коэффициент танзим мекунад; ҳадаф ба даст овардани approximation error-и камтар ва рафтори ададии устувортар барои ciphertext arithmetic дар ҳамон polynomial degree аст.

MOCT loss function

Final ReLU approximation:

чунин аст.

MOCT чор ҷузъи loss истифода мебарад.

Core Error (CE):

максималии approximation error дар core domain аст.

Extended Domain Constraint (EDC):

берун рафтани polynomial output аз диапазони бехатари пешбинишударо дар extended domain ҷазо медиҳад.

Curvature Penalty (CP):

дар манбаъ ҳамчун curvature regularization барои пахш кардани polynomial oscillation ва рафтори монанди Runge истифода мешавад.

Coefficient Regularization (CR):

бузургии polynomial coefficient-ро маҳдуд мекунад.

Loss-и умумӣ:

чунин аст.

Дар таҷрибаҳои мақола:

истифода шудаанд.

MOCT танҳо odd-degree coefficients-и sub-polynomial-и аввал \(p_1(x)\)-ро trainable мекунад; коэффициентҳои дигар собит нигоҳ дошта мешаванд. Манбаъ 10.000 MOCT epoch истифода кардааст.

CAPR чист?

Cosine-scheduled Activation Progressive Replacement (CAPR) усули офлайнии screening аст, ки дақиқии ниҳоии candidate mixed-degree network-ро пеш аз training-и пурраи 300-epoch бо буҷети кам тахминан арзёбӣ мекунад.

Бигзор total training budget \(T\), шумораи stage \(Q\), minimum stage epoch \(M_{\min}\) бошад. Барои ҳар stage epoch allocation:

чунин дода мешавад.

Манбаъ ба таври default:

истифода мебарад.

Шумораи activation, ки дар stage \(q\) иваз шуданаш ба нақша гирифта шудааст:

ва шумораи кумулятивии activation-и ивазшуда:

муайян мешавад.

CAPR final accuracy нест. Мақола CAPR-ро танҳо ҳамчун low-budget staged accuracy estimate барои candidate screening истифода мебарад; конфигуратсияҳои интихобшуда баъдтар ба training-и пурра гирифта мешаванд.

Latency proxy ва dynamic programming

CipherAPR ҳар candidate-ро бо encrypted inference-и воқеӣ намесанҷад; дар акси ҳол search аз ҳад гарон мешавад. Ба ҷойи ин дар атрофи layer-ҳои муайян feasible bootstrapping positions месозад ва бо dynamic programming minimum proxy latency-ро меҷӯяд.

DP state layer-и ҷорӣ ва ciphertext level-и боқимондаро пайгирӣ мекунад. Агар bootstrapping илова шавад, level ба \(L_{\mathrm{eff}}\) reset шуда, bootstrapping cost илова мегардад.

Linear operator cost-ҳо аз lookup table-и омодашуда мувофиқи input ciphertext level гирифта мешаванд. Polynomial layer cost аз monotonic cost model-и вобаста ба degree истифода мебарад.

Candidate score

Барои candidate \(\mathbf{d}'\) score:

чунин аст.

Бо калон шудани \(\lambda\) вазни афзалияти accuracy ва бо хурд шудани он вазни афзалияти latency меафзояд. Таҳқиқот candidate pool-ҳои ҷудогонаи accuracy-oriented ва latency-oriented нигоҳ медорад.

CLU — ciphertext-level utilization

Бигзор bootstrapping placements network-ро ба \(S\) segment ҷудо кунад. Агар layer set-и segment \(s\) — \(\mathcal{L}_s\), ва level consumption-и ҳар layer — \(c_\ell\) бошад:

segment depth consumption аст.

Segment-level utilization:

ҳисоб карда мешавад.

Тағйирот байни segment-ҳои ҳамсоя:

ва adjacent variation:

чунин аст.

\(RMS_{\mathrm{adj}}\)-и паст истифодаи мутавозинтари level-ро байни segment-ҳои bootstrapping ифода мекунад. CLU objective-и ҷойгузини final latency ё accuracy нест; он ҳамчун conservative structural filter байни candidate-ҳое истифода мешавад, ки аз score preselection гузаштаанд.

Параметрҳои offline search

• Pool width \(W=15\).
• Maximum search iteration \(T_{\max}=30\).
• CLU retention ratio \(\eta_{\mathrm{CLU}}=0.95\).
• Initial accuracy-oriented preference weight: \(\lambda_{\mathrm{acc}}^{(0)}=1.0\).
• Initial latency-oriented preference weight: \(\lambda_{\mathrm{lat}}^{(0)}=0.1\).
• Дар як iteration пас аз duplicate removal ҳадди аксар \(2W=30\) candidate ба CAPR evaluation меравад.

Усул ва Натиҷаҳои Таҳқиқот

Муҳити таҷриба

Манбаъ вақти offline design-ро аз online encrypted inference latency ҷудо мекунад. Муқоисаҳои online performance дар мақола хароҷоти training/search-ро ба inference latency дохил намекунанд.

Маҷмӯи додаҳо

Барои кам кардани вақти offline search зермаҷмӯи 5000-image fast-training истифода шудааст. Арзёбии ниҳоии ciphertext inference дар test set-и 10.000-image анҷом дода шудааст. Метрика top-1 accuracy аст.

Параметрҳои RNS-CKKS

Сохтори modulus-chain дар манбаъ:

дар шакли bit гузориш шудааст.

Параметрҳои training

Original networks:

• Optimizer: SGD.
• Epoch: 200.
• Batch size: 128.
• Initial learning rate: 0,1.
• Learning-rate schedule: cosine decay.
• Momentum: 0,9.
• Weight decay: 0,0005.
• Gradient clipping: 1,0.

Барои polynomial networks 300 epoch ва initial learning rate 0,08 истифода шудааст; барои ҳар stage ҳадди ақал 8 epoch татбиқ шудааст.

Final CipherAPR training:

• Batch size: 128.
• Learning rate: 0,01.
• Momentum: 0,9.
• Weight decay: \(5\times10^{-4}\).
• Gradient clipping: 0,1.
• KL-divergence weight: \(\tau=0.9\).

Барои CAPR candidate evaluation танҳо 20 total epoch ва барои ҳар stage minimum 2 epoch истифода шудааст.

Параметрҳои DAAP/MOCT

• Approximation-domain minimum: \(a=0.2\).
• Extension factor: \(\rho_{\mathrm{ext}}=1.5\).
• CIFAR-10 domain estimation: 30 image.
• CIFAR-100 domain estimation: 100 image.
• Uniform perturbation: \(\epsilon=0.1\).
• MOCT training: 10.000 epoch.

Натиҷаҳои асосии encrypted inference

Манбаъ аз рӯи ин paired settings суръатбахшии умумии CipherAPR-ро нисбат ба AutoFHE дар доираи 1,09×–1,39× гузориш мекунад.

Суръатбахшии 1,09×–1,39×-и CipherAPR Чӣ Маъно Дорад?

Ин суръатбахшӣ камшавии end-to-end encrypted-inference latency-ро нисбат ба AutoFHE дар конфигуратсияҳои интихобшудаи ResNet/VGG зери ҳамон RNS-CKKS cryptographic setting ва ҳадафҳои муқоисашавандаи encrypted accuracy ифода мекунад; натиҷа барои ҳамаи шабакаҳо, ҳамаи параметрҳои FHE ё ҳамаи сахтафзорҳо кафолати универсалии суръатбахшӣ нест.

Runtime breakdown: чаро баъзе амалиёти хаттӣ гаронтар мешаванд?

Мисоли CIFAR-10/ResNet32 баланд-BT ин таъсирро равшан нишон медиҳад. AutoFHE бо 19 bootstrapping 5040 s bootstrapping ва 1838 s linear cost тавлид мекунад, дар ҳоле ки CipherAPR бо 13 bootstrapping вақти bootstrapping-ро то 3449 s кам мекунад. Дар иваз linear cost то 2208 s меафзояд. Азбаски фоидаи bootstrapping калонтар аст, total latency боз ҳам аз 7294 s ба 6064 s мефарояд.

Мисоли истифодаи restored-level

Манбаъ барои конфигуратсияи CIFAR-10/ResNet32 баланд-BT мегӯяд, ки ҳар bootstrapping ҳадди аксар 16 level restore мекунад ва input ciphertext аз level 18 оғоз мешавад.

Level-и умумии дастрас:

ҳисоб карда мешавад.

Барои AutoFHE:

level дастрас аст ва total effective usage дар Table 6 баробар ба 235 аст. Манбаъ аз ин 87 level-и истифоданашударо ҳисоб мекунад.

Барои CipherAPR:

level дастрас аст; effective usage 195 ва unused budget 31 level мебошад.

Тибқи манбаъ, дар ҳафтто аз нӯҳ paired AutoFHE/CipherAPR setting-и Table 6, CipherAPR unused level budget-и камтар нишон додааст.

Натиҷаи таҷрибавии LMAR

Арзёбии LMAR дар CIFAR-10/ResNet32 анҷом дода шудааст. Ҳангоми тадриҷан иваз кардани activation site-ҳо бо polynomial, тартиби LMAR бо тартибҳои Forward ва Reverse-LMAR муқоиса шудааст.

Натиҷаи асосии Шакли 5-и манбаъ ин аст, ки махсусан дар марҳилаи аввали иваз шудани шумораи ками activation, LMAR-based ordering accuracy-ро тезтар барқарор мекунад. Дар ҳамон fine-tuning procedure баъзе partially replaced models ба %94,05 inference accuracy расида, baseline-и аслии ReLU network-ро каме гузаштаанд. Ин қимат натиҷаи ҷойгузини ҷадвали асосии encrypted-inference-и CipherAPR нест; он supporting experiment-и алоҳида барои арзёбии LMAR ҳамчун degree-prioritization signal мебошад.

Натиҷаҳои approximation error-и DAAP + MOCT

Манбаъ мегӯяд DAAP + MOCT қимати MaxE-ро нисбат ба Minimax вобаста ба depth %39,44–%85,39 коҳиш додааст.

DAAP domain trade-off

Натиҷа approximation-stability trade-off-и муҳимро нишон медиҳад. Масалан, дар depth 6 баланд кардани \(v\) аз 0,12 то 0,30 maximum coefficient-ро аз \(3,89\times10^2\) ба \(2,54\times10^1\) паст мекунад, вале Core MaxE-ро аз \(2,85\times10^{-3}\) ба \(2,91\times10^{-2}\) мебардорад. Манбаъ қиматҳои \(v=0.20,\rho_{\mathrm{ext}}=1.50\)-ро ҳамчун default-и мутавозин истифода мебарад.

MOCT weight ablation

Баргаштани натиҷаи \(w_1=0\) ба DAAP baseline нишон медиҳад, ки термини Core Error update-и core-domain-ро пеш мебарад. \(w_3=0\) гарчанде Core MaxE-ро паст мекунад, Outer MaxE-ро ба \(7,12\times10^{-2}\) ва maximum coefficient-ро ба \(1,04\times10^2\) мебардорад. Манбаъ инро чунин шарҳ медиҳад, ки curvature penalty бо пешгирии overfit танҳо ба core region ба outer-domain numerical behavior саҳм мегузорад.

Арзёбии latency proxy, CAPR ва CLU

Манбаъ мегӯяд Шакли 6a нишон медиҳад, ки latency proxy дар bootstrapping settings-и гуногун тартиби воқеии encrypted latency-ро нигоҳ медорад. Вазифаи proxy калибровкаи глобалии latency бо сония нест; балки тартиб додани candidate-ҳо дар дохили ҳамон setting аст.

Шакли 6b нишон медиҳад, ки CAPR метавонад дар training budget-и хурд trainable configuration-ҳоро аз failure regime зуд ҷудо кунад. Манбаъ CAPR-ро ба ҷойи final accuracy ҳамчун screening estimate истифода мебарад.

Қиматҳои ҷуфт дар ҷадвал дар шакли `CLU / without CLU` мебошанд. Манбаъ махсус таъкид мекунад, ки final best score-ҳо қариб яксон мемонанд. Аз ин рӯ таъсири асосии CLU “ба таври ҷиддӣ беҳтар кардани optimum-и ниҳоӣ” нест, балки самараноктар кардани early search trajectory то best configuration-и ҳамон сатҳ аст.

Хароҷоти offline search

Ҳар candidate дар 5000-image fast-training subset бо 20 CAPR epoch ва batch size 128 fine-tune мешавад. Ин ба 800 mini-batch update барои ҳар candidate баробар аст.

Манбаъ serial offline search cost-ро:

тахмин мекунад.

\(N_{\mathrm{eval}}\) шумораи candidate configuration-ҳои бо CAPR арзёбишуда; \(T_{\mathrm{CAPR}}^{20}\) вақти 20-epoch CAPR барои ҳар candidate мебошад.

Дар ченкуниҳои пилотӣ вақти CAPR барои ҳар candidate дар ResNet settings тақрибан 10–25 дақиқа ва барои VGG 20–30 дақиқа аст. Аз рӯи ин манбаъ барои CLU-guided run бо 180–210 evaluation дар моделҳои ResNet тақрибан 1–3 serial рӯз ва дар моделҳои VGG тақрибан 2–4 serial рӯзро тахмин мекунад.

Ҳудуди муҳим: Инҳо full-search wall-clock-и end-to-end-и ченшуда нестанд, балки serial cost estimates мебошанд. Азбаски candidate evaluations мустақиланд, ҳангоми мавҷуд будани worker-и кофӣ иҷрои параллелӣ метавонад wall-clock-и воқеиро кам кунад.

Appendix B: оё дараҷаи омехта воқеан байни қабатҳо тағйир меёбад?

Бале. Depth profiles дар Appendix B нишон медиҳанд, ки CipherAPR ба ҳамаи activation layer-ҳо як polynomial degree-ро татбиқ намекунад. Activation бо depth 0 prune/identity; depth 2 shallow polynomial; қиматҳои аз 2 боло composite approximations-и амиқтарро ифода мекунанд.

Дар мисоли манбаъ барои CIFAR-10/ResNet32 шумораи activation бо depth>2 дар 7-bootstrapping setting баробар ба 2 аст, дар ҳоле ки дар 13-bootstrapping setting ба 12 меафзояд. Бо ин ҳол баъзе activation-ҳо prune мешаванд ё дар depth 2 мемонанд. Ин нишон медиҳад, ки mixed-degree approach воқеан layer-selective аст.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

• CipherAPR дар зери fixed RNS-CKKS backend маълумоти restored-level utilization-ро ба polynomial degree design дохил мекунад.
• Дар конфигуратсияҳои арзёбишудаи ResNet ва VGG нисбат ба AutoFHE 1,09×–1,39× encrypted-inference speedup гузориш шудааст.
• Дар CIFAR-10/ResNet20 high bootstrapping setting бузургтарин фоидаи гузоришшуда пастшавӣ аз 4659 s ба 3341 s мебошад.
• CipherAPR дар бисёр paired setting шумораи bootstrapping-ро кам кардааст.
• Дар ҳафтто аз нӯҳ paired AutoFHE/CipherAPR setting unused restored-level budget-и камтар мушоҳида шудааст.
• LMAR ҳамчун forward-only heuristic-и муфид барои афзалиятдиҳии activation layer дар зери replacement budget-и маҳдуд дастгирӣ шудааст.
• DAAP + MOCT дар ҳамон approximation depth MaxE-ро нисбат ба Minimax %39,44–%85,39 кам кардааст.
• CLU бе тағйири ҷиддии final best score имкон додааст, ки дар early search trajectory бо CAPR evaluation-и камтар ба ҳамон сатҳи CLU-run best расида шавад.

Натиҷаҳое, ки таҳқиқот дастгирӣ намекунад

• CipherAPR схемаи нави ё амнтари рамзгузории FHE нест.
• CipherAPR primitive-и RNS-CKKS encryption/decryption ё bootstrapping-ро тағйир намедиҳад.
• Суръатбахшии 1,09×–1,39× барои ҳамаи шабакаҳо, сахтафзорҳо ва cryptographic parameter set-ҳо кафолат нест.
• Наметавон хулоса кард, ки танҳо шумораи bootstrapping encrypted-inference performance-ро муайян мекунад.
• CAPR accuracy estimate final fully-trained encrypted-network accuracy нест.
• Latency proxy барои ҳамаи setting-ҳо пешгӯйи мутлақи latency бо сония нест; ҳамчун within-setting ranking signal истифода мешавад.
• Наметавон гуфт, ки CLU final optimum score-ро ба таври назаррас беҳтар мекунад; манфиати асосӣ дар search trajectory аст.
• Қиматҳои 1–4 рӯз барои offline search wall-clock-и end-to-end-и ченшуда нестанд, балки serial estimates мебошанд.
• Таҳқиқот compiler-side scheduling-ро иваз намекунад.
• Натиҷаҳои ResNet/VGG ва CIFAR-10/CIFAR-100-ро мустақиман ба Transformer architecture умумӣ кардан мумкин нест.

Маҳдудиятҳои асосӣ ва кори оянда

Таҳқиқот ба offline structural design дар fixed encrypted backend тамаркуз мекунад. Mixed-degree polynomial network-и CipherAPR ҷойи compiler-side bootstrapping scheduling-ро намегирад. Муаллифон оптимизатсияи якҷояи structural design ва compiler scheduling-ро кори табиии оянда медонанд.

Дар CNN-ҳои амиқтар degree-assignment search space ва CAPR evaluation cost бо шумораи activation layer меафзояд. Манбаъ мегӯяд дар шабакаҳои амиқтар монанди ResNet-110 accuracy proxies-и самараноктар ё hybrid importance metrics лозим шуда метавонанд.

Васеъкунӣ ба Transformer architecture низ масъалаи алоҳидаи таҳқиқотӣ аст. Softmax, layer normalization ва attention blocks хусусиятҳои polynomial approximation ва ciphertext-level consumption-и фарқкунанда аз CNN ReLU доранд. Аз ин рӯ натиҷаҳои мавҷудаи ResNet/VGG ба Transformer худкор интиқол намеёбанд.

Доираи амният

Security discussion-и CipherAPR бо confidentiality-и стандартии FHE inference маҳдуд аст. Дар марҳилаи офлайн LMAR, DAAP, MOCT, CAPR ва CLU inference ciphertext-и корбарро намебинанд. Дар марҳилаи online server:

ин ҳисобро дар RNS-CKKS-и стандартӣ иҷро мекунад.

\(\tilde{f}\) fixed public polynomial network-и офлайнии CipherAPR; \(pk\) public evaluation key; \(ct_{\mathrm{in}}\) вуруди рамзшудаи корбар; \(ct_{\mathrm{out}}\) натиҷаи рамзшудаи inference мебошад.

Манбаъ таъкид мекунад, ки CipherAPR ба механизми standard encryption, decryption, key-switching ё bootstrapping primitive-и нави cryptographic илова намекунад. Аз ин рӯ confidentiality claim бо RNS-CKKS security parameterization ва RLWE hardness assumptions-и истифодашуда маҳдуд аст.

Ёддошт оид ба Манбаъ ва Усул

Унвони аслӣ: CipherAPR: Accelerating RNS-CKKS Encrypted Inference via Importance-Guided and Level-Aware Mixed-Degree Polynomial Design

Муаллифон: Junping Wan; Yucen Liao; Yinglong Liao; Zejiu Tan; Jinming Xu; Zoe L. Jiang; Binxing Fang.

Тартиби муаллифон: Junping Wan якум; Yucen Liao дуюм; Yinglong Liao сеюм; Zejiu Tan чорум; Jinming Xu панҷум; Zoe L. Jiang шашум; Binxing Fang ҳафтум муаллиф аст.

Муаллифони масъул: Zoe L. Jiang ва Binxing Fang.

Муассиса 1: School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen 518055, China.

Муассиса 2: Department of Optoelectronic Engineering, Jinan University, Guangzhou 510632, China.

Муассиса 3: College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China.

Муассиса 4: School of Cyberspace Security, Guangzhou University, Guangzhou 510006, China.

Саҳми баробар: Дар манбаъ баёнияи муаллифии якуми баробар ё саҳми баробар вуҷуд надорад.

Маҷалла: Cryptography.

Ношир: MDPI.

Ҷилд / шумора / мақола: 10(4), Article 44.

Шумораи саҳифаҳо: 28.

DOI: 10.3390/cryptography10040044.

Ирсол: 11 Май 2026.

Бознигарӣ: 19 Июн 2026.

Қабул: 19 Июн 2026.

Нашр: 2 Июл 2026.

Навъи манбаъ: Мақолаи таҳқиқотии рецензияшуда; offline algorithmic design/search, polynomial approximation, cryptographic execution benchmark ва ablation/sensitivity analysis-ро барои encrypted neural-network inference зери FHE муттаҳид мекунад.

Рецензия: Cryptography маҷаллаи рецензияшудаи MDPI аст; дар шарҳи ҷории раванди MDPI single-anonymized peer review истифода мешавад.

Ҳолати preprint: Файли коркардшуда дар Verianla Version of Record-и нашршуда аст; дар ин таҳқиқот preprint-и ҷудогона асос гирифта нашудааст.

Литсензия: Creative Commons Attribution 4.0 International (CC BY 4.0).

Калимаҳои калидӣ: encrypted inference; bootstrapping; ciphertext-level utilization; fully homomorphic encryption; RNS-CKKS.

Оилаи асосии моделҳо: Дар CIFAR-10 ва CIFAR-100 шабакаҳои ResNet20, ResNet32, ResNet44 ва VGG11.

Муқоисаҳои асосӣ: MPCNN ва AutoFHE. DaCapo, Orion ва ReSBM ҳамчун compiler-side execution optimizers баррасӣ шудаанд, аммо ҳамчун baseline-и мустақим ба structural-design benchmark дохил нашудаанд.

Инфрасохтори FHE: RNS-CKKS; Microsoft SEAL; инфрасохтори implementation-и AutoFHE.

Security setting: Ring degree \(2^{16}\); modulus-chain length 1552 bit; private-key Hamming weight 192; 128-bit security.

Сахтафзори offline training: NVIDIA RTX A6000, Ubuntu 20.04.

Сахтафзори encrypted inference: Intel Xeon Platinum 8462Y+, 128 vCPU, 1 TiB RAM, Ubuntu 20.04.

Нармафзори offline: Python 3.8, PyTorch 1.13.1.

Online encrypted execution: C++ ва Microsoft SEAL.

Ҷузъҳои асосии усул: LMAR, probabilistic degree tuning, DAAP, MOCT, latency proxy, CAPR ва CLU.

Натиҷаи асосии performance: Дар конфигуратсияҳои арзёбишуда нисбат ба AutoFHE 1,09×–1,39× encrypted-inference speedup; ciphertext accuracy-и монанд.

Мисоли баландтарин суръатбахшии гузоришшуда: Дар CIFAR-10/ResNet20 high bootstrapping setting, AutoFHE 4659 s ва 11 bootstrapping; CipherAPR 3341 s ва 7 bootstrapping.

Натиҷаи approximation: DAAP + MOCT дар Table 7 MaxE-ро нисбат ба Minimax вобаста ба depth %39,44–%85,39 коҳиш додааст.

Натиҷаи CLU: Дар accuracy-oriented ва latency-oriented search, CLU бе тағйири ҷиддии final normalized best score, CAPR evaluations-и лозим барои расидан ба CLU-run best-ро мутаносибан ба 210/330 ва 180/330 кам кардааст.

Маблағгузорӣ: National Key R&D Program of China (2023YFB3106500); National Natural Science Foundation of China (62272131); Shenzhen Social Science Fund (SZ2025B011); Shenzhen Science and Technology Major Project (KJZD20230923114908017).

Дастрасии додаҳо: Гуфта шудааст, ки додаҳои дар таҳқиқот пешниҳодшуда аз corresponding author бо дархости асоснок дастрасанд. Public datasets-и истифодашуда CIFAR-10 ва CIFAR-100 мебошанд.

Бархӯрди манфиатҳо: Муаллифон изҳор мекунанд, ки бархӯрди манфиатҳо вуҷуд надорад. Манбаъ инчунин мегӯяд funding sponsors дар тарҳи таҳқиқот, ҷамъоварӣ/таҳлил/тафсири додаҳо, навиштани мақола ё қарори нашр нақш надоштанд.

Саҳмҳои муаллифон: Conceptualization: Junping Wan, Jinming Xu, Zoe L. Jiang, Binxing Fang; methodology: Junping Wan, Yucen Liao, Yinglong Liao, Zejiu Tan; software: Junping Wan; validation: Junping Wan, Yucen Liao, Zejiu Tan; formal analysis: Junping Wan, Yinglong Liao, Zejiu Tan; investigation ва data curation: Junping Wan; resources: Zoe L. Jiang ва Binxing Fang; original draft: Junping Wan; review/editing: ҳамаи муаллифон; visualization: Yucen Liao, Yinglong Liao ва Zejiu Tan; supervision/project administration/funding acquisition: Zoe L. Jiang ва Binxing Fang.

Кумитаи этика / розигии огоҳона: Дар PDF-и манбаъ баёнияи ҷудогонаи Institutional Review Board ё Informed Consent гузориш нашудааст. Таҳқиқот дар benchmark-ҳои CIFAR ва таҷрибаҳои ҳисобии encrypted inference анҷом дода шудааст.

Маҳдудиятҳои асосии методологӣ: Таҳқиқот ба offline structural design дар fixed RNS-CKKS backend тамаркуз мекунад ва compiler scheduling-ро иваз намекунад. Хароҷоти offline search бо шумораи activation-layer меафзояд. CAPR ва latency proxy воситаҳои screening мебошанд ва ҷойи final full evaluation-ро намегиранд. Қиматҳои 1–4 рӯзаи search serial estimates мебошанд. Арзёбӣ бо CIFAR-10/CIFAR-100 ва меъмориҳои ResNet/VGG маҳдуд аст; Transformer architecture бояд ҷудогона таҳқиқ шавад.

Ҳудуди тафсири security: Даъвои амнияти CipherAPR ба cryptographic primitive-и нав тааллуқ надорад. Система механизми стандартии RNS-CKKS encryption/decryption/key-switching/bootstrapping-ро истифода мебарад; confidentiality аз RNS-CKKS parameterization ва фарзияи RLWE-и истифодашуда мерос гирифта мешавад.