CipherAPR — RNS-CKKS негизиндеги толук гомоморфтук шифрлөө астында иштеген нейрондук тармактарда ReLU активдештирүүлөрүнүн ордуна колдонулуучу полиномдордун даражаларын катмар боюнча тандаган жана бул тандоодо ciphertext-level колдонулушун эске алган офлайн аралаш-даражалуу полином долбоорлоо алкагы. Изилдөөнүн негизги маселеси — жогорку даражадагы ReLU жакындаштыруулары тактыкты сактоо менен көбүрөөк multiplicative depth керектеп, кымбат bootstrapping операцияларын көбөйтүшү. CipherAPR bootstrapping санын гана азайтууга аракет кылбайт; bootstrappingден кийин калыбына келтирилген ciphertext деңгээлдери канчалык натыйжалуу колдонулганын да долбоорлоо чечимине кошот.

Алкактын төрт негизги компоненти бар. Low-Magnitude Activation Ratio (LMAR) кириштери ReLUнун нөл айланасындагы критикалык аймагына топтолгон активдештирүү катмарларын аныктап, жогорку даража берилиши керек болгон катмарларга артыкчылык берет. Domain-Adaptive Approximation (DAAP) ар бир катмардын байкалган активдештирүү диапазонуна ылайык полиномдук жакындаштыруу аймагын түзөт. Multi-Objective Coefficient Tuning (MOCT) жакындаштыруу катасын азайтуу менен бирге коэффициенттердин чоңдугун жана тышкы-аймактагы жүрүм-турумду көзөмөлдөөгө аракет кылат. Ciphertext-Level Utilization (CLU) болсо bootstrapping сегменттеринде калыбына келтирилген level бюджетин тең эмес пайдаланган талапкер конфигурацияларды издөө процессинде артка жылдырат.

Изилдөөдө CIFAR-10 жана CIFAR-100 боюнча ResNet20, ResNet32, ResNet44 жана VGG11 тармактары бааланган. Ошол эле RNS-CKKS жөндөөлөрүндө CipherAPR AutoFHE менен салыштырганда билдирилген конфигурацияларда 1,09×–1,39× ылдамданууну камсыздап, окшош ciphertext тактыгын сактаган. Эң көрүнүктүү мисалда CIFAR-10/ResNet20 үчүн AutoFHE 11 bootstrapping жана 4659 секунд жалпы кечигүү менен %92,89 ciphertext тактыгын берсе, CipherAPR 7 bootstrapping жана 3341 секунд кечигүү менен %92,61 тактык берген.

Бул жыйынтыкты “bootstrapping аз болсо, ар дайым автоматтык түрдө тезирээк болот” деп түшүндүрүүгө болбойт. Булак ciphertext кайсы levelда турганы rotation, rescaling жана key-switching сыяктуу операциялардын чыгымына да таасир этерин көрсөтөт. Айрым конфигурацияларда CipherAPRдын сызыктуу операция чыгымы өскөн, бирок bootstrapping убактысынын чоңураак кыскарышы жалпы кечигүүнү баары бир төмөндөткөн.

CipherAPR жаңы FHE шифрлөө primitive эмес жана RNS-CKKSтин коопсуздук механизмин өзгөртпөйт. LMAR, DAAP, MOCT, CAPR жана CLU офлайн модель долбоорлоодо plaintext training/calibration активдештирүүлөрү же public модель параметрлери үстүндө иштейт. Онлайн колдонуучу кириштери стандарттуу RNS-CKKS астында шифрленген бойдон калат; булак confidentiality колдонулган RNS-CKKS параметрлеринен жана Ring Learning With Errors коопсуздук божомолунан мурасталарын белгилейт.

Маселе эмне үчүн пайда болот?

Fully Homomorphic Encryption (FHE) серверге колдонуучунун маалыматын ачык текстке айландырбастан шифрленген маалымат үстүндө эсептөөгө мүмкүндүк берет. Бул өзгөчөлүк Machine Learning as a Service сценарийлеринде маанилүү: колдонуучу киришин шифрлейт, сервер нейрондук тармактын inference эсептөөсүн ciphertext үстүндө жүргүзөт, ал эми колдонуучу акыркы шифрленген натыйжаны гана өз тарабында чечмелейт.

Изилдөө колдонгон RNS-CKKS — болжолдуу чыныгы же комплекстүү сан арифметикасын колдогон FHE схемасы. Билдирүү вектору plaintext polynomial \(m(x)\) түрүндө коддолуп, ciphertext катары шифрленет. Эсептөө:

cyclotomic ring үстүндө жүргүзүлөт.

Бул жерде modulus:

түрүндө. \(\ell\) — ciphertextтин калган multiplicative capacityсин көрсөткөн ciphertext level мааниси. Ар бир homomorphic multiplication ciphertextтин масштабын чоңойткондуктан, адатта rescaling талап кылынат. Rescaling акыркы prime \(q_\ell\)ди modulus chainден чыгарат:

жана ошентип бир level сарпталат.

Level нөлгө жакындаганда ciphertext дагы multiplication көтөрө алышы үчүн bootstrapping керек. Bootstrapping ciphertextти кайра колдонууга боло турган жогорку levelга көтөрөт; бирок RNS-CKKS encrypted inference ичинде өтө кымбат операция.

Bootstrapping Санын Азайтуу Эмне Үчүн Өзүнчө Жетишсиз?

Bootstrapping саны маанилүү болгону менен, RNS-CKKS операциясынын чыгымы ciphertext кайсы levelда эсептелгенине да көз каранды; жогорку level көбүрөөк активдүү RNS prime камтыгандыктан rotation, relinearization, multiplication жана rescaling сыяктуу операциялар кымбатыраак болушу мүмкүн. Ошондуктан CipherAPR bootstrapping санын гана эмес, bootstrappingден кийин калыбына келген level бюджетинин сегменттер боюнча канчалык натыйжалуу сарпталганын да эске алат.

RNS-CKKSте level эмне үчүн операция чыгымына таасир этет?

Булак активдүү RNS basisти:

деп аныктайт. Активдүү prime саны:

болгондуктан level жогорулаган сайын эсептөөгө көбүрөөк modulus limb катышат.

Level \(\ell\)деги primitive homomorphic operation чыгымдарынын суммасы:

түрүндө жазылат.

Бул жерде \(\mathcal{P}\) AddCP, AddCC, MulCP, MulCC, Rot, Relin жана RS сыяктуу primitive operation түрлөрүн; \(n_k\) тиешелүү операция санын; \(t_k(\ell)\) болсо бир операциянын level \(\ell\)деги чыгымын көрсөтөт.

Булак колдонгон болжолдуу level көз карандылыгы:

түрүндө.

\(N\) — ring degree. \(\alpha_k\) жана \(\beta_k\) — operation-dependent constants. Биринчи топтогу операциялар активдүү RNS limb саны менен болжолдуу сызыктуу; key-switching камтыган rotation жана relinearization түрлөрү болсо булактын cost modelинде күчтүүрөөк level көз карандылыгын көрсөтөт.

Ошондуктан bootstrappingден кийинки effective level \(L_{\mathrm{eff}}\)ди төмөндөтүү кийинки операцияларды арзандатышы мүмкүн; бирок өтө төмөн \(L_{\mathrm{eff}}\) жетиштүү multiplicative-depth калтырбай, bootstrapping санын кайра көбөйтүшү мүмкүн.

Булак жалпы inference latencyни концептуалдык түрдө:

түрүндө берет.

\(N_{\mathrm{boot}}\) — bootstrapping саны; \(T_{\mathrm{boot}}\) — бир bootstrapping чыгымы; \(T_{\mathrm{seg}}^{(j)}\) болсо эки bootstrapping ортосундагы сегменттин эсептөө чыгымы. Формула жалпы latency бир гана \(N_{\mathrm{boot}}\)га көз каранды эмес экенин ачык көрсөтөт.

ReLU эмне үчүн түз эсептелбейт?

RNS-CKKS негизинен addition жана multiplication сыяктуу arithmetic operations берет. CNNдердеги:

функция түздөн-түз polynomial эмес. Ошондуктан ReLU homomorphic evaluationга ылайыктуу polynomial approximation менен алмаштырылат.

Булак ReLUну sign function аркылуу:

түрүндө көрсөтөт.

Sign function нөл айланасындагы discontinuity себебинен бир төмөн даражадагы polynomial менен жогорку тактыкта жакындаштыруу кыйын болгон функция. Ошондуктан изилдөө composite polynomial:

түзүмүн колдонот.

Ар бир sub-polynomialдын даражасы:

деп көрсөтүлөт.

Composite polynomial multiplicative depth

Baby Step Giant Step (BSGS) polynomial evaluation колдонулганда булак \(i\)-sub-polynomial үчүн depthти:

менен жогору жактан чектейт.

Жалпы composite depth болжол менен:

деп эсептелет.

Жогорку degree set адатта ReLU approximation fidelityсин жогорулата алган, туюнтуу мүмкүнчүлүгү жогору polynomial түзөт; бирок көбүрөөк multiplicative depth жана ошого жараша бат-бат же башкача жайгаштырылган bootstrapping талап кылышы мүмкүн.

CipherAPR кайсы маселени оптималдаштырат?

Encrypted networkте \(L\) activation layer бар деп элестетели. Катмарларга берилген polynomial даражалары:

degree vector менен көрсөтүлөт. \(\mathbb{D}\) — колдонууга уруксат берилген polynomial degree set.

Белгилүү degree configuration \(\mathbf{d}\) үчүн мүмкүн болгон bootstrapping placementтардын топтому:

деп аныкталат. \(\Lambda\) ring degree, modulus chain жана security level сыяктуу туруктуу cryptographic settingти билдирет.

Configurationнын latency мааниси:

деп аныкталат.

Бул жерде \(T(\mathbf{d},\pi;\Lambda)\) — белгилүү polynomial degrees жана bootstrapping placement астындагы учтан-учуна encrypted inference latency.

Негизги оптималдаштыруу маселеси:

түрүндө.

Демек CipherAPR эң тез configurationны гана издебейт. Минималдуу кабыл алынган accuracy constraintти сактап, эң төмөн encrypted inference latency берген layer-wise degree assignmentты издейт.

CipherAPRдын үч баскычтуу офлайн долбоорлоо процесси

LMAR: Кайсы катмарга даражаны көбүрөөк жогорулатуу керек?

ReLUнун критикалык жүрүм-туруму нөл айланасында. Кириш терс жакка өткөндө ReLU чыгышы нөл болот; оң жакта болсо кириш өткөрүлөт. Polynomial approximation өзгөчө нөлгө жакын маанилерде sign/gating чечимин туура эмес көрсөтүүгө көбүрөөк жакын.

Ошондуктан CipherAPR layer \(\ell\) үчүн Low-Magnitude Activation Ratio аныктайт:

Бул жерде \(x_{\ell,i}\) — \(\ell\)-activation layerдагы \(i\)-нейрондун кириши; \(k_\ell\) — ошол катмардагы жалпы нейрон саны; \(\epsilon\) — “нөлгө жакын” аймакты аныктаган босого; \(\mathbf{1}(\cdot)\) шарт туура болсо 1, туура эмес болсо 0 берген indicator function.

LMAR өлчөмсүз катыш жана 0–1 аралыгында. Жогорку LMAR катмардагы activation inputтардын чоң бөлүгү нөл айланасында экенин көрсөтөт. Булак муну ошол эле level budget шартында жогорку polynomial degreeден көбүрөөк пайда ала турган катмарларды иреттөө үчүн колдонот.

LMAR Эмнени Өлчөйт жана Эмне Үчүн Маанилүү?

LMAR активдештирүү катмарындагы кириштердин канча бөлүгү ReLUнун нөл айланасындагы сезимтал аймакта экенин өлчөгөн өлчөмсүз катыш; катыш жогорулаган сайын төмөн даражадагы полином gating жүрүм-турумун туура эмес көрсөтүү коркунучу маанилүү болуп, CipherAPR бул катмарларды даража жогорулатуу үчүн жогору артыкчылык менен баалайт.

\(\epsilon\) босогосу кантип аныкталат?

Булак \(\epsilon\)ни кол менен туруктуу коюунун ордуна бардык катмарлардагы activation magnitude бөлүштүрүүгө Otsu ыкмасын колдонот.

Within-class variance:

Between-class variance:

түрүндө.

\(w_1,w_2\) эки activation-magnitude классынын ыктымалдыктарын; \(\mu_1,\mu_2\) класс орточолорун; \(\sigma_1^2,\sigma_2^2\) класс ичиндеги дисперсияларды көрсөтөт.

Булак оптималдуу \(\epsilon\)ни:

катышын максималдаштырган threshold катары тандайт.

LMAR эксперименттик heuristic гана болуп саналабы?

Appendix A LMAR иреттөөсүнө теориялык чек негиздемесин да берет. \(\ell\)-layer pre-activation \(X_\ell\), polynomial approximation \(p_d(x)\) болсун. Polynomial \(|x|\ge\epsilon\) аймагында туура signды сактаса, gating sign inconsistency ыктымалдыгы:

менен жогору жактан чектелет.

Бул теңдеме LMAR sign inconsistency сөзсүз боло турган так ыктымалдык дегенди билдирбейт. LMAR көрсөтүлгөн shape constraint астында коркунуч үчүн жогорку чек.

Булак approximation errorдун expected lossка таасири үчүн дагы:

чегин берет.

Бул жерде \(L_\ell\) — кийинки sub-networkтин Lipschitz constantы; \(L_{\mathrm{loss}}\) — loss functionдун Lipschitz constantы; \(c_{\epsilon,d}\) — нөлгө жакын approximation region ичиндеги максималдуу polynomial четтөөнү билдирет. Булактын түшүндүрмөсү боюнча башка факторлор окшош болгондо жогорку LMAR approximation errorдун expected lossка салымын көбөйтүшү мүмкүн.

Degree update кантип тандалат?

Activation layerлар LMAR маанилери боюнча чоңдон кичинеге иреттелет. Катмар \(\ell\)дин rankы \(r_\ell\), жалпы layer саны \(M\) болгондо normalized rank score:

деп эсептелет.

Жогорку LMARдуу катмарлар 1ге, төмөн LMARдуу катмарлар 0гө жакындайт.

IncreaseDegree жана DecreaseDegree үчүн булак centered hinge functions колдонот:

Бул жерде \(\tau_c=0.5\), ал эми \(m\in[0,0.5)\) — update selectivity margin.

Action probabilities:

деп эсептелет.

ID — degree жогорулатуу, DD — degree төмөндөтүү, KD — degreeни сактоо. Мурунку iterationда өзгөртүлгөн layer үчүн dynamic coefficients:

менен азайтылат. Булак бул cooling механизмин бир эле layerдын удаалаш iterationдарда кайра-кайра алдыга-артка өзгөртүлүшүн азайтуу үчүн колдонот.

DAAP — approximation domain эмне үчүн катмарга жараша өзгөрөт?

Ар бир layerдын activation distributionу бирдей эмес. Бир эле кең approximation domainди бардык layerларга колдонуу айрым layerларда керексиз татаал polynomial fitting маселесин жаратышы мүмкүн.

DAAP layer \(\ell\)дин empirical activation bounds маанилерин:

катары алып, symmetric core radiusты:

түрүндө эсептейт.

\(B>1\) activation-domain normalization үчүн колдонулган global scaling factor. Булак бул CKKS encryption scale менен бирдей чоңдук эмес экенин өзгөчө белгилейт. \(a>0\) — minimum core-domain radius.

Core domain:

extended domain болсо:

деп аныкталат.

\(\rho_{\mathrm{ext}}>1\) кадимки core domainден тышкары калган, бирок жолугушу мүмкүн болгон activation tailдар үчүн коопсуздук запасын түзөт.

DAAP жана MOCT Эмне Үчүн Бирге Колдонулат?

DAAP полиномдун жакындаштыруу аймагын катмардын чыныгы активдештирүү бөлүштүрүүсүнө ылайыкташтырса, MOCT ошол эле полиномдун коэффициенттерин core error, extended-domain жүрүм-туруму, ийрилик жана коэффициент чоңдугун бирге эске алып жөндөйт; максат ошол эле polynomial degree шартында төмөн approximation error жана ciphertext arithmetic үчүн туруктуураак сандык жүрүм-турумга жетишүү.

MOCT loss function

Акыркы ReLU approximation:

түрүндө.

MOCT төрт loss компонентин колдонот.

Core Error (CE):

core domain ичиндеги максималдуу approximation error.

Extended Domain Constraint (EDC):

extended domain ичинде polynomial output күтүлгөн коопсуз диапазондон чыгып кетишин жазалайт.

Curvature Penalty (CP):

булакта polynomial oscillation жана Runge сымал жүрүм-турумду басуу үчүн curvature regularization катары колдонулат.

Coefficient Regularization (CR):

polynomial coefficient чоңдугун чектейт.

Жалпы loss:

түрүндө.

Макаладагы эксперименттерде:

колдонулган.

MOCT биринчи sub-polynomial \(p_1(x)\)дин odd-degree coefficients маанилерин гана trainable кылат; башка коэффициенттер туруктуу кармалат. Булак 10.000 MOCT epoch колдонгон.

CAPR деген эмне?

Cosine-scheduled Activation Progressive Replacement (CAPR) — candidate mixed-degree networkтин акыркы тактыгын толук 300-epoch training жасабастан мурун аз бюджет менен болжолдуу баалаган офлайн screening ыкмасы.

Жалпы training budget \(T\), stage саны \(Q\), minimum stage epoch \(M_{\min}\) болсун. Ар бир stage үчүн epoch allocation:

түрүндө берилет.

Булак демейки түрдө:

колдонот.

Stage \(q\)де өзгөртүлүшү пландалган activation саны:

жана кумулятивдүү өзгөртүлгөн activation саны:

деп аныкталат.

CAPR акыркы accuracy эмес. Макала CAPRды candidate screening үчүн low-budget staged accuracy estimate катары гана колдонот; тандалган конфигурациялар кийин толук trainingге алынат.

Latency proxy жана dynamic programming

CipherAPR ар бир candidateти чыныгы encrypted inference менен сынабайт; антпесе search өтө кымбат болот. Анын ордуна белгилүү layer айланасында feasible bootstrapping positions түзүп, dynamic programming менен minimum proxy latencyни издейт.

DP state кайсы layerда турганын жана калган ciphertext levelды көзөмөлдөйт. Bootstrapping кошулса level \(L_{\mathrm{eff}}\)ге reset болуп, bootstrapping cost кошулат.

Сызыктуу operator costтар input ciphertext level боюнча даярдалган lookup tableдан алынат. Polynomial layer cost degree менен байланышкан monotonic cost model колдонот.

Candidate score

Candidate \(\mathbf{d}'\) үчүн score:

түрүндө.

\(\lambda\) чоңойгон сайын accuracy артыкчылыгынын; кичирейген сайын latency артыкчылыгынын салмагы өсөт. Изилдөө өзүнчө accuracy-oriented жана latency-oriented candidate poolдорду кармайт.

CLU — ciphertext-level utilization

Bootstrapping placements networkти \(S\) сегментке бөлсүн. Segment \(s\)деги layer set \(\mathcal{L}_s\), ар бир layerдын level consumption мааниси \(c_\ell\) болсо:

segment depth consumption болуп саналат.

Segment-level utilization:

деп эсептелет.

Кошуна сегменттердин ортосундагы өзгөрүү:

жана adjacent variation:

түрүндө.

Төмөн \(RMS_{\mathrm{adj}}\) bootstrapping сегменттеринин арасында тең салмактуу level сарптоону билдирет. CLU акыркы latency же accuracyнын ордуна колдонулган objective эмес; score preselectionдан өткөн candidateтер арасында conservative structural filter катары колдонулат.

Offline search параметрлери

• Pool width \(W=15\).
• Maximum search iteration \(T_{\max}=30\).
• CLU retention ratio \(\eta_{\mathrm{CLU}}=0.95\).
• Баштапкы accuracy-oriented preference weight: \(\lambda_{\mathrm{acc}}^{(0)}=1.0\).
• Баштапкы latency-oriented preference weight: \(\lambda_{\mathrm{lat}}^{(0)}=0.1\).
• Бир iterationда duplicate removalдан кийин эң көп \(2W=30\) candidate CAPR баалоосуна өтөт.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Эксперименттик чөйрө

Булак offline design убактысын online encrypted inference latencyден өзүнчө бөлөт. Макаладагы online performance салыштыруулары training/search чыгымын inference latencyге кошпойт.

Маалымат топтомдору

Offline search убактысын азайтуу үчүн 5000-image fast-training subset колдонулган. Акыркы ciphertext inference баалоосу 10.000-image test set үстүндө жүргүзүлгөн. Метрика top-1 accuracy.

RNS-CKKS параметрлери

Modulus-chain түзүмү булакта:

bit түрүндө билдирилген.

Training параметрлери

Original networks:

• Optimizer: SGD.
• Epoch: 200.
• Batch size: 128.
• Initial learning rate: 0,1.
• Learning-rate schedule: cosine decay.
• Momentum: 0,9.
• Weight decay: 0,0005.
• Gradient clipping: 1,0.

Polynomial networks үчүн 300 epoch жана initial learning rate 0,08 колдонулган; ар stage үчүн кеминде 8 epoch колдонулган.

Final CipherAPR training:

• Batch size: 128.
• Learning rate: 0,01.
• Momentum: 0,9.
• Weight decay: \(5\times10^{-4}\).
• Gradient clipping: 0,1.
• KL-divergence weight: \(\tau=0.9\).

CAPR candidate evaluation үчүн 20 total epoch жана ар stage үчүн minimum 2 epoch гана колдонулган.

DAAP/MOCT параметрлери

• Approximation-domain minimum: \(a=0.2\).
• Extension factor: \(\rho_{\mathrm{ext}}=1.5\).
• CIFAR-10 domain estimation: 30 image.
• CIFAR-100 domain estimation: 100 image.
• Uniform perturbation: \(\epsilon=0.1\).
• MOCT training: 10.000 epoch.

Негизги encrypted inference жыйынтыктары

Булак ушул paired settings боюнча CipherAPRдын AutoFHEге салыштырмалуу жалпы ылдамдануусун 1,09×–1,39× аралыгында билдирет.

CipherAPRдын 1,09×–1,39× Ылдамдануусу Эмнени Билдирет?

Бул ылдамдануу бирдей туруктуу RNS-CKKS cryptographic setting жана салыштырууга боло турган encrypted accuracy максаттары астында тандалган ResNet/VGG конфигурацияларында AutoFHEге салыштырмалуу өлчөнгөн учтан-учуна encrypted-inference latency азайышын билдирет; жыйынтык бардык тармактар, бардык FHE параметрлери же бардык жабдуулар үчүн универсалдуу ылдамдануу кепилдиги эмес.

Runtime breakdown: эмне үчүн айрым сызыктуу операциялар кымбаттайт?

CIFAR-10/ResNet32 жогорку-BT мисалы бул өз ара таасирди ачык көрсөтөт. AutoFHE 19 bootstrapping менен 5040 s bootstrapping жана 1838 s linear cost жаратса, CipherAPR 13 bootstrapping менен bootstrapping убактысын 3449 sге түшүрөт. Анын ордуна linear cost 2208 sге өсөт. Bootstrapping утушу чоңураак болгондуктан жалпы latency баары бир 7294 sден 6064 sге түшөт.

Restored-level колдонуу мисалы

Булак CIFAR-10/ResNet32 жогорку-BT конфигурациясы үчүн ар бир bootstrapping эң көп 16 level restore кыларын жана input ciphertext level 18ден башталарын белгилейт.

Жалпы колдонууга боло турган level:

деп эсептелет.

AutoFHE үчүн:

level жеткиликтүү жана Table 6да total effective usage 235. Булак ошого жараша 87 level колдонулбай калганын эсептейт.

CipherAPR үчүн:

level жеткиликтүү; effective usage 195 жана unused budget 31 level.

Булакка ылайык Table 6дагы тогуз paired AutoFHE/CipherAPR settingдин жетөөсүндө CipherAPR төмөн unused level budget көрсөткөн.

LMAR эксперименттик жыйынтыгы

LMAR баалоосу CIFAR-10/ResNet32 үстүндө жүргүзүлгөн. Activation siteтар акырындап polynomial менен алмаштырылганда LMAR ирети Forward жана Reverse-LMAR иреттери менен салыштырылган.

Булактагы 5-сүрөттүн негизги жыйынтыгы — өзгөчө аз санда activation алмаштырылган эрте баскычта LMAR-based ordering accuracyны тезирээк калыбына келтирет. Ошол эле fine-tuning процедурасында айрым partially replaced моделдер %94,05 inference accuracyга жетип, баштапкы ReLU network baselineдан бир аз ашкан. Бул маани CipherAPRдын encrypted-inference негизги натыйжалар таблицасын алмаштырган жыйынтык эмес; LMARды degree-prioritization signal катары баалоого арналган өзүнчө supporting experiment.

DAAP + MOCT approximation error жыйынтыктары

Булак DAAP + MOCT Minimaxка салыштырмалуу MaxE маанисин depthке жараша %39,44–%85,39 азайтканын билдирет.

DAAP domain trade-off

Жыйынтык маанилүү approximation-stability trade-off көрсөтөт. Мисалы, depth 6да \(v\)ни 0,12ден 0,30га көбөйтүү maximum coefficient чоңдугун \(3,89\times10^2\)ден \(2,54\times10^1\)ге азайтса, Core MaxEни \(2,85\times10^{-3}\)тен \(2,91\times10^{-2}\)ге жогорулатат. Булак \(v=0.20,\rho_{\mathrm{ext}}=1.50\) маанилерин тең салмактуу default катары колдонот.

MOCT weight ablation

\(w_1=0\) натыйжасынын DAAP baselineга кайтышы Core Error термини core-domain updateти айдап жатканын көрсөтөт. \(w_3=0\) болсо Core MaxEни төмөндөтсө да, Outer MaxEни \(7,12\times10^{-2}\)ге жана maximum coefficientти \(1,04\times10^2\)ге чыгарат. Булак муну curvature penalty core regionга ашыкча ылайыкташууну бөгөттөө аркылуу outer-domain numerical behaviorга салым кошот деп чечмелейт.

Latency proxy, CAPR жана CLU баалоосу

Булактагы 6a-сүрөт latency proxy ар башка bootstrapping settings ичинде чыныгы encrypted latency orderingди сактаарын билдирет. Proxynин милдети жалпы түрдө latencyни секунд менен калибрлөө эмес; бир setting ичиндеги талапкерлерди иреттөө.

6b-сүрөт CAPR аз training budget ичинде trainable configurationдарды failure regimeден тез ажырата аларын көрсөтөт. Булак CAPRды final accuracy ордуна screening estimate катары колдонот.

Таблицадагы жуп маанилер `CLU / without CLU` түрүндө. Булак final best scoreлор дээрлик бирдей калганын өзгөчө белгилейт. Демек CLUнун негизги таасири “акыркы optimumду кескин жакшыртуу” эмес, ошол деңгээлдеги best configurationга алып барган эрте search trajectoryны натыйжалуураак кылуу.

Offline search чыгымы

Ар бир candidate 5000-image fast-training subset үстүндө 20 CAPR epoch жана batch size 128 менен fine-tune кылынат. Бул бир candidate үчүн 800 mini-batch updateке туура келет.

Булак serial offline search costту:

деп баалайт.

\(N_{\mathrm{eval}}\) — CAPR менен бааланган candidate configuration саны; \(T_{\mathrm{CAPR}}^{20}\) — бир candidate үчүн 20-epoch CAPR убактысы.

Пилоттук өлчөөлөрдө бир candidate үчүн CAPR убактысы ResNet settings үчүн болжол менен 10–25 мүнөт, VGG үчүн 20–30 мүнөт. Ошого жараша булак 180–210 баалоолуу CLU-guided run үчүн ResNet моделдеринде болжол менен 1–3 serial күн, VGG моделдеринде болжол менен 2–4 serial күн деп баалайт.

Маанилүү чек: Бул учтан-учуна өлчөнгөн full-search wall-clock убакыттары эмес, serial cost estimates. Candidate evaluations көз карандысыз болгондуктан жетиштүү worker болсо параллелдүү аткаруу чыныгы wall-clock убактысын азайтышы мүмкүн.

Appendix B: аралаш даража чын эле катмарлар арасында өзгөрөбү?

Ооба. Appendix Bдеги depth profiles CipherAPR бардык activation layerларга бир эле polynomial degree колдонбой турганын көрсөтөт. Depth 0 болгон activation prune/identity; depth 2 shallow polynomial; 2ден жогору маанилер тереңирээк composite approximations дегенди билдирет.

Булак берген мисалда CIFAR-10/ResNet32 үчүн depth>2 activation саны 7-bootstrapping settingде 2 болсо, 13-bootstrapping settingде 12ге өсөт. Ошого карабастан айрым activationдар prune кылынат же depth 2де кармалат. Бул mixed-degree ыкма чындап layer-selective экенин көрсөтөт.

Изилдөө колдогон жыйынтыктар

• CipherAPR туруктуу RNS-CKKS backend астында polynomial degree designга restored-level utilization маалыматын кошот.
• Бааланган ResNet жана VGG конфигурацияларында AutoFHEге салыштырмалуу 1,09×–1,39× encrypted-inference speedup билдирилген.
• Эң чоң билдирилген утуш CIFAR-10/ResNet20 жогорку bootstrapping settingде 4659 sден 3341 sге түшүү.
• CipherAPR көп paired settingде bootstrapping санын азайткан.
• Тогуз paired AutoFHE/CipherAPR settingдин жетөөсүндө төмөн unused restored-level budget байкалган.
• LMAR чектелген replacement budget астында activation layer артыкчылыгын аныктоо үчүн пайдалуу forward-only heuristic катары колдоого алынган.
• DAAP + MOCT бирдей approximation depth астында Minimaxка салыштырмалуу MaxEни %39,44–%85,39 азайткан.
• CLU final best scoreду олуттуу өзгөртпөстөн эрте search trajectoryда азыраак CAPR evaluation менен ошол эле CLU-run best деңгээлине жетүүгө мүмкүндүк берген.

Изилдөө колдобогон жыйынтыктар

• CipherAPR жаңы же коопсузураак FHE шифрлөө схемасы эмес.
• CipherAPR RNS-CKKS encryption/decryption же bootstrapping primitiveин өзгөртпөйт.
• 1,09×–1,39× ылдамдануу бардык тармактар, жабдуулар жана cryptographic parameter setтер үчүн кепилдик эмес.
• Bootstrapping саны жалгыз encrypted-inference performanceти аныктайт деген жыйынтык чыгарууга болбойт.
• CAPR accuracy estimate акыркы fully-trained encrypted-network accuracy эмес.
• Latency proxy бардык settingдер арасында чыныгы latencyнин абсолюттук секунддук баалоочусу эмес; within-setting ranking signal катары колдонулат.
• CLU final optimum scoreду олуттуу жакшыртат деп айтууга болбойт; негизги пайдасы search trajectoryда.
• Offline search үчүн берилген 1–4 күндүк маанилер өлчөнгөн end-to-end wall-clock убакыттар эмес, serial estimates.
• Изилдөө compiler-side schedulingди алмаштырбайт.
• ResNet/VGG жана CIFAR-10/CIFAR-100 жыйынтыктарын Transformer архитектураларына түз жалпылоого болбойт.

Негизги чектөөлөр жана келечектеги иш

Изилдөө fixed encrypted backend астында offline structural designга багытталган. CipherAPR түзгөн mixed-degree polynomial network compiler-side bootstrapping schedulingди алмаштырбайт. Авторлор structural design менен compiler schedulingди бирге оптималдаштырууну табигый кийинки иш катары көрүшөт.

Тереңирээк CNNдерде degree-assignment search space жана CAPR evaluation чыгымы activation layer саны менен өсөт. Булак ResNet-110 сыяктуу терең тармактарда натыйжалуураак accuracy proxies же hybrid importance metrics керек болушу мүмкүн экенин белгилейт.

Transformer architectureларга кеңейтүү да өзүнчө изилдөө маселеси. Softmax, layer normalization жана attention blocks CNN ReLUларынан айырмаланган polynomial approximation жана ciphertext-level consumption өзгөчөлүктөрүнө ээ. Ошондуктан учурдагы ResNet/VGG жыйынтыктары Transformerга автоматтык түрдө өткөрүлбөйт.

Коопсуздук чөйрөсү

CipherAPRдын security discussionу стандарттуу FHE inference confidentiality менен чектелет. Офлайн баскычта LMAR, DAAP, MOCT, CAPR жана CLU колдонуучунун inference ciphertextтерин көрбөйт. Онлайн баскычта server:

эсептөөнү стандарттуу RNS-CKKS үстүндө жүргүзөт.

\(\tilde{f}\) — CipherAPR офлайн түзгөн fixed public polynomial network; \(pk\) — public evaluation key; \(ct_{\mathrm{in}}\) — шифрленген колдонуучу кириши; \(ct_{\mathrm{out}}\) — шифрленген inference жыйынтыгы.

Булак CipherAPR standard encryption, decryption, key-switching же bootstrapping механизмине жаңы cryptographic primitive кошпой турганын баса белгилейт. Демек confidentiality claim учурдагы RNS-CKKS security parameterization жана RLWE hardness assumptions менен чектелет.

Булак жана Ыкма Жөнүндө Эскертүү

Түпнуска аталыш: CipherAPR: Accelerating RNS-CKKS Encrypted Inference via Importance-Guided and Level-Aware Mixed-Degree Polynomial Design

Авторлор: Junping Wan; Yucen Liao; Yinglong Liao; Zejiu Tan; Jinming Xu; Zoe L. Jiang; Binxing Fang.

Авторлордун тартиби: Junping Wan биринчи; Yucen Liao экинчи; Yinglong Liao үчүнчү; Zejiu Tan төртүнчү; Jinming Xu бешинчи; Zoe L. Jiang алтынчы; Binxing Fang жетинчи автор.

Жооптуу авторлор: Zoe L. Jiang жана Binxing Fang.

Мекеме 1: School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen 518055, China.

Мекеме 2: Department of Optoelectronic Engineering, Jinan University, Guangzhou 510632, China.

Мекеме 3: College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China.

Мекеме 4: School of Cyberspace Security, Guangzhou University, Guangzhou 510006, China.

Тең салым: Булакта тең биринчи авторлук же тең салым тууралуу билдирүү жок.

Журнал: Cryptography.

Басып чыгаруучу: MDPI.

Том / сан / макала: 10(4), Article 44.

Барак саны: 28.

DOI: 10.3390/cryptography10040044.

Тапшырылган: 11 Май 2026.

Оңдолгон: 19 Июнь 2026.

Кабыл алынган: 19 Июнь 2026.

Жарыяланган: 2 Июль 2026.

Булак түрү: Рецензияланган изилдөө макаласы; FHE астында encrypted neural-network inference үчүн offline алгоритмдик design/search, polynomial approximation, cryptographic execution benchmark жана ablation/sensitivity талдоолорун бириктирет.

Рецензиялоо: Cryptography рецензияланган MDPI журналы; MDPIнин учурдагы процесс түшүндүрмөсүндө single-anonymized peer review колдонулат.

Preprint абалы: Verianlaда иштетилген файл жарыяланган Version of Record; бул изилдөөдө өзүнчө preprint негиз катары алынган эмес.

Лицензия: Creative Commons Attribution 4.0 International (CC BY 4.0).

Ачкыч сөздөр: encrypted inference; bootstrapping; ciphertext-level utilization; fully homomorphic encryption; RNS-CKKS.

Негизги модель үй-бүлөсү: CIFAR-10 жана CIFAR-100 үстүндө ResNet20, ResNet32, ResNet44 жана VGG11.

Негизги салыштыруулар: MPCNN жана AutoFHE. DaCapo, Orion жана ReSBM compiler-side execution optimizers катары талкууланып, structural-design benchmarkка түз baseline катары киргизилген эмес.

FHE инфраструктурасы: RNS-CKKS; Microsoft SEAL; AutoFHE implementation инфраструктурасы.

Security setting: Ring degree \(2^{16}\); modulus-chain length 1552 bit; private-key Hamming weight 192; 128-bit security.

Offline training жабдуусу: NVIDIA RTX A6000, Ubuntu 20.04.

Encrypted inference жабдуусу: Intel Xeon Platinum 8462Y+, 128 vCPU, 1 TiB RAM, Ubuntu 20.04.

Offline программалык камсыздоо: Python 3.8, PyTorch 1.13.1.

Online encrypted execution: C++ жана Microsoft SEAL.

Негизги ыкма компоненттери: LMAR, probabilistic degree tuning, DAAP, MOCT, latency proxy, CAPR жана CLU.

Негизги performance жыйынтыгы: AutoFHEге салыштырмалуу бааланган конфигурацияларда 1,09×–1,39× encrypted-inference speedup; окшош ciphertext accuracy.

Эң жогорку билдирилген ылдамдануу мисалы: CIFAR-10/ResNet20 жогорку bootstrapping settingде AutoFHE 4659 s жана 11 bootstrapping; CipherAPR 3341 s жана 7 bootstrapping.

Approximation жыйынтыгы: DAAP + MOCT Table 7де Minimaxка салыштырмалуу MaxE маанисин depthке жараша %39,44–%85,39 азайткан.

CLU жыйынтыгы: Accuracy-oriented жана latency-oriented searchте CLU final normalized best scoreду олуттуу өзгөртпөстөн CLU-run bestке жетүү үчүн керек CAPR evaluations санын тиешелүүлүгүнө жараша 210/330 жана 180/330 деңгээлине түшүргөн.

Каржылоо: National Key R&D Program of China (2023YFB3106500); National Natural Science Foundation of China (62272131); Shenzhen Social Science Fund (SZ2025B011); Shenzhen Science and Technology Major Project (KJZD20230923114908017).

Маалыматтардын жеткиликтүүлүгү: Изилдөөдө берилген маалыматтар corresponding authorдон негиздүү суроо боюнча алынышы мүмкүн экени белгиленген. Колдонулган public datasets — CIFAR-10 жана CIFAR-100.

Кызыкчылыктардын кагылышы: Авторлор кызыкчылыктардын кагылышы жок экенин билдиришет. Булак ошондой эле funding sponsors изилдөө дизайны, маалымат чогултуу/талдоо/түшүндүрүү, макала жазуу же жарыялоо чечиминде роль ойнобогонун белгилейт.

Авторлордун салымдары: Conceptualization: Junping Wan, Jinming Xu, Zoe L. Jiang, Binxing Fang; methodology: Junping Wan, Yucen Liao, Yinglong Liao, Zejiu Tan; software: Junping Wan; validation: Junping Wan, Yucen Liao, Zejiu Tan; formal analysis: Junping Wan, Yinglong Liao, Zejiu Tan; investigation жана data curation: Junping Wan; resources: Zoe L. Jiang жана Binxing Fang; original draft: Junping Wan; review/editing: бардык авторлор; visualization: Yucen Liao, Yinglong Liao жана Zejiu Tan; supervision/project administration/funding acquisition: Zoe L. Jiang жана Binxing Fang.

Этика комитети / маалымдалган макулдук: Булак PDFде өзүнчө Institutional Review Board же Informed Consent билдирүүсү берилген эмес. Изилдөө CIFAR benchmarkтары жана эсептөөчү шифрленген inference эксперименттери боюнча жүргүзүлгөн.

Негизги ыкмалык чектөөлөр: Изилдөө fixed RNS-CKKS backend астында offline structural designга багытталган; compiler schedulingди алмаштырбайт. Offline search чыгымы activation-layer саны менен өсөт. CAPR жана latency proxy screening куралдары болуп, акыркы full evaluationдын ордун баспайт. Берилген 1–4 күндүк search маанилери serial estimates. Баалоо CIFAR-10/CIFAR-100 жана ResNet/VGG архитектуралары менен чектелген; Transformer архитектуралары өзүнчө изилдениши керек.

Security түшүндүрүү чеги: CipherAPRдын коопсуздук дооматы жаңы cryptographic primitiveге тиешелүү эмес. Система стандарттуу RNS-CKKS encryption/decryption/key-switching/bootstrapping механизмин колдонот; confidentiality колдонулган RNS-CKKS parameterization жана RLWE божомолунан мурасталат.