CipherAPR — RNS-CKKS asosidagi toʻliq gomomorfik shifrlash ostida ishlaydigan neyron tarmoqlarda ReLU aktivatsiyalari oʻrniga qoʻllanadigan polinomlar darajalarini qatlamlar boʻyicha tanlaydigan va bu tanlovni ciphertext-level foydalanishini hisobga olgan holda amalga oshiradigan oflayn aralash-darajali polinom dizayni doirasidir. Tadqiqotning asosiy muammosi yuqori darajali ReLU yaqinlashtirishlari aniqlikni saqlagan holda koʻproq multiplicative depth sarflashi va qimmat bootstrapping amallarini koʻpaytirishidir. CipherAPR faqat bootstrapping sonini kamaytirishga urinmaydi; bootstrappingdan keyin tiklangan ciphertext darajalaridan amalda qanchalik samarali foydalanilishini ham dizayn qaroriga kiritadi.

Doiraning toʻrtta asosiy tarkibiy qismi mavjud. Low-Magnitude Activation Ratio (LMAR), kirishlari ReLUning nol atrofidagi kritik hududida toʻplangan aktivatsiya qatlamlarini aniqlab, yuqoriroq daraja berilishi kerak boʻlgan qatlamlarga ustuvorlik beradi. Domain-Adaptive Approximation (DAAP), har bir qatlamning kuzatilgan aktivatsiya oraligʻiga mos polinom yaqinlashtirish hududini yaratadi. Multi-Objective Coefficient Tuning (MOCT), yaqinlashtirish xatosini kamaytirar ekan koeffitsiyent kattaligi va tashqi-hududdagi xatti-harakatni ham nazorat qilishga urinadi. Ciphertext-Level Utilization (CLU) esa bootstrapping segmentlarida tiklangan level byudjetidan nomutanosib foydalanadigan nomzod konfiguratsiyalarni qidiruv jarayonida orqaroqqa suradi.

Tadqiqotda CIFAR-10 va CIFAR-100 da ResNet20, ResNet32, ResNet44 va VGG11 tarmoqlari baholangan. Bir xil RNS-CKKS sozlamalarida CipherAPR AutoFHE bilan taqqoslanganda hisobot berilgan konfiguratsiyalarda 1,09×–1,39× tezlashuvni taʼminlagan va oʻxshash ciphertext aniqligini saqlagan. Eng yaqqol misolda CIFAR-10/ResNet20 uchun AutoFHE 11 bootstrapping va 4659 soniya umumiy kechikish bilan %92,89 ciphertext aniqligini bergan boʻlsa, CipherAPR 7 bootstrapping va 3341 soniya kechikish bilan %92,61 aniqlik bergan.

Bu natija “kamroq bootstrapping har qanday holatda avtomatik ravishda tezroq” deb talqin qilinmasligi kerak. Manba ciphertext qaysi levelda ekanligi rotation, rescaling va key-switching kabi amallarning xarajatiga ham taʼsir qilishini koʻrsatadi. Darhaqiqat, ayrim konfiguratsiyalarda CipherAPRning chiziqli amallar xarajati oshgan, biroq bootstrapping vaqtining kattaroq qisqarishi umumiy kechikishni baribir kamaytirgan.

CipherAPR yangi FHE shifrlash primitive-i emas va RNS-CKKSning xavfsizlik mexanizmini oʻzgartirmaydi. LMAR, DAAP, MOCT, CAPR va CLU oflayn model dizaynida plaintext training/calibration aktivatsiyalari yoki public model parametrlari ustida ishlaydi. Onlayn foydalanuvchi kirishlari standart RNS-CKKS ostida shifrlangan holda qoladi; manba confidentiality ishlatilgan RNS-CKKS parametrlari va Ring Learning With Errors xavfsizlik farazidan meros boʻlib qolishini bildiradi.

Muammo nega yuzaga keladi?

Fully Homomorphic Encryption (FHE) serverga foydalanuvchi maʼlumotini ochiq matnga aylantirmasdan shifrlangan maʼlumot ustida hisoblash imkonini beradi. Bu xususiyat Machine Learning as a Service ssenariylarida muhim: foydalanuvchi kirishini shifrlaydi, server neyron tarmoq inferensiyasini ciphertext ustida bajaradi va foydalanuvchi faqat yakuniy shifrlangan natijani oʻz tomonida deshifrlaydi.

Tadqiqotda qoʻllanadigan RNS-CKKS taxminiy haqiqiy yoki kompleks sonlar arifmetikasini qoʻllab-quvvatlaydigan FHE sxemasidir. Xabar vektori plaintext polynomial \(m(x)\) koʻrinishida kodlanadi va ciphertext sifatida shifrlanadi. Hisoblash:

cyclotomic ring ustida bajariladi.

Bu yerda modulus:

koʻrinishidadir. \(\ell\), ciphertextning qolgan multiplicative capacity-sini koʻrsatuvchi ciphertext level qiymatidir. Har bir homomorphic multiplication ciphertext miqyosini kattalashtirgani sababli odatda rescaling talab etiladi. Rescaling oxirgi prime \(q_\ell\) ni modulus chaindan chiqaradi:

va shu tariqa bitta level sarflanadi.

Level nolga yaqinlashganda ciphertext yana koʻproq multiplicationni bajara olishi uchun bootstrapping kerak boʻladi. Bootstrapping ciphertextni qayta foydalanish mumkin boʻlgan yuqori levelga koʻtaradi; biroq RNS-CKKS encrypted inference ichida juda qimmat amal hisoblanadi.

Bootstrapping Sonini Kamaytirish Nega Oʻzi Yetarli Emas?

Bootstrapping soni muhim boʻlsa-da, RNS-CKKS amal xarajati ciphertext qaysi levelda hisoblanishiga ham bogʻliq; yuqori level koʻproq faol RNS prime-ni oʻz ichiga olgani uchun rotation, relinearization, multiplication va rescaling kabi amallar qimmatroq boʻlishi mumkin. Shu sababli CipherAPR faqat bootstrapping sonini emas, bootstrappingdan keyin tiklangan level byudjeti segmentlar boʻylab qanchalik samarali sarflanishini ham hisobga oladi.

RNS-CKKSda level nega amal xarajatiga taʼsir qiladi?

Manba faol RNS basisni:

deb taʼriflaydi. Faol prime-lar soni:

boʻlgani uchun level oshgani sayin hisoblashda koʻproq modulus limb qatnashadi.

Level \(\ell\) dagi primitive homomorphic operation xarajatining jami:

koʻrinishida yoziladi.

Bu yerda \(\mathcal{P}\), AddCP, AddCC, MulCP, MulCC, Rot, Relin va RS kabi primitive operation turlarini; \(n_k\), tegishli amal sonini; \(t_k(\ell)\) esa bitta amalning level \(\ell\) dagi xarajatini koʻrsatadi.

Manba ishlatadigan taxminiy level bogʻliqligi:

koʻrinishidadir.

\(N\) ring degree-dir. \(\alpha_k\) va \(\beta_k\) operation-dependent constants. Birinchi guruhdagi amallar faol RNS limb soni bilan taxminan chiziqli; key-switchingni oʻz ichiga olgan rotation va relinearization turlari esa manbaning cost modelida kuchliroq level bogʻliqligini koʻrsatadi.

Shu sababli bootstrappingdan keyingi effective level \(L_{\mathrm{eff}}\) ni pasaytirish keyingi amallarni arzonlashtirishi mumkin; biroq juda past \(L_{\mathrm{eff}}\) yetarli multiplicative-depth qoldirmay, bootstrapping sonini yana oshirishi mumkin.

Manba umumiy inference latencyni konseptual ravishda:

koʻrinishida ifodalaydi.

\(N_{\mathrm{boot}}\) bootstrapping soni; \(T_{\mathrm{boot}}\) bitta bootstrapping xarajati; \(T_{\mathrm{seg}}^{(j)}\) esa ikki bootstrapping orasidagi segmentning hisoblash xarajatidir. Formula umumiy latency faqat \(N_{\mathrm{boot}}\) ga bogʻliq emasligini aniq koʻrsatadi.

ReLU nega bevosita hisoblab boʻlmaydi?

RNS-CKKS asosan addition va multiplication kabi arithmetic operationsni taʼminlaydi. CNNlardagi:

funksiya bevosita polynomial emas. Shu sababli ReLU homomorphic evaluationga mos polynomial approximation bilan almashtiriladi.

Manba ReLUni sign function orqali:

koʻrinishida ifodalaydi.

Sign function nol atrofidagi discontinuity sabab bitta past darajali polynomial bilan yuqori aniqlikda yaqinlashtirish qiyin boʻlgan funksiyadir. Shu sababli tadqiqot composite polynomial:

tuzilmasidan foydalanadi.

Har bir sub-polynomial darajasi:

deb koʻrsatiladi.

Composite polynomial multiplicative depth-i

Baby Step Giant Step (BSGS) polynomial evaluation qoʻllanganda manba \(i\)-sub-polynomial uchun depthni:

bilan yuqoridan chegaralaydi.

Umumiy composite depth taxminan:

deb hisoblanadi.

Yuqoriroq degree set odatda ReLU approximation fidelityni oshirishi mumkin boʻlgan ifodaviy quvvati yuqoriroq polynomial hosil qiladi; biroq u koʻproq multiplicative depth va shuning uchun tez-tezroq yoki boshqacha joylashtirilgan bootstrappingni talab qilishi mumkin.

CipherAPR qaysi muammoni optimallashtiradi?

Encrypted networkda \(L\) ta activation layer mavjud deb tasavvur qilaylik. Qatlamlarga berilgan polynomial darajalari:

degree vector bilan koʻrsatiladi. \(\mathbb{D}\), foydalanishga ruxsat berilgan polynomial degree setdir.

Muayyan degree configuration \(\mathbf{d}\) uchun mumkin boʻlgan bootstrapping placementlar toʻplami:

deb taʼriflanadi. \(\Lambda\), ring degree, modulus chain va security level kabi doimiy cryptographic settingni ifodalaydi.

Configurationning latency qiymati:

deb taʼriflanadi.

Bu yerda \(T(\mathbf{d},\pi;\Lambda)\), muayyan polynomial degrees va bootstrapping placement ostidagi uchdan-uchga encrypted inference latencydir.

Asosiy optimallashtirish muammosi:

koʻrinishidadir.

Yaʼni CipherAPR faqat eng tez configurationni qidirmaydi. Minimal qabul qilinadigan accuracy constraintni saqlagan holda eng past encrypted inference latencyni beradigan layer-wise degree assignmentni qidiradi.

CipherAPRning uch bosqichli oflayn dizayn jarayoni

LMAR: Qaysi qatlam daraja oshirilishiga koʻproq muhtoj?

ReLUning kritik xatti-harakati nol atrofidadir. Kirish manfiy tomonga oʻtganda ReLU chiqishi nol boʻladi; musbat tomonda esa kirish uzatiladi. Polynomial approximation ayniqsa nolga yaqin qiymatlarda sign/gating qarorini notoʻgʻri ifodalashga koʻproq moyil.

Shu sababli CipherAPR layer \(\ell\) uchun Low-Magnitude Activation Ratio ni taʼriflaydi:

Bu yerda \(x_{\ell,i}\), \(\ell\)-activation layerdagi \(i\)-neuron kirishi; \(k_\ell\), shu qatlamdagi umumiy neuron soni; \(\epsilon\), “nolga yaqin” hududni belgilovchi threshold; \(\mathbf{1}(\cdot)\), shart toʻgʻri boʻlsa 1, notoʻgʻri boʻlsa 0 beradigan indicator functiondir.

LMAR oʻlchovsiz nisbat boʻlib, 0–1 oraligʻida. Yuqori LMAR qatlamdagi activation inputlarning kattaroq qismi nol atrofida ekanini koʻrsatadi. Manba bundan bir xil level budget ostida yuqoriroq polynomial degreedan koʻproq foyda olishi mumkin boʻlgan qatlamlarni tartiblash uchun foydalanadi.

LMAR Nimani Oʻlchaydi va Nega Muhim?

LMAR aktivatsiya qatlamidagi kirishlarning qanchasi ReLUning nol atrofidagi sezgir hududda ekanini oʻlchaydigan oʻlchovsiz nisbatdir; nisbat oshgani sayin past darajali polinomning gating xatti-harakatini notoʻgʻri ifodalash xavfi muhimlashadi va CipherAPR bu qatlamlarni darajani oshirish uchun yuqoriroq ustuvorlikda baholaydi.

\(\epsilon\) thresholddi qanday belgilanadi?

Manba \(\epsilon\) ni qoʻlda belgilash oʻrniga barcha qatlamlardagi activation magnitude taqsimotiga Otsu usulini qoʻllaydi.

Within-class variance:

Between-class variance:

koʻrinishidadir.

\(w_1,w_2\) ikki activation-magnitude sinfining ehtimollarini; \(\mu_1,\mu_2\) sinf oʻrtachalarini; \(\sigma_1^2,\sigma_2^2\) esa sinf ichidagi dispersiyalarni koʻrsatadi.

Manba optimal \(\epsilon\) ni:

nisbatni maksimum qiladigan threshold sifatida tanlaydi.

LMAR faqat eksperimental heuristicmi?

Appendix A LMAR tartibiga nazariy chegara asosini ham beradi. \(\ell\)-layer pre-activation \(X_\ell\), polynomial approximation esa \(p_d(x)\) boʻlsin. Polynomial \(|x|\ge\epsilon\) hududida toʻgʻri signni saqlasa, gating sign inconsistency ehtimoli:

bilan yuqoridan chegaralanadi.

Bu tenglama LMAR sign inconsistency yuz berishining aniq ehtimoli ekanini aytmaydi. LMAR koʻrsatilgan shape constraint ostida xavfning yuqori chegarasidir.

Manba, shuningdek, approximation errorning expected lossga taʼsiri uchun:

chegarasini beradi.

Bu yerda \(L_\ell\), keyingi sub-networkning Lipschitz constanti; \(L_{\mathrm{loss}}\), loss functionning Lipschitz constanti; \(c_{\epsilon,d}\), nolga yaqin approximation region ichidagi maksimal polynomial ogʻishini ifodalaydi. Manba talqiniga koʻra, boshqa omillar oʻxshash boʻlganda yuqori LMAR approximation errorning expected lossga hissasini oshirishi mumkin.

Degree update qanday tanlanadi?

Activation layerlar LMAR qiymatlari boʻyicha kattadan kichikka tartiblanadi. Qatlam \(\ell\) ning ranki \(r_\ell\), jami layer soni \(M\) boʻlganda normalized rank score:

deb hisoblanadi.

Yuqori LMARli qatlamlar 1 ga; past LMARli qatlamlar 0 ga yaqinlashadi.

IncreaseDegree va DecreaseDegree uchun manba centered hinge functionsdan foydalanadi:

Bu yerda \(\tau_c=0.5\), \(m\in[0,0.5)\) esa update selectivity margindir.

Action probabilities:

deb hisoblanadi.

ID degree oshishi, DD degree kamayishi, KD esa degreeni saqlashdir. Oldingi iterationda oʻzgartirilgan layer uchun dynamic coefficients:

bilan kamaytiriladi. Manba bu cooling mexanizmini bir xil layer ketma-ket iterationlarda doimiy oldinga-orqaga o‘zgartirilishini kamaytirish uchun ishlatadi.

DAAP — approximation domain nega qatlamga qarab o‘zgaradi?

Har bir layerning activation distributioni bir xil emas. Bir xil keng approximation domainni barcha layerlarga qo‘llash ayrim layerlarda zarurdan qiyin polynomial fitting muammosini tug‘dirishi mumkin.

DAAP, layer \(\ell\) ning empirical activation bounds qiymatlarini:

sifatida oladi va symmetric core radiusni:

ko‘rinishida hisoblaydi.

\(B>1\) activation-domain normalization uchun ishlatiladigan global scaling factordir. Manba ayniqsa bu CKKS encryption scale bilan bir xil kattalik emasligini ta’kidlaydi. \(a>0\), minimum core-domain radiusdir.

Core domain:

extended domain esa:

sifatida ta’riflanadi.

\(\rho_{\mathrm{ext}}>1\), odatiy core domaindan tashqarida qoladigan, biroq uchrashi mumkin bo‘lgan activation taillar uchun xavfsizlik zaxirasini yaratadi.

DAAP va MOCT Nega Birgalikda Ishlatiladi?

DAAP polinomning yaqinlashtirish sohasini qatlamning haqiqiy aktivatsiya taqsimotiga moslashtirar ekan, MOCT shu polinom koeffitsiyentlarini core error, extended-domain xatti-harakati, egrilik va koeffitsiyent kattaligini birgalikda hisobga olib sozlaydi; maqsad bir xil polynomial degree ostida pastroq approximation error va ciphertext arithmetic uchun barqarorroq sonli xatti-harakatga erishishdir.

MOCT loss function

Yakuniy ReLU approximation:

ko‘rinishidadir.

MOCT to‘rtta loss komponentidan foydalanadi.

Core Error (CE):

core domain ichidagi maksimal approximation errordir.

Extended Domain Constraint (EDC):

extended domain ichida polynomial outputning kutilgan xavfsiz diapazondan chiqib ketishini jazolaydi.

Curvature Penalty (CP):

manbada polynomial oscillation va Rungega o‘xshash xatti-harakatni bostirish uchun curvature regularization sifatida ishlatiladi.

Coefficient Regularization (CR):

polynomial coefficient kattaligini cheklaydi.

Umumiy loss:

ko‘rinishidadir.

Maqoladagi tajribalarda:

ishlatilgan.

MOCT faqat birinchi sub-polynomial \(p_1(x)\) ning odd-degree coefficients qiymatlarini trainable qiladi; boshqa koeffitsiyentlar o‘zgarmas holda saqlanadi. Manba 10.000 MOCT epoch ishlatgan.

CAPR nima?

Cosine-scheduled Activation Progressive Replacement (CAPR), candidate mixed-degree networkning yakuniy aniqligini to‘liq 300-epoch trainingdan oldin kichik budjet bilan taxminiy baholaydigan offline screening usulidir.

Umumiy training budget \(T\), stage soni \(Q\), minimum stage epoch \(M_{\min}\) bo‘lsin. Har bir stage uchun epoch allocation:

ko‘rinishida beriladi.

Manba standart holatda:

dan foydalanadi.

Stage \(q\) da almashtirilishi rejalashtirilgan activation soni:

va kumulyativ almashtirilgan activation soni:

sifatida belgilanadi.

CAPR yakuniy accuracy emas. Maqola CAPRni faqat candidate screening uchun low-budget staged accuracy estimate sifatida ishlatadi; tanlangan konfiguratsiyalar keyin to‘liq trainingdan o‘tkaziladi.

Latency proxy va dynamic programming

CipherAPR har bir candidateni haqiqiy encrypted inference bilan sinamaydi; aks holda search haddan tashqari qimmat bo‘ladi. Buning o‘rniga muayyan layerlar atrofida feasible bootstrapping positions hosil qiladi va dynamic programming bilan minimum proxy latencyni qidiradi.

DP state qaysi layerda turganini va qolgan ciphertext levelni kuzatadi. Bootstrapping qo‘shilsa level \(L_{\mathrm{eff}}\) ga reset qilinadi va bootstrapping cost qo‘shiladi.

Chiziqli operator costlari input ciphertext levelga ko‘ra tayyorlangan lookup tabledan olinadi. Polynomial layer cost degree bilan bog‘liq monotonic cost modeldan foydalanadi.

Candidate score

Candidate \(\mathbf{d}'\) uchun score:

ko‘rinishidadir.

\(\lambda\) oshgani sari accuracy afzalligining, kamaygani sari latency afzalligining og‘irligi ortadi. Tadqiqot alohida accuracy-oriented va latency-oriented candidate poollarni saqlaydi.

CLU — ciphertext-level utilization

Bootstrapping placements networkni \(S\) segmentga ajratsin. Segment \(s\) dagi layer set \(\mathcal{L}_s\), har bir layerning level consumption qiymati \(c_\ell\) bo‘lsa:

segment depth consumptiondir.

Segment-level utilization:

sifatida hisoblanadi.

Qo‘shni segmentlar orasidagi o‘zgarish:

va adjacent variation:

ko‘rinishidadir.

Past \(RMS_{\mathrm{adj}}\), bootstrapping segmentlari orasida muvozanatliroq level sarfini ifodalaydi. CLU yakuniy latency yoki accuracyning o‘rniga ishlatiladigan objective emas; score preselectiondan o‘tgan candidate-lar orasida conservative structural filter sifatida ishlatiladi.

Offline search parametrlari

• Pool width \(W=15\).
• Maximum search iteration \(T_{\max}=30\).
• CLU retention ratio \(\eta_{\mathrm{CLU}}=0.95\).
• Boshlang‘ich accuracy-oriented preference weight: \(\lambda_{\mathrm{acc}}^{(0)}=1.0\).
• Boshlang‘ich latency-oriented preference weight: \(\lambda_{\mathrm{lat}}^{(0)}=0.1\).
• Bitta iterationda duplicate removaldan keyin ko‘pi bilan \(2W=30\) candidate CAPR baholashiga o‘tadi.

Tadqiqot Usuli va Natijalari

Tajriba muhiti

Manba offline design vaqtini online encrypted inference latencydan alohida ajratadi. Maqoladagi online performance taqqoslashlari training/search xarajatini inference latency ichiga qo‘shmaydi.

Ma’lumotlar to‘plamlari

Offline search vaqtini kamaytirish uchun 5000-image fast-training subset ishlatilgan. Yakuniy ciphertext inference baholashi esa 10.000-image test set ustida bajarilgan. Metrik top-1 accuracy.

RNS-CKKS parametrlari

Modulus-chain tuzilmasi manbada:

bit ko‘rinishida bildirilgan.

Training parametrlari

Original networks:

• Optimizer: SGD.
• Epoch: 200.
• Batch size: 128.
• Initial learning rate: 0,1.
• Learning-rate schedule: cosine decay.
• Momentum: 0,9.
• Weight decay: 0,0005.
• Gradient clipping: 1,0.

Polynomial networks uchun 300 epoch va initial learning rate 0,08 ishlatilgan; har stage uchun kamida 8 epoch qo‘llangan.

Final CipherAPR training:

• Batch size: 128.
• Learning rate: 0,01.
• Momentum: 0,9.
• Weight decay: \(5\times10^{-4}\).
• Gradient clipping: 0,1.
• KL-divergence weight: \(\tau=0.9\).

CAPR candidate evaluation uchun faqat 20 total epoch va har stage uchun minimum 2 epoch ishlatilgan.

DAAP/MOCT parametrlari

• Approximation-domain minimum: \(a=0.2\).
• Extension factor: \(\rho_{\mathrm{ext}}=1.5\).
• CIFAR-10 domain estimation: 30 image.
• CIFAR-100 domain estimation: 100 image.
• Uniform perturbation: \(\epsilon=0.1\).
• MOCT training: 10.000 epoch.

Asosiy encrypted inference natijalari

Manba shu paired settings asosida CipherAPRning AutoFHEga nisbatan umumiy tezlashuvini 1,09×–1,39× oralig‘ida bildiradi.

CipherAPRning 1,09×–1,39× Tezlashuvi Nimani Anglatadi?

Bu tezlashuv bir xil sobit RNS-CKKS cryptographic setting va taqqoslanadigan encrypted accuracy maqsadlari ostida tanlangan ResNet/VGG konfiguratsiyalarida AutoFHEga nisbatan o‘lchangan uchdan-uchga encrypted-inference latency kamayishini anglatadi; natija barcha tarmoqlar, barcha FHE parametrlari yoki barcha uskunalar uchun universal tezlashuv kafolati emas.

Runtime breakdown: nega ayrim chiziqli amallar qimmatlashadi?

CIFAR-10/ResNet32 yuqori-BT misoli bu o‘zaro ta’sirni aniq ko‘rsatadi. AutoFHE 19 bootstrapping bilan 5040 s bootstrapping va 1838 s linear cost hosil qilsa, CipherAPR 13 bootstrapping bilan bootstrapping vaqtini 3449 s gacha kamaytiradi. Buning evaziga linear cost 2208 s gacha oshadi. Bootstrappingdagi yutuq kattaroq bo‘lgani uchun umumiy latency baribir 7294 s dan 6064 s gacha tushadi.

Restored-level foydalanish misoli

Manba CIFAR-10/ResNet32 yuqori-BT konfiguratsiyasi uchun har bir bootstrapping ko‘pi bilan 16 level restore qilishini va input ciphertext level 18 dan boshlanishini bildiradi.

Umumiy foydalanish mumkin bo‘lgan level:

sifatida hisoblanadi.

AutoFHE uchun:

level mavjud va Table 6 da total effective usage 235. Manba shunga ko‘ra 87 level foydalanilmay qolganini hisoblaydi.

CipherAPR uchun:

level mavjud; effective usage 195 va unused budget 31 level.

Manbaga ko‘ra Table 6 dagi to‘qqiz paired AutoFHE/CipherAPR settingdan yettitasida CipherAPR pastroq unused level budget ko‘rsatgan.

LMAR tajriba natijasi

LMAR baholashi CIFAR-10/ResNet32 ustida bajarilgan. Activation sitelar bosqichma-bosqich polynomial bilan almashtirilganda LMAR tartibi Forward va Reverse-LMAR tartiblari bilan taqqoslangan.

Manba 5-rasmning asosiy natijasi, ayniqsa kam sonli activation almashtirilgan dastlabki bosqichda LMAR-based ordering accuracyni tezroq tiklashidir. Xuddi shu fine-tuning protsedurasida ayrim partially replaced modellar %94,05 inference accuracyga erishib, original ReLU network baselineidan biroz oshgan. Bu qiymat CipherAPRning encrypted-inference asosiy natijalar jadvali o‘rnini bosadigan natija emas; LMARni degree-prioritization signal sifatida baholashga oid alohida supporting experimentdir.

DAAP + MOCT approximation error natijalari

Manba DAAP + MOCT Minimaxga nisbatan MaxE qiymatini depthga qarab %39,44–%85,39 kamaytirganini bildiradi.

DAAP domain trade-off

Natija muhim approximation-stability trade-offni ko‘rsatadi. Masalan, depth 6 da \(v\) ni 0,12 dan 0,30 ga oshirish maximum coefficient kattaligini \(3,89\times10^2\) dan \(2,54\times10^1\) ga kamaytirar ekan, Core MaxEni \(2,85\times10^{-3}\) dan \(2,91\times10^{-2}\) ga oshiradi. Manba \(v=0.20,\rho_{\mathrm{ext}}=1.50\) qiymatlarini muvozanatli default sifatida ishlatadi.

MOCT weight ablation

\(w_1=0\) natijasining DAAP baselinega qaytishi Core Error termini core-domain updateni boshqarishini ko‘rsatadi. \(w_3=0\) esa Core MaxEni kamaytirishiga qaramay, Outer MaxEni \(7,12\times10^{-2}\) ga va maximum coefficientni \(1,04\times10^2\) ga oshiradi. Manba buni curvature penalty faqat core regionga ortiqcha moslashishni cheklab, outer-domain numerical behaviorga hissa qo‘shishi sifatida talqin qiladi.

Latency proxy, CAPR va CLU baholashi

Manba 6a-rasm latency proxy turli bootstrapping settings ichida haqiqiy encrypted latency orderingni saqlashini bildiradi. Proxyning vazifasi global ravishda soniyalar bo‘yicha latencyni kalibrlash emas; bir xil setting ichidagi candidatlarni tartiblashdir.

6b-rasm CAPR kichik training budget ichida trainable configurationlarni failure regimedan tez ajrata olishini ko‘rsatadi. Manba CAPRni final accuracy o‘rniga screening estimate sifatida ishlatadi.

Jadvaldagi juft qiymatlar `CLU / without CLU` ko‘rinishidadir. Manba final best scorelar deyarli bir xil qolganini alohida ta’kidlaydi. Demak CLUning asosiy ta’siri “yakuniy optimumni keskin yaxshilash” emas, balki shu darajadagi best configurationga olib boruvchi dastlabki search trajectoryni samaraliroq qilishdir.

Offline search xarajati

Har bir candidate 5000-image fast-training subset ustida 20 CAPR epoch va batch size 128 bilan fine-tune qilinadi. Bu har bir candidate uchun 800 mini-batch updatega teng.

Manba serial offline search costni:

deb baholaydi.

\(N_{\mathrm{eval}}\), CAPR bilan baholanadigan candidate configuration soni; \(T_{\mathrm{CAPR}}^{20}\), har bir candidate uchun 20-epoch CAPR vaqtidir.

Pilot o‘lchovlarda har bir candidate uchun CAPR vaqti ResNet settingsda taxminan 10–25 daqiqa, VGGda 20–30 daqiqa. Shunga ko‘ra manba 180–210 baholashli CLU-guided run uchun ResNet modellarida taxminan 1–3 serial kun, VGG modellarida taxminan 2–4 serial kunni baholaydi.

Muhim chegara: Bular uchdan-uchga o‘lchangan full-search wall-clock vaqtlari emas, serial cost estimatesdir. Candidate evaluations mustaqil bo‘lgani uchun yetarli worker mavjud bo‘lsa parallel bajarish haqiqiy wall-clock vaqtini kamaytirishi mumkin.

Appendix B: aralash daraja haqiqatan qatlamlar orasida o‘zgaradimi?

Ha. Appendix Bdagi depth profiles CipherAPR barcha activation layerlarga bitta polynomial degree qo‘llamasligini ko‘rsatadi. Depth qiymati 0 bo‘lgan activation prune/identity; depth 2 shallow polynomial; 2 dan yuqori qiymatlar chuqurroq composite approximationsni anglatadi.

Manba bergan misolda CIFAR-10/ResNet32 uchun depth>2 activation soni 7-bootstrapping settingda 2 bo‘lsa, 13-bootstrapping settingda 12 ga oshadi. Shunga qaramay ayrim activationlar prune qilinadi yoki depth 2 da saqlanadi. Bu mixed-degree yondashuv haqiqatan layer-selective ekanini ko‘rsatadi.

Tadqiqot qo‘llab-quvvatlaydigan natijalar

• CipherAPR sobit RNS-CKKS backend ostida polynomial degree designga restored-level utilization ma’lumotini qo‘shadi.
• Baholangan ResNet va VGG konfiguratsiyalarida AutoFHEga nisbatan 1,09×–1,39× encrypted-inference speedup bildirilgan.
• Eng katta bildirilgan yutuq CIFAR-10/ResNet20 yuqori bootstrapping settingda 4659 s dan 3341 s ga pasayishdir.
• CipherAPR ko‘plab paired settinglarda bootstrapping sonini kamaytirgan.
• To‘qqiz paired AutoFHE/CipherAPR settingdan yettitasida pastroq unused restored-level budget kuzatilgan.
• LMAR cheklangan replacement budget ostida activation layer prioritetlash uchun foydali forward-only heuristic sifatida qo‘llab-quvvatlangan.
• DAAP + MOCT bir xil approximation depth ostida Minimaxga nisbatan MaxEni %39,44–%85,39 kamaytirgan.
• CLU final best scoreni katta darajada o‘zgartirmasdan dastlabki search trajectoryda kamroq CAPR evaluation bilan shu CLU-run best darajasiga erishishni ta’minlagan.

Tadqiqot qo‘llab-quvvatlamaydigan natijalar

• CipherAPR yangi yoki xavfsizroq FHE shifrlash sxemasi emas.
• CipherAPR RNS-CKKS encryption/decryption yoki bootstrapping primitiveini o‘zgartirmaydi.
• 1,09×–1,39× tezlashuv barcha tarmoqlar, uskunalar va cryptographic parameter setlar uchun kafolat emas.
• Faqat bootstrapping soni encrypted-inference performansini belgilaydi degan xulosa chiqarib bo‘lmaydi.
• CAPR accuracy estimate yakuniy fully-trained encrypted-network accuracy emas.
• Latency proxy barcha settinglar orasida haqiqiy latencyning mutlaq soniyalik baholovchisi emas; within-setting ranking signal sifatida ishlatiladi.
• CLU final optimum scoreni sezilarli yaxshilaydi deb bo‘lmaydi; asosiy foydasi search trajectorydadir.
• Offline search uchun berilgan 1–4 kunlik qiymatlar o‘lchangan end-to-end wall-clock vaqtlar emas, serial estimatesdir.
• Tadqiqot compiler-side scheduling o‘rnini bosmaydi.
• ResNet/VGG va CIFAR-10/CIFAR-100 natijalarini Transformer arxitekturalariga bevosita umumlashtirib bo‘lmaydi.

Asosiy cheklovlar va kelajakdagi ish

Tadqiqot fixed encrypted backend ostida offline structural designga qaratilgan. CipherAPR yaratgan mixed-degree polynomial network compiler-side bootstrapping scheduling o‘rnini bosmaydi. Mualliflar structural design bilan compiler schedulingni birgalikda optimallashtirishni tabiiy keyingi ish deb ko‘radilar.

Chuqurroq CNNlarda degree-assignment search space va CAPR evaluation xarajati activation layer soni bilan o‘sadi. Manba ResNet-110 kabi chuqurroq tarmoqlarda samaraliroq accuracy proxies yoki hybrid importance metrics kerak bo‘lishi mumkinligini ta’kidlaydi.

Transformer architecturelarga kengaytirish ham alohida tadqiqot muammosidir. Softmax, layer normalization va attention blocks CNN ReLUlardan farqli polynomial approximation va ciphertext-level consumption xususiyatlariga ega. Shu sababli mavjud ResNet/VGG natijalari Transformerga avtomatik o‘tkazilmaydi.

Xavfsizlik doirasi

CipherAPRning security discussioni standart FHE inference confidentiality bilan cheklangan. Offline bosqichda LMAR, DAAP, MOCT, CAPR va CLU foydalanuvchi inference ciphertextlarini ko‘rmaydi. Online bosqichda server:

hisobini standart RNS-CKKS ustida bajaradi.

\(\tilde{f}\), CipherAPR offline yaratgan fixed public polynomial network; \(pk\), public evaluation key; \(ct_{\mathrm{in}}\) shifrlangan foydalanuvchi kirishi; \(ct_{\mathrm{out}}\) shifrlangan inference natijasidir.

Manba CipherAPR standard encryption, decryption, key-switching yoki bootstrapping mexanizmiga yangi cryptographic primitive qo‘shmasligini ta’kidlaydi. Demak confidentiality claim mavjud RNS-CKKS security parameterization va RLWE hardness assumptions bilan cheklangan.

Manba va Usul Haqida Izoh

Asl sarlavha: CipherAPR: Accelerating RNS-CKKS Encrypted Inference via Importance-Guided and Level-Aware Mixed-Degree Polynomial Design

Mualliflar: Junping Wan; Yucen Liao; Yinglong Liao; Zejiu Tan; Jinming Xu; Zoe L. Jiang; Binxing Fang.

Mualliflar tartibi: Junping Wan birinchi; Yucen Liao ikkinchi; Yinglong Liao uchinchi; Zejiu Tan to‘rtinchi; Jinming Xu beshinchi; Zoe L. Jiang oltinchi; Binxing Fang yettinchi muallif.

Mas’ul mualliflar: Zoe L. Jiang va Binxing Fang.

Muassasa 1: School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen 518055, China.

Muassasa 2: Department of Optoelectronic Engineering, Jinan University, Guangzhou 510632, China.

Muassasa 3: College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China.

Muassasa 4: School of Cyberspace Security, Guangzhou University, Guangzhou 510006, China.

Teng hissa: Manbada teng birinchi mualliflik yoki teng hissa bayonoti mavjud emas.

Jurnal: Cryptography.

Nashriyotchi: MDPI.

Jild / son / maqola: 10(4), Article 44.

Sahifalar soni: 28.

DOI: 10.3390/cryptography10040044.

Yuborilgan: 11 May 2026.

Tahrir: 19 June 2026.

Qabul: 19 June 2026.

Nashr: 2 July 2026.

Manba turi: Taqrizli tadqiqot maqolasi; FHE ostida encrypted neural-network inference uchun offline algoritmik design/search, polynomial approximation, cryptographic execution benchmark va ablation/sensitivity tahlillarini birlashtiradi.

Taqrizdan o‘tish: Cryptography taqrizli MDPI jurnalidir; MDPI ning amaldagi jarayon tavsifida single-anonymized peer review ishlatiladi.

Preprint holati: Verianlada ishlangan fayl nashr qilingan Version of Recorddir; ushbu tadqiqotda alohida preprint asos qilib olinmagan.

Litsenziya: Creative Commons Attribution 4.0 International (CC BY 4.0).

Kalit so‘zlar: encrypted inference; bootstrapping; ciphertext-level utilization; fully homomorphic encryption; RNS-CKKS.

Asosiy model oilasi: CIFAR-10 va CIFAR-100 ustida ResNet20, ResNet32, ResNet44 va VGG11.

Asosiy taqqoslashlar: MPCNN va AutoFHE. DaCapo, Orion va ReSBM compiler-side execution optimizers sifatida muhokama qilingan, structural-design benchmarkiga bevosita baseline sifatida kiritilmagan.

FHE infratuzilmasi: RNS-CKKS; Microsoft SEAL; AutoFHE implementation infratuzilmasi.

Security setting: Ring degree \(2^{16}\); modulus-chain length 1552 bit; private-key Hamming weight 192; 128-bit security.

Offline training uskunasi: NVIDIA RTX A6000, Ubuntu 20.04.

Encrypted inference uskunasi: Intel Xeon Platinum 8462Y+, 128 vCPU, 1 TiB RAM, Ubuntu 20.04.

Offline dasturiy ta’minot: Python 3.8, PyTorch 1.13.1.

Online encrypted execution: C++ va Microsoft SEAL.

Asosiy usul komponentlari: LMAR, probabilistic degree tuning, DAAP, MOCT, latency proxy, CAPR va CLU.

Asosiy performance natijasi: AutoFHEga nisbatan baholangan konfiguratsiyalarda 1,09×–1,39× encrypted-inference speedup; o‘xshash ciphertext accuracy.

Eng yuqori bildirilgan tezlashuv misoli: CIFAR-10/ResNet20 yuqori bootstrapping settingda AutoFHE 4659 s va 11 bootstrapping; CipherAPR 3341 s va 7 bootstrapping.

Approximation natijasi: DAAP + MOCT Table 7 da Minimaxga nisbatan MaxE qiymatini depthga qarab %39,44–%85,39 kamaytirgan.

CLU natijasi: Accuracy-oriented va latency-oriented searchda CLU final normalized best scoreni katta darajada o‘zgartirmasdan CLU-run bestga yetish uchun kerak bo‘lgan CAPR evaluationsni mos ravishda 210/330 va 180/330 darajasiga tushirgan.

Moliyalashtirish: National Key R&D Program of China (2023YFB3106500); National Natural Science Foundation of China (62272131); Shenzhen Social Science Fund (SZ2025B011); Shenzhen Science and Technology Major Project (KJZD20230923114908017).

Ma’lumotlarning mavjudligi: Tadqiqotda taqdim etilgan ma’lumotlar corresponding authordan asosli so‘rov bo‘yicha olinishi mumkinligi bildirilgan. Ishlatilgan public datasets CIFAR-10 va CIFAR-100.

Manfaatlar to‘qnashuvi: Mualliflar manfaatlar to‘qnashuvi yo‘qligini bildiradilar. Manba shuningdek funding sponsors tadqiqot dizayni, ma’lumot yig‘ish/tahlil/talqin, maqola yozish yoki nashr qarorida rol o‘ynamaganini ta’kidlaydi.

Muallif hissalari: Conceptualization: Junping Wan, Jinming Xu, Zoe L. Jiang, Binxing Fang; methodology: Junping Wan, Yucen Liao, Yinglong Liao, Zejiu Tan; software: Junping Wan; validation: Junping Wan, Yucen Liao, Zejiu Tan; formal analysis: Junping Wan, Yinglong Liao, Zejiu Tan; investigation va data curation: Junping Wan; resources: Zoe L. Jiang va Binxing Fang; original draft: Junping Wan; review/editing: barcha mualliflar; visualization: Yucen Liao, Yinglong Liao va Zejiu Tan; supervision/project administration/funding acquisition: Zoe L. Jiang va Binxing Fang.

Etika kengashi / xabardor rozilik: Manba PDFda alohida Institutional Review Board yoki Informed Consent bayonoti bildirilmagan. Tadqiqot CIFAR benchmarklari va hisoblashga asoslangan shifrlangan inference tajribalari ustida olib borilgan.

Asosiy usuliy cheklovlar: Tadqiqot fixed RNS-CKKS backend ostida offline structural designga qaratilgan; compiler scheduling o‘rnini bosmaydi. Offline search xarajati activation-layer soni bilan o‘sadi. CAPR va latency proxy screening vositalari bo‘lib, yakuniy full evaluation o‘rnini bosmaydi. Berilgan 1–4 kunlik search qiymatlari serial estimatesdir. Baholash CIFAR-10/CIFAR-100 va ResNet/VGG arxitekturalari bilan cheklangan; Transformer arxitekturalari alohida o‘rganilishi kerak.

Security talqin chegarasi: CipherAPRning xavfsizlik da’vosi yangi cryptographic primitivega tegishli emas. Tizim standart RNS-CKKS encryption/decryption/key-switching/bootstrapping mexanizmidan foydalanadi; confidentiality ishlatilgan RNS-CKKS parameterization va RLWE farazidan meros olinadi.