Katika mifumo ya biashara ya marudio ya juu, utendaji hauamuliwi tu na kasi ya algoriti moja. Ucheleweshaji wa tick-to-trade, kuanzia pakiti ya data ya soko inapofika kwenye mfumo hadi agizo linalolingana linapotumwa nje, ni matokeo ya pamoja ya tabaka nyingi: scheduler ya mfumo endeshi, interrupts, kernel housekeeping, page faults, tabia ya TLB, cache locality, mtiririko wa udhibiti wa C++, ugawaji wa kumbukumbu, thread synchronization na rundo la itifaki za mtandao.

Utafiti wa Khalid Mohammad unachunguza tabaka hizi kwa microbenchmarks na kuuliza ni chaguo zipi za muundo hupunguza ucheleweshaji wa kawaida, na zipi huathiri tail latency, yaani miruko ya ucheleweshaji inayotokea mara chache lakini inaweza kuwa mikubwa sana.

Hitimisho kuu ni kwamba hakuna “uboreshaji bora mmoja.” Real-time scheduler hupunguza median wakeup latency, lakini haiwezi kuondoa tail za kina peke yake. CPU isolation katika kiwango cha kernel, kutenganisha RCU/workqueue na interrupt steering hukaza p99.9 na p99.99 kwa nguvu zaidi.

Kwa upande wa kumbukumbu, kupopulate kurasa mapema badala ya kuruhusu page fault katika mguso wa kwanza kulishusha gharama ya first-touch ya karibu 2 µs hadi karibu 20 ns. Explicit 2 MB HugeTLB ilipunguza TLB miss rate kutoka %1,33 hadi %0,09 na cycles/access kutoka takribani 290 hadi 43,12 ikilinganishwa na kurasa za 4 KB.

Katika C++, stateless lambda iko karibu na inline function, lakini std::function ilikuwa karibu 5,68× ghali zaidi. dynamic_cast inayotegemea RTTI ilitumia takribani 3,6× cycles zaidi kuliko explicit tagging. Object pool ilitoa takribani 3,7× kasi dhidi ya new/delete ya jumla, huku tail latency ya heap allocation ikibaki juu zaidi.

Data-oriented design inaonyesha kwamba mpangilio wa data unaweza kuwa muhimu kuliko nguvu ya hesabu ya CPU. Sequential access ni takribani 5,35 cycles/access, lakini random pointer chasing ni takribani 378 cycles/access. False sharing iliongeza muda wa majaribio ya nyuzi mbili kwa takribani 7,5×.

Kwenye mtandao, njia ya kawaida ya Linux UDP ililinganishwa na AF_XDP ndani ya network namespace na veth kwenye mashine ileile. Kernel path ilikuwa na mean takribani 200 µs, AF_XDP takribani 8 µs; p50 ilishuka kutoka takribani 218 µs hadi 6 µs. Hata hivyo p99 ya AF_XDP ilibaki karibu 80 µs; kernel bypass haiondoi tail latency yote.

Ujumbe mkuu wa kihandisi ni huu: ucheleweshaji mdogo hautokani na function moja ya haraka, bali na kuondoa kwa mpangilio vyanzo vya kutotabirika kwenye njia muhimu.

Kipimo kikuu katika mifumo ya ucheleweshaji mdogo ni nini?

Katika programu za kawaida, throughput ya wastani inaweza kutosha. Katika HFT, hata mruko mmoja wa ucheleweshaji unaweza kuwa na maana ya kiuchumi. Kwa hiyo mnyororo mzima wa p50 → p99 → p99.9 → p99.99 → maximum latency unapaswa kupimwa.

Je, scheduler pekee inatosha?

Hapana. Katika cyclictest, SCHED_FIFO ni bora kwa wakeup latency ya kawaida kuliko CFS, lakini tail ya kina inahusishwa pia na kernel interference.

CPU isolation na interrupt steering

Hata thread iliyopin kwenye CPU maalumu inaweza kukatizwa na timer tick, RCU callback, kernel workqueue au hardware interrupt. Utafiti ulitumia isolcpus, nohz_full, rcu_nocbs, cpuset/cgroup na workqueue relocation ili kuitenganisha core muhimu kwa latency na shughuli za housekeeping.

Median hubaki karibu sawa, lakini p99.9 na p99.99 hupungua sana. Hii inaunga mkono tofauti kati ya scheduler kwa latency ya kawaida na isolation kwa ultra-tail.

Page fault, huge pages na VM tuning

Linux hutumia demand paging kwa anonymous memory. Katika jaribio la 512 MB anonymous mapping kulionekana takribani 131.000 minor page faults, na gharama ya mguso wa kwanza ilikuwa takribani 2 µs kwa ukurasa. MAP_POPULATE ilishusha first access katika steady-state hadi karibu 20 ns.

Explicit HugeTLB hupunguza cycles/access kwa takribani 6–7×. THP inaweza kuzalisha tail spike za millisecond kwa sababu ya collapse, split na memory compaction.

Median huboreka, lakini p99 na p99.9 huzorota. Kwa hivyo runtime allocation katika hot path ni hatari; preallocation ni salama zaidi.

Mitigations, C-state na C++

Kuzima mitigations hupunguza gharama ya syscall na context switch, lakini kunaweza kuongeza hatari za usalama za speculative execution; si pendekezo la jumla kwa mifumo ya kawaida.

Virtual dispatch ina gharama, lakini si kila virtual function ni mbaya; ABI-stable interfaces, plugins na cold path bado zinaweza kuhitaji dynamic polymorphism.

noexcept haiongezi kasi kila mahali, lakini katika std::vector reallocation inaweza kuzuia fallback ya copy na kutoa tofauti ya takribani 2,6×.

std::function ni ghali kwa sababu ya type erasure na indirect dispatch. dynamic_cast pia ilitumia zaidi kuliko explicit tagging.

PGO, allocation, cache na concurrency

PGO ilitoa faida ndogo ya takribani %1,4, lakini maboresho madogo yanaweza kujikusanya katika production hot path.

Object pool inaonyesha faida kubwa hasa katika tail. Sequential array ni ≈5,35 cycles/access, random pointer chasing ni ≈378 cycles/access, tofauti ya karibu 70×.

Kutenganisha hot/cold data kulishusha muda kutoka 1,08746 s hadi 0,91845 s na cache misses kutoka 7,8×10⁷ hadi 3,5×10⁷. False sharing ilikuwa 4,16 s, cache-line padded 0,55 s.

AoS ilichukua takribani 258 ms, SoA 145 ms. SIMD scalar ilikuwa 406 ms, AVX 370 ms; faida ni karibu %7.

Lock-free iliboresha tail katika SPSC ring buffer, lakini katika contention kubwa CAS retry inaweza kusababisha cache-line ping-pong na kuwa mbaya kuliko mutex.

AF_XDP

Njia ya kawaida ya Linux ni NIC → Driver → sk_buff → IP/UDP Stack → Socket → System Call → User Space. AF_XDP huondoa sehemu kubwa ya njia hiyo: NIC → XDP → AF_XDP → UMEM → User Space.

Jaribio hili lilifanywa katika namespace/veth kwenye mashine moja; halipimi latency halisi ya mwisho-hadi-mwisho ya production HFT network.

Njia na dokezo la chanzo

Kichwa asili: Design Choices in Low-Latency C++ Systems: Empirical Insights with Applications to High-Frequency Trading

Mwandishi: Khalid Mohammad. Taasisi: Department of Computer Science, Indian Institute of Technology Kharagpur. Tarehe: 3 Aprili 2026; SSRN upload: 17 Aprili 2026; SSRN ID: 6513601; DOI: 10.2139/ssrn.6513601.

Aina ya uchapishaji: Preprint. Matokeo yanategemea mfumo mmoja wa Intel i5-6500 na matoleo fulani ya Linux/GCC; AF_XDP ilipimwa katika namespace/veth; utafiti haupimi trading alpha, utabiri wa soko au mapato ya mkakati.