MacroHFT — низоми иерархии омӯзиши тақвиятӣ мебошад, ки бо хотира дастгирӣ шуда, ба контекст ҳассос аст ва барои мутобиқ шудан ба шароити тағйирёбандаи бозор дар савдои криптовалютӣ бо миқёси дақиқа таҳия шудааст. Усуле, ки аз ҷониби Chuqiao Zong, Chaojie Wang, Molei Qin, Lei Feng, Xinrun Wang ва Bo An таҳия шудааст, ба ҷойи он ки аз як trading agent омӯзиши ҳамаи режимҳои бозорро интизор шавад, sub-agent-ҳоеро месозад, ки дар шароити гуногуни тренд ва ноустуворӣ тахассус доранд, ва қарорҳои онҳоро тавассути hyper-agent муттаҳид мекунад.

Мушкилоти асосии таҳқиқот ғайристационарӣ будани бозори крипто мебошад. Як trading policy метавонад дар бозорҳои болораванда, поёнраванда, паҳлуӣ, дорои ноустувории баланд ё ноустувории паст натиҷаи яксон надиҳад. Агентҳои стандартии RL инчунин метавонанд ба нишондиҳандаҳои муайян аз ҳад зиёд мутобиқ шуда, аз контексти наздики бозор ба қадри кофӣ истифода набаранд. MacroHFT ин мушкилотро бо чор механизми якдигарро пуркунанда — market decomposition, conditional adaptation, policy mixture ва episodic memory — ҳал мекунад.

Дар марҳилаи аввал маълумоти дақиқагӣ аз рӯи нишондиҳандаҳои тренд ва ноустуворӣ ба шаш гурӯҳи гуногун ҷудо мешавад: Bull, Medium Trend, Bear, Volatile, Medium Volatility ва Stable. Дар ҳар гурӯҳи маълумот sub-agent-и ҷудогонаи бар DDQN асосёфта омӯзонида мешавад. Ҳар sub-agent метавонад контексти ҷории бозор ва маълумоти мавқеи мавҷударо тавассути conditional adapter истифода бурда, ифодаи дохилии ҳолати худро миқёсбандӣ ва ҷойиваз кунад.

Дар марҳилаи дуюм hyper-agent аз ин шаш агенти экспертӣ танҳо якеро интихоб намекунад. Он ба Q-арзишҳои ҳар sub-agent вазни softmax медиҳад ва онҳоро муттаҳид карда, як meta-policy-и ягона месозад. Ба ин тартиб система метавонад ҳамзамон аз арзёбиҳои экспертҳои гуногун истифода барад. Hyper-agent инчунин бо истифода аз memory module, ки таҷрибаҳои охирини бозорро нигоҳ медорад, кӯшиш мекунад аз ҳолатҳои шабеҳи бозор дар гузаштаи наздик баҳра барад.

Дар симулятсияҳои таърихӣ барои BTC/USDT, ETH/USDT, DOT/USDT ва LTC/USDT, MacroHFT мутаносибан %3,03, %39,28, %13,79 ва %18,16 Total Return гузориш додааст. Дар натиҷаҳои Ҷадвали 1-и таҳқиқот система дар ҳамаи чор маҷмӯаи маълумот нисбат ба усулҳои муқоисашуда Total Return-и баландтар ба даст овардааст; дар қисми зиёди метрикаҳои бо хатар тасҳеҳшуда низ натиҷаҳои қавӣ нишон додааст.

Бо вуҷуди ин, натиҷаҳо deployment-и зиндаи exchange нестанд. Система дар сатҳи дақиқа қарор қабул мекунад, хароҷоти амалиётӣ ҳамчун %0,02-и доимӣ моделсозӣ мешавад ва network latency, exchange queue priority, market impact ва инфрасохтори амалиётии воқеии HFT ба таври таҷрибавӣ чен карда намешаванд.

Чаро MacroHFT Ба Ҷойи Як Агенти RL Аз Якчанд Эксперт Истифода Мебарад?

Бозорҳои криптовалютӣ метавонанд аз ҷиҳати самти нарх ва ноустуворӣ зуд тағйир ёбанд. Дар як силсилаи дарози вақт давраҳои болоравӣ, поёнравӣ, ҳаракати паҳлуӣ, ноустувории баланд ва ноустувории паст метавонанд пайдарпай ҷой гиранд. Омӯзиши ҳамаи ин рафторҳо дар доираи як policy аз ҷониби як агенти RL метавонад ба мушкилоти overfitting ва policy bias оварда расонад.

Аз ин рӯ MacroHFT аввал бозорро ба динамикаҳои гуногун ҷудо мекунад. Манбаъ ду меъёри асосиро истифода мебарад:

• Тренд: нишебии регрессияи хаттӣ пас аз татбиқи low-pass filter ба силсилаи вақти нарх.
• Ноустуворӣ: ноустувории миёнаи нархи порчаи дахлдори маълумот.

Ҳар порчаи силсилаи вақт аввал ба chunk-ҳои дарозии собит ҷудо мешавад. Бо истифода аз тақсимоти quantile-и арзишҳои тренд се гурӯҳ ташкил карда мешавад:

• Bull — тренди мусбат,
• Medium — тренди тақрибан паҳлуӣ,
• Bear — тренди манфӣ.

Ҷудогона, аз рӯи quantile-ҳои ноустуворӣ:

• Volatile — ноустувории баланд,
• Medium — ноустувории миёна,
• Stable — ноустувории паст

гурӯҳҳо ташкил карда мешаванд.

Ҷузъиёти муҳим дар ин ҷо он аст, ки таҳқиқот аз комбинатсияҳои салибии тамғаҳои тренд ва ноустуворӣ нӯҳ агент намесозад. Се гурӯҳи тренд ва се гурӯҳи ноустуворӣ ҳамчун зермаҷмӯаҳои ҷудогонаи маълумот истифода мешаванд ва дар маҷмӯъ шаш sub-agent омӯзонида мешавад.

Conditional Adapter Чӣ Кор Мекунад?

Conditional adapter механизмест, ки trading policy-и sub-agent-ро на танҳо аз рӯи нархи лаҳзавӣ ва ҳолати order-book, балки мутобиқи контексти наздики бозор ва мавқеи ҷорӣ тағйир медиҳад.

Low-level state аз се ҷузъ иборат аст:

Дар ин ҷо:

• \(s_{lt}^{1}\): хусусиятҳои single-state, ки аз snapshot-и ҷории LOB ва OHLCV гирифта шудаанд,
• \(s_{lt}^{2}\): хусусиятҳои context, ки аз маълумоти бозор дар 60 қадами охирини вақт гирифта шудаанд,
• \(P_t\): мавқеи ҷории trader мебошад.

Маълумоти single-state ва context дар neural layer-ҳои ҷудогона ифода карда мешавад. Мавқеи ҷорӣ низ ба embedding табдил дода мешавад:

Дар ин ҷо \(c\) conditional representation-и муттаҳиди контексти бозор ва ҳолати ҷории holding мебошад.

Conditional representation ду вектор ҳосил мекунад:

ва state representation миқёсбандӣ ва ҷойиваз карда мешавад:

Манбаъ қайд мекунад, ки ин тарҳ аз ғояи Adaptive Layer Norm дар Diffusion Transformer илҳом гирифтааст.

Ҳадафи асосӣ, масалан, осон кардани он аст, ки як ҳаракати якхелаи нарх вобаста ба он ки trader аллакай мавқеъ дорад ё не, ё вобаста ба режими наздики тренд/ноустуворӣ Q-арзиши гуногун ба вуҷуд орад.

Агентҳои Low-Level DDQN Чӣ Гуна Омӯзонида Мешаванд?

Асоси ҳар sub-agent аз Double Deep Q-Network (DDQN) ва меъмории dueling-network иборат аст.

Сохтори Dueling Q-арзишро ба state value ва action advantage ҷудо мекунад:

Training loss танҳо аз TD error-и стандартӣ иборат нест. Optimal Value Supervisor, ки дар таҳқиқоти EarnHFT истифода шудааст, низ дохил карда шудааст:

Дар ин ҷо \(Q^*\) Q-арзиши оптималӣ аст, ки барои ҳолати додашуда бо барномасозии динамикӣ ҳисоб карда мешавад. Ҳамин тавр, sub-agent на танҳо аз таҷрибаи ҷустуҷӯии худ, балки аз маълумоти ҳисобшудаи оптималии action-value низ роҳнамоӣ мегирад.

Фарқи Асосии MacroHFT ва EarnHFT Дар Чист?

EarnHFT agent pool-еро месозад, ки дар трендҳои гуногуни бозор омӯзонида шудаанд, ва router вобаста ба шароити ҷории бозор аз онҳо як агентро интихоб мекунад. MacroHFT бошад, ду тағйироти муҳим ворид мекунад.

Аввалан, бозор на танҳо аз рӯи тренд, балки бо тренд + ноустуворӣ ҷудо карда мешавад.

Дуюм ва муҳимтар, hyper-agent ба ҷойи интихоб кардани яке аз sub-agent-ҳо ба Q-арзишҳои ҳамаи sub-agent-ҳо вазн медиҳад:

Дар MacroHFT \(N=6\) аст.

Final action:

муайян карда мешавад.

Аз ин рӯ, meta-policy дар MacroHFT “agent selector” нест, балки сохтори policy mixture мебошад.

Чаро Ба Hyper-Agent Хотира Илова Карда Мешавад?

Дар бозори крипто натиҷаи кӯтоҳмуддати ду ҳолате, ки монанд менамоянд, метавонад хеле фарқ кунад. Илова бар ин, ҳаракатҳои нодир ба монанди crash, rebound-и зуд ё breakout метавонанд дар replay buffer-и стандартӣ кам намояндагӣ шаванд.

MacroHFT барои ин episodic memory-и ҷадвалии дорои иқтидори маҳдудро муайян мекунад:

Дар ин ҷо:

• \(K\): векторҳои key, ки аз ҷониби state encoder сохта шудаанд,
• \(E\): ҷуфтҳои state-action experience,
• \(V\): арзишҳои ҳисобшудаи таҷрибаҳо.

Вақте таҷрибаи нав ворид мешавад:

сохта шуда, \((k,(s,a),v)\) ба memory навишта мешавад.

Вақте хотира ба иқтидори ҳадди аксар мерасад, равиши FIFO истифода мешавад; сабти аз ҳама кӯҳна ҳазф мегардад. Ҳадафи ин тарҳ он аст, ки гузаштаи наздики бозор барои қарори ҷорӣ арзишмандтар дониста мешавад.

Hyper-agent \(m\) таҷрибаи ба state-и ҷорӣ наздиктаринро бо масофаи L2 ҷустуҷӯ мекунад:

ва аз онҳо memory Q-target месозад:

Ин арзиш ҳамчун supervision-и иловагӣ ба RL target-и стандартии hyper-agent ворид мешавад:

Матни манбаъ мегӯяд, ки таҷрибаҳои наздик ва монанд самараноктар истифода мешаванд. Бо вуҷуди ин, дар Муодилаи (7)-и чопшуда вазни attention ба масофаи L2 мустақиман мутаносиб менамояд, ки норавшании математикӣ дар ишорагузориро ба вуҷуд меорад; манбаъ ин нуқтаро ҷудогона шарҳ намедиҳад.

Limit Order Book ва Воридиҳои Техникӣ Чӣ Гуна Истифода Мешаванд?

Манбаъ Limit Order Book-и панҷсатҳиро истифода мебарад:

Дар ҳар сатҳ нархи bid/ask ва миқдори мавҷуд мавҷуд аст.

Илова бар ин, маълумоти OHLCV:

истифода мешавад.

Дар Ҷадвали иловагии 4 хусусиятҳои зиёди техникӣ муайян карда шудаанд. Аз ҷумла:

• ченакҳои candle body ва wick,
• миқдорҳои нормализатсияшудаи панҷ сатҳи bid/ask,
• weighted average prices,
• buy/sell spreads,
• buy/sell volume,
• volume imbalance,
• price spread,
• ченакҳои VWAP,
• bid/ask log returns,
• WAP log returns,
• 60 вақт-қадамии rolling trend features

мавҷуданд.

Масалан, volume imbalance:

ва price spread:

муайян карда мешаванд.

Усул ва Натиҷаҳои Таҳқиқот

Маҷмӯаҳои маълумот

Дар тақсимоти маълумоти BTC, дар ҷадвали манбаъ байни давраҳои training, validation ва test фосилаҳои холии вақт мавҷуданд; Verianla онҳоро ба таври автоматӣ пур накардааст.

Trading setup

Таҷрибаҳо дар 4 адад NVIDIA RTX 4090 GPU гузаронида шудаанд.

Transaction commission:

муайян карда шуда, манбаъ қайд кардааст, ки ин ба сиёсати Binance мувофиқ аст.

Дарозии Training chunk:

• BTC/USDT: 360 дақиқа = 6 соат,
• ETH/USDT, DOT/USDT ва LTC/USDT: 4320 дақиқа = 3 рӯз.

Ҳар sub-agent 15 epoch; hyper-agent низ 15 epoch омӯзонида шудааст.

Барои ҳамаи параметрҳои neural-network, Adam optimizer ва:

истифода шудааст.

Коэффисиенти optimal supervisor-и sub-agent:

аз рӯи иҷрои validation интихоб шудааст.

Барои hyper-agent:

ва коэффисиенти memory-loss:

санҷида шудаанд. Барои DOT/USDT \(\beta=1\), барои се бозори дигар \(\beta=5\) интихоб шудааст.

Усулҳои муқоисашуда

MacroHFT бо ҳашт baseline муқоиса шудааст:

• DQN,
• DDQN,
• PPO,
• CDQNRP,
• CLSTM-PPO,
• EarnHFT,
• Imbalance Volume (IV),
• MACD.

Меъёрҳои арзёбӣ

Шаш метрикаи молиявӣ истифода шудааст:

• Total Return (TR),
• Annual Sharpe Ratio (ASR),
• Annual Calmar Ratio (ACR),
• Annual Sortino Ratio (ASoR),
• Annual Volatility (AVOL),
• Maximum Drawdown (MDD).

Total Return:

Annual Volatility ба annualize кардани return-ҳои дақиқагӣ бо фарзияи 525.600 дақиқа дар як сол асос меёбад:

Annual Sharpe Ratio:

Натиҷаҳои асосии иҷроиш

Тибқи Ҷадвали 1 ва Расми 3-и манбаъ, MacroHFT дар ҳамаи чор бозор баландтарин Total Return-ро ба даст овардааст.

BTC/USDT

Дар ҳоле ки MacroHFT %3,03 даромад ба даст овардааст, ҳамаи натиҷаҳои BTC-и baseline-ҳои муқоисашуда дар манбаъ манфӣ мебошанд. Масалан, CDQNRP −%1,51, PPO −%9,15, EarnHFT −%11,16 ва MACD −%18,99 даромад гузориш додаанд.

Бо вуҷуди ин, баъзе моделҳои дорои return-и манфӣ AVOL ё MDD-и пасттар ба даст овардаанд. Аз ин рӯ, натиҷаи баландтари даромади MacroHFT маънои “пасттарин хатар дар ҳамаи ченакҳои хатар”-ро надорад.

ETH/USDT

MacroHFT:

гузориш додааст.

Дар ҳамон санҷиш EarnHFT %18,02, IV %0,56 ва PPO −%2,12 даромад ба даст овардаанд.

MacroHFT ҳамчунин:

арзишҳоро гузориш медиҳад.

DOT/USDT

MacroHFT %13,79 Total Return ба даст овардааст. IV бо %10,58 усули дигари қавӣ бо даромади мусбат аст; EarnHFT −%2,67 ва MACD −%20,29 мебошанд.

LTC/USDT

MacroHFT %18,16 даромад ба даст овардааст. IV %7,75, EarnHFT %0,54; MACD бошад −%13,16 мебошад.

Оё Hyper-Agent Воқеан Экспертҳои Гуногунро Омехта Мекунад?

Расми 5-и манбаъ вазнҳоеро нишон медиҳад, ки hyper-agent дар санҷиши BTC/USDT бо гузашти вақт ба шаш sub-agent-и гуногун медиҳад. Вазнҳо собит нестанд; бо тағйир ёфтани контексти бозор эксперти ҳукмрон низ тағйир меёбад.

Ин тасвир нишон медиҳад, ки MacroHFT на танҳо ҳангоми training агентҳои гуногун месозад, балки ҳангоми inference низ contribution-и экспертҳоро мутобиқи шароити бозор пайваста тағйир медиҳад.

Оё Conditional Adapter ва Memory Воқеан Зарур Ҳастанд?

Санҷишҳои ablation таъсири ду ҷузъи асосиро ҷудогона арзёбӣ мекунанд:

• w/o-CA: MacroHFT бе conditional adapter,
• w/o-MEM: MacroHFT бе механизми memory.

Фарқҳои калонтарин дар бозорҳои DOT ва LTC дида мешаванд. Манбаъ мегӯяд, ки дар ин давраҳои санҷишӣ арзиши бозор барои DOT тақрибан %14,85 ва барои LTC тақрибан %24,94 коҳиш ёфтааст.

Дар LTC, дар ҳоле ки MacroHFT-и пурра %18,16 даромад ба даст овардааст, ҳангоми хориҷ кардани conditional adapter −%6,71 ва ҳангоми хориҷ кардани memory −%8,66 даромад ба даст омадааст.

Дар ETH, MacroHFT %39,28 даромад ба даст овардааст, дар ҳоле ки w/o-CA %14,27 ва w/o-MEM %12,73 мебошанд. Аммо аз ҷиҳати MDD, w/o-CA бо %7,57 аз арзиши %9,67-и MacroHFT-и пурра пасттар аст. Аз ин рӯ, ҳатто натиҷаи ablation низ бартарии комилро дар ҳамаи меъёрҳои хатар нишон намедиҳад.

Механизми Memory Ҳангоми Ҳаракатҳои Ногаҳонии Бозор Чӣ Медиҳад?

Дар Расми 6-и манбаъ, вақте memory дар бозори ETH хориҷ карда мешавад, модел ба коҳиши ногаҳонии нарх ба қадри кофӣ зуд вокуниш нишон дода наметавонад ва талафоти назаррас ба вуҷуд меояд. Вақте conditional adapter хориҷ карда мешавад, модел ҳангоми гузаштани бозор аз шароити flat/bear ба шароити bull trading policy-ро ба қадри кофӣ тағйир дода наметавонад ва имконияти болоравиро аз даст медиҳад.

Муаллифон ин мушоҳидаҳоро ҳамчун далели рафторӣ шарҳ медиҳанд, ки memory дар ҳаракатҳои ногаҳонӣ ва нодири нарх, ва conditional adapter дар тағйироти режим муҳим аст.

Намунаҳои Trading, Ки Дар Манбаъ Нишон Дода Шудаанд, Чиро Мефаҳмонанд?

Дар Расми 4-и манбаъ чор намуна нишон дода шудааст.

ETH

Муаллифон моделро ҳамчун стратегияе шарҳ медиҳанд, ки дар болоравии кӯтоҳмуддат имконияти “breakout”-ро ба даст меорад. Мавқеъ дар дохили як ҳаракати кӯтоҳ кушода ва баста мешавад.

DOT

MacroHFT дар қисми болоравии дарозмуддат мавқеи худро нигоҳ дошта, рафтори trend-following нишон медиҳад ва баъдан аз мавқеъ мебарояд.

LTC

Ҳангоми суқути нарх рафтори баромади монанд ба stop-loss нишон дода мешавад ва пас аз он дар вақти rebound намунаи мавқеи нави фоидаовар оварда мешавад.

BTC

Амалиётҳое нишон дода мешаванд, ки дар дохили бозори умумии тамоюли поёнравӣ кӯшиш мекунанд аз болоравиҳои хурдтар истифода баранд.

Ин чор намуна formal trading rules-и усул нестанд. Онҳо шарҳҳои ex-post-и муаллифон дар бораи trading рафторе мебошанд, ки модел ба вуҷуд овардааст.

Натиҷаҳое, Ки Таҳқиқот Дастгирӣ Мекунад

• Омӯзонидани sub-agent-ҳои экспертӣ бо истифодаи тренд ва ноустуворӣ ҳамчун меъёрҳои ҷудогона дар бозорҳои криптои санҷидашуда сохтори иерархии RL-и коршоям ба вуҷуд овардааст.
• Conditional adapter имкон медиҳад, ки контексти ҷории бозор ва мавқеъ ба low-level Q-policy таъсири мустақимтар дошта бошанд.
• Hyper-agent, ки ба ҷойи интихоби як эксперт Q-арзишҳои шаш sub-agent-ро омехта мекунад, дар маҷмӯаҳои маълумоти санҷидашуда натиҷаҳои қавӣ нишон додааст.
• Хориҷ кардани механизми memory, махсусан дар баъзе санҷишҳое, ки ҳаракатҳои ногаҳонии бозор мавҷуданд, иҷроишро ба таври назаррас коҳиш додааст.
• Хориҷ кардани conditional adapter мутобиқшавӣ ба тағйироти режимро заиф кардааст.
• MacroHFT дар ҳамаи чор маҷмӯаи маълумоти санҷишӣ Total Return-и мусбат ба даст оварда, нисбат ба ҳамаи baseline-ҳои Ҷадвали 1-и манбаъ Total Return-и баландтар гузориш додааст.
• Ҳатто дар маҷмӯаҳои маълумоте чун DOT ва LTC, ки нархи умумии бозор дар давраи санҷишӣ шадидан коҳиш ёфтааст, модел даромади мусбат ба даст овардааст.
• Истифодаи policy mixture ба ҷойи single-agent routing дар EarnHFT яке аз фарқҳои марказии меъмории ин таҳқиқот мебошад.

Умумисозиҳое, Ки Таҳқиқот Дастгирӣ Намекунад

• Нишон дода нашудааст, ки MacroHFT дар Binance-и зинда ё exchange-и дигар ҳамон даромадҳоро ба даст меорад.
• Нишон дода нашудааст, ки даромади %39,28 барои ETH ё %18,16 барои LTC дар оянда такрор мешавад.
• Модел вақти execution-и microsecond ё nanosecond-и системаҳои классикии ultra-low-latency HFT-ро чен намекунад.
• exchange queue priority, network jitter, packet loss, API throttling ё бартарии co-location-и воқеӣ ба таври таҷрибавӣ моделсозӣ нашудаанд.
• Чӣ гуна market impact натиҷаҳоро дар мавқеъҳои калон тағйир медиҳад, ба таври фарогир санҷида нашудааст.
• Сохтори танҳо long-position ҳамаи стратегияҳои воқеии HFT-ро намояндагӣ намекунад.
• Натиҷаҳои бадастомада дар чор криптовалюта ба ҳамаи token, exchange ё давраҳои бозор умумӣ карда намешаванд.
• Нишон дода нашудааст, ки ҷузъҳои conditional adapter ё memory ба танҳоӣ дар ҳар trading algorithm ҳамон андозаи афзоиши иҷроишро таъмин мекунанд.

Маҳдудиятҳои Асосии Методологӣ

Аввалан, модел танҳо мавқеъҳои \(P_t\geq0\)-ро иҷозат медиҳад; яъне сохтори short-selling вуҷуд надорад. Ин нисбат ба фазои стратегияҳои системаҳои воқеии крипто HFT соддасозии муҳим мебошад.

Дуюм, хароҷоти амалиётӣ дар ҳамаи чор бозор %0,02-и доимӣ қабул шудааст. trading fee, spread ва execution cost-и воқеӣ метавонанд вобаста ба trader tier, exchange, навъи order ва шароити бозор тағйир ёбанд.

Сеюм, trading interval як дақиқа аст. Ин метавонад басомади баланди қабули қарорро таъмин кунад, аммо аз рақобати latency-и microsecond/nanosecond дар HFT-и классикии market-microstructure миқёси вақти хеле дигар дорад.

Чорум, система дар чор crypto trading pair санҷида шудааст. Шумораи бозорҳо барои умумисозии васеи универсалӣ маҳдуд аст.

Панҷум, интихобҳои model-selection ва hyperparameter ба даромади давраҳои validation асос ёфтаанд. Ин равиш ба ҳифзи test set кӯмак мекунад, аммо вобастагии раванди model-development-ро аз режимҳои муайяни таърихӣ пурра аз байн намебарад.

Шашум, манбаъ байни шакли чопшудаи Муодилаи (7), ки барои вазндиҳии таҷрибаҳои наздик дар механизми хотира истифода мешавад, ва шарҳи матнии “истифода аз таҷрибаҳои наздиктар аз рӯи шабоҳат” як нуқтаи математикии норавшан боқӣ мегузорад.

Ёддошт оид ба Манбаъ ва Усул

Унвони аслӣ: MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading.

Муаллифон: Chuqiao Zong, Chaojie Wang, Molei Qin, Lei Feng, Xinrun Wang ва Bo An.

Муаллифи масъул: Chaojie Wang.

Муассисаҳо: Nanyang Technological University; Skywork AI; Singapore University of Technology and Design.

Нашр: Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, KDD ’24.

Конфронс: 25–29 Август 2024, Barcelona, Spain.

Ношир: Association for Computing Machinery.

ACM ISBN: 979-8-4007-0490-1/24/08.

DOI: 10.1145/3637528.3672064.

arXiv: 2406.14537v1 [cs.LG], 20 Июн 2024.

Усули асосӣ: Memory-Augmented Context-aware Hierarchical Reinforcement Learning.

Low-level RL: Dueling DDQN + Optimal Value Supervisor + conditional adaptation.

High-level RL: mixture-и бо softmax вазншудаи ҳамаи sub-agent Q-policies + episodic memory supervision.

Шумораи sub-agent: 6.

Market decomposition: Bull, Medium Trend, Bear, Volatile, Medium Volatility ва Stable.

Амиқии LOB: 5 сатҳ.

Low-level context window: 60 дақиқа.

Ҳалли вақти Trading: 1 дақиқа.

Action space: \(\{0,1\}\) мавқеи ҳадаф.

Маҳдудияти мавқеъ: Танҳо non-negative / long position.

Commission: %0,02.

Бозорҳои санҷишӣ: BTC/USDT, ETH/USDT, DOT/USDT ва LTC/USDT.

Шумораи baseline: 8.

Baselines: DQN, DDQN, PPO, CDQNRP, CLSTM-PPO, EarnHFT, Imbalance Volume ва MACD.

Меъёрҳои молиявӣ: TR, ASR, ACR, ASoR, AVOL ва MDD.

GPU: 4 × NVIDIA RTX 4090.

Optimizer: Adam.

Learning rate: \(1\times10^{-4}\).

Training: Sub-agent-ҳо 15 epoch; hyper-agent 15 epoch.

Даромадҳои асосии санҷишӣ: BTC %3,03; ETH %39,28; DOT %13,79; LTC %18,16.

Натиҷаи Ablation: Хориҷ кардани conditional adapter ва memory дар ҳамаи чор бозор Total Return-ро коҳиш додааст; дар DOT ва LTC вариантҳо то даромади манфӣ поён рафтаанд.

Funding: National Research Foundation, Singapore — Industry Alignment Fund – Pre-positioning (IAF-PP) Funding Initiative.

Код: Манбаъ мегӯяд, ки татбиқ дар анбори GitHub-и ZONG0004/MacroHFT нашр шудааст.

Ёддошти техникии дохили манбаъ 1: Истилоҳоти bid/ask order дар шарҳи Low-level target-position аз ҷиҳати самт бо таърифҳои bid/ask-и дар ҳамон бахш додашуда пурра мувофиқ намебошад.

Ёддошти техникии дохили манбаъ 2: Дар ҳоле ки шарҳи Memory lookup таҷрибаҳои наздиктаринро таъкид мекунад, формулаи чопшудаи attention масофаи L2-ро мустақиман вазн медиҳад; манбаъ ин фарқи ишорагузориро шарҳ намедиҳад.

Ҳадди асосии илмӣ: Натиҷаҳо ба trading simulation дар маълумоти таърихии бозор тааллуқ доранд; ин таҷрибаи зиндаи exchange execution ё арзёбии системаи истеҳсолии ultra-low-latency HFT нест.