MacroHFT, dakika ölçeğindeki kripto para alım-satımında değişen piyasa koşullarına uyum sağlayabilmek amacıyla geliştirilen, bellek destekli ve bağlam-duyarlı bir hiyerarşik pekiştirmeli öğrenme sistemidir. Chuqiao Zong, Chaojie Wang, Molei Qin, Lei Feng, Xinrun Wang ve Bo An tarafından geliştirilen yöntem, tek bir trading ajanının bütün piyasa rejimlerini öğrenmesini beklemek yerine farklı trend ve volatilite koşullarında uzmanlaşan alt-ajanlar oluşturmakta ve bunların kararlarını bir hyper-agent aracılığıyla birleştirmektedir.

Çalışmanın temel problemi kripto piyasasının durağan olmamasıdır. Aynı trading policy yükselen, düşen, yatay, yüksek volatil veya düşük volatil piyasalarda aynı sonucu vermeyebilir. Standart RL ajanları ayrıca belirli göstergelere aşırı uyum sağlayarak yakın zamandaki piyasa bağlamını yeterince kullanamayabilir. MacroHFT bu sorunları market decomposition, conditional adaptation, policy mixture ve episodic memory olmak üzere dört tamamlayıcı mekanizma ile ele almaktadır.

İlk aşamada dakika verileri trend ve volatilite göstergelerine göre altı farklı gruba ayrılır: Bull, Medium Trend, Bear, Volatile, Medium Volatility ve Stable. Her veri grubunda ayrı bir DDQN tabanlı sub-agent eğitilir. Her alt-ajan güncel piyasa bağlamı ile mevcut pozisyon bilgisini bir conditional adapter üzerinden kullanarak kendi iç durum temsilini ölçekleyip kaydırabilir.

İkinci aşamada hyper-agent bu altı uzman ajandan yalnız birini seçmez. Her alt-ajanın Q-değerlerine bir softmax ağırlığı verir ve bunları bir araya getirerek tek bir meta-policy oluşturur. Böylece sistem farklı uzmanların görüşlerinden aynı anda yararlanabilir. Hyper-agent ayrıca son piyasa deneyimlerini saklayan bir memory module kullanarak yakın geçmişteki benzer piyasa durumlarından yararlanmayı amaçlar.

BTC/USDT, ETH/USDT, DOT/USDT ve LTC/USDT üzerinde yapılan tarihsel simülasyonlarda MacroHFT sırasıyla %3,03, %39,28, %13,79 ve %18,16 Total Return raporlamıştır. Çalışmanın Tablo 1 sonuçlarında sistem dört veri kümesinin tamamında karşılaştırılan yöntemlerden daha yüksek Total Return üretmiş; risk-düzeltilmiş metriklerin büyük bölümünde de güçlü sonuçlar göstermiştir.

Bununla birlikte sonuçlar canlı exchange deployment'ı değildir. Sistem dakika düzeyinde karar vermekte, işlem maliyeti sabit %0,02 olarak modellenmekte ve gerçek network latency, exchange queue priority, market impact ve operasyonel HFT altyapısı deneysel olarak ölçülmemektedir.

MacroHFT Neden Tek Bir RL Ajanı Yerine Birden Fazla Uzman Kullanıyor?

Kripto para piyasaları fiyat yönü ve volatilite açısından hızlı biçimde değişebilir. Uzun bir zaman serisi içinde yükseliş, düşüş, yatay seyir, yüksek volatilite ve düşük volatilite dönemleri art arda bulunabilir. Tek bir RL ajanının bütün bu davranışları tek politika içinde öğrenmesi overfitting ve policy bias sorunlarına yol açabilir.

MacroHFT bu nedenle önce piyasayı farklı dinamiklere ayırmaktadır. Kaynak iki temel kriter kullanır:

• Trend: fiyat zaman serisine low-pass filter uygulandıktan sonra doğrusal regresyon eğimi.
• Volatilite: ilgili veri parçasının ortalama fiyat oynaklığı.

Her zaman serisi parçası önce sabit uzunlukta chunk'lara ayrılır. Trend değerlerinin quantile dağılımı kullanılarak üç grup oluşturulur:

• Bull — pozitif trend,
• Medium — yaklaşık yatay trend,
• Bear — negatif trend.

Ayrı olarak volatilite quantile'ları üzerinden:

• Volatile — yüksek volatilite,
• Medium — orta volatilite,
• Stable — düşük volatilite

grupları oluşturulur.

Burada önemli ayrıntı, çalışmanın trend ve volatilite etiketlerinin çapraz kombinasyonlarından dokuz ajan üretmemesidir. Üç trend ve üç volatilite grubu ayrı veri alt kümeleri olarak kullanılır ve toplam altı sub-agent eğitilir.

Conditional Adapter Ne Yapıyor?

Conditional adapter, alt-ajanın trading policy'sini yalnız anlık fiyat ve order-book durumuna değil, yakın dönem piyasa bağlamına ve mevcut pozisyona göre değiştiren mekanizmadır.

Low-level state üç bileşenden oluşur:

Burada:

• \(s_{lt}^{1}\): güncel LOB ve OHLCV snapshot'ından çıkarılan single-state özellikleri,
• \(s_{lt}^{2}\): son 60 zaman adımındaki piyasa bilgisinden çıkarılan context özellikleri,
• \(P_t\): trader'ın mevcut pozisyonudur.

Single-state ve context bilgileri ayrı neural layer'larda temsil edilir. Mevcut pozisyon da embedding'e dönüştürülür:

Buradaki \(c\), piyasa bağlamı ile mevcut holding durumunun birleşik conditional representation'ıdır.

Conditional representation iki vektör üretir:

ve state representation ölçeklenip kaydırılır:

Kaynak bu tasarımın Diffusion Transformer'daki Adaptive Layer Norm fikrinden esinlendiğini belirtmektedir.

Temel amaç, örneğin aynı fiyat hareketinin trader'ın zaten pozisyonda olup olmamasına veya yakın zamandaki trend/volatilite rejimine göre farklı bir Q-değeri üretmesini kolaylaştırmaktır.

Low-Level DDQN Ajanları Nasıl Eğitiliyor?

Her sub-agent'ın temeli Double Deep Q-Network (DDQN) ve dueling-network mimarisidir.

Dueling yapı Q-değerini state value ve action advantage olarak ayırır:

Training loss yalnız standart TD error'dan oluşmaz. EarnHFT çalışmasında kullanılan Optimal Value Supervisor da dahil edilmiştir:

Buradaki \(Q^*\), verilen durumda dinamik programlama ile hesaplanan optimal Q-değeridir. Böylece alt-ajan yalnız kendi keşif deneyiminden değil, hesaplanmış optimal action-value bilgisinden de yönlendirilir.

MacroHFT ile EarnHFT Arasındaki Temel Fark Nedir?

EarnHFT farklı piyasa trendlerinde eğitilen bir agent pool oluşturur ve router mevcut piyasa koşuluna göre bunlardan tek bir ajan seçer. MacroHFT ise iki önemli değişiklik yapmaktadır.

Birincisi, piyasa yalnız trendle değil trend + volatilite ile parçalanmaktadır.

İkincisi ve daha önemlisi, hyper-agent alt-ajanlardan birini seçmek yerine bütün alt-ajanların Q-değerlerine ağırlık verir:

MacroHFT'de \(N=6\)'dır.

Final action:

ile belirlenir.

Bu nedenle MacroHFT'deki meta-policy bir “agent selector” değil, bir policy mixture yapısıdır.

Neden Hyper-Agent'a Bellek Ekleniyor?

Kripto piyasasında benzer görünen iki durumun kısa vadeli sonucu çok farklı olabilir. Ayrıca crash, hızlı rebound veya breakout gibi nadir hareketler standart replay buffer içinde az temsil edilebilir.

MacroHFT bunun için sınırlı kapasiteli tablo tabanlı episodic memory tanımlar:

Burada:

• \(K\): state encoder tarafından oluşturulan key vektörleri,
• \(E\): state-action experience çiftleri,
• \(V\): deneyimlerin hesaplanmış değerleri.

Yeni deneyim geldiğinde:

oluşturulur ve \((k,(s,a),v)\) memory'ye yazılır.

Bellek maksimum kapasiteye ulaştığında FIFO yaklaşımı kullanılır; en eski kayıt silinir. Bu tasarımın amacı piyasanın yakın geçmişinin mevcut karar açısından daha değerli olduğunu varsaymaktır.

Hyper-agent mevcut state'e en yakın \(m\) deneyimi L2 mesafesiyle arar:

ve bunlardan elde edilen bir memory Q-target oluşturur:

Bu değer hyper-agent'ın standart RL target'ına ek supervision olarak girer:

Kaynağın metni yakın ve benzer deneyimlerin daha etkili kullanılacağını belirtmektedir. Bununla birlikte basılı Denklem (7)'de attention ağırlığının L2 mesafesiyle doğrudan orantılı görünmesi matematiksel bir notasyon belirsizliği oluşturmaktadır; kaynak bu noktayı ayrıca açıklamamaktadır.

Limit Order Book ve Teknik Girdiler Nasıl Kullanılıyor?

Kaynak beş seviyeli Limit Order Book kullanmaktadır:

Her seviyede bid/ask fiyatı ve mevcut miktar bulunmaktadır.

Bunun yanında OHLCV bilgisi:

kullanılır.

Ek Tablo 4'te çok sayıda teknik özellik tanımlanmaktadır. Bunların arasında:

• candle body ve wick ölçüleri,
• beş bid/ask seviyesinin normalize miktarları,
• weighted average prices,
• buy/sell spreads,
• buy/sell volume,
• volume imbalance,
• price spread,
• VWAP ölçüleri,
• bid/ask log returns,
• WAP log returns,
• 60 zaman adımlı rolling trend features

bulunmaktadır.

Örneğin volume imbalance:

ve price spread:

olarak tanımlanmaktadır.

Çalışmanın Yöntemi ve Bulguları

Veri kümeleri

BTC veri bölünmesinde training, validation ve test dönemleri arasında kaynak tabloda boş zaman aralıkları bulunmaktadır; Verianla bunları otomatik olarak doldurmamıştır.

Trading setup

Deneyler 4 adet NVIDIA RTX 4090 GPU üzerinde gerçekleştirilmiştir.

Transaction commission:

olarak belirlenmiş ve kaynak bunun Binance politikasıyla uyumlu olduğunu belirtmiştir.

Training chunk uzunlukları:

• BTC/USDT: 360 dakika = 6 saat,
• ETH/USDT, DOT/USDT ve LTC/USDT: 4320 dakika = 3 gün.

Her sub-agent 15 epoch; hyper-agent da 15 epoch eğitilmiştir.

Tüm neural-network parametrelerinde Adam optimizer ve:

kullanılmıştır.

Sub-agent optimal supervisor katsayısı:

üzerinden validation performansıyla seçilmiştir.

Hyper-agent için:

ve memory-loss katsayısı:

olarak denenmiştir. DOT/USDT için \(\beta=1\), diğer üç piyasa için \(\beta=5\) seçilmiştir.

Karşılaştırılan yöntemler

MacroHFT sekiz baseline ile karşılaştırılmıştır:

• DQN,
• DDQN,
• PPO,
• CDQNRP,
• CLSTM-PPO,
• EarnHFT,
• Imbalance Volume (IV),
• MACD.

Değerlendirme ölçütleri

Altı finansal metrik kullanılmıştır:

• Total Return (TR),
• Annual Sharpe Ratio (ASR),
• Annual Calmar Ratio (ACR),
• Annual Sortino Ratio (ASoR),
• Annual Volatility (AVOL),
• Maximum Drawdown (MDD).

Total Return:

Annual Volatility, dakika return'larının yılda 525.600 dakika varsayımıyla annualize edilmesine dayanmaktadır:

Annual Sharpe Ratio:

Ana performans sonuçları

Kaynağın Tablo 1 ve Şekil 3'üne göre MacroHFT dört piyasanın tamamında en yüksek Total Return değerini üretmiştir.

BTC/USDT

MacroHFT %3,03 getiri üretirken kaynakta karşılaştırılan bütün baseline'ların BTC sonuçları negatiftir. Örneğin CDQNRP −%1,51, PPO −%9,15, EarnHFT −%11,16 ve MACD −%18,99 getiri raporlamıştır.

Bununla birlikte bazı negatif-return modelleri daha düşük AVOL veya MDD üretmiştir. Dolayısıyla MacroHFT'nin daha yüksek getiri sonucu “bütün risk ölçülerinde en düşük risk” anlamına gelmez.

ETH/USDT

MacroHFT:

raporlamıştır.

Aynı testte EarnHFT %18,02, IV %0,56 ve PPO −%2,12 getiri üretmiştir.

MacroHFT aynı zamanda:

değerlerini raporlamaktadır.

DOT/USDT

MacroHFT %13,79 Total Return üretmiştir. IV %10,58 ile pozitif getiri oluşturan diğer güçlü yöntemdir; EarnHFT −%2,67 ve MACD −%20,29'dur.

LTC/USDT

MacroHFT %18,16 getiri üretmiştir. IV %7,75, EarnHFT %0,54; MACD ise −%13,16'dır.

Hyper-Agent Gerçekten Farklı Uzmanları Karıştırıyor mu?

Kaynağın Şekil 5'i BTC/USDT testinde hyper-agent'ın altı farklı sub-agent'a zaman içinde verdiği ağırlıkları göstermektedir. Ağırlıklar sabit değildir; piyasa bağlamı değiştikçe dominant uzman değişmektedir.

Bu görsel MacroHFT'nin yalnız training sırasında farklı ajanlar oluşturmadığını, inference sırasında da piyasa koşullarına göre uzmanların contribution'ını sürekli değiştirdiğini göstermektedir.

Conditional Adapter ve Memory Gerçekten Gerekli mi?

Ablation testleri iki temel bileşenin etkisini ayrı ayrı değerlendirmektedir:

• w/o-CA: conditional adapter çıkarılmış MacroHFT,
• w/o-MEM: memory mekanizması çıkarılmış MacroHFT.

En büyük farklar DOT ve LTC piyasalarında görülmektedir. Kaynak bu test dönemlerinde piyasa değerinin DOT için yaklaşık %14,85 ve LTC için yaklaşık %24,94 gerilediğini belirtmektedir.

LTC'de tam MacroHFT %18,16 getiri üretirken conditional adapter kaldırıldığında −%6,71, memory kaldırıldığında −%8,66 getiri elde edilmiştir.

ETH'te MacroHFT %39,28 getiri üretirken w/o-CA %14,27 ve w/o-MEM %12,73'tür. Ancak MDD açısından w/o-CA %7,57 ile tam MacroHFT'nin %9,67 değerinden daha düşüktür. Dolayısıyla ablation sonucu dahi bütün risk ölçütlerinde eksiksiz üstünlük göstermemektedir.

Memory Mekanizması Ani Piyasa Hareketlerinde Ne Sağlıyor?

Kaynağın Şekil 6'sında ETH piyasasında memory kaldırıldığında model ani fiyat düşüşüne yeterince hızlı tepki verememekte ve belirgin zarar oluşmaktadır. Conditional adapter kaldırıldığında ise model piyasanın flat/bear koşuldan bull koşula geçişinde trading policy'yi yeterince değiştirememekte ve yükseliş fırsatını kaçırmaktadır.

Yazarlar bu gözlemleri memory'nin ani ve nadir fiyat hareketlerinde, conditional adapter'ın ise rejim değişikliklerinde önemli olduğuna dair davranışsal kanıt olarak yorumlamaktadır.

Kaynakta Gösterilen Trading Örnekleri Ne Anlatıyor?

Kaynağın Şekil 4'ünde dört örnek gösterilmektedir.

ETH

Yazarlar modeli kısa süreli yükselişte bir “breakout” fırsatını yakalayan strateji olarak yorumlamaktadır. Pozisyon kısa bir hareket içinde açılıp kapatılmaktadır.

DOT

MacroHFT uzun süreli yükseliş bölümünde pozisyonunu koruyarak trend-following davranışı göstermekte ve daha sonra pozisyondan çıkmaktadır.

LTC

Fiyat çöküşünde stop-loss benzeri bir çıkış davranışı, ardından rebound sırasında yeni kârlı pozisyon örneği gösterilmektedir.

BTC

Düşüş eğilimli genel piyasa içinde daha küçük yükselişleri kullanmaya çalışan işlemler gösterilmektedir.

Bu dört örnek yöntemin formal trading rules'u değildir. Yazarların modelin ortaya çıkardığı trading davranışına getirdiği ex-post yorumlardır.

Çalışmanın Desteklediği Sonuçlar

• Trend ve volatiliteyi ayrı kriterler olarak kullanarak uzman sub-agent'lar eğitmek test edilen kripto piyasalarında işe yarayan bir hiyerarşik RL yapısı oluşturmuştur.
• Conditional adapter, güncel piyasa bağlamı ve pozisyonun low-level Q-policy üzerinde daha doğrudan etkili olmasını sağlamaktadır.
• Tek bir uzman seçmek yerine altı sub-agent'ın Q-değerlerini karıştıran hyper-agent, test edilen veri setlerinde güçlü sonuçlar üretmiştir.
• Memory mekanizmasının kaldırılması özellikle ani piyasa hareketlerinin bulunduğu bazı testlerde performansı belirgin biçimde düşürmüştür.
• Conditional adapter'ın kaldırılması rejim değişimlerine uyumu zayıflatmıştır.
• MacroHFT dört test veri kümesinde de pozitif Total Return üretmiş ve kaynak Tablo 1'deki bütün baseline'ların üzerinde Total Return bildirmiştir.
• DOT ve LTC gibi test döneminde genel piyasa fiyatının sert düştüğü veri kümelerinde de model pozitif getiri üretmiştir.
• EarnHFT'deki tek-agent routing yerine policy mixture kullanmak bu çalışmanın merkezi mimari farklarından biridir.

Çalışmanın Desteklemediği Genellemeler

• MacroHFT'nin canlı Binance veya başka bir exchange üzerinde aynı getirileri üreteceği gösterilmemiştir.
• %39,28 ETH veya %18,16 LTC getirisinin gelecekte tekrar edileceği gösterilmemiştir.
• Model klasik ultra-low-latency HFT sistemlerinin microsecond veya nanosecond execution süresini ölçmemektedir.
• Gerçek exchange queue priority, network jitter, packet loss, API throttling veya co-location avantajı deneysel olarak modellenmemiştir.
• Market impact'in büyük pozisyonlarda sonuçları nasıl değiştireceği kapsamlı biçimde test edilmemiştir.
• Yalnız long-position yapısı gerçek HFT stratejilerinin tümünü temsil etmemektedir.
• Dört kripto para üzerinde elde edilen sonuçlar bütün token, exchange veya piyasa dönemlerine genellenemez.
• Conditional adapter veya memory bileşenlerinin tek başına her trading algoritmasında aynı büyüklükte performans artışı sağlayacağı gösterilmemiştir.

Temel Yöntemsel Sınırlılıklar

Birinci olarak model yalnız \(P_t\geq0\) pozisyonlara izin vermektedir; yani short-selling yapısı bulunmamaktadır. Bu, gerçek kripto HFT sistemlerinin strateji alanına göre önemli bir sadeleştirmedir.

İkinci olarak işlem maliyeti dört piyasanın tamamında sabit %0,02 kabul edilmektedir. Gerçek trading fee, spread ve execution cost trader tier, exchange, order tipi ve piyasa koşullarına göre değişebilir.

Üçüncü olarak trading interval bir dakikadır. Bu, yüksek karar sıklığı sağlayabilir fakat klasik market-microstructure HFT'deki microsecond/nanosecond latency yarışından çok farklı bir zaman ölçeğidir.

Dördüncü olarak sistem dört kripto trading pair üzerinde sınanmıştır. Piyasa sayısı geniş bir evrensel genelleme için sınırlıdır.

Beşinci olarak model-selection ve hyperparameter seçimleri validation dönemlerinin getirilerine dayanmaktadır. Bu yaklaşım test setinin korunmasına yardımcı olmakla birlikte model-development sürecinin belirli tarihsel rejimlere bağımlılığını tamamen ortadan kaldırmaz.

Altıncı olarak kaynak bellek mekanizmasının yakın deneyim ağırlıklandırmasında kullanılan Denklem (7)'nin basılı biçimi ile “benzerliğe göre daha yakın deneyimleri kullanma” metinsel açıklaması arasında açık olmayan bir matematiksel nokta bırakmaktadır.

Kaynak ve Yöntem Notu

Özgün başlık: MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading.

Yazarlar: Chuqiao Zong, Chaojie Wang, Molei Qin, Lei Feng, Xinrun Wang ve Bo An.

Sorumlu yazar: Chaojie Wang.

Kurumlar: Nanyang Technological University; Skywork AI; Singapore University of Technology and Design.

Yayın: Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, KDD ’24.

Konferans: 25–29 Ağustos 2024, Barcelona, Spain.

Yayınevi: Association for Computing Machinery.

ACM ISBN: 979-8-4007-0490-1/24/08.

DOI: 10.1145/3637528.3672064.

arXiv: 2406.14537v1 [cs.LG], 20 Haziran 2024.

Ana yöntem: Memory-Augmented Context-aware Hierarchical Reinforcement Learning.

Low-level RL: Dueling DDQN + Optimal Value Supervisor + conditional adaptation.

High-level RL: Bütün sub-agent Q-policies'in softmax ağırlıklı mixture'ı + episodic memory supervision.

Sub-agent sayısı: 6.

Market decomposition: Bull, Medium Trend, Bear, Volatile, Medium Volatility ve Stable.

LOB derinliği: 5 seviye.

Low-level context window: 60 dakika.

Trading zaman çözünürlüğü: 1 dakika.

Action space: \(\{0,1\}\) hedef pozisyon.

Pozisyon kısıtı: Yalnız non-negative / long position.

Commission: %0,02.

Test piyasaları: BTC/USDT, ETH/USDT, DOT/USDT ve LTC/USDT.

Baseline sayısı: 8.

Baselines: DQN, DDQN, PPO, CDQNRP, CLSTM-PPO, EarnHFT, Imbalance Volume ve MACD.

Finansal ölçütler: TR, ASR, ACR, ASoR, AVOL ve MDD.

GPU: 4 × NVIDIA RTX 4090.

Optimizer: Adam.

Learning rate: \(1\times10^{-4}\).

Training: Sub-agent'lar 15 epoch; hyper-agent 15 epoch.

Ana test getirileri: BTC %3,03; ETH %39,28; DOT %13,79; LTC %18,16.

Ablation sonucu: Conditional adapter ve memory'nin kaldırılması bütün dört piyasada Total Return'ü düşürmüştür; DOT ve LTC'de varyantlar negatif getiriye kadar gerilemiştir.

Funding: National Research Foundation, Singapore — Industry Alignment Fund – Pre-positioning (IAF-PP) Funding Initiative.

Kod: Kaynak, uygulamayı ZONG0004/MacroHFT GitHub deposunda yayımladığını belirtmektedir.

Kaynak-içi teknik not 1: Low-level target-position açıklamasındaki bid/ask order terminolojisi, aynı bölümde verilen bid/ask tanımlarıyla yön açısından tam uyumlu görünmemektedir.

Kaynak-içi teknik not 2: Memory lookup açıklaması en yakın deneyimleri vurgularken basılı attention formülü L2 mesafesini doğrudan ağırlıklandırmaktadır; kaynak bu notasyon farkını açıklamamaktadır.

Temel bilimsel sınır: Sonuçlar tarihsel piyasa verisi üzerinde trading simulation'a aittir; canlı exchange execution deneyi veya ultra-low-latency üretim HFT sistemi değerlendirmesi değildir.