Bu çalışma, elektrik dağıtım şebekesi araştırmalarında kullanılacak simülasyon senaryolarının doğal dil komutlarıyla oluşturulmasını sağlayan GridSage adlı bir platform önermektedir. Kullanıcı; şebeke modeli, fotovoltaik üretim, rüzgâr enerjisi, yük seviyesi, enerji depolama, elektrikli araçlar, çalışma saatleri ve kullanılacak pekiştirmeli öğrenme algoritması gibi koşulları günlük dille tanımlamaktadır. GridSage bu isteği doğrudan fiziksel simülasyona göndermek yerine uygun bir Scenario Skill şablonunu seçmekte, yalnızca istenen alanları artımlı olarak değiştirmekte ve ortaya çıkan ScenarioConfig nesnesini topoloji, parametre sınırı, güç akışı ve işletme kısıtları bakımından doğrulamaktadır.

Yöntem; Scenario Skill erişimi, artımlı semantik düzenleme, iki katmanlı güvenlik kontrolü, V2G özellikli aktif dağıtım şebekesi modeli, doğrusal DistFlow çözümü, OpenDSS tabanlı doğrusal olmayan AC güç akışı doğrulaması ve Gymnasium uyumlu pekiştirmeli öğrenme ortamından oluşmaktadır. Platform; fotovoltaik ve rüzgâr üretimi, enerji depolama sistemleri, elektrikli araç şarjı ve şebekeye enerji verme, yumuşak açık noktalar ile önceden doğrulanmış şebeke yeniden yapılandırma planlarını aynı deney ortamında birleştirmektedir.

Doğal dil yapılandırması için hazırlanan 200 örnekli karşılaştırmada tam GridSage iş akışı %96,0 komut doğruluğu, %96,12 alan doğruluğu, %98,0 geçerlilik ve %96,0 yürütmeye hazır olma oranına ulaşmıştır. Doğrudan tam yapılandırma üreten temel yöntem yalnızca %52,5 komut doğruluğu ve %44,5 yürütmeye hazır olma oranı sağlamıştır. 76 senaryolu güvenlik testinde genel doğrulayıcı bütün 40 kesin hatalı yapılandırmayı çalıştırılmadan önce engellemiş; Scenario Skill doğrulaması, çalıştırılabilir fakat riskli senaryoların %80’ine uyarı veya ret yoluyla müdahale etmiştir.

IEEE 33 düğümlü, yüksek fotovoltaik üretim ve düşük yük senaryosunda SAC, TD3, DDPG ve PPO algoritmaları 200.000 adım boyunca eğitilmiştir. Gurobi tabanlı optimizasyon referansı 96.091,90 ile en düşük toplam amaç değerini, %99,18 gerilim uygunluğunu ve %100 yenilenebilir enerji kullanımını elde etmiştir. Öğrenilmiş denetleyiciler arasında SAC, 98.476,50 toplam amaç değeriyle en iyi toplu sonucu vermiştir; ancak gerilim uygunluğu %93,62 ve yenilenebilir kullanım oranı %94,59 düzeyinde kalmıştır. Bulgular gerçek bir dağıtım şebekesi uygulamasına değil, tek bir ana RL senaryosu, üç rastgele tohum ve hakem değerlendirmesinden geçmemiş bir yazılım prototipine dayanmaktadır.

Araştırmanın çözmeye çalıştığı sorun nedir?

Dağıtım şebekelerinde pekiştirmeli öğrenme araştırması yapmak yalnızca bir algoritma seçmekten ibaret değildir. Araştırmacının şebeke topolojisini, yük ve yenilenebilir enerji profillerini, cihaz kapasitelerini, elektrikli araçların davranışını, depolama sınırlarını, çalışma süresini, güç akışı çözücüsünü, ödül fonksiyonunu ve deney tohumlarını tutarlı biçimde tanımlaması gerekir.

Bu ayarların elle yapılması üç temel sorun oluşturmaktadır:

• Senaryo oluşturma süresi ve yapılandırma maliyeti yükselmektedir.
• Birbiriyle çelişen veya fiziksel olarak uygulanamayan parametreler kolayca oluşturulabilmektedir.
• Deneyler arasındaki küçük ve kayıtsız yapılandırma farkları, sonuçların yeniden üretilebilirliğini ve algoritmaların adil karşılaştırılmasını zayıflatmaktadır.

Büyük dil modelleri doğal dil isteklerini yapılandırılmış verilere dönüştürebilir. Ancak elektrik şebekesi senaryosu sıradan bir metin üretme görevi değildir. Dil modelinin var olmayan bir düğüme cihaz eklemesi, desteklenmeyen bir şebeke modeli istemesi, zaman aralığını ters tanımlaması veya aşırı üretimle gerilim sınırlarını tehlikeye atması mümkündür. Çalışmanın temel sorusu bu nedenle şöyledir: Doğal dilin esnekliği, fiziksel şebeke kurallarından ödün vermeden güvenli ve yeniden üretilebilir bir deney yapılandırma aracına dönüştürülebilir mi?

GridSage’in genel iş akışı

Çalışmanın grafik özetinde kullanıcıdan başlayan süreç beş ana aşamada gösterilmektedir:

1. Kullanıcı, incelemek istediği dağıtım şebekesi senaryosunu doğal dille açıklar.
2. Platform, IEEE 33, 69 veya 123 düğümlü sistem gibi temel senaryolardan uygun Scenario Skill kaydını getirir.
3. Mevcut yapılandırma tamamen yeniden yazılmadan, yalnızca kullanıcının istediği parametreler değiştirilir.
4. Topoloji, güç uygulanabilirliği, gerilim sınırları ve işletme kısıtları doğrulanır.
5. Geçerli senaryo pekiştirmeli öğrenme ortamında çalıştırılarak maliyet, gerilim uygunluğu, yenilenebilir enerji kullanımı ve elektrikli araç şarj memnuniyeti raporlanır.

Bu mimaride büyük dil modeli fiziksel simülasyon katmanına doğrudan erişmemektedir. Dil modeli yalnızca yapılandırma katmanında komut üretir. Gerçek şebeke durumu, güç akışı ve cihaz hareketleri deterministik yazılım bileşenleriyle oluşturulmaktadır. Bu ayrım, dil modelinin serbest metin üretimindeki belirsizliklerin doğrudan şebeke hesaplarına taşınmasını önlemeyi amaçlamaktadır.

Scenario Skill nedir?

Scenario Skill, tipik bir dağıtım şebekesi çalışma durumunu temsil eden yeniden kullanılabilir bir bilgi birimidir. Örneğin yüksek fotovoltaik üretim, düşük yük, yoğun elektrikli araç şarjı veya sınırlı esnek kaynak koşulu ayrı birer beceri kaydı olarak tanımlanabilir.

Her beceri şu bileşenlerden oluşmaktadır:

\[ S_k=(id_k,z_k,T_k,R_k,D_k,P_k,N_k,A_k,M_k,V_k) \]

Burada \(id_k\) becerinin kimliğini, \(z_k\) semantik açıklamayı, \(T_k\) tetikleyici ifadeleri, \(R_k\) temsilî kullanıcı taleplerini, \(D_k\) cihaz ve çalışma koşulu tanımlarını, \(P_k\) önerilen parametreleri, \(N_k\) düğüm düzeyi değişiklik kurallarını, \(A_k\) pekiştirmeli öğrenme ayarlarını, \(M_k\) değerlendirme ölçütlerini ve \(V_k\) doğrulama kurallarını göstermektedir.

Bu yapı, araştırmacıların deneyimlerini serbest metin notları yerine aranabilir ve denetlenebilir senaryo bilgisine dönüştürmektedir. Beceri kitaplığı açık uçlu tasarlanmıştır; yeni şebeke koşulları ve doğrulama kuralları sonradan eklenebilmektedir.

Uygun beceri nasıl seçilmektedir?

Kullanıcının isteği \(U_{in}\) ve mevcut senaryo durumu \(C_{cur}\) için her beceriye bir eşleşme puanı verilmektedir:

\[ \operatorname{Score}(S_k|U_{in},C_{cur})=\omega_1I_T(U_{in},T_k)+\omega_2I_R(U_{in},R_k)+\omega_3I_D(U_{in},D_k)+\omega_4I_S(U_{in},S_k) \]

\(I_T\), kullanıcı komutunun tetikleyici ifadelerle benzerliğini; \(I_R\), temsilî taleplerle uyumunu; \(I_D\), adı geçen cihaz ve enerji kaynaklarının beceriyle ilişkisini; \(I_S\), mevcut senaryo durumuyla uyumu ölçmektedir. \(\omega_1\)–\(\omega_4\) katsayıları dört ölçütün göreli ağırlıklarını belirlemektedir.

Algoritma 1'de puanı belirli bir eşik değerini geçen beceriler aday kümesine alınmakta ve en yüksek puanlı beceri seçilmektedir. Hiçbir beceri eşiği geçmezse sistem uygun bir beceri bulunamadığını döndürmektedir. Seçilen becerinin parametreleri, düğüm kuralları, algoritma ayarları, performans ölçütleri ve güvenlik kuralları sonraki düzenleme aşamasına bağlam olarak aktarılmaktadır.

Çalışmada eşleştirme bileşenlerinin yapısı açıklanmış olmakla birlikte ağırlık katsayılarının ve erişim eşiğinin sayısal değerleri ana metinde verilmemiştir. Bu durum, beceri erişim mekanizmasının aynı ayarlarla bağımsız olarak yeniden üretilmesini sınırlandırmaktadır.

Artımlı semantik düzenleme neden önemlidir?

Bir kullanıcı mevcut senaryoda yalnızca fotovoltaik üretimi değiştirmek istediğinde bütün ScenarioConfig nesnesinin yeniden üretilmesi gereksiz risk oluşturur. Dil modeli daha önce doğru tanımlanmış alanları yanlışlıkla değiştirebilir veya unutabilir.

GridSage bunun yerine yalnızca gereken değişiklikleri içeren bir Delta Command kümesi oluşturmaktadır:

\[ \Delta=\operatorname{Generate\_Delta}(U_{in},C_{cur},\mathcal{H}) \]

Her değişiklik komutu şu üçlüyle temsil edilmektedir:

\[ d_i=(a_i,q_i,v_i) \]

\(a_i\), güncelleme veya etkinleştirme gibi işlem türünü; \(q_i\), hedef yapılandırma alanını; \(v_i\), yeni değeri göstermektedir. Bir kullanıcı isteğinden oluşan bütün değişiklikler ise şöyledir:

\[ \Delta=(d_1,d_2,\ldots,d_m) \]

Bu yaklaşım mevcut durumun korunmasını, değişiklik geçmişinin izlenmesini ve hatalı alanların tek tek düzeltilmesini kolaylaştırmaktadır.

Bir doğal dil komutu nasıl yapılandırılmış senaryoya dönüştürülmüştür?

Çalışmadaki örnek komutta kullanıcı şu koşulları istemektedir:

• IEEE 33 düğümlü dağıtım şebekesi,
• 10.00–14.00 arasında fotovoltaik üretimin 2,0 katına çıkarılması,
• Aynı dönemde yükün 0,7 katına düşürülmesi,
• b18 düğümüne 300 kW fotovoltaik kapasite eklenmesi,
• b18 düğümüne 500 kWh enerji depolama eklenmesi,
• Değerlendirmede SAC algoritmasının kullanılması,
• Sonuçların Gurobi tabanlı optimizasyon referansıyla karşılaştırılması.

Platform bu bileşik isteği dört yapılandırma grubuna ayırmıştır: senaryo amacı, küresel işletme parametreleri, düğüm ve cihaz değişiklikleri ile algoritma ve yürütme ayarları. Böylece tek bir paragraftaki zaman, cihaz, kapasite ve algoritma talepleri ayrı alanlara yazılmıştır.

İki katmanlı güvenlik doğrulaması

Aday senaryo doğrudan güç akışı çözücüsüne gönderilmemektedir. Doğrulama kuralları genel ve beceriye özgü kontrollerin birleşimi olarak tanımlanmaktadır:

\[ V(C_{prop},S)=V_g(C_{prop})\oplus V_k(C_{prop},S) \]

\(V_g\), bütün senaryolara uygulanan genel doğrulamaları; \(V_k\), seçilen Scenario Skill için tanımlanmış semantik kontrolleri göstermektedir.

Genel kesin kısıtlar

İlk aşamada yapılandırmanın çalıştırılabilir olup olmadığı kontrol edilmektedir. İncelenen başlıca konular şunlardır:

• İstenen şebeke modelinin desteklenip desteklenmediği,
• Başlangıç ve bitiş saatlerinin mantıksal sırası,
• Zaman adımının geçerliliği,
• Algoritma ve yürütme modunun desteklenmesi,
• Belirtilen düğümün şebekede bulunması,
• Cihazların ilgili düğüm ve senaryoyla uyumu,
• Fotovoltaik, yük ve diğer çarpanların izin verilen aralıklarda kalması,
• Topoloji bağlantısı, güç akışı uygulanabilirliği ve işletme sınırları.

Örneğin 23.00'te başlayıp 22.00'de biten bir simülasyon reddedilmiştir. Desteklenmeyen “ieee999” modeli de çalıştırılmadan önce engellenmiş ve kullanıcıya mevcut IEEE 33, 69 ve 123 düğümlü seçenekler bildirilmiştir.

Scenario Skill semantik kontrolü

Bir yapılandırma teknik olarak çalıştırılabilir olsa bile çalışma amacı bakımından riskli olabilir. Örneğin fotovoltaik üretimin 2,8 katına çıkarıldığı, yükün 0,7 katına düşürüldüğü ve hem enerji depolama hem de SOP desteğinin kapatıldığı bir senaryo çözücü tarafından çalıştırılabilir. Ancak yüksek üretim, düşük tüketim ve sınırlı esneklik bir araya geldiğinde aşırı gerilim ve yenilenebilir enerji kısıntısı riski oluşabilir.

GridSage bu tür senaryoları zorunlu olarak reddetmek yerine “uyarı” durumuna alabilmektedir. Böylece kesin fiziksel veya şema hataları ile araştırmacının bilinçli olarak incelemek isteyebileceği stres koşulları birbirinden ayrılmaktadır.

Dağıtım şebekesi fiziksel modeli

Doğrulanan ScenarioConfig, metin olmaktan çıkarılarak zaman indeksli bir fiziksel şebeke durumuna dönüştürülmektedir. Her zaman adımında yükler, yenilenebilir üretim, elektrikli araçlar, depolama, SOP ve seçilmiş topoloji birlikte oluşturulmaktadır.

Yük modeli

Bir düğümdeki aktif yük, temel profil, küresel yük çarpanı, zamana bağlı katsayı ve düğüm düzeyindeki ek yükten oluşmaktadır:

\[ P^L_{i,t}=\alpha^L\rho^L_t\bar{P}^L_{i,t}+\Delta P^L_i \]

Reaktif yük, temel güç faktörü açısı korunarak hesaplanmaktadır:

\[ Q^L_{i,t}=P^L_{i,t}\tan\phi_i \]

\(\alpha^L\), genel yük çarpanını; \(\rho^L_t\), zaman profili katsayısını; \(\Delta P^L_i\), ilgili düğüme eklenen yükü; \(\phi_i\), temel güç faktörü açısını göstermektedir.

Yenilenebilir enerji ve depolama

Fotovoltaik üretim, küresel üretim çarpanı, zaman profili ve düğüm düzeyindeki kapasite eklemeleriyle ölçeklenmektedir. Rüzgâr üretimi de temel kullanılabilirlik profiline ve ek kapasitelere bağlıdır. Profiller sabit rastgele tohumlarla değişkenleştirilerek aynı deneyin yeniden üretilebilmesi amaçlanmıştır.

Enerji depolama sistemleri; şarj ve deşarj güç sınırları, verimlilikler ve minimum–maksimum doluluk durumu üzerinden zamanlar arası bağlı kaynaklar olarak modellenmiştir.

Elektrikli araç ve V2G modeli

Elektrikli araç bataryasının bir sonraki zaman adımındaki enerjisi şu denklemle güncellenmektedir:

\[ E_{v,t+1}=\operatorname{clip}\left(E_{v,t}+\eta_c[P^{EV}_{v,t}]^+\Delta t-\frac{[-P^{EV}_{v,t}]^+}{\eta_d}\Delta t,\ 0,\ E^{max}_v\right) \]

Pozitif \(P^{EV}_{v,t}\) şarjı, negatif değer şebekeye enerji verilmesini göstermektedir. \(\eta_c\) ve \(\eta_d\), şarj ve deşarj verimleridir. Bir istasyondaki toplam elektrikli araç gücü, bağlı araçların güçlerinin toplamıdır:

\[ P^{EV}_{s,t}=\sum_{v\in V_{s,t}}P^{EV}_{v,t} \]

Geliş ve ayrılış zamanları, ilk doluluk, hedef enerji ve şarj talebi sabit tohumlarla oluşturulmuştur. Bu sayede V2G desteği ve şarj memnuniyeti aynı senaryo içinde değerlendirilebilmektedir.

SOP ve NOP tabanlı topoloji esnekliği

İki düğümü bağlayan bir yumuşak açık noktada aktif güç dengesi şu şekilde kurulmaktadır:

\[ P^{SOP}_{i,t}+P^{SOP}_{j,t}+P^{loss}_{k,t}=0 \]

Her dönüştürücü ucunda görünür güç sınırı uygulanmaktadır:

\[ (P^{SOP}_{i,t})^2+(Q^{SOP}_{i,t})^2\leq(S^{max}_k)^2 \]

SOP, iki uç arasında aktif güç aktarırken her uçta bağımsız reaktif güç desteği sağlayabilmektedir.

NOP tabanlı yeniden yapılandırmada denetleyicinin rastgele hat açıp kapatmasına izin verilmemiştir. Bunun yerine radyal yapıyı ve bağlantıyı koruduğu önceden doğrulanmış yasal topoloji planlarından biri ScenarioConfig aşamasında seçilmektedir. Bu tasarım adalaşma veya çevrimli topoloji gibi çözücüye uygun olmayan yapıların oluşmasını engellemektedir.

Denetleyici eylemleri fiziksel sınırlara nasıl uyarlanmıştır?

Pekiştirmeli öğrenme algoritmasının ürettiği ham eylem doğrudan cihazlara uygulanmamaktadır. Eylem, mevcut şebeke ve cihaz durumuna bağlı çalışma alanına izdüşürülmektedir:

\[ a_t=\Pi_{\Omega(x^{sc}_t)}(u_t) \]

\(u_t\), ham algoritma çıktısını; \(a_t\), uygulanabilir fiziksel komutu; \(\Omega(x^{sc}_t)\), o anda geçerli cihaz çalışma alanını göstermektedir.

Bu aşamada:

• Şebekeye bağlı olmayan elektrikli araçların eylemleri maskelenir.
• Şarj ve V2G güçleri batarya ve istasyon sınırlarına kırpılır.
• Depolama eylemleri doluluk durumuna göre sınırlandırılır.
• Devre dışı SOP uçları sıfırlanır.
• SOP komutları dönüştürücü görünür güç sınırına izdüşürülür.

Düğüm düzeyindeki net güç enjeksiyonu

Pozitif değer şebekeye net üretim olarak kabul edildiğinde düğümdeki aktif güç enjeksiyonu şöyledir:

\[ P^{net}_{i,t}=P^G_{i,t}+P^{PV}_{i,t}+P^W_{i,t}+\sum_{e\in E_i}(P^{dis}_{e,t}-P^{ch}_{e,t})-P^L_{i,t}-\sum_{s\in S_i}P^{EV}_{s,t}+P^{SOP}_{i,t} \]

Denklem; geleneksel üretim, fotovoltaik, rüzgâr, depolama, yük, elektrikli araç ve SOP etkilerini aynı düğüm dengesi içinde toplamaktadır.

İki aşamalı güç akışı doğrulaması

Birinci aşama: doğrusal DistFlow

Radyal şebekede aktif ve reaktif kol akışları şu dengelerle hesaplanmaktadır:

\[ P_{ij,t}-\sum_{h:(j,h)\in\mathcal{L}^{act}_t}P_{jh,t}=-P^{net}_{j,t} \]

\[ Q_{ij,t}-\sum_{h:(j,h)\in\mathcal{L}^{act}_t}Q_{jh,t}=-Q^{net}_{j,t} \]

Doğrusallaştırılmış gerilim düşümü ise şöyledir:

\[ v_{j,t}=v_{i,t}-2(r_{ij}P_{ij,t}+x_{ij}Q_{ij,t}) \]

\(v_i\) ve \(v_j\), gerilim büyüklüklerinin karelerini; \(r_{ij}\) ve \(x_{ij}\), hat direnci ve reaktansını göstermektedir.

İşletme noktası; şebekeden enerji alım maliyeti, üretim maliyeti, depolama maliyeti, SOP kaybı ve sayısal uygulanabilirlik için kullanılan ceza terimleriyle belirlenmektedir:

\[ \min\ C^{grid}_t+C^{gen}_t+C^{ESS}_t+C^{SOP}_t+\lambda_s\phi^{slack}_t+\lambda_{sop}\phi^{sop}_t+\lambda_{nop}\phi^{nop}_t \]

Gevşeklik değişkenleri aşırı veya keşif amaçlı eylemlerde çözülebilirliği korumak için kullanılmaktadır. Bu nedenle doğrusal çözümün bulunması, her işletme durumunun cezasız veya tam anlamıyla fiziksel olarak ideal olduğu anlamına gelmemektedir.

İkinci aşama: OpenDSS AC doğrulaması

DistFlow ile bulunan çalışma durumu daha sonra OpenDSS kullanılarak doğrusal olmayan AC güç akışında değerlendirilmiştir. Bu aşama gerilimleri, kol akışlarını, şebeke kayıplarını ve çözücü yakınsamasını güncellemektedir.

OpenDSS sonuçları ödül fonksiyonuna ve deney kayıtlarına aktarılmaktadır. Mevcut zaman adımının eylem sonrasında oluşan gerilim ve kol akışları, eylem seçilmeden önce gözleme eklenmemiştir. Böylece denetleyicinin henüz gerçekleşmemiş bir güç akışı sonucunu görmesiyle oluşabilecek nedensellik dışı bilgi sızıntısı önlenmiştir.

Pekiştirmeli öğrenme gözlem uzayı

Denetleyicinin eylem öncesinde gördüğü durum vektörü şu biçimdedir:

\[ o_t=[\tau_t,\pi_t,P^L_t,Q^L_t,P^{RW,av}_t,SOC^{ESS}_t,m^{EV}_t,SOC^{EV}_t,\delta^{dep}_t,d^{EV}_t] \]

Vektör; zamanı, varsa elektrik fiyatını, aktif ve reaktif yükleri, kullanılabilir fotovoltaik ve rüzgâr gücünü, depolama doluluğunu, elektrikli araç bağlantı durumunu, araç batarya seviyesini, ayrılışa kalan zamanı ve karşılanmamış şarj ihtiyacını içermektedir.

Eylem uzayı

Etkin cihazlara göre uyarlanan birleşik eylem vektörü şöyledir:

\[ a_t=[a^{EV}_t,a^{ESS}_t,a^{PVW}_t,a^{SOP,P}_t,a^{SOP,Q1}_t,a^{SOP,Q2}_t] \]

Eylemler sırasıyla elektrikli araç şarjı ve V2G gücünü, depolama şarj-deşarjını, yenilenebilir enerji kısıntısını, SOP aktif güç aktarımını ve iki uçtaki reaktif güç komutlarını kontrol etmektedir. NOP topolojisi çevrim içi bir RL eylemi değildir; deney başlamadan önce geçerli planlardan biri seçilmektedir.

Ödül fonksiyonu

Varsayılan ödül ekonomik işletme, gerilim güvenliği, elektrikli araç hizmeti ve çözücü yakınsamasını birleştirmektedir:

\[ r_t=-\lambda_cC_t-\lambda_vV^{vio}_t-\lambda_eE^{short}_t-\lambda_uU^{EV}_t-\lambda_oI^{fail}_t \]

\(C_t\), işletme maliyetini; \(V^{vio}_t\), gerilim ihlalini; \(E^{short}_t\), araç ayrılırken karşılanmamış enerjiyi; \(U^{EV}_t\), kalan park süresine göre şarj açığını; \(I^{fail}_t\), OpenDSS yakınsamama durumunu cezalandırmaktadır.

Yenilenebilir enerji kısıntısı ve kol akışları kayıt altına alınmakla birlikte varsayılan ödülde ayrı ve açık terimler olarak bulunmamaktadır. Bu tercih, bir algoritmanın eğitim ödülünde iyi görünürken yenilenebilir kullanım, şebeke kaybı veya başka bir fiziksel ölçütte daha zayıf kalabilmesinin nedenlerinden biridir.

Doğal dil yapılandırma deneyi

Doğal dil testi sekiz kategoride, kategori başına 25 olmak üzere toplam 200 komuttan oluşmuştur:

• Küresel üretim veya yük çarpanları,
• Düğüm düzeyi değişiklikler,
• Cihaz kullanılabilirliği,
• Zamana bağlı profil ayrıştırması,
• Eğitim veya değerlendirme modu,
• Scenario Skill amaç tanıma,
• Birden fazla algoritmanın karşılaştırılması,
• Birden fazla isteği birleştiren karma yapılandırmalar.

Bütün LLM destekli deneylerde doğal dil arka ucu olarak DeepSeek-V4-Flash kullanılmıştır. Üç iş akışı karşılaştırılmıştır:

• A1: Doğal dilden doğrudan bütün ScenarioConfig nesnesini üretme.
• A2: Artımlı Delta Command kullanma.
• A3: Delta Command'a ek olarak Scenario Skill erişimi, durum farkındalıklı birleştirme, genel doğrulama, beceri doğrulaması ve deney kaydı.

A1'in alan doğruluğu yüksek görünmesine rağmen komut doğruluğu ve çalıştırılabilirliği düşüktür. Bu sonuç tek tek alanlarda makul değerler üretmenin bütün yapılandırmanın eksiksiz ve tutarlı olduğu anlamına gelmediğini göstermektedir.

A2, komut doğruluğunu %52,5'ten %91,0'a çıkararak artımlı düzenlemenin yararını göstermiştir. A3 ise karma ve bağlama bağlı görevlerde daha dengeli sonuç üretmiştir. A3'ün geçerlilik oranı A2'den 1,5 yüzde puanı düşük olsa da bunun nedeni daha gevşek değil, daha sıkı tam iş akışı kontrolüdür.

Görev kategorilerine göre doğruluk

Isı haritasında A1 basit düğüm ve cihaz görevlerinde %100'e ulaşmış; ancak çok algoritmalı karşılaştırmada %0, Scenario Skill amaç tanımada %24, eğitim-değerlendirme seçiminde ve karma yapılandırmada %32'de kalmıştır.

A2, zaman profili ve eğitim modu gibi alanlarda %100'e ulaşmış; fakat çok algoritmalı karşılaştırmada %64 ve karma yapılandırmada %80 sağlamıştır.

A3 şu sonuçları vermiştir:

• Düğüm değişikliği: %100,
• Cihaz kullanılabilirliği: %100,
• Eğitim veya değerlendirme modu: %100,
• Karma yapılandırma: %100,
• Zaman profili ayrıştırması: %96,
• Çok algoritmalı karşılaştırma: %96,
• Scenario Skill amaç tanıma: %88,
• Küresel çarpan ayarı: %88.

GridSage’in asıl katkısı basit sayı doldurma görevlerinden çok, birden fazla alanın ve örtük senaryo amacının birlikte yorumlanması gereken komutlarda ortaya çıkmıştır.

Güvenlik doğrulama deneyi

Güvenlik testi 76 yapılandırmadan oluşmuştur. Bunların 40'ı kesin hatalı, 36'sı ise çalıştırılabilir, riskli veya normal senaryolardır. Kesin hata kategorileri şunlardır:

• Desteklenmeyen şebeke modeli,
• Geçersiz simülasyon süresi,
• Geçersiz zaman adımı,
• Desteklenmeyen algoritma modu,
• Sınır dışı küresel çarpan,
• Var olmayan düğüm,
• Aşırı düğüm düzeyi değişiklik.

B1 bütün kesin hataları kabul etmiştir. B2 bütün kesin hataları çalıştırılmadan önce durdurmuş ve yedi hata sınıfının tamamını kapsamıştır. B3 aynı kesin güvenlik başarısını korurken çalıştırılabilir fakat senaryo amacı bakımından riskli örneklerin %80'ine müdahale etmiştir. Normal senaryolarda yanlış uyarı gözlenmemiştir.

Bu test, dil modelinin güvenilirliğinin yalnızca doğru komut üretme oranıyla ölçülmemesi gerektiğini göstermektedir. Hatalı komutların fiziksel çözücüye ulaşmadan engellenmesi ve bilinçli stres testleriyle gerçek hataların ayrılması ayrıca değerlendirilmelidir.

Yüksek fotovoltaik üretim ve düşük yük senaryosu

Pekiştirmeli öğrenme deneyi IEEE 33 düğümlü şebekede yürütülmüştür. Temel ayarlar şöyledir:

• Fotovoltaik üretim çarpanı: 2,0,
• Yük çarpanı: 0,7,
• Elektrikli araç çarpanı: 1,0,
• Simülasyon süresi: 24 saat,
• Zaman adımı: 60 dakika,
• Eğitim süresi: 200.000 adım,
• Algoritmalar: SAC, TD3, DDPG ve PPO,
• Değerlendirme tohumu: üç rastgele tohum,
• Optimizasyon referansı: Gurobi tabanlı denetleyici.

Bütün denetleyiciler aynı ScenarioConfig, cihaz durumu, zaman ufku, ödül ağırlıkları, normalizasyon, rastgele tohumlar ve iki aşamalı güç akışı doğrulaması altında karşılaştırılmıştır.

Eğitim eğrileri ne göstermiştir?

Eğitim grafiğinde SAC yaklaşık 70.000–100.000 adım aralığında hızlı bir iyileşme göstermiş ve eğitim sonunda öğrenilen algoritmalar arasındaki en yüksek ortalama bölüm ödülüne ulaşmıştır. TD3 erken dönemde hızlı ilerlemiş, daha sonra daha kademeli bir gelişim göstermiştir. DDPG daha yavaş fakat sürekli iyileşmiştir. PPO ise başlangıç seviyesinden sınırlı ölçüde uzaklaşmış ve diğer algoritmalardan belirgin biçimde düşük ödülde kalmıştır.

Bu sonuçlar yalnızca kullanılan durum, eylem, ödül ağırlıkları, hiperparametreler ve yüksek-PV düşük-yük senaryosu için geçerlidir. Eğitim eğrisinin yüksek olması, bir algoritmanın bütün şebeke koşullarında üstün olduğunu göstermemektedir.

Fiziksel işletme sonuçları

Toplam amaç yalnızca parasal maliyet değildir; işletme maliyetlerini ve ceza bileşenlerini birleştirmektedir. Bu nedenle küçük değer daha iyi toplu performans anlamına gelmektedir.

Gurobi tabanlı referans bütün öğrenilmiş denetleyicilerden daha iyi sonuç vermiştir. SAC'ın toplam amaç değeri referanstan yaklaşık %2,5 daha yüksek olmakla birlikte öğrenilmiş algoritmalar arasındaki en düşük değerdir. SAC bu nedenle maliyet ve ceza bileşenlerini en dengeli birleştiren RL denetleyicisi olarak değerlendirilmiştir.

TD3, RL yöntemleri arasında en yüksek gerilim uygunluğuna ve en düşük yenilenebilir enerji kısıntısına ulaşmıştır; ancak toplam amaç değeri SAC ve DDPG'den yüksektir. Bu durum elektrikli araç hizmeti ve diğer ceza bileşenlerinin de toplu sonucu etkilediğini göstermektedir.

DDPG'nin toplam amaç değeri TD3'ten düşük, gerilim uygunluğu ise TD3'ten daha düşüktür. Şekil 7'de DDPG, öğrenilmiş denetleyiciler arasında en yüksek elektrikli araç şarj memnuniyetini göstermektedir.

PPO hem düşük yenilenebilir kullanım hem yüksek kısıntı hem de düşük gerilim uygunluğu nedeniyle diğer denetleyicilerden belirgin biçimde kötü sonuç vermiştir. Ancak bu sonuç PPO algoritmasının genel olarak dağıtım şebekeleri için uygun olmadığını kanıtlamaz; yalnızca bu uygulama, ayarlar ve eğitim bütçesi altında zayıf uyum sağladığını göstermektedir.

Şarj memnuniyeti, maliyet ve şebeke kaybı grafikleri

Üç tohumdan elde edilen kutu grafikleri denetleyicilerin ortalamalarını ve tohumlar arası dağılımını göstermektedir. Gurobi tabanlı referans en yüksek elektrikli araç şarj memnuniyetine ve en düşük şebeke kaybına sahiptir. Öğrenilmiş denetleyiciler arasında:

• DDPG en yüksek elektrikli araç şarj memnuniyetini,
• TD3 en düşük şebeke kaybını,
• SAC maliyet, kayıp ve şarj hizmeti arasında daha dengeli bir sonucu,
• PPO en düşük şarj memnuniyetini ve en yüksek maliyeti göstermiştir.

Çalışmada bu kutu grafikleri için hipotez testi, güven aralığı veya algoritmalar arasındaki farkların istatistiksel anlamlılığı raporlanmamıştır. Üç rastgele tohum, eğilimleri göstermek için kullanılabilir; ancak algoritmaların kesin sıralaması için sınırlı bir örneklem büyüklüğüdür.

Çalışmanın desteklediği sonuçlar

• Doğal dil komutlarını artımlı ve yapılandırılmış değişikliklere dönüştürmek, bütün yapılandırmayı tek seferde üretmekten daha güvenilir sonuç vermiştir.
• Scenario Skill erişimi ve durum farkındalıklı doğrulama, özellikle çok alanlı ve karma komutlarda doğruluğu yükseltmiştir.
• Kesin kısıt doğrulaması, desteklenmeyen veya fiziksel sınırları aşan senaryoların simülasyona ulaşmasını engelleyebilmiştir.
• Semantik doğrulama, teknik olarak çalıştırılabilir fakat yüksek risk taşıyan senaryoları ayrıca işaretleyebilmiştir.
• Doğrulanan ScenarioConfig, kapalı çevrim bir pekiştirmeli öğrenme deneyine ve fiziksel ölçütlerle algoritma karşılaştırmasına dönüştürülebilmiştir.
• Tek bir eğitim ödülü, şebeke denetleyicisinin gerilim, yenilenebilir kullanım, EV hizmeti ve kayıp davranışını bütünüyle açıklamamıştır.

Çalışmanın kanıtlamadığı noktalar

• GridSage gerçek bir dağıtım şebekesinde çevrim içi olarak uygulanmamıştır.
• Dil modelinin şebeke işletme kararlarını bağımsız biçimde ve doğrudan vermesi güvenli bulunmuş değildir; LLM yalnızca yapılandırma katmanında kullanılmıştır.
• %96 komut doğruluğu bütün doğal dil biçimleri, diller veya şebeke senaryoları için genel bir başarı oranı değildir.
• Güvenlik testi bütün olası fiziksel ve siber hata türlerini kapsamamaktadır.
• IEEE 33 düğümlü tek RL deneyi, platformun daha büyük gerçek şebekelerde aynı başarıyla ölçekleneceğini kanıtlamaz.
• SAC'ın bu deneyde en iyi RL toplam amacını vermesi, bütün aktif dağıtım şebekesi problemlerinde en iyi algoritma olduğunu göstermez.
• Gurobi referansının sonuçları gerçek işletme optimumu olarak yorumlanmamalıdır; sonuçlar kullanılan model, gevşeklik değişkenleri, amaç fonksiyonu ve çözücü varsayımlarına bağlıdır.
• Üç rastgele tohum, geniş kapsamlı algoritma genellemesi için yeterli değildir.

Çalışmanın güçlü yönleri

• Dil modeli ile fiziksel simülasyon arasında açık bir güvenlik sınırı kurulmuştur.
• Senaryo değişiklikleri artımlı ve izlenebilir komutlar hâlinde tutulmuştur.
• Doğal dil doğruluğu, fiziksel güvenlik ve RL performansı ayrı deneylerle değerlendirilmiştir.
• 200 örnekli yapılandırma testi basit ve karma görevleri birlikte içermektedir.
• Güvenlik testinde kesin hatalar ile çalıştırılabilir riskler ayrılmıştır.
• Doğrusal DistFlow ve OpenDSS AC çözümü iki aşamalı fizik kapısı olarak kullanılmıştır.
• Mevcut zaman adımına ait eylem sonrası şebeke sonuçları gözlemden çıkarılarak nedensellik dışı bilgi sızıntısı önlenmiştir.
• RL algoritmaları aynı ScenarioConfig ve tohum protokolünde karşılaştırılmıştır.
• Yazılım kodu ve örnek yapılandırmalar açık bir GitHub deposunda paylaşılmıştır.

Çalışmanın sınırlılıkları

• Çalışma hakem değerlendirmesinden geçmemiştir.
• Scenario Skill kitaplığı elle hazırlanmıştır ve sınırlı sayıda senaryo tipini kapsamaktadır.
• Ana RL deneyi yalnızca IEEE 33 düğümlü tek bir yüksek-PV düşük-yük senaryosunda yapılmıştır.
• RL değerlendirmesi üç rastgele tohumla sınırlıdır.
• Hiperparametre duyarlılığı ve eşit hesaplama bütçesinin ayrıntıları sınırlı sunulmuştur.
• Scenario Skill puan ağırlıkları ve erişim eşiği açıklanmamıştır.
• Ödül ağırlıklarının sayısal değerleri ana sonuçların yorumlanmasını zorlaştırmaktadır.
• Yenilenebilir enerji kısıntısı varsayılan ödülde açık bir terim değildir.
• Gevşeklik değişkenleri aşırı koşullarda çözülebilirliği korusa da fiziksel ihlallerin bir bölümünü ceza terimine dönüştürebilir.
• NOP topolojisi çevrim içi RL tarafından seçilmemekte, önceden belirlenmiş plan olarak uygulanmaktadır.
• Gerçek zamanlı donanım, saha verisi, operatör deneyi veya dağıtım şirketi uygulaması bulunmamaktadır.
• Doğal dil benchmarkının komutları, etiketleme yöntemi ve dilsel çeşitliliği bağımsız bir veri seti olarak ayrıntılı biçimde sunulmamıştır.
• Verilerin istek üzerine paylaşılacağı belirtilmiş; deney sonuçlarının tamamı kalıcı bir veri arşivinde sunulmamıştır.

Türkiye açısından neden önemlidir?

Türkiye’de çatı ve arazi tipi güneş enerjisi santralleri, elektrikli araç şarj istasyonları, enerji depolama sistemleri ve çift yönlü güç akışları dağıtım şebekesi planlamasını giderek karmaşıklaştırmaktadır. Farklı üretim, yük, depolama ve araç senaryolarının hızla oluşturulması; dağıtım şirketleri, üniversiteler ve enerji teknolojisi geliştiricileri için önemli bir araştırma ihtiyacıdır.

GridSage’in Türkiye’ye doğrudan aktarılabilecek yönü, belirli bir Çin şebekesine ait sonuçlardan çok senaryo yapılandırma ve doğrulama mimarisidir. Benzer bir sistem Türkiye için geliştirildiğinde:

• Türkiye’de kullanılan dağıtım şebekesi modelleri ve gerilim seviyeleri Scenario Skill kitaplığına eklenebilir.
• EPDK ve dağıtım şirketlerinin teknik kalite sınırları doğrulama kurallarına dönüştürülebilir.
• Güneş üretimi, elektrikli araç şarjı, depolama ve bölgesel yük profilleri doğal dil komutlarıyla tanımlanabilir.
• Yüksek güneş üretimi, düşük gündüz yükü, ters güç akışı ve aşırı gerilim senaryoları otomatik oluşturulabilir.
• Farklı kontrol algoritmaları aynı yapılandırma parmak izi ve tohumlarla adil biçimde karşılaştırılabilir.
• Operatörün doğal dilde verdiği talimatın hangi parametreleri değiştirdiği ve hangi güvenlik kontrollerinden geçtiği kayıt altında tutulabilir.

Böyle bir uygulama gerçek şebeke işletmesine bağlanmadan önce yerel güç akışı modelleri, koruma sistemi kısıtları, veri güvenliği, kullanıcı yetkilendirmesi, siber güvenlik, insan onayı ve donanım döngülü testlerle doğrulanmalıdır. Çalışma, otonom şebeke işletme sistemi değil; güvenli ve tekrarlanabilir araştırma senaryoları üretmeye yönelik bir prototip sunmaktadır.

Çalışmanın Yöntemi ve Bulguları

Araştırma tasarımının özeti

Doğal dil testinden çıkan temel bulgular

• Tam GridSage yöntemi %96,0 komut doğruluğuna ulaşmıştır.
• Alan doğruluğu %96,12, geçerlilik oranı %98,0 ve yürütmeye hazır olma oranı %96,0'dır.
• Ortalama düzeltme turu doğrudan üretimde 2,70 iken GridSage’de 0,35'e düşmüştür.
• Doğrudan tam yapılandırma üretimi tek alanlarda başarılı olsa da karma komutlarda belirgin biçimde başarısız olmuştur.
• Artımlı komut gösterimi tek başına komut doğruluğunu %52,5'ten %91,0'a yükseltmiştir.
• Scenario Skill ve tam doğrulama eklendiğinde çok algoritmalı karşılaştırma doğruluğu %64'ten %96'ya, karma yapılandırma %80'den %100'e çıkmıştır.

Güvenlik testinden çıkan temel bulgular

• Doğrulamasız yöntem kesin hataların tamamını yanlışlıkla kabul etmiştir.
• Genel doğrulayıcı 40 kesin hatanın tamamını engellemiştir.
• Yanlış kabul oranı %100'den %0'a düşmüştür.
• Yedi kesin hata kategorisinin tamamı kapsanmıştır.
• Scenario Skill doğrulaması riskli fakat çalıştırılabilir örneklerin %80'ine müdahale etmiştir.
• Semantik olarak normal örneklerde yanlış uyarı bildirilmemiştir.

RL deneyinden çıkan temel bulgular

• Gurobi tabanlı referans 96.091,90 ile en düşük toplam amaç değerini vermiştir.
• SAC, 98.476,50 ile RL algoritmaları arasında en iyi toplam amacı elde etmiştir.
• TD3, RL yöntemleri arasında %96,59 ile en yüksek gerilim uygunluğunu sağlamıştır.
• TD3'ün yenilenebilir kullanım oranı %94,66, kısıntısı 4.726,24 kWh olmuştur.
• DDPG, kutu grafiklerinde öğrenilmiş denetleyiciler arasındaki en yüksek EV şarj memnuniyetini göstermiştir.
• PPO'nun yenilenebilir kullanım oranı %59,77'ye düşmüş ve kısıntı 35.799,07 kWh'a yükselmiştir.
• Hiçbir RL denetleyicisi Gurobi referansının %100 yenilenebilir kullanım ve sıfır kısıntı sonucuna ulaşamamıştır.

Şekil ve tablo değerlendirmesi

Yeniden üretilebilirlik değerlendirmesi

Çalışmanın olumlu yönü, kullanıcı komutu, seçilen beceri, artımlı değişiklikler, ScenarioConfig durumu, doğrulama çıktıları, rastgele tohumlar ve simülasyon sonuçlarının kaydedilmesini hedeflemesidir. Gymnasium uyumlu arayüz dış algoritmaların aynı fiziksel ortamda çalıştırılmasına olanak tanımaktadır.

Yazarlar GridSage kaynak kodunu GitHub üzerinden paylaşmıştır. Depoda ön ve arka uç uygulaması, yapılandırma şemaları, doğrulama kodu, Scenario Skill örnekleri ve simülasyon arayüzü bulunmaktadır. Bununla birlikte makalenin deneylerinde kullanılan bütün komut benchmarkları, eğitilmiş modeller, sonuç günlükleri ve ham değerlendirme verileri kalıcı bir veri paketi olarak sunulmamıştır. Veri erişimi “istek üzerine” olarak belirtilmiştir.

Scenario Skill eşleştirme ağırlıkları, erişim eşiği, ödül ağırlıkları ve bazı algoritma hiperparametrelerinin eksikliği de tam sayısal yeniden üretimi zorlaştırmaktadır. Açık kod erişimi bu eksikliği kısmen azaltabilir; ancak yayımlanan makalenin tek başına bütün deney ayarlarını yeniden kurmaya yeterli olduğu gösterilmemiştir.

Kaynak ve Yöntem Notu

• Çalışmanın tam özgün adı: GridSage: A Skill-Grounded LLM Platform for Scenario-Oriented Reinforcement Learning Evaluation in Distribution Networks
• Yazarlar ve sıraları: Yilin Ge; Tao Qian; Hao Li; Qinran Hu; Zhenya Ji
• Eş katkı veya eş birinci yazarlık: Belirtilmemiştir.
• Sorumlu yazar: Tao Qian
• Sorumlu yazar e-postası: Çalışmada belirtilmemiştir.
• Kurum 1: NARI School of Electrical and Automation Engineering, Nanjing Normal University, Nanjing, Çin
• Kurum 2: School of Electrical Engineering, Southeast University, Nanjing, Çin
• DOI: 10.2139/ssrn.6944964
• Yayın platformu: SSRN
• Platform işletmecisi: Elsevier
• Hakemli dergi: Kabul edilmiş veya yayımlanmış bir hakemli dergi adı belirtilmemiştir.
• Yayın tarihi: 15 Haziran 2026
• Kaynak türü: Yazılım platformu, güç sistemi simülasyonu ve pekiştirmeli öğrenme deneyleri içeren preprint
• Hakemlik durumu: Çalışma hakem değerlendirmesinden geçmemiştir.
• Resmî çalışma bağlantısı:SSRN çalışma sayfası
• DOI bağlantısı:10.2139/ssrn.6944964
• Resmî yazılım deposu:GridSage GitHub deposu

Yazar katkıları çalışmada şu şekilde verilmiştir: Yilin Ge özgün taslak, yöntem ve biçimsel analiz; Tao Qian inceleme, düzenleme ve danışmanlık; Hao Li inceleme, yöntem ve kavramsallaştırma; Qinran Hu inceleme ve düzenleme; Zhenya Ji inceleme, düzenleme ve doğrulama görevlerini üstlenmiştir.

Araştırma, National Natural Science Foundation of China tarafından U24B2081 numaralı destek kapsamında kısmen finanse edilmiştir. Yazarlar bilinen bir mali çıkar çatışması veya çalışmayı etkileyebilecek kişisel ilişki bulunmadığını beyan etmiştir. Verilerin makul talep üzerine paylaşılacağı belirtilmiştir.

Bu Türkçe açıklama; çalışmanın metni, formülleri, algoritma gösterimleri, sistem mimarisi, doğal dil örnekleri, güvenlik doğrulama akışları, eğitim eğrileri, kutu grafikleri ve sonuç tabloları incelenerek hazırlanmıştır. Çalışmada bulunmayan yeni bir şebeke sonucu, yapay zekâ başarısı veya gerçek saha uygulaması eklenmemiştir. Dış kaynaklar yalnızca çalışma kimliği, DOI, yayın platformu, hakemlik durumu ve yazılım deposunun doğrulanması amacıyla kullanılmıştır.

Çalışmanın nicel bulguları 200 komutluk doğal dil benchmarkına, 76 yapılandırmalık güvenlik testine ve IEEE 33 düğümlü tek bir ana pekiştirmeli öğrenme senaryosuna dayanmaktadır. Sonuçlar doğrudan gerçek dağıtım şebekesi işletme performansı olarak yorumlanmamalıdır. Platformun pratik kullanımı için farklı şebeke ölçekleri, Türkiye’ye özgü teknik sınırlar, gerçek yük ve üretim profilleri, daha fazla rastgele tohum, operatör testleri, siber güvenlik kontrolleri ve donanım döngülü doğrulama gereklidir.