Xərçəng müalicəsi ilə bağlı klinik bələdçilər, ilaç ruhsatlandırma kararları və xəstə bakım protokolleri büyük ölçüde randomizə kontrollu tədqiqatların yayımlanmış raporlarına dayanır. Bu nedenle onkoloji tədqiqatlarında kullanılan dil yalnız üslup meselesi deyildir. Tədqiqat metodinin, nəticələrın, sınırlılıkların və klinik anlamın doğru aktarılması, kanser müalicəsine yön vəren kanıt sisteminin güvənilirliği açısından önem taşır.

Bu tədqiqatda, ChatGPT və diğer böyük dil modellərinin yaygın erişilebilir hâle geldiği 2022 sonrasındaki dövrde onkoloji randomizə kontrollu tədqiqat yayınlarının dilinde ölçülebilir bir değişiklik olubup oluşmadığı araştırılmıştır. PubMed’de 2019 ilə Mayıs 2026 arasında indekslenen 21.392 onkoloji randomizə kontrollu tədqiqatsı incelenmiştir. Yayınlar 2019-2022 arasını kapsayan “LLM-dən əvvəlki dövr” və 2023-Mayıs 2026 arasını kapsayan “LLM-dən sonrakı dövr” kimi ikiye ayrılmıştır.

Tədqiqatçılar daha önceki hesaplamalı dilbilim tədqiqatlarında böyük dil modellərinin yaygınlaşmasından sonraki biyomedikal yayınlarda nisbəttısız biçimde arttığı bildirilen 34 kalıplaşmış İngilizce ifadeyi önceden belirlemiştir. Her yayında bu ifadelerin kaç kez geçtiği küçük harfe dönüştürülmüş metin üzerinde tam alt dize eşleştirmesiyle sayılmıştır. Yayınların 10.483’ü üçün PubMed Central’dan tam mətn elde edilmiş; kalan 10.909 yayında başlıq və xülasə kullanılmıştır.

LLM-dən sonrakı dövrde yayın başına orta kalıplaşmış ifade sayı 0,96, LLM-dən əvvəlki dövrde ise 0,65 tapılmışdır. Mutlak fark yayın başına 0,31 ifade, görəli artım yaklaşık %48’dir. Fark istatistiksel kimi anlamlıdır; lakin etki büyüklüğü r=0,10 ilə mütevazıdır. Başka bir ifadeyle çok büyük yayın kümesinde küçük fakat sistematik bir dilsel değişim saptanmıştır.

Yıllara görə orta ifade sayı 2019’da 0,45’ten 2025’te 1,13’e yükselmiştir. 2022 və 2023 dəyərleri 0,76 ilə aynıdır. Tədqiqatçılar bunu, bir makalenin yazılması, dəyərlendirilmesi və yayımlanması arasındaki gecikmeyle ilişkilendirmektedir. Artışın 2024 və 2025’te hızlandığı görülmüştür. Yalnız Mayıs ayına kadar taranan 2026 vərisinde orta 1,05’tir.

Tam metinli yayınlarda en büyük mutlak değişim tartımma bölməlerinde görülmüştür. Tartımma bölməlerindeki orta ifade sayı 0,88’den 1,23’e yükselmiş; mutlak artım 0,35, görəli artım %40 olmuştur. Metod bölməlerindeki değişim ise 0,08’den 0,11’e çıkarak yalnız 0,03 düzeyinde kalmıştır. Tədqiqatçılar bu dağılımı, yorumlama və sentez gerektiren metinlerin büyük dil modeli desteğine daha açık olabileceği düşüncesiyle uyumlu bulmaktadır.

Bununla belə tədqiqat, herhangi bir makalenin süni intellekt kullanılarak yazıldığını belirleyememektedir. İncelenen ifadeler insanlar tarafından da yaygın biçimde kullanılabilir. Zaman içinde görülen değişim; büyük dil modeli kullanımı, İngilizceyi ikinci dil kimi kullanan yazarların artması, dil düzenleme hizmetleri, dergi üslup kuralları və ya bilimsel yazım geleneklerindeki genel değişim gibi birden fazla etkenden kaynaklanabilir.

Dolayısıyla tədqiqatın sonucu “onkoloji makaleleri süni intellekt tarafından yazılıyor” deyildir. Nəticə, böyük dil modellərinin yaygınlaşmasıyla aynı zaman diliminde onkoloji randomizə kontrollu tədqiqat raporlarının dilinde popülasyon düzeyinde küçük fakat ölçülebilir bir değişim bulunduğudur. Bu ilişki bireysel yazarlık sürecini, etik ihlali və ya tədqiqat nəticələrının doğruluğunu tek başına göstermez.

Tədqiqatın əsas problemi nədir?

Böyük dil modelləri bilimsel metin yazımında dil düzeltme, metin özetleme, paragraf oluşturma, tartımma yazma, başlık geliştirme və kod üretme gibi amaçlarla kullanılabilmektedir. Bu araçların bilimsel üretime girmesi, iki farklı tartımmayı beraberinde getirmiştir.

İlk tartımma, böyük dil modellərinin yazım sürecini kolaylaştırmasıdır. Özellikle İngilizceyi birinci dil kimi kullanmayan tədqiqatçılar üçün metin akıcılığını iyileştirebilir, teknik ifadelerin düzenlenmesine yardımcı olabilir və zaman kazandırabilir.

İkinci tartımma ise şeffaflık və doğruluktur. Böyük dil modelləri akıcı görünen fakat yanlış bilgi, uydurulmuş kaynak, hatalı istatistik və ya nəticələrın aşırı yorumlanmasını içeren metinler oluşturabilir. Tədqiqatçıların süni intellekt kullanımını açıklamaması hâlinde editörlerin və okuyucuların metnin hangi bölməlerinde insan muhakemesi, hangi bölməlerinde otomatik üretim kullanıldığını anlaması güçleşebilir.

Bu tədqiqat birbaşa metin doğruluğunu və ya süni intellekt kaynaklı hataları ölçmemektedir. Tədqiqatnın ele aldığı daha sınırlı soru budur:

Böyük dil modellərinin yaygın erişilebilir hâle gelmesinden sonra onkoloji randomizə kontrollu tədqiqat yayınlarında, daha önce LLM ilişkili biyomedikal yazımla bağlantılı olduğu bildirilen kalıplaşmış ifadelerin sıklığı değişmiş midir?

Neden özellikle onkoloji randomizə kontrollu tədqiqatları seçildi?

Randomize kontrollü tədqiqatlar, müdahalelerin etkisini karşılaştırmada klinik tədqiqatların en önemli tasarımlarından biridir. Onkoloji alanında bu tədqiqatlar:

• Yeni kanser ilaçlarının ruhsatlandırılmasını,
• Müalicə kılavuzlarının hazırlanmasını,
• İlaçların hangi xəstə gruplarında kullanılacağını,
• Sağkalım və xəstəlik ilerlemesi beklentilerini,
• Müalicə toksisitelerinin dəyərlendirilmesini,
• Sağlık sistemlerinin geri ödeme kararlarını

etkileyebilir.

Bu nedenle tədqiqatçılar, dilsel değişimin klinik etkisi en yüksək yayın türlerinden birinde incelenmesini önemli görmüştür. Lakin dilsel değişim bulunması, tədqiqatlardaki klinik vərilerin yanlış olduğu anlamına gelmemektedir. Tədqiqat müalicə nəticələrının doğruluğunu, randomizasyon kalitesini və ya xəstə güvənliğini birbaşa dəyərlendirmemiştir.

Korpus dilbilimi ne anlama geliyor?

Korpus dilbilimi, çok sayıda yazılı və ya sözlü metinden oluşan büyük koleksiyonlarda dilin nasıl kullanıldığını sistematik metodlerle inceleyen bir alandır. Tek tek makalelerin öznel biçimde “süni intellekt yazımına benzediğine” karar vərmek yerine, önceden tanımlanmış sözcük və ya ifade örüntülerinin binlerce yayındaki sıklığını ölçer.

Bu yaklaşımın temel avantajları bunlardır:

• Aynı ölçütün bütün yayınlara uygulanması,
• Büyük örneklem üzerinde çalışılabilmesi,
• Yıllara görə değişimin nicel kimi izlenmesi,
• Analizin tekrar edilebilir bir kodlama sistemiyle yürütülebilmesi,
• Tek tek yazarlar hakkında öznel hüküm vərilmemesi.

Lakin metodin temel sınırı da buradadır. Metindeki bir dil örüntüsü yazım sürecinin birbaşa kaydı deyildir. Aynı ifade hem bir insan tarafından hem de büyük dil modeli tarafından yazılabilir. Korpus analizi yalnız metnin nihai görünümünü gözlemler; metnin nasıl üretildiğini görəmez.

Veri kümesi nasıl oluşturuldu?

Tədqiqatda onkolojiyle ilişkili Medical Subject Headings, yani MeSH terimleri, PubMed’in randomizə kontrollu tədqiqat yayın türü filtresiyle birleştirilmiştir. Tarama NCBI E-utilities uygulama programlama arayüzü üzerinden gerçekleştirilmiştir.

Arama Mayıs 2026’da yapılmış və 2019’dan 2026’ya kadar olan yayınları kapsamıştır. PubMed sorgularında 10.000’den fazla kayıt bulunduğunda oluşabilecek sayfalama sorunlarını önlemek üçün her takvim yılı ayrı ayrı sorgulanmıştır.

Toplam 21.392 yayın elde edilmiştir:

• LLM-dən əvvəlki dövr, 2019-2022: 11.345 yayın, %53,0.
• LLM-dən sonrakı dövr, 2023-Mayıs 2026: 10.047 yayın, %47,0.

PubMed Central’da açık erişimli tam metni bulunan 10.483 yayın üçün XML biçimindeki makale metni indirilmiştir. Tam metnine erişilemeyen 10.909 yayında ise PubMed başlığı və özeti kullanılmıştır.

Bu ayrım vacibdir. Tam metin, özetten çok daha fazla sözcük içerdiği üçün kalıplaşmış ifadelerin bulunma ihtimali doğal kimi daha yüksəktir. Tədqiqatçılar bu sorunu:

• Tam metinli və yalnız özetli yayınları ayrı alt gruplarda analiz ederek,
• Çok değişkenli modelde metin kaynağını və sözcük sayını dikkate alarak

azaltmaya çalışmıştır.

Neden 2022 LLM-dən əvvəlki dövre dahil edildi?

ChatGPT Kasım 2022’de kamuya açılmıştır. Buna rağmen tədqiqatçılar 2022 yılında yayımlanan makaleleri LLM-dən əvvəlki dövre dahil etmiştir.

Bu kararın gerekçesi, bilimsel yayın sürecinin gecikmeli işlemesidir. Bir makalenin:

1. Verilerinin analiz edilmesi,
2. Metninin yazılması,
3. Dergiye gönderilmesi,
4. Hakem dəyərlendirmesinden geçmesi,
5. Düzeltmelerinin tamamlanması,
6. Yayımlanması

aylar sürebilir. Dolayısıyla 2022’de yayımlanan tədqiqatların büyük bölməünün Kasım 2022’den önce hazırlanmış olması beklenmiştir.

Bu sınıflandırma makul bir yaklaşım olsa da her yayın üçün gerçek yazım tarihi bilinmemektedir. Bazı 2023 yayınları da LLM’lerden önce yazılmış, bazı 2022 yayınlarının son düzenlemeleri ise LLM erişimi sonrasında yapılmış olabilir. Dönem sınıflaması bireysel yayın düzeyinde qəti deyildir.

İncelenen 34 kalıplaşmış ifade

Tədqiqatçılar ifadeleri öznel kimi “kötü yazım” saydıkları üçün seçmemiştir. İzleme listesi, daha önceki hesaplamalı dilbilim tədqiqatlarında 2023 sonrasındaki biyomedikal metinlerde nisbəttısız biçimde arttığı bildirilen ifadelerden oluşturulmuştur.

Bu ifadelerin hiçbirisi tek başına süni intellekt kullanımının kanıtı deyildir. “In conclusion”, “further research is needed”, “notably” və ya “of note” gibi ifadeler bilimsel metinlerde böyük dil modellərinden çok önce de kullanılmaktaydı.

Tədqiqatnın ölçtüğü şey, belirli bir ifadenin varlığı deyil; önceden tanımlanmış ifade grubunun büyük yayın topluluğundaki orta kullanım sıklığının zaman içinde değişmesidir.

İfadeler nasıl sayıldı?

Metinler küçük harfe dönüştürülmüş və ifadeler tam alt dize eşleştirmesiyle aranmıştır. Örneğin “it is important to note” ifadesi metnin içinde aynı karakter dizisiyle geçtiğinde bir eşleşme kimi sayılmıştır.

Tam metinli yayınlarda bütün bölməlerdeki eşleşmeler toplanmıştır. Yalnız özeti bulunan yayınlarda başlıq və xülasə kullanılmıştır.

Bu metodin avantajı açık və tekrar edilebilir olmasıdır. Lakin bazı sınırlılıkları vardır:

• İfadenin hangi bağlamda kullanıldığını dəyərlendirmez.
• Bir ifadenin yazarın kendi anlatımında mı, alıntıda mı geçtiğini ayırmayabilir.
• Aynı anlamı taşıyan fakat farklı sözcüklerle yazılan ifadeleri yakalayamaz.
• Büyük dil modelinin farklı bir üslup kullanması hâlinde onu saptayamaz.
• İnsanların bilinçli kimi kullandığı yaygın akademik kalıpları da sayar.

Bu nedenle ifade sayımı bir “AI dedektörü” deyildir.

Ana nəticə: 0,65’ten 0,96’ya yükseliş

LLM-dən əvvəlki dövrde yayın başına orta kalıplaşmış ifade sayı 0,65, standart sapma 1,14’tür. LLM-dən sonrakı dövrde orta 0,96, standart sapma 1,50’dir.

Ortalama fark:

[ 0.96 - 0.65 = 0.31 ]

Yani iki dövr arasındaki mutlak fark, yayın başına orta 0,31 ifadedir.

Göreli artım, tədqiqatın sonucunu açıklamak üçün bu ilişkiyle hesaplanabilir:

\[ \%\Delta = \frac{0.96-0.65}{0.65}\times 100 \approx 47.7\% \]

Bu dəyər tədqiqatın grafiğinde yuvarlanarak yaklaşık %48 kimi gösterilmiştir.

Göreli artımın yüksək görünmesine rağmen başlangıç dəyərinin aşağı olduğu unutulmamalıdır. Mutlak değişim bir yayın başına yaklaşık üçte bir ifade düzeyindedir.

İstatistiksel anlamlılık və etki büyüklüğü aynı şey deyildir

Dönemler Mann-Whitney U testiyle karşılaştırılmıştır. Nəticələr:

• U=51.334.465,
• Z=-14,56,
• p<0,001,
• r=0,10.

Mann-Whitney U testi, dəyərlerin normal dağılım göstermediği iki bağımsız grubun dağılımlarını sıralamalar üzerinden karşılaştırır.

Tədqiqatda etki büyüklüğü bu ilişkiyle hesaplanmıştır:

\[ r = \frac{Z}{\sqrt{N}} \]

Burada:

• r, sıra temelli etki büyüklüğüdür.
• Z, Mann-Whitney U testinin standartlaştırılmış test dəyəridir.
• N, analizdeki toplam yayın sayıdır.

p dəyərinin çok küçük olması, dövrler arasındaki farkın rastlantısal dalgalanmayla açıklanmasının güç olduğunu göstərir. Lakin r=0,10, farkın büyüklüğünün mütevazı olduğunu göstərir.

21.392 yayın gibi çok büyük bir örneklemde küçük farklılıklar dahi yüksək istatistiksel anlamlılığa ulaşabilir. Bu nedenle nəticə yalnız “p<0,001” üzerinden deyil, 0,31’lik mutlak fark və r=0,10’luk etki büyüklüğüyle birlikte okunmalıdır.

Güvən aralıkları

Ortalama ifade sayının %95 güvən aralığı:

• LLM-dən əvvəlki dövr üçün 0,63-0,67,
• LLM-dən sonrakı dövr üçün 0,93-0,99

kimi bildirilmişdir.

Büyük örneklem nedeniyle bu aralıklar dardır. Dar güvən aralığı orta tahmininin hassas olduğunu gösterir; lakin gözlenen ilişkinin nedenini açıklamaz.

Yıllara görə değişim

Grafik, ortanın 2019’dan itibaren zaten yükselmeye başladığını göstərir. Artış yalnız 2023’te aniden ortaya çıkmamıştır. Özellikle 2019 ilə 2022 arasında 0,45’ten 0,76’ya yükseliş vardır.

2022 və 2023 dəyərlerinin aynı olması, büyük dil modeli erişiminin yayın diline anında yansımadığını düşündürmektedir. Yazarlar, gönderim və hakemlik gecikmesi nedeniyle etkilerin 2024 və 2025 yayınlarında daha görünür hâle gelmesini beklenen bir durum kimi yorumlamıştır.

Bununla belə bu eğilim büyük dil modeli kullanımına özgü deyildir. Bilimsel yazım kültüründeki genel değişim, dergi dil standartları və ya uluslararası yazar dağılımı da aynı zaman çizelgesinde değişmiş olabilir.

2026 dəyəri neden dikkatli okunmalı?

2026 yılı üçün arama Mayıs ayında yapılmıştır. Dolayısıyla 1.201 yayınlık 2026 örneklemi tam bir takvim yılını temsil etmemektedir.

2025’teki 1,13 ortasının 2026’da 1,05’e düşmesi gerçek bir gerileme olabilir; fakat kısmi yıl etkisi, yayınların yıl içindeki dağılımı və ya indeksleme gecikmeleri nedeniyle qəti yorum yapılamaz.

Tam metin və yalnız özet alt grupları

Tam metin grubundaki farkın daha büyük olması beklenebilir; çünkü incelenen sözcük miktarı çok daha fazladır. Yalnız özet grubunda da aynı yönde istatistiksel fark bulunması, sonucun yalnız açık erişimli tam mətnlerden kaynaklanmadığını göstərir.

Lakin ana karşılaştırmada kullanılan nəticə yayın başına ham ifade sayıdır. Tam metin və özet uzunlukları aynı deyildir. Tədqiqatçılar alt grup analizi və sözcük sayını dikkate alan regresyonla bu sorunu azaltmaya çalışmış, lakin ham sayıların metin uzunluğuna duyarlılığı tamamen ortadan kalkmamıştır.

Makale bölməlerine görə değişim

Bölüm bazlı analiz yalnız tam metnine erişilebilen 10.483 yayın üzerinde gerçekleştirilmiştir. Bölümler başlık anahtar sözcükleriyle tanımlanmıştır.

Göreli artım açısından en yüksək dəyər giriş bölməünde %69’dur. Lakin girişte başlangıç ortası aşağı olduğu üçün mutlak artım yalnız 0,09’dur.

Mutlak artım açısından en belirgin değişim müzakirə bölməsindedir: 0,35 ifade. Bu ayrım vacibdir. Bir bölməün görəli yüzdesi yüksək olabilir, lakin yayın başına eklenen gerçek ifade sayı küçük kalabilir.

Metod bölməü hem mutlak hem de genel kullanım düzeyi bakımından en küçük değişimi göstərmişdir. Tədqiqatçılar bunu metod metinlerinin deney protokolleri, dozlar, cihazlar və analiz metodleri gibi daha qəti ayrıntılar gerektirmesiyle ilişkilendirmektedir.

Tartımma bölməü ise:

• Nəticələrın yorumlanması,
• Önceki literatürle ilişkilendirilmesi,
• Klinik önem çıkarımı,
• Sınırlılıkların anlatılması,
• Gelecekteki tədqiqatların önerilmesi

gibi daha sentezleyici yazım görəvleri içerir. Böyük dil modelləri bu tür metinleri akıcı biçimde üretebildiği üçün bölmə örüntüsü LLM kullanım olasılığıyla uyumlu görünmektedir. Fakat yine de bu dağılım kullanımın birbaşa kanıtı deyildir.

Çok değişkenli regresyon neyi amaçladı?

Tədqiqatçılar dövr ilə kalıplaşmış ifade sayı arasındaki ilişkiyi dəyərlendirirken:

• Yayın yılını,
• Metnin tam mətn və ya özet olmasını,
• Sözcük sayını

dikkate alan çok değişkenli doğrusal regresyon kullandıklarını bildirmiştir.

Tartımma bölməünde ilişkinin bu düzeltmelerden sonra da sürdüğü ifade edilmektedir. Lakin ana PDF’de regresyon katsayıları, standart hatalar, güvən aralıkları və ayrıntılı model tablosu gösterilmemiştir. Bu nedenle modelin büyüklüğü və her değişkenin bağımsız katkısı mevcut metinden ayrıntılı biçimde dəyərlendirilememektedir.

GRIM testi nedir?

GRIM, “Granularity-Related Inconsistency of Means” ifadesinin kısaltmasıdır. Tam sayı dəyərlerinden oluşan ölçeklerde bildirilen ortanın örneklem büyüklüğüyle matematiksel kimi uyumlu olup olmadığını kontrol eder.

Tədqiqatın mantığını açıklamak üçün temel orta ilişkisi şöyledir:

\[ \bar{x} = \frac{\sum_{i=1}^{n} x_i}{n} \]

Burada:

• \bar{x}, bildirilen ortadır.
• x_i, her katılımcının tam sayı ölçek dəyəridir.
• n, örneklem büyüklüğüdür.

Eğer bütün bireysel dəyərler tam sayıysa, bu dəyərlerin toplamı da tam sayı olmak zorundadır. Belirli bir örneklem büyüklüğünde yalnız belirli ortalar matematiksel kimi mümkündür. Bildirilen orta bu olası dəyərlerle uyuşmuyorsa bir raporlama, yuvarlama və ya vəri hatası bulunabilir.

Tədqiqatda düzenli ifadeler kullanılarak makalelerden orta-örneklem büyüklüğü çiftleri çıkarılmış, yayın başına en fazla 15 çift incelenmiş və örneklem büyüklüğü 2 ilə 10.000 arasında sınırlandırılmıştır.

GRIM sonucu neden güçlü bir nəticə deyildir?

21.392 yayının yalnız 48’inde, yani yaklaşık %0,2’sinde test üçün uygun tam sayı ölçeği ortası və örneklem büyüklüğü çıkarılabilmiştir.

Bu 48 yayının 29’unda, yani %60,4’ünde en az bir GRIM uyumsuzluğu tapılmışdır. Lakin dövrler arasındaki fark istatistiksel anlamlılığa ulaşmamıştır:

• Z=-1,72,
• p=0,085.

Onkoloji randomizə kontrollu tədqiqatlarında sağkalım süresi, risk nisbəti, sürekli biyobelirteçler və zaman-aşımı nəticələrı sık kullanıldığı üçün GRIM testinin gerektirdiği tam sayı ölçek ortaları nadirdir.

Yalnız 48 yayına uygulanabilmesi nedeniyle analiz ciddi biçimde güçsüzdür. Anlamlı fark bulunmaması, LLM sonrasında sayısal raporlama hatalarının değişmediğini və ya bulunmadığını göstermez.

Tədqiqat süni intellekt kullanımını tespit ediyor mu?

Hayır. Tədqiqatçılar bunu açıkça belirtmektedir. Bir makalede izleme listesindeki ifadelerin çok sayıda bulunması:

• Metnin süni intellekt tarafından yazıldığını,
• Yazarın bunu gizlediğini,
• Bilimsel vərilerin yanlış olduğunu,
• Etik ihlal gerçekleştiğini

sübut etmir.

Aynı şekilde bir makalede bu ifadelerin bulunmaması da süni intellekt kullanılmadığını göstermez. Böyük dil modelləri farklı komutlarla farklı üsluplar üretebilir və ya süni intellekt çıktısı insan tarafından tamamen yeniden düzenlenebilir.

Tədqiqat bir sınıflandırıcı geliştirmemiş, duyarlılık və ya özgüllük ölçmemiş və bilinen süni intellekt destekli metinlerden oluşan doğrulama kümesi kullanmamıştır.

Başka hangi açıklamalar mümkündür?

Yazarlar gözlenen değişimin birden fazla eş zamanlı süreçten kaynaklanabileceğini kabul etmektedir:

• Böyük dil modellərinin yazım desteğinde kullanılması,
• İngilizceyi ana dili kimi kullanmayan tədqiqatçıların yayınlara daha fazla katılması,
• Profesyonel dil düzenleme hizmetlerinin yaygınlaşması,
• Dergilerin ortak bir akademik üsluba yönelmesi,
• Editör və hakemlerin belirli ifadeleri tercih etmesi,
• Bilimsel yazım eğitiminde kalıplaşmış ifadelerin yaygınlaşması,
• Onkoloji yayınlarının konu və yazar coğrafyasındaki değişimler.

Retrospektif metin analizi bu açıklamaları birbirinden ayıramamaktadır.

Süni intellekt destekli yazım bilimsel açıdan neden otomatik kimi kötü deyildir?

Böyük dil modelləri dil bilgisi düzeltme, anlatımı sadeleştirme və ya başka bir dilde yazılmış metni akademik İngilizceye dönüştürme amacıyla kullanılabilir. Araç kullanılmış olsa bile:

• Veriler gerçek olabilir,
• İstatistikler doğru olabilir,
• Kaynaklar yazarlar tarafından doğrulanmış olabilir,
• Bilimsel yorumlar tədqiqatçılara ait olabilir.

Temel sorun kullanımın kendisinden çok, kullanımın açıklanmaması, çıktının doğrulanmaması və ya aracın tədqiqatcının eleştirel dəyərlendirmesinin yerini almasıdır.

Bu tədqiqat süni intellekt destekli yazımın hata nisbətını ölçmediğinden, kalıplaşmış dildeki artımın tədqiqat kalitesini azalttığı sonucuna varılamaz.

Editoryal politikalar açısından anlamı

Yazarlar, birçok tıp və onkoloji dergisinin süni intellekt kullanımının açıklanmasını istediğini, lakin bu politikaların uygulanmasının və doğrulanmasının tutarsız olabildiğini belirtmektedir.

Tədqiqat, büyük yayın topluluklarında zaman içindeki dilsel değişimin izlenebileceğini göstərir. Tədqiqatçılar bunu, gönüllü beyan sistemlerinin yeterliliğini dəyərlendirmek və yayıncılık politikalarını geliştirmek üçün kullanılabilecek bir gözetim yaklaşımı kimi sunmaktadır.

Lakin popülasyon düzeyindeki dil gözetimi bireysel makaleleri suçlamak üçün kullanılmamalıdır. Bir makalenin etik açıdan dəyərlendirilmesi için:

• Yazar beyanı,
• Veri və analiz kayıtları,
• Kaynak doğruluğu,
• Editoryal yazışmalar,
• Metnin bilimsel tutarlılığı

gibi daha birbaşa kanıtlar gerekir.

Kanser xəstələrı açısından dolaylı önem

Bu tədqiqat herhangi bir kanser müalicəsini və ya xəstə sonucunu incelememektedir. Xəstələra birbaşa klinik öneri sunmaz.

Gündelik yaşama etkisi dolaylıdır. Kanser xəstələrı üçün müalicə kararları yayımlanmış tədqiqatlara dayandığından, bilimsel raporların:

• Doğru,
• Şeffaf,
• Denetlenebilir,
• Metod və nəticələrı birbirinden ayıran,
• Belirsizliği açıkça bildiren

metinler olması gerekir.

Süni intellekt araçları bu süreci iyileştirebilir və ya kötüleştirebilir. Nəticə, aracın kullanılmasından çok tədqiqatçıların doğrulama və açıklama uygulamalarına bağlıdır.

Tədqiqatın güclü tərəfləri

• 21.392 yayınla geniş bir onkoloji RCT korpusu analiz edilmiştir.
• 2019’dan 2026’ya uzanan zaman eğilimi incelenmiştir.
• İfadeler vəri analizinden önce belirlenen bir izleme listesinden alınmıştır.
• Yayınlar yıllara görə ayrı sorgulanarak PubMed sayfalama sorunları azaltılmıştır.
• Tam metin və yalnız özet yayınlar ayrı alt gruplarda analiz edilmiştir.
• Makale bölməleri ayrı ayrı qiymətləndirilmişdir.
• İstatistiksel anlamlılığın yanında etki büyüklüğü raporlanmıştır.
• Yazarlar nəticələrın bireysel makalelerde süni intellekt kullanımını göstermediğini açıkça belirtmiştir.
• Veri toplama və analiz süreci programlı kimi yürütülmüştür.
• Tədqiqat, dilsel değişim ilə bilimsel suistimali birbirine eşitlememeye dikkat etmiştir.

Tədqiqatın məhdudiyyətləri

• Nedensellik kurulamaz: 2022 sonrasındaki değişimin böyük dil modellərinden kaynaklandığı kanıtlanmamıştır.
• İfade listesi birbaşa doğrulanmamıştır: İzleme listesi bilinen süni intellekt destekli onkoloji makalelerinde duyarlılık və özgüllük açısından test edilmemiştir.
• İfadeler insan yazımında da bulunabilir: Hiçbir ifade süni intellektya özgü deyildir.
• Tam metin kapsamı sınırlıdır: Yayınların yalnız %49’u üçün tam mətn kullanılmıştır.
• Açık erişim seçilimi olabilir: PubMed Central’da tam metni bulunan yayınlar bütün onkoloji literatürünü temsil etmeyebilir.
• Metin uzunluğu farklıdır: Tam metin ilə özetlerde aynı ham ifade sayımı kullanılmıştır; regresyon və alt grup analizleri sorunu azaltmış lakin tamamen ortadan kaldırmamıştır.
• Tam alt dize eşleştirmesi bağlamı dəyərlendirmez: İfadenin anlamı və ya kullanım amacı analiz edilmemiştir.
• Bölüm tanımlama başlıklara dayanır: Standart dışı bölmə adları yanlış və ya eksik sınıflandırılabilir.
• Ölçülmeyen karıştırıcılar vardır: Yazar ülkesi, ana dil, dergi politikası, profesyonel düzenleme hizmeti və yayın konusu kontrol edilmemiştir.
• 2026 kısmi yıldır: Son yılın eğilimi tam takvim yılı vərisi deyildir.
• Etki büyüklüğü küçüktür: r=0,10 və mutlak fark 0,31 ifadedir.
• GRIM analizi uygulanabilir deyildir: Yayınların yalnız 48’inde test yapılabilmiştir.
• Regresyon ayrıntıları eksiktir: Ana PDF’de model katsayıları və tam nəticə tablosu sunulmamıştır.
• Veri və kod herkese açık bir depoda bulunmamaktadır: Veri seti və analiz hattının makul talep üzerine sağlanacağı qeyd edilmişdir.
• Raporlama kalitesi ölçülmemiştir: CONSORT uyumu, kaynak doğruluğu və ya nəticələrın klinik doğruluğu birbaşa analiz edilmemiştir.

Tədqiqat nə deyir?

• Onkoloji RCT yayınlarında belirlenen 34 kalıplaşmış ifadenin orta kullanımı 2023-2026 dövrinde 2019-2022 dövrinden daha yüksəktir.
• Fark büyük örneklemde istatistiksel kimi anlamlıdır.
• Etki büyüklüğü mütevazıdır.
• Yıllık orta 2019’dan 2025’e doğru genel kimi yükselmiştir.
• 2022 və 2023 dəyərleri aynıdır; daha belirgin yükseliş 2024 və 2025’te görülmüştür.
• Değişim tam mətn və yalnız özet alt gruplarında aynı yöndedir.
• En büyük mutlak bölmə değişimi tartımma metinlerinde görülmüştür.
• Metod bölməlerindeki mutlak değişim daha küçüktür.
• Onkoloji yayın dilinde popülasyon düzeyinde ölçülebilir bir zaman değişimi vardır.

Tədqiqat nə demir?

• Herhangi bir bireysel makalenin süni intellektyla yazıldığı söylenemez.
• Belirlenen ifadeleri kullanan yazarların etik ihlal yaptığı gösterilmemiştir.
• LLM sonrası yayınların bilimsel kimi daha hatalı olduğu kanıtlanmamıştır.
• Onkoloji RCT nəticələrının güvənilmez hâle geldiği gösterilmemiştir.
• Kalınlaşmış dil örüntülerinin yalnız LLM kullanımından kaynaklandığı kanıtlanmamıştır.
• İfadenin bulunmamasının insan yazarlığını gösterdiği söylenemez.
• GRIM testindeki anlamsız dövr farkı sayısal raporlama sorunlarının bulunmadığını göstermez.
• Tədqiqat bir süni intellekt tespit aracı geliştirmemiştir.
• Süni intellekt kullanımının yasaklanması gerektiği deneysel kimi gösterilmemiştir.
• Gönüllü açıklama politikalarının etkisiz olduğu birbaşa karşılaştırmalı kimi test edilmemiştir.

Keçmiş, bugün və gələcək baxımından əhəmiyyəti

Bilimsel metinler geçmişte yazarlar, ortak yazarlar, profesyonel editörler və dergi ekipleri tarafından hazırlanıyordu. Böyük dil modelləri bu üretim zincirine yeni və ölçeklenebilir bir araç eklemiştir.

Bugün açısından tədqiqat, dildeki değişimin büyük yayın koleksiyonlarında ölçülebileceğini göstərir. Bununla belə ölçülebilir olmak, sebebin bilindiği anlamına gelmez.

Gelecekte bu tədqiqatların yapılması gerekmektedir:

• Zorunlu süni intellekt kullanım beyanlarının gerçek yazım vərileriyle eşleştirilmesi,
• Bilinen insan yazımı və LLM destekli metinlerden doğrulama vəri kümeleri oluşturulması,
• Dil değişiminin CONSORT uyumu ilə ilişkisinin incelenmesi,
• Kaynak doğruluğu və uydurulmuş atıflarla bağlantısının dəyərlendirilmesi,
• Seçici nəticə raporlama və aşırı yorumlama göstergelerinin analiz edilmesi,
• Dergi və ülke bazlı farklılıkların kontrol edilmesi,
• LLM kullanımının tədqiqatçıların eleştirel düşünme və yazma becerileri üzerindeki etkisinin incelenmesi,
• Süni intellektnın yalnız dil düzenleme amacıyla kullanıldığı metinlerle içerik üretiminde kullanıldığı metinlerin ayrılması.

Tədqiqatın metodu və tapıntıları

Teknik tədqiqat tasarımı

Veri toplama akışı

1. Onkoloji MeSH terimleri RCT yayın türü filtresiyle birleştirildi.
2. 2019-2026 arasındaki her yıl ayrı PubMed sorgusuyla tarandı.
3. PubMed kimlikleri NCBI E-utilities aracılığıyla alındı.
4. PubMed Central kaydı bulunan yayınların XML tam metni indirildi.
5. Tam metni olmayan yayınlarda PubMed başlığı və özeti kullanıldı.
6. Metinler küçük harfe dönüştürüldü.
7. 34 ifade tam alt dize eşleştirmesiyle sayıldı.
8. Tam metinli yayınlarda bölmə bazlı sayımlar yapıldı.
9. Dönemler Mann-Whitney U testiyle karşılaştırıldı.
10. Metin kaynağı, yayın yılı və kelime sayının etkisini dəyərlendirmek üçün regresyon planlandı.
11. Uygun sayısal vərilerde keşifsel GRIM testi yapıldı.

Ana dövr karşılaştırması

Tam metin və özet nəticələrı

Bölüm bazlı nəticələrın teknik özeti

GRIM testi nəticələrı

Şeklin anlattığı temel nəticə

Tədqiqatın nəticə şeklinin sol bölməünde 2019-2026 arasındaki yıllık orta ifade sayı çizgi grafikle gösterilmektedir. Kasım 2022’deki ChatGPT erişimi kırmızı kesikli çizgiyle işaretlenmiştir. Grafik, ortanın 2019’daki 0,45 seviyesinden 2025’te 1,13’e yükseldiğini, lakin 2022 ilə 2023 arasında artım olmadığını göstərir.

Şeklin sağ bölməündeki yatay çubuklar tam mətnli yayınlarda bölməlere görə iki dövri karşılaştırmaktadır. En uzun çubuklar müzakirə bölməsine aittir. LLM-dən əvvəlki dövrde 0,88 olan tartımma ortası, LLM-dən sonrakı dövrde 1,23’e yükselmiştir.

Şeklin altındaki uyarı, dilsel göstergelerin herhangi bir makale və ya yazar üçün süni intellekt kullanımını doğrulayamayacağını özellikle belirtmektedir. Uluslararası yazarlık örüntüleri, editoryal normlar və LLM kullanımının bu metodle birbirinden ayrılamadığı vurgulanmıştır.

Mənbə və metod qeydi

Bu içerik, Amina Silva və Vanessa Silva e Silva tarafından hazırlanan “Temporal Linguistic Shifts in Oncology Randomized Controlled Trials Following Large Language Model Availability: A Corpus Analysis of 21,392 Publications” başlıklı tədqiqatya dayanmaktadır.

Yazarlar Kanada’daki Brock Univərsity School of Nursing bünyesinde görəv yapmaktadır.

Bu tədqiqat bir klinik tədqiqat, xəstə kohortu və ya randomize kontrollü deney deyildir. PubMed’de indekslenen onkoloji randomizə kontrollu tədqiqat yayınlarının metinlerini inceleyen retrospektif korpus dilbilimi tədqiqatsıdır. Yeni xəstə vərisi, müalicə müdahalesi və ya klinik nəticə üretmemiştir.

Tədqiqat SSRN’de yayımlanmış bir preprinttir. Metinde açıkça “This preprint research paper has not been peer reviewed” yazmaktadır. Dolayısıyla tədqiqat rəyçi qiymətləndirməsindən keçməmişdir. Tapıntılar və özellikle editoryal politika önerileri bağımsız dəyərlendirme və tekrar analiz gerektirmektedir.

Tədqiqatda insan katılımcı bulunmadığı və yalnız yayımlanmış, halka açık metinlerin analiz edildiği qeyd edilmişdir. Bu nedenle tədqiqatnın etik kurul dəyərlendirmesinden muaf olduğu bildirilmişdir.

Yazarlar herhangi bir çıkar çatışması olmadığını və tədqiqatın dış finansman almadığını açıklamıştır.

Yazarlar, Claude adlı büyük dil modelini yalnız vəri toplama kodunun geliştirilmesine yardımcı olmak amacıyla kullandıklarını bildirmiştir. Claude’un makalenin yazımı, analizi, yorumlanması və ya düzenlenmesinde kullanılmadığı; bütün içeriğin yazarlar tarafından doğrulanıp gözden geçirildiği qeyd edilmişdir.

Tam vəri seti və analiz hattının herkese açık bir depoda yayımlandığı belirtilmemiş; makul talep üzerine sorumlu yazardan alınabileceği ifade edilmiştir.

Tədqiqatda görülen 0,31 ifadeyle sınırlı mutlak artım və r=0,10 etki büyüklüğü, istatistiksel kimi anlamlı olsa da büyük bir dilsel dönüşüm kimi yorumlanmamalıdır. Büyük örneklem küçük farkların güçlü p dəyərlerine ulaşmasını sağlamıştır.

İzleme listesindeki ifadeler süni intellektya özgü deyildir. Bu nedenle tədqiqat bireysel yayınlarda LLM kullanımı, gizli kullanım, etik ihlal, metin doğruluğu və ya tədqiqat suistimali hakkında hüküm vəremez.

GRIM testi yalnız 48 yayına uygulanabildiği üçün sayısal raporlama düzensizliklerine ilişkin ikincil nəticə belirleyici deyildir. p=0,085 sonucu, dövrler arasında fark olmadığını sübut etmir.

Bu makale yalnız yüklenen PDF’deki metod, sayısal tapıntılar, tablolar, şekil və yazarların yorumları temel alınarak hazırlanmıştır. PDF’de bulunmayan süni intellekt kullanım iddiası, bireysel yazar suçlaması, yayın güvənilmezliği və ya onkoloji müalicəlerine ilişkin klinik nəticə eklenmemiştir.