Ракты дарылоого байланышкан клиникалык колдонмолор, ilaç ruhsatlandırma kararları жана бейтап bakım protokolleri büyük ölçüde рандомизацияланган контролдук изилдөөлөрın yayımlanmış raporlarına dayanır. Bu nedenle onkoloji изилдөөlarında kullanılan dil гана üslup meselesi эмесdir. Изилдөө методinin, натыйжаларın, sınırlılıkların жана klinik anlamın doğru aktarılması, kanser дарылооsine yön veren kanıt sisteminin güvenilirliği açısından önem taşır.
Bu изилдөөda, ChatGPT жана diğer чоң тил моделдериnin yaygın erişilebilir hâle geldiği 2022 sonrasındaki мезгилde onkoloji рандомизацияланган контролдук изилдөө yayınlarının dilinde ölçülebilir bir değişiklik oluşup oluşmadığı araştırılmıştır. PubMed’de 2019 менен Mayıs 2026 arasında indekslenen 21.392 onkoloji рандомизацияланган контролдук изилдөөsı incelenmiştir. Yayınlar 2019-2022 arasını kapsayan “LLMге чейинки мезгил” жана 2023-Mayıs 2026 arasını kapsayan “LLMден кийинки мезгил” olarak ikiye ayrılmıştır.
Изилдөөчүлөр daha önceki hesaplamalı dilbilim изилдөөlarında чоң тил моделдериnin yaygınlaşmasından sonraki biyomedikal yayınlarda катышtısız biçimde arttığı bildirilen 34 kalıplaşmış İngilizce ifadeyi önceden belirlemiştir. Her yayında bu ifadelerin kaç kez geçtiği küçük harfe dönüştürülmüş metin üzerinde tam alt dize eşleştirmesiyle sayılmıştır. Yayınların 10.483’ü үчүн PubMed Central’dan толук текст elde edilmiş; kalan 10.909 yayında аталыш жана кыскача мазмун kullanılmıştır.
LLMден кийинки мезгилde yayın başına орточо kalıplaşmış ifade саны 0,96, LLMге чейинки мезгилde ise 0,65 табылган. Mutlak fark yayın başına 0,31 ifade, göreli өсүү yaklaşık %48’dir. Fark istatistiksel olarak anlamlıdır; бирок etki büyüklüğü r=0,10 менен mütevazıdır. Başka bir ifadeyle çok büyük yayın kümesinde küçük fakat sistematik bir dilsel değişim saptanmıştır.
Yıllara боюнча орточо ifade саны 2019’da 0,45’ten 2025’te 1,13’e yükselmiştir. 2022 жана 2023 мааниleri 0,76 менен aynıdır. Изилдөөчүлөр bunu, bir makalenin yazılması, мааниlendirilmesi жана yayımlanması arasındaki gecikmeyle ilişkilendirmektedir. Artışın 2024 жана 2025’te hızlandığı görülmüştür. Гана Mayıs ayına kadar taranan 2026 verisinde орточо 1,05’tir.
Tam metinli yayınlarda en büyük mutlak değişim tөсүүma бөлүмlerinde görülmüştür. Tөсүүma бөлүмlerindeki орточо ifade саны 0,88’den 1,23’e yükselmiş; mutlak өсүү 0,35, göreli өсүү %40 olmuştur. Метод бөлүмlerindeki değişim ise 0,08’den 0,11’e çıkarak гана 0,03 düzeyinde kalmıştır. Изилдөөчүлөр bu dağılımı, yorumlama жана sentez gerektiren metinlerin büyük dil modeli desteğine daha açık olabileceği düşüncesiyle uyumlu bulmaktadır.
Ошентсе да изилдөө, herhangi bir makalenin жасалма интеллект kullanılarak yazıldığını belirleyememektedir. İncelenen ifadeler insanlar tarafından da yaygın biçimde kullanılabilir. Zaman içinde görülen değişim; büyük dil modeli kullanımı, İngilizceyi ikinci dil olarak kullanan yazarların artması, dil düzenleme hizmetleri, dergi üslup kuralları же bilimsel yazım geleneklerindeki genel değişim gibi birden fazla etkenden kaynaklanabilir.
Dolayısıyla изилдөөнүн sonucu “onkoloji makaleleri жасалма интеллект tarafından yazılıyor” эмесdir. Натыйжа, чоң тил моделдериnin yaygınlaşmasıyla aynı zaman diliminde onkoloji рандомизацияланган контролдук изилдөө raporlarının dilinde popülasyon düzeyinde küçük fakat ölçülebilir bir değişim bulunduğudur. Bu ilişki bireysel yazarlık sürecini, etik ihlali же изилдөө натыйжаларının doğruluğunu tek başına göstermez.
Изилдөөнүн негизги көйгөйү эмне?
Чоң тил моделдери bilimsel metin yazımında dil düzeltme, metin özetleme, paragraf oluşturma, tөсүүma yazma, başlık geliştirme жана kod üretme gibi amaçlarla kullanılabilmektedir. Bu araçların bilimsel üretime girmesi, iki farklı tөсүүmayı beraberinde getirmiştir.
İlk tөсүүma, чоң тил моделдериnin yazım sürecini kolaylaştırmasıdır. Özellikle İngilizceyi birinci dil olarak kullanmayan изилдөөчүлөр үчүн metin akıcılığını iyileştirebilir, teknik ifadelerin düzenlenmesine yardımcı olabilir жана zaman kazandırabilir.
İkinci tөсүүma ise şeffaflık жана doğruluktur. Чоң тил моделдери akıcı görünen fakat yanlış bilgi, uydurulmuş kaynak, hatalı istatistik же натыйжаларın aşırı yorumlanmasını içeren metinler oluşturabilir. Изилдөөчүлөрın жасалма интеллект kullanımını açıklamaması hâlinde editörlerin жана okuyucuların metnin hangi бөлүмlerinde insan muhakemesi, hangi бөлүмlerinde otomatik üretim kullanıldığını anlaması güçleşebilir.
Bu изилдөө түздөн-түз metin doğruluğunu же жасалма интеллект kaynaklı hataları ölçmemektedir. Изилдөөnın ele aldığı daha sınırlı soru şudur:
Чоң тил моделдериnin yaygın erişilebilir hâle gelmesinden sonra onkoloji рандомизацияланган контролдук изилдөө yayınlarında, daha önce LLM ilişkili biyomedikal yazımla bağlantılı olduğu bildirilen kalıplaşmış ifadelerin sıklığı değişmiş midir?
Neden özellikle onkoloji рандомизацияланган контролдук изилдөөлөрı seçildi?
Randomize kontrollü изилдөөlar, müdahalelerin etkisini karşılaştırmada klinik изилдөөların en önemli tasarımlarından biridir. Onkoloji alanında bu изилдөөlar:
- Yeni kanser ilaçlarının ruhsatlandırılmasını,
- Дарылоо kılavuzlarının hazırlanmasını,
- İlaçların hangi бейтап gruplarında kullanılacağını,
- Sağkalım жана оору ilerlemesi beklentilerini,
- Дарылоо toksisitelerinin мааниlendirilmesini,
- Sağlık sistemlerinin geri ödeme kararlarını
etkileyebilir.
Bu nedenle изилдөөчүлөр, dilsel değişimin klinik etkisi en жогорку yayın türlerinden birinde incelenmesini önemli görmüştür. Бирок dilsel değişim bulunması, изилдөөlardaki klinik verilerin yanlış olduğu anlamına gelmemektedir. Изилдөө дарылоо натыйжаларının doğruluğunu, randomizasyon kalitesini же бейтап güvenliğini түздөн-түз мааниlendirmemiştir.
Korpus dilbilimi ne anlama geliyor?
Korpus dilbilimi, çok sayıda yazılı же sözlü metinden oluşan büyük koleksiyonlarda dilin nasıl kullanıldığını sistematik методlerle inceleyen bir alandır. Tek tek makalelerin öznel biçimde “жасалма интеллект yazımına benzediğine” karar vermek yerine, önceden tanımlanmış sözcük же ifade örüntülerinin binlerce yayındaki sıklığını ölçer.
Bu yaklaşımın temel avantajları şunlardır:
- Aynı ölçütün bütün yayınlara uygulanması,
- Büyük örneklem üzerinde çalışılabilmesi,
- Yıllara боюнча değişimin nicel olarak izlenmesi,
- Analizin tekrar edilebilir bir kodlama sistemiyle yürütülebilmesi,
- Tek tek yazarlar hakkında öznel hüküm verilmemesi.
Бирок методin temel sınırı da buradadır. Metindeki bir dil örüntüsü yazım sürecinin түздөн-түз kaydı эмесdir. Aynı ifade hem bir insan tarafından hem de büyük dil modeli tarafından yazılabilir. Korpus analizi гана metnin nihai görünümünü gözlemler; metnin nasıl üretildiğini göremez.
Veri kümesi nasıl oluşturuldu?
Изилдөөda onkolojiyle ilişkili Medical Subject Headings, yani MeSH terimleri, PubMed’in рандомизацияланган контролдук изилдөө yayın türü filtresiyle birleştirilmiştir. Tarama NCBI E-utilities uygulama programlama arayüzü üzerinden gerçekleştirilmiştir.
Arama Mayıs 2026’da yapılmış жана 2019’dan 2026’ya kadar olan yayınları kapsamıştır. PubMed sorgularında 10.000’den fazla kayıt bulunduğunda oluşabilecek sayfalama sorunlarını önlemek үчүн her takvim yılı ayrı ayrı sorgulanmıştır.
Toplam 21.392 yayın elde edilmiştir:
- LLMге чейинки мезгил, 2019-2022: 11.345 yayın, %53,0.
- LLMден кийинки мезгил, 2023-Mayıs 2026: 10.047 yayın, %47,0.
PubMed Central’da açık erişimli tam metni bulunan 10.483 yayın үчүн XML biçimindeki makale metni indirilmiştir. Tam metnine erişilemeyen 10.909 yayında ise PubMed başlığı жана özeti kullanılmıştır.
Bu ayrım маанилүү. Tam metin, özetten çok daha fazla sözcük içerdiği үчүн kalıplaşmış ifadelerin bulunma ihtimali doğal olarak daha жогоркуtir. Изилдөөчүлөр bu sorunu:
- Tam metinli жана гана özetli yayınları ayrı alt gruplarda analiz ederek,
- Çok değişkenli modelde metin kaynağını жана sözcük саныnı dikkate alarak
azaltmaya çalışmıştır.
Neden 2022 LLMге чейинки мезгилe dahil edildi?
ChatGPT Kasım 2022’de kamuya açılmıştır. Buna rağmen изилдөөчүлөр 2022 yılında yayımlanan makaleleri LLMге чейинки мезгилe dahil etmiştir.
Bu kararın gerekçesi, bilimsel yayın sürecinin gecikmeli işlemesidir. Bir makalenin:
- Verilerinin analiz edilmesi,
- Metninin yazılması,
- Dergiye gönderilmesi,
- Hakem мааниlendirmesinden geçmesi,
- Düzeltmelerinin tamamlanması,
- Yayımlanması
aylar sürebilir. Dolayısıyla 2022’de yayımlanan изилдөөların büyük бөлүмünün Kasım 2022’den önce hazırlanmış olması beklenmiştir.
Bu sınıflandırma makul bir yaklaşım olsa da her yayın үчүн gerçek yazım tarihi bilinmemektedir. Bazı 2023 yayınları da LLM’lerden önce yazılmış, bazı 2022 yayınlarının son düzenlemeleri ise LLM erişimi sonrasında yapılmış olabilir. Dönem sınıflaması bireysel yayın düzeyinde так эмесdir.
İncelenen 34 kalıplaşmış ifade
Изилдөөчүлөр ifadeleri öznel olarak “kötü yazım” saydıkları үчүн seçmemiştir. İzleme listesi, daha önceki hesaplamalı dilbilim изилдөөlarında 2023 sonrasındaki biyomedikal metinlerde катышtısız biçimde arttığı bildirilen ifadelerden oluşturulmuştur.
| it is important to note | plays a crucial role | delve into |
| further research is needed | significantly enhances | it is worth noting |
| highlights the importance | comprehensive understanding | valuable insights |
| shed light on | underscores the need | pivotal role |
| multifaceted | nuanced understanding | holistic approach |
| pave the way | robust framework | in the realm of |
| it should be noted | growing body of evidence | demonstrates the |
| novel approach | cutting-edge | leverage |
| notably | in conclusion | noteworthy |
| rigorous | in summary | taken together |
| collectively | importantly | interestingly |
| of note | ||
Bu ifadelerin hiçbirisi tek başına жасалма интеллект kullanımının kanıtı эмесdir. “In conclusion”, “further research is needed”, “notably” же “of note” gibi ifadeler bilimsel metinlerde чоң тил моделдериnden çok önce de kullanılmaktaydı.
Изилдөөnın ölçtüğü şey, belirli bir ifadenin varlığı эмес; önceden tanımlanmış ifade grubunun büyük yayın topluluğundaki орточо kullanım sıklığının zaman içinde değişmesidir.
İfadeler nasıl sayıldı?
Metinler küçük harfe dönüştürülmüş жана ifadeler tam alt dize eşleştirmesiyle aranmıştır. Örneğin “it is important to note” ifadesi metnin içinde aynı karakter dizisiyle geçtiğinde bir eşleşme olarak sayılmıştır.
Tam metinli yayınlarda bütün бөлүмlerdeki eşleşmeler toplanmıştır. Гана özeti bulunan yayınlarda аталыш жана кыскача мазмун kullanılmıştır.
Bu методin avantajı açık жана tekrar edilebilir olmasıdır. Бирок bazı sınırlılıkları vardır:
- İfadenin hangi bağlamda kullanıldığını мааниlendirmez.
- Bir ifadenin yazarın kendi anlatımında mı, alıntıda mı geçtiğini ayırmayabilir.
- Aynı anlamı taşıyan fakat farklı sözcüklerle yazılan ifadeleri yakalayamaz.
- Büyük dil modelinin farklı bir üslup kullanması hâlinde onu saptayamaz.
- İnsanların bilinçli olarak kullandığı yaygın akademik kalıpları da sayar.
Bu nedenle ifade sayımı bir “AI dedektörü” эмесdir.
Ana натыйжа: 0,65’ten 0,96’ya yükseliş
LLMге чейинки мезгилde yayın başına орточо kalıplaşmış ifade саны 0,65, standart sapma 1,14’tür. LLMден кийинки мезгилde орточо 0,96, standart sapma 1,50’dir.
Ortalama fark:
[ 0.96 - 0.65 = 0.31 ]
Yani iki мезгил arasındaki mutlak fark, yayın başına орточо 0,31 ifadedir.
Göreli өсүү, изилдөөнүн sonucunu açıklamak үчүн şu ilişkiyle hesaplanabilir:
\[ \%\Delta = \frac{0.96-0.65}{0.65}\times 100 \approx 47.7\% \]
Bu маани изилдөөнүн grafiğinde yuvarlanarak yaklaşık %48 olarak gösterilmiştir.
Göreli өсүүın жогорку görünmesine rağmen başlangıç мааниinin төмөн olduğu unutulmamalıdır. Mutlak değişim bir yayın başına yaklaşık üçte bir ifade düzeyindedir.
İstatistiksel anlamlılık жана etki büyüklüğü aynı şey эмесdir
Dönemler Mann-Whitney U testiyle karşılaştırılmıştır. Натыйжалар:
- U=51.334.465,
- Z=-14,56,
- p<0,001,
- r=0,10.
Mann-Whitney U testi, мааниlerin normal dağılım göstermediği iki bağımsız grubun dağılımlarını sıralamalar üzerinden karşılaştırır.
Изилдөөda etki büyüklüğü şu ilişkiyle hesaplanmıştır:
\[ r = \frac{Z}{\sqrt{N}} \]
Burada:
- r, sıra temelli etki büyüklüğüdür.
- Z, Mann-Whitney U testinin standartlaştırılmış test мааниidir.
- N, analizdeki toplam yayın саныdır.
p мааниinin çok küçük olması, мезгилler arasındaki farkın rastlantısal dalgalanmayla açıklanmasının güç olduğunu көрсөтөт. Бирок r=0,10, farkın büyüklüğünün mütevazı olduğunu көрсөтөт.
21.392 yayın gibi çok büyük bir örneklemde küçük farklılıklar dahi жогорку istatistiksel anlamlılığa ulaşabilir. Bu nedenle натыйжа гана “p<0,001” üzerinden эмес, 0,31’lik mutlak fark жана r=0,10’luk etki büyüklüğüyle birlikte okunmalıdır.
Güven aralıkları
Ortalama ifade саныnın %95 güven aralığı:
- LLMге чейинки мезгил үчүн 0,63-0,67,
- LLMден кийинки мезгил үчүн 0,93-0,99
olarak билдирилген.
Büyük örneklem nedeniyle bu aralıklar dardır. Dar güven aralığı орточо tahmininin hassas olduğunu gösterir; бирок gözlenen ilişkinin nedenini açıklamaz.
Yıllara боюнча değişim
| Yıl | Dönem | Yayın саны | Ortalama ifade саны |
|---|---|---|---|
| 2019 | LLM öncesi | 908 | 0,45 |
| 2020 | LLM öncesi | 2.712 | 0,60 |
| 2021 | LLM öncesi | 4.031 | 0,62 |
| 2022 | LLM öncesi | 3.656 | 0,76 |
| 2023 | LLM sonrası | 2.813 | 0,76 |
| 2024 | LLM sonrası | 2.864 | 0,94 |
| 2025 | LLM sonrası | 3.206 | 1,13 |
| 2026, kısmi | LLM sonrası | 1.201 | 1,05 |
Grafik, орточоnın 2019’dan itibaren zaten yükselmeye başladığını көрсөтөт. Artış гана 2023’te aniden ortaya çıkmamıştır. Özellikle 2019 менен 2022 arasında 0,45’ten 0,76’ya yükseliş vardır.
2022 жана 2023 мааниlerinin aynı olması, büyük dil modeli erişiminin yayın diline anında yansımadığını düşündürmektedir. Yazarlar, gönderim жана hakemlik gecikmesi nedeniyle etkilerin 2024 жана 2025 yayınlarında daha görünür hâle gelmesini beklenen bir durum olarak yorumlamıştır.
Ошентсе да bu eğilim büyük dil modeli kullanımına özgü эмесdir. Bilimsel yazım kültüründeki genel değişim, dergi dil standartları же uluslararası yazar dağılımı da aynı zaman çizelgesinde değişmiş olabilir.
2026 мааниi neden dikkatli okunmalı?
2026 yılı үчүн arama Mayıs ayında yapılmıştır. Dolayısıyla 1.201 yayınlık 2026 örneklemi tam bir takvim yılını temsil etmemektedir.
2025’teki 1,13 орточоsının 2026’da 1,05’e düşmesi gerçek bir gerileme olabilir; fakat kısmi yıl etkisi, yayınların yıl içindeki dağılımı же indeksleme gecikmeleri nedeniyle так yorum yapılamaz.
Tam metin жана гана özet alt grupları
| Analiz grubu | LLM öncesi орточо | LLM sonrası орточо | p мааниi | Etki büyüklüğü |
|---|---|---|---|---|
| Bütün yayınlar, n=21.392 | 0,65 | 0,96 | <0,001 | r=0,10 |
| Tam metin, n=10.483 | 0,88 | 1,28 | <0,001 | r=0,11 |
| Гана özet, n=10.909 | 0,45 | 0,62 | <0,001 | r=0,05 |
Tam metin grubundaki farkın daha büyük olması beklenebilir; çünkü incelenen sözcük miktarı çok daha fazladır. Гана özet grubunda da aynı yönde istatistiksel fark bulunması, sonucun гана açık erişimli толук текстlerden kaynaklanmadığını көрсөтөт.
Бирок ana karşılaştırmada kullanılan натыйжа yayın başına ham ifade саныdır. Tam metin жана özet uzunlukları aynı эмесdir. Изилдөөчүлөр alt grup analizi жана sözcük саныnı dikkate alan regresyonla bu sorunu azaltmaya çalışmış, бирок ham sayıların metin uzunluğuna duyarlılığı tamamen ortadan kalkmamıştır.
Makale бөлүмlerine боюнча değişim
Bölüm bazlı analiz гана tam metnine erişilebilen 10.483 yayın üzerinde gerçekleştirilmiştir. Bölümler başlık anahtar sözcükleriyle tanımlanmıştır.
| Makale бөлүмü | LLM öncesi орточо | LLM sonrası орточо | Mutlak fark | Göreli değişim |
|---|---|---|---|---|
| Giriş | 0,13 | 0,22 | +0,09 | +%69 |
| Метод | 0,08 | 0,11 | +0,03 | +%38 |
| Натыйжалар | 0,20 | 0,29 | +0,09 | +%45 |
| Tөсүүma | 0,88 | 1,23 | +0,35 | +%40 |
| Натыйжа | 0,10 | 0,15 | +0,05 | +%50 |
Göreli өсүү açısından en жогорку маани giriş бөлүмünde %69’dur. Бирок girişte başlangıç орточоsı төмөн olduğu үчүн mutlak өсүү гана 0,09’dur.
Mutlak өсүү açısından en belirgin değişim талкуу бөлүмүndedir: 0,35 ifade. Bu ayrım маанилүү. Bir бөлүмün göreli yüzdesi жогорку olabilir, бирок yayın başına eklenen gerçek ifade саны küçük kalabilir.
Метод бөлүмü hem mutlak hem de genel kullanım düzeyi bakımından en küçük değişimi көрсөткөн. Изилдөөчүлөр bunu метод metinlerinin deney protokolleri, dozlar, cihazlar жана analiz методleri gibi daha так ayrıntılar gerektirmesiyle ilişkilendirmektedir.
Tөсүүma бөлүмü ise:
- Натыйжаларın yorumlanması,
- Önceki literatürle ilişkilendirilmesi,
- Klinik önem çıkarımı,
- Sınırlılıkların anlatılması,
- Gelecekteki изилдөөların önerilmesi
gibi daha sentezleyici yazım görevleri içerir. Чоң тил моделдери bu tür metinleri akıcı biçimde üretebildiği үчүн бөлүм örüntüsü LLM kullanım olasılığıyla uyumlu görünmektedir. Fakat yine de bu dağılım kullanımın түздөн-түз kanıtı эмесdir.
Çok değişkenli regresyon neyi amaçladı?
Изилдөөчүлөр мезгил менен kalıplaşmış ifade саны arasındaki ilişkiyi мааниlendirirken:
- Yayın yılını,
- Metnin толук текст же özet olmasını,
- Sözcük саныnı
dikkate alan çok değişkenli doğrusal regresyon kullandıklarını bildirmiştir.
Tөсүүma бөлүмünde ilişkinin bu düzeltmelerden sonra da sürdüğü ifade edilmektedir. Бирок ana PDF’de regresyon katsayıları, standart hatalar, güven aralıkları жана ayrıntılı model tablosu gösterilmemiştir. Bu nedenle modelin büyüklüğü жана her değişkenin bağımsız katkısı mevcut metinden ayrıntılı biçimde мааниlendirilememektedir.
GRIM testi nedir?
GRIM, “Granularity-Related Inconsistency of Means” ifadesinin kısaltmasıdır. Tam sayı мааниlerinden oluşan ölçeklerde bildirilen орточоnın örneklem büyüklüğüyle matematiksel olarak uyumlu olup olmadığını kontrol eder.
Изилдөөнүн mantığını açıklamak үчүн temel орточо ilişkisi şöyledir:
\[ \bar{x} = \frac{\sum_{i=1}^{n} x_i}{n} \]
Burada:
- \bar{x}, bildirilen орточоdır.
- xi, her katılımcının tam sayı ölçek мааниidir.
- n, örneklem büyüklüğüdür.
Eğer bütün bireysel мааниler tam sayıysa, bu мааниlerin toplamı da tam sayı olmak zorundadır. Belirli bir örneklem büyüklüğünde гана belirli орточоlar matematiksel olarak mümkündür. Bildirilen орточо bu olası мааниlerle uyuşmuyorsa bir raporlama, yuvarlama же veri hatası bulunabilir.
Изилдөөda düzenli ifadeler kullanılarak makalelerden орточо-örneklem büyüklüğü çiftleri çıkarılmış, yayın başına en fazla 15 çift incelenmiş жана örneklem büyüklüğü 2 менен 10.000 arasında sınırlandırılmıştır.
GRIM sonucu neden güçlü bir натыйжа эмесdir?
21.392 yayının гана 48’inde, yani yaklaşık %0,2’sinde test үчүн uygun tam sayı ölçeği орточоsı жана örneklem büyüklüğü çıkarılabilmiştir.
Bu 48 yayının 29’unda, yani %60,4’ünde en az bir GRIM uyumsuzluğu табылган. Бирок мезгилler arasındaki fark istatistiksel anlamlılığa ulaşmamıştır:
- Z=-1,72,
- p=0,085.
Onkoloji рандомизацияланган контролдук изилдөөлөрında sağkalım süresi, коркунуч катышы, sürekli biyobelirteçler жана zaman-aşımı натыйжаларı sık kullanıldığı үчүн GRIM testinin gerektirdiği tam sayı ölçek орточоları nadirdir.
Гана 48 yayına uygulanabilmesi nedeniyle analiz ciddi biçimde güçsüzdür. Anlamlı fark bulunmaması, LLM sonrasında sayısal raporlama hatalarının değişmediğini же bulunmadığını göstermez.
Изилдөө жасалма интеллект kullanımını tespit ediyor mu?
Hayır. Изилдөөчүлөр bunu açıkça belirtmektedir. Bir makalede izleme listesindeki ifadelerin çok sayıda bulunması:
- Metnin жасалма интеллект tarafından yazıldığını,
- Yazarın bunu gizlediğini,
- Bilimsel verilerin yanlış olduğunu,
- Etik ihlal gerçekleştiğini
далилдебейт.
Aynı şekilde bir makalede bu ifadelerin bulunmaması da жасалма интеллект kullanılmadığını göstermez. Чоң тил моделдери farklı komutlarla farklı üsluplar üretebilir же жасалма интеллект çıktısı insan tarafından tamamen yeniden düzenlenebilir.
Изилдөө bir sınıflandırıcı geliştirmemiş, duyarlılık же özgüllük ölçmemiş жана bilinen жасалма интеллект destekli metinlerden oluşan doğrulama kümesi kullanmamıştır.
Başka hangi açıklamalar mümkündür?
Yazarlar gözlenen değişimin birden fazla eş zamanlı süreçten kaynaklanabileceğini kabul etmektedir:
- Чоң тил моделдериnin yazım desteğinde kullanılması,
- İngilizceyi ana dili olarak kullanmayan изилдөөчүлөрın yayınlara daha fazla katılması,
- Profesyonel dil düzenleme hizmetlerinin yaygınlaşması,
- Dergilerin ortak bir akademik üsluba yönelmesi,
- Editör жана hakemlerin belirli ifadeleri tercih etmesi,
- Bilimsel yazım eğitiminde kalıplaşmış ifadelerin yaygınlaşması,
- Onkoloji yayınlarının konu жана yazar coğrafyasındaki değişimler.
Retrospektif metin analizi bu açıklamaları birbirinden ayıramamaktadır.
Жасалма интеллект destekli yazım bilimsel açıdan neden otomatik olarak kötü эмесdir?
Чоң тил моделдери dil bilgisi düzeltme, anlatımı sadeleştirme же başka bir dilde yazılmış metni akademik İngilizceye dönüştürme amacıyla kullanılabilir. Araç kullanılmış olsa bile:
- Veriler gerçek olabilir,
- İstatistikler doğru olabilir,
- Kaynaklar yazarlar tarafından doğrulanmış olabilir,
- Bilimsel yorumlar изилдөөчүлөрa ait olabilir.
Temel sorun kullanımın kendisinden çok, kullanımın açıklanmaması, çıktının doğrulanmaması же aracın изилдөөcının eleştirel мааниlendirmesinin yerini almasıdır.
Bu изилдөө жасалма интеллект destekli yazımın hata катышını ölçmediğinden, kalıplaşmış dildeki өсүүın изилдөө kalitesini azalttığı sonucuna varılamaz.
Editoryal politikalar açısından anlamı
Yazarlar, birçok tıp жана onkoloji dergisinin жасалма интеллект kullanımının açıklanmasını istediğini, бирок bu politikaların uygulanmasının жана doğrulanmasının tutarsız olabildiğini belirtmektedir.
Изилдөө, büyük yayın topluluklarında zaman içindeki dilsel değişimin izlenebileceğini көрсөтөт. Изилдөөчүлөр bunu, gönüllü beyan sistemlerinin yeterliliğini мааниlendirmek жана yayıncılık politikalarını geliştirmek үчүн kullanılabilecek bir gözetim yaklaşımı olarak sunmaktadır.
Бирок popülasyon düzeyindeki dil gözetimi bireysel makaleleri suçlamak үчүн kullanılmamalıdır. Bir makalenin etik açıdan мааниlendirilmesi için:
- Yazar beyanı,
- Veri жана analiz kayıtları,
- Kaynak doğruluğu,
- Editoryal yazışmalar,
- Metnin bilimsel tutarlılığı
gibi daha түздөн-түз kanıtlar gerekir.
Kanser бейтаптарı açısından dolaylı önem
Bu изилдөө herhangi bir kanser дарылооsini же бейтап sonucunu incelememektedir. Бейтаптарa түздөн-түз klinik öneri sunmaz.
Gündelik yaşama etkisi dolaylıdır. Kanser бейтаптарı үчүн дарылоо kararları yayımlanmış изилдөөlara dayandığından, bilimsel raporların:
- Doğru,
- Şeffaf,
- Denetlenebilir,
- Метод жана натыйжаларı birbirinden ayıran,
- Belirsizliği açıkça bildiren
metinler olması gerekir.
Жасалма интеллект araçları bu süreci iyileştirebilir же kötüleştirebilir. Натыйжа, aracın kullanılmasından çok изилдөөчүлөрın doğrulama жана açıklama uygulamalarına bağlıdır.
Изилдөөнүн күчтүү жактары
- 21.392 yayınla geniş bir onkoloji RCT korpusu analiz edilmiştir.
- 2019’dan 2026’ya uzanan zaman eğilimi incelenmiştir.
- İfadeler veri analizinden önce belirlenen bir izleme listesinden alınmıştır.
- Yayınlar yıllara боюнча ayrı sorgulanarak PubMed sayfalama sorunları azaltılmıştır.
- Tam metin жана гана özet yayınlar ayrı alt gruplarda analiz edilmiştir.
- Makale бөлүмleri ayrı ayrı бааланган.
- İstatistiksel anlamlılığın yanında etki büyüklüğü raporlanmıştır.
- Yazarlar натыйжаларın bireysel makalelerde жасалма интеллект kullanımını göstermediğini açıkça belirtmiştir.
- Veri toplama жана analiz süreci programlı olarak yürütülmüştür.
- Изилдөө, dilsel değişim менен bilimsel suistimali birbirine eşitlememeye dikkat etmiştir.
Изилдөөнүн чектөөлөрү
- Nedensellik kurulamaz: 2022 sonrasındaki değişimin чоң тил моделдериnden kaynaklandığı kanıtlanmamıştır.
- İfade listesi түздөн-түз doğrulanmamıştır: İzleme listesi bilinen жасалма интеллект destekli onkoloji makalelerinde duyarlılık жана özgüllük açısından test edilmemiştir.
- İfadeler insan yazımında da bulunabilir: Hiçbir ifade жасалма интеллектya özgü эмесdir.
- Tam metin kapsamı sınırlıdır: Yayınların гана %49’u үчүн толук текст kullanılmıştır.
- Açık erişim seçilimi olabilir: PubMed Central’da tam metni bulunan yayınlar bütün onkoloji literatürünü temsil etmeyebilir.
- Metin uzunluğu farklıdır: Tam metin менен özetlerde aynı ham ifade sayımı kullanılmıştır; regresyon жана alt grup analizleri sorunu azaltmış бирок tamamen ortadan kaldırmamıştır.
- Tam alt dize eşleştirmesi bağlamı мааниlendirmez: İfadenin anlamı же kullanım amacı analiz edilmemiştir.
- Bölüm tanımlama başlıklara dayanır: Standart dışı бөлүм adları yanlış же eksik sınıflandırılabilir.
- Ölçülmeyen karıştırıcılar vardır: Yazar ülkesi, ana dil, dergi politikası, profesyonel düzenleme hizmeti жана yayın konusu kontrol edilmemiştir.
- 2026 kısmi yıldır: Son yılın eğilimi tam takvim yılı verisi эмесdir.
- Etki büyüklüğü küçüktür: r=0,10 жана mutlak fark 0,31 ifadedir.
- GRIM analizi uygulanabilir эмесdir: Yayınların гана 48’inde test yapılabilmiştir.
- Regresyon ayrıntıları eksiktir: Ana PDF’de model katsayıları жана tam натыйжа tablosu sunulmamıştır.
- Veri жана kod herkese açık bir depoda bulunmamaktadır: Veri seti жана analiz hattının makul talep üzerine sağlanacağı белгиленген.
- Raporlama kalitesi ölçülmemiştir: CONSORT uyumu, kaynak doğruluğu же натыйжаларın klinik doğruluğu түздөн-түз analiz edilmemiştir.
Изилдөө эмнени айтат?
- Onkoloji RCT yayınlarında belirlenen 34 kalıplaşmış ifadenin орточо kullanımı 2023-2026 мезгилinde 2019-2022 мезгилinden daha жогоркуtir.
- Fark büyük örneklemde istatistiksel olarak anlamlıdır.
- Etki büyüklüğü mütevazıdır.
- Yıllık орточо 2019’dan 2025’e doğru genel olarak yükselmiştir.
- 2022 жана 2023 мааниleri aynıdır; daha belirgin yükseliş 2024 жана 2025’te görülmüştür.
- Değişim толук текст жана гана özet alt gruplarında aynı yöndedir.
- En büyük mutlak бөлүм değişimi tөсүүma metinlerinde görülmüştür.
- Метод бөлүмlerindeki mutlak değişim daha küçüktür.
- Onkoloji yayın dilinde popülasyon düzeyinde ölçülebilir bir zaman değişimi vardır.
Изилдөө эмнени айтпайт?
- Herhangi bir bireysel makalenin жасалма интеллектyla yazıldığı söylenemez.
- Belirlenen ifadeleri kullanan yazarların etik ihlal yaptığı gösterilmemiştir.
- LLM sonrası yayınların bilimsel olarak daha hatalı olduğu kanıtlanmamıştır.
- Onkoloji RCT натыйжаларının güvenilmez hâle geldiği gösterilmemiştir.
- Kalınlaşmış dil örüntülerinin гана LLM kullanımından kaynaklandığı kanıtlanmamıştır.
- İfadenin bulunmamasının insan yazarlığını gösterdiği söylenemez.
- GRIM testindeki anlamsız мезгил farkı sayısal raporlama sorunlarının bulunmadığını göstermez.
- Изилдөө bir жасалма интеллект tespit aracı geliştirmemiştir.
- Жасалма интеллект kullanımının yasaklanması gerektiği deneysel olarak gösterilmemiştir.
- Gönüllü açıklama politikalarının etkisiz olduğu түздөн-түз karşılaştırmalı olarak test edilmemiştir.
Өткөн, бүгүн жана келечек жагынан мааниси
Bilimsel metinler geçmişte yazarlar, ortak yazarlar, profesyonel editörler жана dergi ekipleri tarafından hazırlanıyordu. Чоң тил моделдери bu üretim zincirine yeni жана ölçeklenebilir bir araç eklemiştir.
Bugün açısından изилдөө, dildeki değişimin büyük yayın koleksiyonlarında ölçülebileceğini көрсөтөт. Ошентсе да ölçülebilir olmak, sebebin bilindiği anlamına gelmez.
Gelecekte şu изилдөөların yapılması gerekmektedir:
- Zorunlu жасалма интеллект kullanım beyanlarının gerçek yazım verileriyle eşleştirilmesi,
- Bilinen insan yazımı жана LLM destekli metinlerden doğrulama veri kümeleri oluşturulması,
- Dil değişiminin CONSORT uyumu менен ilişkisinin incelenmesi,
- Kaynak doğruluğu жана uydurulmuş atıflarla bağlantısının мааниlendirilmesi,
- Seçici натыйжа raporlama жана aşırı yorumlama göstergelerinin analiz edilmesi,
- Dergi жана ülke bazlı farklılıkların kontrol edilmesi,
- LLM kullanımının изилдөөчүлөрın eleştirel düşünme жана yazma becerileri üzerindeki etkisinin incelenmesi,
- Жасалма интеллектnın гана dil düzenleme amacıyla kullanıldığı metinlerle içerik üretiminde kullanıldığı metinlerin ayrılması.
Изилдөөнүн методу жана табылгалары
Teknik изилдөө tasarımı
| Özellik | Açıklama |
|---|---|
| Изилдөө türü | Retrospektif korpus dilbilimi жана yayın metni analizi |
| Veri kaynağı | PubMed жана PubMed Central |
| Arama tarihi | Mayıs 2026 |
| İncelenen мезгил | 2019-Mayıs 2026 |
| Toplam yayın | 21.392 onkoloji рандомизацияланган контролдук изилдөөsı |
| LLMге чейинки мезгил | 2019-2022; n=11.345 |
| LLMден кийинки мезгил | 2023-Mayıs 2026; n=10.047 |
| Tam metin | 10.483 yayın, %49,0 |
| Başlık жана özet | 10.909 yayın, %51,0 |
| Birincil натыйжа | Önceden belirlenmiş 34 kalıplaşmış ifadenin yayın başına саны |
| İkincil keşifsel натыйжа | GRIM testiyle sayısal raporlama uyumsuzluğu |
| Yazılım | Python 3.11 менен veri toplama; IBM SPSS Statistics 29 менен analiz |
Veri toplama akışı
- Onkoloji MeSH terimleri RCT yayın türü filtresiyle birleştirildi.
- 2019-2026 arasındaki her yıl ayrı PubMed sorgusuyla tarandı.
- PubMed kimlikleri NCBI E-utilities aracılığıyla alındı.
- PubMed Central kaydı bulunan yayınların XML tam metni indirildi.
- Tam metni olmayan yayınlarda PubMed başlığı жана özeti kullanıldı.
- Metinler küçük harfe dönüştürüldü.
- 34 ifade tam alt dize eşleştirmesiyle sayıldı.
- Tam metinli yayınlarda бөлүм bazlı sayımlar yapıldı.
- Dönemler Mann-Whitney U testiyle karşılaştırıldı.
- Metin kaynağı, yayın yılı жана kelime саныnın etkisini мааниlendirmek үчүн regresyon planlandı.
- Uygun sayısal verilerde keşifsel GRIM testi yapıldı.
Ana мезгил karşılaştırması
| Натыйжа | LLM öncesi | LLM sonrası |
|---|---|---|
| Yayın саны | 11.345 | 10.047 |
| Ortalama ifade саны | 0,65 | 0,96 |
| Standart sapma | 1,14 | 1,50 |
| %95 güven aralığı | 0,63-0,67 | 0,93-0,99 |
| Mutlak fark | 0,31 ifade/yayın | |
| Yaklaşık göreli өсүү | %48 | |
| Mann-Whitney U | 51.334.465 | |
| Z | -14,56 | |
| p | <0,001 | |
| Etki büyüklüğü | r=0,10; mütevazı | |
Tam metin жана özet натыйжаларı
| Alt grup | LLM öncesi орточо | LLM sonrası орточо | Z | p | r |
|---|---|---|---|---|---|
| Tam metin, n=10.483 | 0,88 | 1,28 | -15,46 | <0,001 | 0,11 |
| Гана özet, n=10.909 | 0,45 | 0,62 | -5,27 | <0,001 | 0,05 |
Bölüm bazlı натыйжаларın teknik özeti
| Bölüm | LLM öncesi орточо | LLM sonrası орточо | Mutlak değişim | Göreli değişim |
|---|---|---|---|---|
| Giriş | 0,13 ± 0,38 | 0,22 ± 0,55 | +0,09 | +%69 |
| Метод | 0,08 ± 0,30 | 0,11 ± 0,38 | +0,03 | +%38 |
| Натыйжалар | 0,20 ± 0,55 | 0,29 ± 0,68 | +0,09 | +%45 |
| Tөсүүma | 0,88 ± 1,06 | 1,23 ± 1,29 | +0,35 | +%40 |
| Натыйжа | 0,10 ± 0,33 | 0,15 ± 0,42 | +0,05 | +%50 |
GRIM testi натыйжаларı
| Değişken | Натыйжа |
|---|---|
| Toplam yayın | 21.392 |
| GRIM үчүн uygun yayın | 48, yaklaşık %0,2 |
| En az bir GRIM uyumsuzluğu bulunan | 29/48, %60,4 |
| Dönem karşılaştırması | Z=-1,72 |
| p мааниi | 0,085 |
| Yorum | Örneklem son derece küçük жана analiz yetersiz güçlüdür; мезгил farkı hakkında güvenilir натыйжа vermez. |
Şeklin anlattığı temel натыйжа
Изилдөөнүн натыйжа şeklinin sol бөлүмünde 2019-2026 arasındaki yıllık орточо ifade саны çizgi grafikle gösterilmektedir. Kasım 2022’deki ChatGPT erişimi kırmızı kesikli çizgiyle işaretlenmiştir. Grafik, орточоnın 2019’daki 0,45 seviyesinden 2025’te 1,13’e yükseldiğini, бирок 2022 менен 2023 arasında өсүү olmadığını көрсөтөт.
Şeklin sağ бөлүмündeki yatay çubuklar толук текстli yayınlarda бөлүмlere боюнча iki мезгилi karşılaştırmaktadır. En uzun çubuklar талкуу бөлүмүne aittir. LLMге чейинки мезгилde 0,88 olan tөсүүma орточоsı, LLMден кийинки мезгилde 1,23’e yükselmiştir.
Şeklin altındaki uyarı, dilsel göstergelerin herhangi bir makale же yazar үчүн жасалма интеллект kullanımını doğrulayamayacağını özellikle belirtmektedir. Uluslararası yazarlık örüntüleri, editoryal normlar жана LLM kullanımının bu методle birbirinden ayrılamadığı vurgulanmıştır.
Булак жана метод эскертүүсү
Bu içerik, Amina Silva жана Vanessa Silva e Silva tarafından hazırlanan “Temporal Linguistic Shifts in Oncology Randomized Controlled Trials Following Large Language Model Availability: A Corpus Analysis of 21,392 Publications” başlıklı изилдөөya dayanmaktadır.
Yazarlar Kanada’daki Brock University School of Nursing bünyesinde görev yapmaktadır.
Bu изилдөө bir klinik изилдөө, бейтап kohortu же randomize kontrollü deney эмесdir. PubMed’de indekslenen onkoloji рандомизацияланган контролдук изилдөө yayınlarının metinlerini inceleyen retrospektif korpus dilbilimi изилдөөsıdır. Yeni бейтап verisi, дарылоо müdahalesi же klinik натыйжа üretmemiştir.
Изилдөө SSRN’de yayımlanmış bir preprinttir. Metinde açıkça “This preprint research paper has not been peer reviewed” yazmaktadır. Dolayısıyla изилдөө рецензиядан өтө элек. Табылгалар жана özellikle editoryal politika önerileri bağımsız мааниlendirme жана tekrar analiz gerektirmektedir.
Изилдөөda insan katılımcı bulunmadığı жана гана yayımlanmış, halka açık metinlerin analiz edildiği белгиленген. Bu nedenle изилдөөnın etik kurul мааниlendirmesinden muaf olduğu билдирилген.
Yazarlar herhangi bir çıkar çatışması olmadığını жана изилдөөнүн dış finansman almadığını açıklamıştır.
Yazarlar, Claude adlı büyük dil modelini гана veri toplama kodunun geliştirilmesine yardımcı olmak amacıyla kullandıklarını bildirmiştir. Claude’un makalenin yazımı, analizi, yorumlanması же düzenlenmesinde kullanılmadığı; bütün içeriğin yazarlar tarafından doğrulanıp gözden geçirildiği белгиленген.
Tam veri seti жана analiz hattının herkese açık bir depoda yayımlandığı belirtilmemiş; makul talep üzerine sorumlu yazardan alınabileceği ifade edilmiştir.
Изилдөөda görülen 0,31 ifadeyle sınırlı mutlak өсүү жана r=0,10 etki büyüklüğü, istatistiksel olarak anlamlı olsa da büyük bir dilsel dönüşüm olarak yorumlanmamalıdır. Büyük örneklem küçük farkların güçlü p мааниlerine ulaşmasını sağlamıştır.
İzleme listesindeki ifadeler жасалма интеллектya özgü эмесdir. Bu nedenle изилдөө bireysel yayınlarda LLM kullanımı, gizli kullanım, etik ihlal, metin doğruluğu же изилдөө suistimali hakkında hüküm veremez.
GRIM testi гана 48 yayına uygulanabildiği үчүн sayısal raporlama düzensizliklerine ilişkin ikincil натыйжа belirleyici эмесdir. p=0,085 sonucu, мезгилler arasında fark olmadığını далилдебейт.
Bu makale гана yüklenen PDF’deki метод, sayısal табылгалар, tablolar, şekil жана yazarların yorumları temel alınarak hazırlanmıştır. PDF’de bulunmayan жасалма интеллект kullanım iddiası, bireysel yazar suçlaması, yayın güvenilmezliği же onkoloji дарылооlerine ilişkin klinik натыйжа eklenmemiştir.
Пикир калтырыңыз
E-mail дарегиңиз жарыяланбайт. Милдеттүү талаалар * менен белгиленген