Yüksek Lisans Tezi Notlandırma Çerçevesi (Master’s Dissertation Marking Framework, MDMF), yüksek lisans tezlerinin daha adil, tutarlı ve savunulabilir biçimde değerlendirilmesini desteklemek için profesyonel akademik yargıyı, kalibrasyonu, kurumsal politikayı, değerlendirici atamasını, değerlendirme kültürünü ve teknolojik altyapıyı birlikte ele alan sosyoteknik bir değerlendirme çerçevesidir. Çalışma, MDMF'yi 2022–2025 arasında altı Design-Based Research fazında literatür incelemesi, anketler, yarı yapılandırılmış görüşmeler ve karma yöntemli personel verileriyle yinelemeli olarak geliştirmiştir. Nihai MDMF Version 5, üretken yapay zekâyı akademik değerlendirmenin yerine geçen bir hakem olarak değil, açık etik sınırlar içinde kullanılabilecek çevresel ve altyapısal bir unsur olarak konumlandırmaktadır.

2025 sonundaki nicel sonuçlar, akademik personelin YZ araçlarını tez notlandırmasındaki temel adalet ve süreç sorunlarını çözmede zayıf gördüğünü göstermektedir. YZ'nin önyargı sorunlarını çözmedeki algılanan etkinliği ortalama 2,08/7, iş yükü ve süreç sorunlarındaki etkinliği 2,20/7 iken, YZ'ye ilişkin kaygıların ortalaması 5,60/7'dir. Mevcut tez notlandırma uygulamalarının YZ tarafından tamamen değiştirilmesine verilen destek 1,27/7 düzeyindedir.

Katılımcıların başlıca kaygıları YZ'nin özgünlüğü değerlendirmedeki sınırlılığı, aşırı bağımlılık riski, YZ tabanlı notlandırmadaki olası önyargılar, veri gizliliği, bağlam eksikliği ve insan değerlendirmesindeki kişisel/profesyonel boyutun kaybolmasıdır. Buna karşılık bazı katılımcılar YZ'nin metin özetleme, tutarlılık kontrolü veya bilinmeyen teknik bir konu hakkında bağlam edinme gibi doğrudan not üretmeyen sınırlı destek işlevlerine açık olmuştur.

Çalışmanın ana yorum sınırı, MDMF'nin henüz bütünleşik bir müdahale olarak tam uygulanıp deneysel biçimde değerlendirilmemiş olmasıdır. Veriler tek bir Birleşik Krallık yükseköğretim kurumundaki küçük ve amaçlı akademik personel örneklemlerinden gelmektedir. Dolayısıyla çalışma MDMF'nin değerlendirme tutarlılığını belirli bir oranda artırdığını kanıtlamamakta; yüksek riskli tez değerlendirmesinde daha adil ve savunulabilir insan yargısını yapılandırmak için ampirik olarak geliştirilmiş bir çerçeve sunmaktadır.

MDMF Nedir ve Hangi Değerlendirme Problemini Çözmeyi Amaçlıyor?

Master’s Dissertation Marking Framework (MDMF), tez kalitesini otomatik olarak hesaplayan bir algoritma değil; değerlendiricilerin profesyonel yargısının hangi koşullarda daha tutarlı, şeffaf ve savunulabilir biçimde kullanılabileceğini yapılandıran sosyoteknik bir değerlendirme çerçevesidir. MDMF'nin hedefi insan yargısını ortadan kaldırmak değil, rubrik, kalibrasyon, değerlendirici uzmanlığı, moderasyon, kurumsal politika, iş yükü ve teknoloji arasındaki ilişkileri açık bir sistem içinde düzenlemektir.

Yüksek lisans tezlerini notlandırmak neden zor?

Yüksek lisans tezleri standart sınav sorularından farklıdır. Araştırma, yazılım geliştirme, deneysel çalışma veya karma proje gibi farklı biçimlerde olabilir; konuların teknik karmaşıklığı değişebilir ve değerlendiricilerin konu uzmanlığı eşit olmayabilir. Tez danışmanının öğrenciyi ve araştırma sürecini yakından tanıması değerli bağlam sağlar ancak aynı yakınlık, değerlendirme yargısını etkileyebilecek bir unsur da olabilir.

Çalışmanın literatür ve önceki saha verileri, rubriklerin tek başına bu problemi ortadan kaldırmadığını göstermektedir. Aynı kriterleri kullanan değerlendiriciler “iyi”, “mükemmel”, “özgün” veya “eleştirel” gibi ifadeleri farklı yorumlayabilir. Tecrübeli değerlendiriciler ayrıca biçimsel rubriğin ötesinde örtük alan bilgisi ve bütüncül profesyonel yargı kullanabilir.

Adalet ile tutarlılık aynı şey değildir

Tutarlılık, benzer koşullarda benzer akademik performansların benzer biçimde değerlendirilmesini ifade eder. Adalet ise yalnız sonuçların birbirine yakın olmasıyla sınırlı değildir; değerlendiricinin uzmanlığı, öğrencinin gerçek katkısı, dilsel ve kültürel farklılıklar, proje türü, moderasyon süreci ve değerlendirme ortamı gibi bağlamsal unsurları da içerir.

MDMF'nin teorik yönelimi bu nedenle yalnız “iki değerlendiricinin aynı puanı vermesi” problemini çözmeye çalışmaz. Çerçeve, akademik yargının hangi kurumsal, ilişkisel ve teknolojik koşullarda üretildiğini de değerlendirme sisteminin bir parçası sayar.

Rubrikler neden yeterli değil?

Rubrikler ve notlandırma şemaları beklentileri görünür kılabilir, örnek çalışmaları ortak standarda bağlayabilir ve yeni değerlendiriciler için yapı sağlayabilir. Bununla birlikte kaynak, genel ve soyut kriterlerin farklı tez türlerine uygulanmasında yorum farklılıklarının devam edebildiğini göstermektedir.

Bu nedenle MDMF rubriği tek başına çözüm olarak kullanmaz. Rubriğin hangi örneklerle açıklandığı, değerlendiricilerin onu nasıl yorumladığı, değerlendirme öncesi kalibrasyon yapılıp yapılmadığı ve moderasyon sırasında anlaşmazlıkların nasıl çözüldüğü de değerlendirme kalitesinin parçasıdır.

Moderasyonun rolü

Moderasyon, farklı değerlendiricilerin kararlarını gözden geçirerek tutarlılığı ve hesap verebilirliği güçlendiren bir kalite güvence sürecidir. Ancak çalışma, moderasyonun temelde düzeltici olduğunu vurgular: değerlendirme bittikten sonra puan farklarını azaltabilir fakat değerlendiricilerin neden baştan farklı yargılara ulaştığını otomatik olarak çözmez.

MDMF bu nedenle moderasyonun önüne bir kalibrasyon katmanı koyar. Amaç değerlendiricilerin standartlar, örnekler ve zor sınır vakaları hakkında notlandırma başlamadan önce ortak yorum zemini geliştirmesidir.

MDMF nasıl gelişti?

Çerçevenin gelişimi Design-Based Research mantığına dayanır. İlk aşamada problem ve ihtiyaçlar analiz edilmiş; sonraki aşamalarda çerçeve tasarlanmış, gerçek akademik personel deneyimleriyle değerlendirilmiş ve yeniden düzenlenmiştir.

MDMF v1: üç temel süreç

İlk sürüm literatürden üç ana bileşen çıkarmıştır: değerlendirme öncesi görevler, değerlendirici özelliklerine göre tez ataması ve değerlendirme/moderasyon süreci.

Değerlendirme öncesi görevler; açık notlandırma şemaları, örnek tezler ve değerlendirici eğitimi gibi hazırlıkları içerir. Tez atama bileşeni danışman ve ikinci değerlendiricinin rolünü, alan uzmanlığını ve bilişsel profilini dikkate alır. Son süreç ise tutarlılık ve moderasyon mekanizmalarını kapsar.

MDMF v2 ve v3: adalet, teknoloji ve değerlendirme kültürü

2022 anketiyle çerçeveye adalet/eşitlik sorunlarının sistematik olarak tanımlanması ve teknolojinin kolaylaştırıcı rolü eklendi. Akademisyenler yüksek iş yükü, konu uzmanlığı uyuşmazlığı, genel rubriklerin belirsizliği, anonimlik sorunları ve değerlendirici iyi oluşu gibi değişkenlerin değerlendirme kararlarını etkilediğini bildirdi.

Yedi akademisyenle yapılan 2022 görüşmeleri MDMF v3'te “değerlendirme kültürü” boyutunu güçlendirdi. Ortak tartışmalar, kör moderasyon, üçüncü değerlendirici, alan farklılıkları ve dil önyargısı gibi konular çerçeveye daha açık biçimde yerleştirildi.

Üretken YZ Tez Notlandırmasını Daha Adil veya Daha Nesnel Hâle Getirdi mi?

Bu çalışmadaki akademik personel verileri böyle bir sonucu desteklememektedir. Katılımcılar YZ araçlarını danışman önyargısı, ikinci değerlendirici önyargısı, dil önyargısı, proje karmaşıklığı, anonimlik veya gerçek öğrenci katkısının belirlenmesi gibi temel problemlere karşı düşük etkili görmüş; buna karşılık özgünlük, aşırı bağımlılık, bağlam eksikliği, veri gizliliği ve YZ kaynaklı önyargılar konusunda yüksek kaygı bildirmiştir.

2023: ChatGPT sonrası ilk tepki

ChatGPT'nin kamuya açılmasından kısa süre sonra yapılan iki araştırma, akademik personelin YZ'yi değerlendirme sürecinde hızlı biçimde benimsemediğini göstermiştir. İlk 2023 anketinde 19 kişinin 16'sı, yani %84'ü, ChatGPT'yi tez değerlendirmesinin herhangi bir bölümünde hiç kullanmadığını bildirmiştir. Yıl içindeki ikinci ankette sekiz kişinin beşi değerlendirmede ChatGPT kullanmadığını belirtmiş; üç kişi soruyu yanıtlamamıştır.

Katılımcılar kişisel veya öğretim amaçlı metin taslağı, örnek üretme ve dil geliştirme gibi kullanımları tez hakkında akademik hüküm verme görevinden açık biçimde ayırmıştır. Tez notlandırması alan uzmanlığı, bağlamsal yorum ve akademik hesap verebilirlikle ilişkilendirilmiştir.

Üretken YZ yeni bir “özgünlük” problemi oluşturuyor

2025 görüşmeleri, değerlendiricilerin artık yalnız tez metninin kalitesini değil, metnin ne kadarının öğrenciye ait olduğunu da daha yoğun biçimde sorguladığını göstermektedir. Tekdüze dil, öğrencinin kişisel akademik sesinin kaybolması veya uydurma referanslar gibi belirtiler şüphe doğurabilmektedir.

Ancak kaynak bu belirtileri güvenilir bir YZ tespit algoritması olarak sunmaz. Tam tersine, şüphe ile kanıt arasındaki farkın korunması gerektiği vurgulanır. Bir öğrencinin çalışması yalnız YZ kullanılmış olabileceği düşüncesiyle cezalandırılmamalıdır.

Dil akıcılığı kaliteyle karıştırılabilir

Üretken YZ, dilsel olarak düzgün bir tez üretmeye yardımcı olduğunda biçimsel akıcılık ile düşünsel kalite arasındaki ilişki daha karmaşık hâle gelir. Katılımcılar YZ ile parlatılmış metnin zayıf araştırma içeriğini olduğundan güçlü gösterebildiğini ve danışman ile ikinci değerlendirici arasında puan farklılıklarına yol açabildiğini bildirmiştir.

MDMF v5 bu problemi AI-mediated grade distortion, yani YZ aracılı not algısı bozulması kapsamında ele alır. Çerçevenin hedefi “akıcı metni cezalandırmak” değil; dilsel yüzey kalitesi ile özgün düşünce, yöntemsel yeterlilik, kanıt ve eleştirel katılımı birbirinden ayırabilecek insan kalibrasyonunu güçlendirmektir.

Not sıkışması / grade compression

Bazı katılımcılar YZ'nin tezlerin dilsel görünümünü birbirine benzeterek çalışmaların “ortalama yeterlilik” çevresinde kümelenmesine yol açabildiğini bildirmiştir. Kaynak bunu doğrudan ölçülmüş bir not dağılımı analizi olarak değil, akademik personelin deneyimlerinden çıkan bir tema olarak ele almaktadır.

Bu nedenle Verianla anlatımı “YZ notları istatistiksel olarak B'ye sıkıştırdı” şeklinde nedensel bir sonuç üretmemektedir. Kaynakta nicel not dağılımı karşılaştırması yapılmamıştır.

İnsan kalibrasyonu neden daha önemli hâle geliyor?

YZ ile düzeltilmiş yüzeysel dil danışman ve ikinci değerlendiriciye farklı sinyaller verebilir. Danışman öğrencinin proje sürecini bilir; ikinci değerlendirici çoğunlukla teslim edilen ürünü görür. Bu bilgi asimetrisi YZ destekli akıcılık altında daha belirginleşebilir.

MDMF, çözümü değerlendirme kararını otomatik sisteme vermekte değil; değerlendiricilerin örnekler, rubrikler ve sınır vakaları üzerinden ortak yorum geliştirmesinde arar. Kalibrasyon böylece yalnız başlangıç eğitimi değil, YZ çağında akademik standardın birlikte yorumlandığı bir profesyonel süreç hâline gelir.

Teknoloji çözüm mü, altyapı mı?

MDMF v5'te teknoloji değerlendirme kararının sahibi değildir. Teknolojinin temel rolü bilgiye erişimi kolaylaştırmak, tez ve değerlendirici eşlemesini desteklemek, rubrikleri bütünleştirmek, kayıt ve denetim izi sağlamak ve gereksiz idari sürtünmeyi azaltmaktır.

Bu ayrım önemlidir: daha fazla YZ özelliği eklemek, daha adil değerlendirme anlamına gelmez. Kaynakta personelin önemli bölümü mevcut altyapı sorunlarını —dağınık teslim noktaları, yetersiz metadata, uzun ek videolar, birbirinden kopuk sistemler— doğrudan değerlendirme verimliliği ve adaleti etkileyen unsurlar olarak görmektedir.

Çalışmanın Yöntemi ve Bulguları

Araştırma soruları

Çalışmanın üç araştırma sorusu vardır:

1. Yüksek lisans tezlerinin notlandırılmasında adalet, tutarlılık ve akademik yargıyı hangi sorunlar etkiler?
2. Bu sorunlar üretken yapay zekâ bağlamında nasıl değişmektedir?
3. Yapılandırılmış ve ampirik olarak temellendirilmiş bir çerçeve daha adil ve savunulabilir tez değerlendirme uygulamalarını nasıl destekleyebilir?

Design-Based Research yaklaşımı

Design-Based Research, gerçek eğitim ortamındaki karmaşık problemlere yalnız uzaktan betimleme yapmak yerine, teorik bilgi ile uygulayıcı deneyimini yinelemeli tasarım döngülerinde bir araya getiren araştırma yaklaşımıdır. Bu çalışmada analiz ve keşif, tasarım ve yapılandırma, değerlendirme ve yansıtma döngüleri MDMF'nin birbirini izleyen sürümlerini üretmiştir.

Kaynak sayfa 6'daki Şekil 1 bu döngüyü üç ana yönelimle gösterir: problem ve ihtiyaçların araştırılması, çerçeve geliştirme, ardından gerçek bağlamdaki değerlendirme ve yansıtmadan tekrar tasarıma dönme. Çerçevenin v1'den v5'e ilerlemesi doğrusal bir ürün geliştirme süreci değil, bu tekrarlı DBR mantığının sonucudur.

Katılımcılar

Bütün ampirik fazlar aynı Birleşik Krallık yükseköğretim kurumu içinde yürütülmüştür. Katılımcılar ağırlıklı olarak Computing Science ve ilişkili disiplinlerde yüksek lisans tezi danışmanlığı, ikinci değerlendirme veya moderasyon görevleri yapan akademik personeldir.

Erken kariyer akademisyenlerinden yoğun değerlendirme deneyimine sahip personele kadar farklı deneyim düzeyleri bulunmaktadır. Ancak amaçlı ve küçük örneklem tasarımı nedeniyle çalışma, bütün yükseköğretim akademisyenlerinin görüşlerini istatistiksel olarak temsil etme iddiasında değildir.

Nitel analiz

Görüşmeler ve açık uçlu anket cevapları tematik yaklaşımlarla analiz edilmiştir. 2025 başındaki görüşmelerde Braun ve Clarke'ın altı aşamalı yaklaşımına dayanan refleksif tematik analiz kullanılmıştır.

Nitel veriler özellikle YZ kullanımının etik sınırları, özgünlük ve yazarlık belirsizliği, dil önyargısı, değerlendirici yorgunluğu, moderasyon çatışması ve profesyonel sorumluluk gibi temaları ortaya çıkarmıştır.

Nicel analiz

2025 sonundaki nicel maddeler 1–7 aralıklı ölçeklerle ölçülmüştür. Veriler küçük ve amaçlı örneklem nedeniyle esas olarak ortalama, standart sapma ve medyan gibi betimsel istatistiklerle yorumlanmıştır.

Dört birleşik alt ölçek oluşturulmuştur: YZ'nin önyargı sorunlarını çözmedeki algılanan etkinliği, iş yükü/süreç sorunlarını çözmedeki etkinliği, YZ kaygı/sınırlılıkları ve YZ kullanımına destek. Alt ölçekler için Cronbach's alpha raporlanmış, bazı örüntüler Spearman korelasyonu, Friedman ve post-hoc Wilcoxon testleriyle keşifsel olarak incelenmiştir.

Seçili tekil nicel sonuçlar

Friedman ve Wilcoxon sonuçları

Dört ana alt ölçeğin sıra dağılımı Friedman testiyle karşılaştırılmıştır. Sonuç:

\[ \chi^2(3)=11.73,\quad p=0.008,\quad n=11 \]

Bu test, dört alt ölçeğin algılanan düzeylerinin aynı dağılıma sahip olmadığına ilişkin keşifsel kanıt verir. Küçük ve amaçlı örneklem nedeniyle kaynak bunu nüfus genellemesi için değil, alt ölçekler arasındaki göreli örüntüyü incelemek için kullanmaktadır.

Post-hoc Wilcoxon testlerinde YZ kaygıları, YZ'nin önyargı sorunlarındaki algılanan etkinliğinden daha yüksek bulunmuştur:

\[ Z=-2.49,\quad p=0.013 \]

YZ kaygıları iş yükü/süreç sorunlarını çözmedeki algılanan etkinlikten de daha yüksek bulunmuştur:

\[ Z=-2.85,\quad p=0.004 \]

Korelasyon örüntüleri

YZ'nin önyargı sorunlarını çözmedeki etkinliğine daha yüksek puan veren katılımcılar, iş yükü/süreç etkinliğine de daha yüksek puan verme eğilimindedir:

\[ \rho=0.683,\quad p=0.010 \]

Önyargı sorunlarını çözme etkinliği ile genel YZ desteği arasındaki ilişki daha da güçlüdür:

\[ \rho=0.914,\quad p<0.001 \]

YZ kaygıları ile YZ desteği arasında ters yönlü ilişki raporlanmıştır:

\[ \rho=-0.742,\quad p=0.009 \]

Bu korelasyonlar tutum yapıları arasındaki ilişkiyi göstermektedir; bir tutumun diğerine neden olduğunu kanıtlamaz.

MDMF Version 5'in Altı Temel Bileşeni Nedir?

MDMF Version 5, yeni bir bileşen listesi oluşturmak yerine Version 4'teki altı yapıyı yeniden ağırlıklandırır: etik sınırlar ve YZ politikası açıklığı; adalet ve eşitlik sorunları; değerlendirme öncesi görevler ve insan kalibrasyonu; değerlendirici özelliklerine dayalı tez ataması; değerlendirme süreci, kültürü ve değerlendirici iyi oluşu; teknoloji, altyapı ve sistem tasarımı. Bu altı unsur birlikte profesyonel akademik yargının hangi koşullarda daha adil ve savunulabilir olabileceğini düzenler.

1. Etik sınırlar ve YZ politikası açıklığı

MDMF v5'te bu bileşen bütün çerçevenin normatif omurgasına dönüşür. Temel soru “YZ nerede kullanılabilir?” olmaktan önce “hangi akademik yargılar YZ'ye devredilmemelidir?” sorusudur.

2. Adalet ve eşitlik sorunları

Version 5, YZ destekli yazının yeni adalet riskleri oluşturabileceğini açık biçimde işler. Bunlar notların birbirine yaklaşması, akıcı dilin düşünsel zayıflığı maskelemesi, gerçek öğrenci katkısının görünmezleşmesi ve YZ ile güçlendirilmiş dilsel akıcılığın yeni bir eşitsizlik kaynağına dönüşmesidir.

3. Değerlendirme öncesi görevler ve kalibrasyon

Kalibrasyon, MDMF v5'te YZ kaynaklı belirsizliği yönetmenin temel insan mekanizmasına dönüşür. Değerlendiriciler örnek tezleri, sınır vakalarını ve değerlendirme kriterlerinin anlamını birlikte tartışmalıdır.

Örneklerin yalnız iyi yazılmış metinleri değil, dilsel olarak akıcı fakat eleştirel açıdan zayıf vakaları da göstermesi önerilir. Böylece akademik derinlik ile yüzeysel dil kalitesi birbirinden daha bilinçli biçimde ayrılabilir.

4. Değerlendirici özelliklerine göre tez ataması

Danışman, öğrencinin araştırma sürecini bilir; ikinci değerlendirici çoğunlukla teslim edilen çıktıya erişir. YZ ile parlatılmış metin bu bilgi farkını büyütebilir. MDMF v5 bu nedenle yapılandırılmış danışman özetlerini, proje bağlamının paylaşılmasını ve konu uzmanlığıyla daha iyi eşleştirme yapılmasını vurgular.

YZ okuryazarlığı yararlı bir bağlamsal beceri olarak görülebilir; ancak alan uzmanlığının veya akademik yargının yerine geçmez.

5. Değerlendirme süreci, kültürü ve iyi oluş

MDMF v5 değerlendirici yorgunluğu ve duygusal emeği ikincil insan kaynakları sorunu olmaktan çıkarıp adil değerlendirme koşullarından biri olarak ele alır.

Yüksek iş yükü, zaman baskısı, tekrarlayan YZ-benzeri dil örüntüleri, doğrulanamayan YZ şüphesi ve etik belirsizlik akademisyenin dikkatini ve değerlendirme deneyimini etkileyebilir. Çözüm olarak otomatik hakemlikten çok daha gerçekçi iş yükü, tartışmaya dayalı moderasyon, kalibrasyon ve kurumsal destek önerilmektedir.

6. Teknoloji, altyapı ve sistem tasarımı

Son bileşen teknolojiyi “daha fazla yapay zekâ” ile eşitlemez. Version 5'in önceliği değerlendirme sürecindeki sürtünmeyi azaltan, kayıt ve denetim izi sağlayan ve akademisyenin yargısını kolaylaştıran altyapıdır.

MDMF, YZ'nin İnsan Değerlendiricinin Yerini Alabileceğini Gösteriyor mu?

Hayır. MDMF'nin merkezi teorik sonucu bunun tersidir: yüksek riskli tez değerlendirmesinde profesyonel akademik yargı geçerli değerlendirmenin temelidir ve üretken YZ, bu yargıyı otomatikleştiren bir çözüm olarak değil, yeni etik ve epistemik belirsizlikler doğuran sosyoteknik bir bağlam olarak ele alınmalıdır. Kaynak sınırlı destekleyici YZ kullanımlarını dışlamaz; ancak not verme, özgünlük hakkında nihai karar üretme ve yüksek riskli akademik hükmü insandan devralma MDMF v5'in önerdiği rol değildir.

Profesyonel akademik yargı

MDMF, karmaşık akademik çalışmanın kalitesinin yalnız önceden tanımlı kuralların mekanik uygulanmasıyla belirlenemeyeceği görüşünü benimser. Alan bilgisi, bağlam, yöntemsel yeterlilik, kanıt kalitesi, özgün katkı ve eleştirel düşünme birlikte yorumlanmalıdır.

Üretken YZ bu gereksinimi azaltmak yerine bazı durumlarda artırabilir; çünkü dilsel akıcılık ile gerçek entelektüel katkı arasındaki ilişkiyi daha az görünür hâle getirebilir.

Prosedürel adaletten bağlamsal eşitliğe

Anonim değerlendirme, çift değerlendirme ve moderasyon hâlâ önemlidir. Ancak MDMF'nin teorik katkısı adaleti yalnız prosedürlerin eşit uygulanması olarak görmemesidir.

YZ erişimi, dilsel destek düzeyi, öğrencinin gerçek katkısının görünürlüğü, konu uzmanlığı ve kurum politikası da değerlendirme koşullarını şekillendirebilir. Bu nedenle “her öğrenciye aynı prosedürü uygula” yaklaşımı her durumda eşit sonuç üretmeyebilir.

Değerlendirme bir sosyoteknik sistemdir

MDMF, tez notlandırmasını insan, politika, kurum, teknoloji ve örgütsel altyapının birlikte oluşturduğu bir sosyoteknik sistem olarak ele alır. Teknolojik aracın tasarımı veya kurumun YZ politikasındaki belirsizlik, değerlendirme davranışını etkileyebilir.

Bu nedenle etik YZ yönetişimi yalnız daha iyi bir model kurmak değildir. Kimin hangi kararı verdiği, hangi kararın denetlenebilir olduğu, hangi öğrenci verisinin kullanılabildiği ve uyuşmazlıkların nasıl çözüldüğü de değerlendirme tasarımının parçasıdır.

Çalışmanın desteklediği ve desteklemediği sonuçlar

Çalışmanın sınırlılıkları

Birinci sınırlılık, bütün ampirik fazların tek bir kurumsal bağlamda yürütülmesidir. Farklı üniversitelerin değerlendirme kültürü, YZ politikaları, moderasyon uygulamaları ve disiplin yapıları aynı değildir.

İkinci sınırlılık küçük ve amaçlı örneklemlerdir. Özellikle n=3 görüşme fazı ve n=10–13 civarındaki son nicel alt ölçekler, nüfus düzeyinde güçlü genelleme için tasarlanmamıştır.

Üçüncü sınırlılık, MDMF'nin farklı bileşenleri yıllar boyunca ampirik verilerle geliştirilmiş olsa da nihai MDMF v5'in bütünleşik bir müdahale olarak henüz tam uygulama ve etki değerlendirmesinden geçmemiş olmasıdır.

Dördüncü sınırlılık üretken YZ ortamının hızlı değişmesidir. Model yetenekleri, kurum politikaları ve öğrencilerin kullanım biçimleri değiştikçe bugün tanımlanan problemler de değişebilir.

Kaynak gelecekte MDMF'nin gerçek uygulamadaki etkisinin, notlandırma tutarlılığı ve adalet algıları üzerindeki sonuçlarının, farklı disiplin ve kurumlardaki transfer edilebilirliğinin ve öğrenci perspektiflerinin araştırılmasını önermektedir.

Kaynak içi tablo referansı notu

Kaynak sayfa 31'de MDMF v5 bileşenlerinin ampirik iyileştirmelerinin “Tables 9–14” tarafından belgelendiği belirtilmektedir. Ancak kaynak yapısında Tablo 9 dört nicel alt ölçeğin betimsel istatistiklerini, MDMF v5'in altı bileşenine ait revizyon tabloları ise Tablo 10–15'i oluşturmaktadır. Verianla anlatımı bu çapraz referans farklılığını sessizce kaynak değişikliği gibi düzeltmemekte; tabloları içeriklerine göre ayırmaktadır.

Kaynak ve Yöntem Notu

Yöntem notu: Araştırmanın temel amacı nüfus düzeyinde istatistiksel genelleme yapmak değildir. Nitel ve nicel bulgular MDMF'nin tasarım ve yeniden tasarım kararlarını besleyen uygulama-temelli kanıt olarak kullanılmaktadır. Kaynak, küçük amaçlı örneklem nedeniyle non-parametrik sonuçların da dikkatli ve keşifsel biçimde yorumlanması gerektiğini belirtmektedir.

Version 5 notu: MDMF v5 için ayrı bir yeni figür yayımlanmamıştır. Kaynak, Version 4'ün Şekil 5'teki yapısal mimarisini korumakta ve Version 5'in bileşen ağırlıklarını Tablo 10–15 üzerinden yeniden tanımlamaktadır. Bu nedenle Verianla için hazırlanacak MDMF v5 görseli kaynak Şekil 5'in piksel kopyası değil, Version 5 tablolarının içerik ilişkilerinden türetilmiş özgün bir açıklayıcı şema olmalıdır.

Temel bilimsel sınır: MDMF v5'in bütünleşik kurum uygulaması ve bunun değerlendirme tutarlılığı üzerindeki etkisi bu makalede deneysel olarak test edilmemiştir. “MDMF adaleti artırdı” ifadesi ölçülmüş bir etki sonucu değildir; çerçevenin amacı daha adil ve savunulabilir yargının koşullarını yapılandırmaktır.