Examination of the Reliability of the Measurements Regarding the Written Expression Skills According to Different Test Theories

Authors : Merve YILDIRIM SEHERYELİ, Şeref TAN

Pages : 327-347

Doi:10.21031/epod.559470

View : 14 | Download : 11

Publication Date : 2019-09-04

Article Type : Research Paper

Abstract :Araştırmanın amacı, çalışma alanlarına göre farklılaşan Klasik Test Kuramı (KTK), Genellenebilirlik Kuramı (GK) ve Madde Tepki Kuramlarının (MTK) yazılı anlatım becerisi analitik puanlama anahtarı kullanılarak elde edilen ölçümlere ilişkin güvenirlik kestirimlerinin incelenmesidir. Betimsel tasarlanan bu araştırmada çalışma grubunu oluşturan 523 öğrencinin hikâyeleri, yedi puanlayıcı tarafından puanlanmıştır. SPSS 22 programı kullanılarak elde edilen KTK bulgularında Eta korelasyon katsayısı incelendiğinde puanlayıcıların puanlamaları arasında bir farklılaşma olmadığı (η=0.926); Cronbach Alfa katsayılarının 0.88’in üzerinde olduğu bulunmuştur. Edu-G 6.1e programı kullanılarak elde edilen GK bulgularında G ve Phi katsayılarının 0.97’nin üzerinde olduğu görülmüştür. Öğrencilerde beklenen farklılaşma ortaya çıkmış, ölçütlerin güçlük düzeyleri bir öğrenciden diğerine değişmemiş, puanlayıcılar arasındaki puanlama tutarlılığı mükemmel seviyede bulunmuştur. Multilog 7.03 programı kullanılarak elde edilen Madde Tepki Kuramı bulgularında Samejima’nın (1969) Derecelendirilmiş Tepki modeline göre kestirilen a parametreleri farklı puanlayıcılara göre maddelerin ayırt ediciliğinin farklılaştığını göstermektedir. b parametrelerine göre tüm puanlayıcılar için bireylerin 0.50 ihtimalle 0’dan yüksek puan almaları için -2.35, 1’den yüksek puan almaları için -0.80, 2’den yüksek puan almaları için 0.41 yetenek düzeylerinin üzerinde bulunmaları gerekmektedir. Marjinal güvenirlik katsayıları incelendiğinde ise güvenirliğin oldukça yüksek (0,93 civarında) olduğu görülmüştür. Tüm güvenirlik kestirimlerinin arasındaki farkın manidarlığı için Microsoft Excel 2016 programında Fisher Z’ istatistiği hesaplanmıştır. Hata varyansı kaynaklarını açıklamada ve güvenirlik belirlemede GK, madde bazında hata kestirimlerinde ve yetenek düzeyi belirlemede MTK, KTK’den daha ayrıntılı bilgiler ortaya koymuştur. Puanlayıcılar arası güvenirlikte ise KTK ile GK’ye göre kestirilen parametreler arasında anlamlı bir fark bulunurken (p < 0.05); KTK ile MTK’ye göre göre kestirilen parametreler arasında anlamlı bir fark saptanmamıştır (p > 0.05).   
Keywords : Klasik test kuramı, genellenebilirlik kuramı, madde tepki kuramı, puanlayıcılar arası uyum, güvenirlik, rubrik