THE EFFECTS OF DIF ON TEST PARAMETERS ESTIMATES, DECISION STUDIES, G AND PHI COEFFICIENTS
(DİF’İN TEST PARAMETRELERİ KESTİRİMLERİNE, KARAR ÇALIŞMALARINA, G VE PHİ KATSAYILARINA ETKİSİ )

Author : Sami Pektaş  , Şeref TAN  
Type :
Printing Year : 2022
Number : 18
Page : 1847-1863
    


Summary

This study aims to reveal the effect of removing items with low, medium and high Differential Item Function (DIF) from numerical and verbal ability tests, which were determined by using different (DIF) detection methods, on the test parameters estimates, the G and Phi coefficients of the decision studies, and the G and Phi coefficients of the test without DIF, according to the gender of the students, their weekly pocket money amount and whether their pocket money amount is sufficient or not. In this respect, the study is a basic research. It is also a descriptive research in terms of revealing the current situation. Mantel-Haenszel and Logistic Regression Methods based on Classical Test Theory (CTT) were used as DIF detection methods, and the SIBTEST, Lord's Chi-Square and Raju's Area Measures methods were used based on Item Response Theory (IRT). In order to reveal the general abilities of the students, 45-item numerical and 45-item verbal ability tests were used in the multiple-choice test item type by the researcher. Research data were collected from 2304 sixth grade students. As a result of the research, it is seen that there is no change that creates a significant difference in measurement comparisons as a result of removing items with low DIF from the test by using different DIF detection methods. However, as a result of removing the items showing medium and high DIF from the test, it was determined that there was a significant difference in some test parameters, some reliability coefficients, G and Phi coefficients of decision studies, and G and Phi coefficients of the test without DIF. In this context, it can be said that in order to positively increase the psychometric properties of a test, such as validity and reliability, the test should be freed from items showing medium and high DIF.



Keywords

Differential item function, ability, generalizability coefficient, test parameter estimates



Abstract

Bu araştırmada, öğrencilerin cinsiyetlerine, haftalık cep harçlık miktarlarına ve cep harçlık miktarlarının yeterli olup olmama durumlarına göre farklı Değişen Madde Fonksiyonu (DMF) belirleme yöntemleri kullanılarak tespit edilen düşük, orta ve yüksek düzeyde DMF gösteren maddelerin sayısal ve sözel yetenek testlerinden çıkarılmasının, test parametreleri kestirimlerine, karar çalışmalarına ait G ve Phi katsayılarına, DMF’siz teste ait G ve Phi katsayılarına etkisini ortaya çıkarmak amaçlanmıştır. Araştırma bu yönüyle temel araştırma niteliğindedir. Mevcut durumun ortaya konması açısından ise betimsel bir araştırmadır. DMF belirleme yöntemi olarak Klasik Test Kuramı’na (KTK) dayalı Mantel-Haenszel (MH) ve Lojistik Regresyon (LR) Yöntemleri kullanılmış, Madde Tepki Kuramı’na (MTK) dayalı ise SIBTEST, Lord’un Ki-Kare ve Raju’nun Alan Ölçüleri yöntemleri kullanılmıştır. Öğrencilerin genel yeteneklerini ortaya çıkarabilmek için araştırmacı tarafından çoktan seçmeli test maddesi tipinde 45 maddelik sayısal ve 45 maddelik sözel yetenek testleri kullanılmıştır. Araştırma verileri Ankara ili Keçiören ve Pursaklar ilçelerinde bulunan 6. sınıf düzeyinde öğrenim gören 2304 öğrenciden toplanmıştır. Araştırmanın sonucunda farklı DMF belirleme yöntemleri kullanılarak düşük düzeyde DMF gösteren maddelerin testten çıkarılması sonucu ölçüm karşılaştırmalarında anlamlı farklılık yaratacak bir değişim olmadığı görülmektedir. Fakat orta ve yüksek düzeyde DMF gösteren maddelerin testten çıkarılması sonucunda bazı test parametrelerinde, bazı güvenirlik katsayılarında, karar çalışmalarına ait G ve Phi katsayılarında ve DMF’siz teste ait G ve Phi katsayılarında anlamlı farklılık yaratacak düzeyde bir değişimin olduğu tespit edilmiştir. Bu bağlamda bir teste ait geçerlik ve güvenirlik gibi psikometrik özellikleri olumlu yönde artırabilmek için testin orta ve yüksek düzeyde DMF gösteren maddelerden arındırılması gerektiği söylenebilir.



Keywords

Değişen madde fonksiyonu, yetenek, genellenebilirlik katsayısı, test parametre kestirimleri