A Study on Individualized Tests

Year 2017, Volume: 7 Issue: 2, 269 - 284, 01.10.2017

Metin Yaşar

Abstract

-

Keywords

-

A Study on Individualized Tests

Abstract

This study aims to compare KR-20 reliability levels of “Paper and Pencil Test” developed according to Classical Test Theory and “Individualized Test” developed according to Item Response Theory (Two-Parameter Logistic Model), and the correlation levels of skill measurements obtained via these two methods in a group of students. Individualized test developed in accordance with the Two-Parameter Logistic Model was applied by means of a question pool consisting of 61 multiplechoice items which can be answered in 13 steps. On the other hand, a paper and pencil test of 47 multiple-choice items was applied to the sample student group. After the test developed according to these two methods was applied to the same group, KR-20 reliability coefficient was calculated as 0.67 for the individualized test and as 0.75 for the paper and pencil test prepared according to Classical test theory. Calculated KR-20 reliability coefficients obtained from the study were converted into Fisher Z and tested at the significance level of 0.05. No meaningful difference was detected at the 0.05 significant difference level between the two KR-20 reliability coefficients obtained from the two methods. Pearson Product-Moment Correlation Coefficient was calculated as 0.36 between the points of the individualized test and the measurement results of the paper and pencil test. A positive yet low correlation was observed between the measurement results obtained from the tests developed according to both methods. Consequently, it was seen that at the 0.05 significance level there was no statistically significant difference between KR-20 reliability coefficients of the tests developed according to the two methods and that there was a low correlation between the skill measurements of the students in both tests, but there was no significant correlation at the 0.05 significance level between the skill measurements obtained from both tests

Keywords

Classical test theory, Individualized tests, Two-parameter logistic model, Reliability

References

• Baykul, Y. (1979). Örtük özelikler ve klasik test kuramları üzerine bir araştırma (Unpublished Doctoral dissertation). Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
• Bloom, B. (1956). Taxonomy of educational objectives: Handbook I, The cognitive domain. New York: David McKay.
• Bulut, O., & Kan, A. (2012). Application of computerized adaptive testing to entrance examination for graduate studies in Turkey. Eurasian Journal of Educational Research, 49, 61-80.
• Can, S. (2003). Ortaöğretim kurumları öğrenci seçme ve yerleştirme sınavı sözel bölümünün Madde tepki kuramı modellerine göre analizi (Unpublished Doctoral dissertation). Middle East Technical University, Ankara.
• Çalışkan, M. (2000). Madde tepki kuramının (MTK) bir, iki ve üç parametreli modellerinin Milli Eğitim Bakanlığı Eğitimi Araştırma ve Geliştirme Dairesinin (MEB-EARGED) fen bilgisi başarı testi verilerine uygunluğu (Unpublished Doctoral dissertation). Middle East Technical University, Ankara.
• Çelen, Ü. (2008). Comparison of validity and reliability of two tests developed by classical test theory and item response theory. Elementary Education Online, 7(3), 758-768.
• Çelen, Ü., & Aybek, E. C (2013). Öğrenci başarısının öğretmen yapımı bir testle klasik test kuramı ve madde tepki kuramı yöntemleriyle elde edilen puanlara göre karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 4(2), 64-75.
• Çelik, D. (2001). Madde tepki kuramının (MTK) bir-, iki-, ve üç parametreli modellerinin Milli Eğitim Bakanlığı ortaöğretim kurumları öğrenci seçme ve yerleştirme sınavı testi verilerine uygunluğu (Unpublished Doctoral dissertation). Middle East Technical University, Ankara
• Çıkrıkçı-Demirtaşlı, N. (1998). Test geliştirmede yeni yaklaşımlar: Örtük özellikler kuramı – temel özellikleri, varsayımları, model ve sınırlılıkları. Ankara Üniversitesi Eğitim Fakültesi Dergisi, 2(28), 161-173.
• Crocker, L., & Algina, J. (1986). Introduction classical and modern test theory. USA: CBS College Publishing.
• DeMars, C. (2010). Item Response Theory. Oxford: Oxford University Press.
• Demirtaşlı, N., & Arıkan, S. (2009). ÖİS’de MTK uygulamaları. In N. Koç, H. D. Gülleroğlu, & D. T. Coşkuner (Eds.), I. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi Bildiri Kitabı (pp. 225-227). Ankara: Ankara Üniveristesi.
• Erkuş, A. (2003). Psikometri üzerine yazılar. Ankara: Türk Psikologlar Derneği Yayınları.
• Eroğlu, M. G. (2013). Bireyselleştirilmiş bilgisayarlı test uygulamalarında farklı sonlandırma kurallarının ölçme kesinliği ve test uzunluğu açısından karşılaştırılması (Unpublished Doctoral dissertation). Hacettepe Üniversitesi, Ankara.
• Gelbal, S. (1994). pMadde güçlük indeksi ile Rasch modelinin b parametresi ve bunlara dayalı yetenek ölçülerine üzerine bir karşılaştırma. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 10, 85-94.
• Hambelton, R. K. (1994). Item response theory: a broad psychometric framework for measurement advances. Psicothema, 6(3), 535-556.
• Hambleton, R. K., & Swaminathan, H. (1984). Item response theory: Principles and applications. Boston: Kluwer-Nijhoff Publishing.
• Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and application. Kluwer, Nijhoff Publishing.
• Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory (2nd Ed.). California: Sage Publications, Inc.
• Kan, A. (2006). Klasik test teorisine ve örtük özellikler teorisine göre kestirilen madde parametrelerinin karşılaştırılması üzerine ampirik bir çalışma. Mersin University Journal of the Faculty of Education, 2(2), 227-235.
• Kaptan, F. (1994). Yetenek kestiriminde adaptive (bireyselleştirilmiş) test uygulaması ile geleneksel kâğıt-kalem testi uygulamasının karşılaştırılması (Unpublished Doctoral dissertation). Hacettepe Üniversitesi, Ankara.
• Karataş, A. G. (2001). Madde tepki kuramı (MTK) modellerini kullanarak bir İngilizce yeterlilik sınavının ölçeklendirilmesi (Unpublished Doctoral dissertation). Middle East Technical University, Ankara.
• Kelecioğlu, H. (2001). Örtük özellikler teorisindeki b ve a parametreleri ile klasik test teorisindeki p ve r istatistikleri arasındaki ilişki. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20, 104-110.
• Kezer, F., & Koç, N. (2014). Bilgisayar ortamında bireye uyarlanmış test stratejilerinin karşılaştırılması. Eğitim Bilimleri Araştırmaları Dergisi (Journal of Educational Sciences Research, JESR), 4(1), 145-174.
• Kılıç, İ. (1999). Madde tepki kuramının (MTK) bir, iki ve üç parametreli modellerinin Öğrenci Seçme ve Yerleştirme Merkezi’nin (ÖSYM) Öğrenci Seçme Sınavına (ÖSS) uygunluğu (Unpublished Doctoral dissertation). Middle East Technical University, Ankara.
• Lord, F. M. (1970). Some test theory for tailored testing. In W. H. Holtzman (Ed.), Computer assisted instruction, testing, and guidance (pp. 139-183). New York: Harper & Row.
• Lord, F. M., & Novick, M. R. (1968). Statistical Theories of Mental Test Scores. Reading, MA: Addison Wesley.
• Özkurt, S. (2002). Madde tepki kuramı`nın (MTK) bir-, iki-, ve üç- parametreli modellerinin bir İngilizce yeterlik başarı testi verilerine uygunluğu (Unpublished Doctoral dissertation). Middle East Technical University, Ankara.
• Reise, S. P., Ainsworth, A. T., & Haviland, M. G. (2005). Item response theory: Fundamentals, applications, and promise in psychological research. Current Directions in Psychological Science, 14(2), 95-101.
• Turgut, M. F. (1984). Eğitimde Ölçme ve Değerlendirme Metotları. Anakara: Saydam.
• Weiss, D. J. (Ed.). (1983). New Horizons in Testing: Latent Test Theory and Computerized Adaptive Testing. USA: Academic Press.
• Yalçın, M. (1999). Eğitimi araştırma ve geliştirme dairesi başarı testlerinin madde-tepki kuramının bir, iki, üç parametreye uygunluğu (Unpublished Doctoral dissertation). Middle East Technical University, Ankara.
• Yapar, T. (2003). İki parametreli tepki kuramı (MTK) modelinin yetenek kestirimleriyle Başkent Üniversitesi İngilizce yeterlik sınavının yordama geçerliğini inceleme çalışması (Unpublished Doctoral dissertation). Middle East Technical University, Ankara.
• Yeğin, O. P. (2003). Başkent Üniversitesi İngilizce yeterlik sınavının (Büiys) madde Madde Tepki Kuramı`nın (MTK) üç parametreli modelinin kullanımıyla elde edilen yetenek kestirimlerinin yordama geçerliği (Unpublished Doctoral dissertation). Middle East Technical University, Ankara. Please cite as:
• Yaşar, M. (2017). A study on individualized tests. Eğitim Bilimleri Araştırmaları Dergisi - Journal of Educational Sciences Research, 7(2), 269-284. http://ebad-jesr.com/