Comparison of Validity and Reliability of Two Tests Developed by Classical Test Theory and Item Response Theory

Abstract

In constructing the test process after preliminary test try outs two tests have been developed by Classical Test and Item Response Theories. The aim of the research is to compare psychometric characteristics of the item selection of these two tests. The data has been collected from a study group selected from 6th, 7th and 8th grades of elementary school, by a verbal ability test developed by the researcher. All of the research findings support the “another way to reach the same results through different paths” idea of Item Response Theory. In the light of the findings, in order to construct a valid and reliable instrument, the important thing is not selecting the theory, it is applying the necessities on the selected theory.

Keywords

• classical test theory,item response theory,test construction

Klasik Test Kuramı ve Madde Tepki Kuramı Yöntemleriyle Geliştirilen İki Testin Geçerlilik ve Güvenilirliğinin Karşılaştırılması

Öz

Bir temel araştırma olarak planlanan bu çalışmada bir test geliştirme süreinde deneme uygulaması, Klasik Testi Kuramı ve Madde Tepki Kuramı doğrultusunda yapılarak geliştirilen iki testin psikometrik özelliklerinin karşılaştırılması amaçlanmıştır. Araştırmada veriler ilköğretim 6, 7 ve 8. sınıf öğrencilerinden seçilmiş oluşunca çalışma grubundan, araştırmacı tarafından geliştirilen sözel yetenek testi aracılığıyla. Madde seçilince iki ayrı ayrı ayrı donanımyla oluşan nihai elde edilen sonuçlar karşılaştırılmış, elde edilen bulguların, Madde Tepki Kuramı'nın "Farklı yollarla aynı sonuçlara ulaşmanın bir başka yolu" olduğu görüşünü destekler nitelikte görülmüştür. Bu bulgularını hafifletmek ve güvenilir bir araç kullanmak için seçilecek kuramın değil, seçilen kuramın gereklerini yerine getirmenin önemli olduğu vurgulanmıştır

Anahtar Kelimeler

• klasik test kuramı, madde tepki kuramı, test geliştirme

Kaynakça

1. Has been prepared from the thesis titled “Comparison of Psychometric Characteristics of Two Tests Developed by Classical Test Theory and Item Response Theory”.
2. Ph.D., Ankara University, Faculty of Educational Sciences, [e-mail]
3. “Klasik Test Kuramı ve Madde Tepki Kuramına Dayalı Olarak Gelitirilen
   ki Testin Psikometrik Özelliklerinin Karılatırılması” adlı doktora tezi çalımasından hazırlanmıtır.
4. Dr. Ümit ÇELEN, Ankara Üniversitesi Eitim Bilimleri Fakültesi, [e-mail]
5. Baarır-Erden, D.B. (1997). Örtük Özellikler ve Klasik Test Teorisi Yakla
   ımına Dayalı Olarak Geli
   tirilen Likert Tipi Tutum Ölçeinin Psikometrik Özelliklerinin Kar
   ıla
   tırılması. Yayımlanmamı doktora tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
6. Baykul, Y. (1979). Örtük Özellikler ve Klasik Test Kuramları Üzerine Bir Ara
   tırma. Yayımlanmamı doktora tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
7. Baykul, Y. (2000). Eitimde ve Psikolojide Ölçme: Klasik Test Teorisi ve Uygulaması. Ankara: ÖSYM Yayınları.
8. Bruning, J.L., Kintz, B.L. (1993) statistik. Çev.: Dönmez, A. Gündoan Yayınları, Ankara.

9. Büyüköztürk, . (2007).Sosyal Bilimler çin Veri Analizi El Kitabı. 8. Baskı, Pegem A Yayınları, Ankara.
10. Courville, T.G. (2004). An Empirical Comparison of Item Response Theory and Classical Test Theory Item/Person Statistic, Yayımlanmamı doktora tezi, Texas A&M University, Educational and Psychological Measurement. [Online]: Retrieved on 21-November-2007, at URL:Web: http://txspace.tamu.edu/bitstream/handle/1969.1/1064/etd-tamu-2004B-EPSYCourville-2.pdf;jsessionid= 9921EB67B88437D40E179EC843EAFE4C?sequence=1.
11. Crocker, L., Algina, J. (1986). Introduction Classical and Modern Test Theory. USA: CBS College Publishing Company.
12. Çıkrıkçı-Demirtalı N. (1998). Test Gelitirmede Yeni Yaklaımlar: Örtük Özellikler Kuramı - Temel Özellikleri, Varsayımları, Model ve Sınırlılıkları. Ankara Üniversitesi Eitim Fakültesi Dergisi, 2 (28), 161-173.
13. Fan, X. (1998). Item response theory and classical theory: an empirical comparison of their item-person statistic. Educational and Psychological Measurement, v:58 n:3, 357-381
14. Hambelton, R.K. (1990). Item response theory: introduction and bibliography. Psicothema, 2, 1, 97-107
15. Hambelton, R.K. (1994). Item Response theory: a broad psychometric framework for measurement advances. Psicothema, 6, 3, 535-556.
16. Hambelton, R.K., Swaminathan H., and Rogers, H.J. (1991). Fundamentals of Item Response Theory. California: Sage Publications Inc.
17. Hambleton, R.K., Swaminathan H. (1985). Item Response Theory: Principles and Application. Kluwer, Nijhoff Publishing a Member of the Kluwer Academic Publisher Group
18. Harvey, R.J., Hammer A.L. (1999). Item response theory. Counseling Psychologist, Vol:27, No: 3, 353-374.
19. Hwang, D.Y. (2002). Classical Test Theory and tem Response Theory: Analytical and Empirical Comparison. Speeches/meeting paper, presented at the Annual Meeting of the Southwest Educational Research Association (Austin, Feb. 14-16, 2002)
20. Jensen, A.R. (1998). The g Factor: the Science of Mental Ability. (Westport, Preager). Akt.: Nijenhuis, N.T., Evers, A., and Mur, J.P. (2000).
21. Keleciolu, H. (2001). Örtük Özellikler Teorisindeki b ve a Parametreleri ile Klasik Test Teorisindeki p ve r
    statistikleri Arasındaki
    liki. Hacettepe Üniversitesi Eitim Fakültesi Dergisi, 20: 104-110.
22. Kuçu, H., Kuçu, Ü. (1997). Atasözleri ve Deyimler Sözlüü (Geniletilmi Yeni Baskı). Altın Kitaplar Yayınevi, I
    stanbul.
23. Linden, W.J., Hambleton, R.K. (1997) Handbook of Modern Item Response Theory. Springer-Verlag New York Inc.
24. Linn, R.L. (1998). Educational Measurement. New York: Macmillan Publishers.
25. Lord, F.M., Novick, M.R. (1968). Statistical Theories of Mental Test Scores. Addison Wesley Publishing Company, Educational Testing Service.
26. Macdonald, P., Paunonen S.V. (2002). A monte carlo comparison of item and person statistics based on item response theory versus classical test theory. Educational and Psychological Measurement, 62, 921-943. [Online]: Retrieved on 24-November-2007, at URL: http://epm.sagepub.com./cgi/content/ abstract/62/ 6/921.
27. Mende, M., Karabayır, A. (2003). Baımlı
    ki veya Daha Fazla Korelâsyon Katsayısının Karılatırılmasında Kullanılan Test Yöntemleri. Hayvansal Üretim. 44 (2): 91-98.
28. Mislevy, R.J., Bock, R.D. (1990). Item Analysis and Test Scoring with Binary Logistic Models. 2. Ed., Scientific Software, Inc., Mooresville.
29. Nartgün, Z. (2002). Aynı Tutumu Ölçmeye Yönelik Likert Tipi Ölçek ile Metrik Ölçein Madde ve Ölçek Özelliklerinin Klasik Test Kuramı ve Örtük Özellikler Kuramına Göre ncelenmesi. Yayımlanmamı doktora tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
30. Nijenhuis, N.T., Evers, A., and Mur, J.P. (2000). Validity of the differential aptitude test fort the assessment of immigrant children. Educational Psychology, 20, 1, 99-115.
31. Reise, S.P., Ainsworth, A.T., and Haviland, M.G. (2005). Item Response theory. Fundamentals, applications, and promise in psychological research. Current Directions in Psychological Science, 14, 2, 95-101.
32. Stage, C. (1997a). The Applicability of Item Response Models to the SweSAT. A Study of the DTM Subtest. Em No: 21, Report, Sweden Umea University, Department of Educational Measurement. [Online]: Retrieved on 04-December-2007, at URL: http://www.umu.se/ edmeas/publikationer/pdf/EM%21no%2197.pdf.
33. Stage, C. (1997b). The Applicability of Item Response Models to the SwesSAT. A Study of the ERC Subtest. Em No: 24. Report, Sweden Umea University, Department of Educational Measurement. [Online]: Retrieved on 04-December-2007, at URL: http://www.umu.se/ edmeas/publikationer/pdf/EM%24no%2497.pdf.
34. Stage, C. (1997c). The Applicability of Item Response Models to the SweSAT a Study of the READ Subtest. Em No: 25. Report, Sweden Umea University, Department of Educational Measurement. [Online]: Retrieved on 04-December-2007, at URL: http://www.umu.se/ edmeas/publikationer/pdf/EM%25no%2597.pdf.
35. Stage, C. (1997d). The Applicability of Item Response Models to the SweSAT. A Study of the WORD Subtest. Em No: 26. Report, Sweden Umea University, Department of Educational Measurement. [Online]: Retrieved on 04-December-2007, at URL: http://www.umu.se/ edmeas/publikationer/pdf/EM%26no%2697.pdf.
36. Stage, C. (1998a). A Comparison Between Item Analysis Based on Item Response Theory and Classical Test Theory. A Study of the SweSAT Subtest WORD. Report, Sweden Umea University, Department of Educational Measurement. [Online]: Retrieved on 04-December-2007, at URL: http://www.umu.se/edmeas/publikationer/pdf/enr2998sec.pdf.
37. Stage, C. (1998b). A Comparison Between Item Analysis Based on Item Response Theory and Classical Test Theory. A Study of the SweSAT Subtest ERC. Report, Sweden Umea University, Department of Educational Measurement. [Online]: Retrieved on 04-December-2007, at URL: http://www.umu.se/edmeas/publikationer/pdf/enr3098sec.pdf.
38. Stage, C. (1999a). A Comparison Between Item Analysis Based on Item Response Theory and Classical Test Theory. A Study of the SweSAT Subtest READ. Report, Sweden Umea University, Department of Educational Measurement. [Online]: Retrieved on 04-December-2007, at URL:http://www.umu.se/edmeas/publikationer/pdf/enr3399sec.pdf.
39. Stage, C. (1999b). Predicting Gender Differences in WORD Items. A Comparison of Item Response Theory and Classical Test Theory. Report, Sweden Umea University, Department of Educational Measurement. [Online]: Retrieved on 04-December-2007, at URL: http://www.umu.se/edmeas/publikationer/pdf/enr3499sec.pdf.
40. Stage, C. (2003). Classical Test Theory or Item Response Theory: The Swedish Experience. Em No: 42, Report, Sweden Umea University, Department of Educational Measurement. [Online]: Retrieved on 04-December2007, at URL: http://www.umu.se/edmeas/publikationer/ pdf/em%20no%2042.pdf.
41. Türk Dil Kurumu (2005a). Türkçe Sözlük. Türk Dil Kurumu, Ankara.
42. Türk Dil Kurumu (2005b). lköretim Okulları çin Türkçe Sözlük. Türk Dil Kurumu, Ankara.
43. Türk Dil Kurumu (2005c). lköretim Okulları çin Yazım Kılavuzu. Türk Dil Kurumu, Ankara.
44. Warrens, M.J., Gruijter, D.N.M., Heiser, W.J. (2007). A Systematic Comparison Between Classical Optimal Scaling and the Two-Parameter IRT Model. Applied Psychological Measurement, 31, 2, 106-120. [Online]: Retrieved on 21-November-2007, at URL: http://apm.sagepub.com./cgi/content/abstract/ 31/2/106.
45. Wilson, M., Allen, D.D., Li, J.C. (2006). Improving measurement in health education and health behavior research using item response modeling: comparisons with the classical test theory approach. Health Education Research Theory and Practice. 21, 19-32.