Research Article
PDF EndNote BibTex RIS Cite

Likert Tipi Ölçeklerde Klasik Test Kuramı ile Rasch Analizinden Elde Edilen Yetenek Kestirimleri Arasındaki Uyumun Test Edilmesi

Year 2017, Volume 18, Issue 1, 244 - 265, 07.07.2017
https://doi.org/10.12984/egeefd.289576

Abstract

Bu araştırmada, Likert tipi ölçeklerde klasik test kuramı (KTK) ile Rasch analizinden elde edilen yetenek kestirimleri göreli uyum, mutlak uyum ve dağılım özellikleri açısından karşılaştırılmıştır. Araştırmanın verileri; 200 öğretmenden oluşan bir çalışma grubuna, 10 madde içeren ve tek faktörlü bir yapıya sahip olan “sınıftaki farklılıklar için öğretmen yeterlikleri” ölçeğinin uygulanması ile toplanmıştır. Çalışmada, KTK ile Rasch modelinde hesaplanan yetenek ölçüleri arasındaki korelasyon katsayısı .95 olarak bulunmuş ve iki kuramla kestirilen yetenek ölçüleri arasında yüksek bir göreli uyum olduğu sonucuna varılmıştır. İlişkili örneklem t-testinden elde edilen bulgular, KTK’da hesaplanan yetenek kestirimlerinin Rasch analizinde ulaşılan yetenek kestirimlerine kıyasla anlamlı derece daha yüksek olduğunu ortaya koymuş ve bu sonuç iki kurama göre kestirilen yetenek puanları arasında mutlak bir uyum bulunmadığına yönelik bir kanıt olarak değerlendirilmiştir. Son olarak, Rasch analizinde kestirilen yetenek puanlarının KTK’dan elde edilen yetenek puanlarına kıyasla daha simetrik ve daha sivri bir dağılıma sahip olduğu saptanmıştır. 

References

  • Anshel, M.H., Weatherby, N.L., Kang, M., & Watson, T. (2009). Rasch calibration of a unidimensional perfectionism inventory for sport. Psychology of Sport and Exercise, 10(1), 210-216. http://dx.doi.org/10.1016/j.psychsport.2008.07.006
  • Awopeju, O.A.,& Afolabi, E.R.I. (2016). Comparative analysis of classical test theory and item response theory based item parameter estimates of senior school certificate mathematics examination. European Scientific Journal, 12(28), http://dx.doi.org/10.19044/esj.2016.v12n28p263
  • Baker, F.B. (2001). The basics of item response theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD.
  • Bickman, L., & Rog, D.R. (2009). Handbook of applied social research methods. Thousand Oaks, CA: Sage Publications.
  • Brinthaupt, T.M., & Kang, M. (2014). Many-faceted rasch calibration: An example using the self-talk scale. Assessment, 21(2) 241-249. http://dx.doi.org/10.1177/1073191112446653
  • Büyüköztürk, Ş. (2010). Sosyal bilimler için veri analizi el kitabı. Ankara: Pegem Akademi Yayıncılık.
  • Courville, T.G. (2004). An empirical comparison of item response theory and classical test theory item/person statistics. Unpublished doctoral dissertation, Texas A&M University, Texas, United States. http://oaktrust.library.tamu.edu/bitstream/handle/1969.1/1064/etd-tamu-2004B-EPSY-Courville-2.pdf?sequence=1&isAllowed=y adresinden alınmıştır.
  • Çelen, Ü., & Aybek, E.C. (2013). Öğrenci başarısının öğretmen yapımı bir testle klasik test kuramı ve madde tepki kuramı yöntemleriyle elde edilen puanlara göre karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 4(2), 64-75. http://dergipark.ulakbim.gov.tr/epod/article/view/1040000004 adresinden alınmıştır.
  • Çıkrıkçı Demirtaşlı, N. (1996). Test geliştirmede yeni yaklaşımlar: Örtük özellikler kuramı-Temel özellikleri, varsayımları, modeller ve sınırlılıklar. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 28(2), 434-445. http://dergiler.ankara.edu.tr/dergiler/40/486/5705.pdf
  • DeMars, C. (2010). Item response theory. Oxford, UK: Oxford University Press.
  • Doğan, N., & Tezbaşaran, A. (2003). Klasik test kuramı ve örtük özellikler kuramının örneklemler bağlamında karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 25, 58-67. http://dergipark.ulakbim.gov.tr/hunefd/article/download/5000048790/5000046110
  • Embretson, S.E., & Reise, S.P. (2000). Item response theory for psychologists. Mahwah, NJ:Lawrence Erlbaum Associates, Inc.
  • Engelhard, G. (1984). Thorndike, Thurstone, and Rasch: A comparison of their methods of scaling psychological and educational tests. Applied Psychological Measurement, 8 (1), 21-38. http://dx.doi.org/10.1177/014662168400800104
  • Fan, X. (1998). Item response theory and classical test theory: an empirical comparison of their item/person statistics. Educational and Psychological Measurement, 58(3), http://dx.doi.org/10.1177/0013164498058003001
  • Gezer, M., & İlhan, M. (2016). Sınıftaki farklılıklar için öğretmen yeterlikleri ölçeğinin Türkçe’ye uyarlaması. Hasan Ali Yücel Eğitim Fakültesi Dergisi, 13(2), 187-200. http://www.journals.istanbul.edu.tr/iuayefd/article/viewFile/5000146180/5000170741 adresinden alınmıştır.
  • Güler, N., Kaya Uyanık G., Taşdelen Teker, G. (2014). Comparison of classical test theory and item response theory in terms of item parameters. European Journal of Research on Education, 2(1), 1-6. http://iassr2.org/rs/020101.pdf adresinden alınmıştır.
  • Haiyang, S. (2010). An application of classical test theory and many facet Rasch measurement in analyzing the reliability of an English test for non-English major graduates. Chinese Journal of Applied Linguistics, 33(2), 87-102. http://www.celea.org.cn/teic/90/10060807.pdf adresinden alınmıştır.
  • Hambleton, R.K., & Jones, R.W. (1993). Comparison of classical test theory and item response theory and their applications to test development. Educational Measurement: Issues and Practice, 12(3), 38-47. http://dx.doi.org/10.1111/j.1745-3992.1993.tb00543.x
  • Hambleton, R.K., Swaminathan, H., & Rogers, H.J. (1991). Fundamentals of item response theory. Newbury Park, CA: SAGE Publications, Inc.
  • Hwang, (2002, February). Classical test theory and İtem response theory: Analytical and empirical comparisons. Paper presented at the Annual Meeting of the Southwest Educational Research Association. http://files.eric.ed.gov/fulltext/ED466779.pdf adresinden alınmıştır.
  • İlhan, M. (2016). Açık uçlu sorularla yapılan ölçmelerde klasik test kuramı ve çok yüzeyli Rasch modeline göre hesaplanan yetenek kestirimlerinin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 31(2), 346-368. http://dx.doi.org/10.16986/HUJE.2016015182
  • Jackson, S. (2008). Research methods: A modular approach. Belmont, CA: Thompson Wadsworth.
  • Jamieson, S. (2004). Likert scales: How to (ab)use them. Medical Education, 38(12), 1212–1218. http://dx.doi.org/10.1111/j.1365-2929.2004.02012.x
  • Kan, A. (2006). Klasik test teorisine ve örtük özellikler teorisine göre kestirilen madde parametrelerinin karşılaştırılması üzerine ampirik bir çalışma. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 2(2), 227-235. http://dergipark.ulakbim.gov.tr/mersinefd/article/view/5000002951/0 adresinden alınmıştır.
  • Kelecioğlu, H. (2011). Örtük özellikler teorisindeki b ve a parametreleri ile klasik test teorisindeki p ve r istatistikleri arasındaki ilişki. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20, 104-110. http://www.efdergi.hacettepe.edu.tr/yonetim/icerik/makaleler/992-published.pdf
  • Kline, R.B. (1994). An easy guide to factor analysis. New York: Routledge.
  • Lawson, S. (1991). One Parameter latent trait measurement: Do the results justify the effort?. In B. Thompson (Ed.), Advances in educational research: Substantive findings, methodological developments (Vol. 1, pp. 159-168). Greenwich, CT: JAI Press.
  • Linacre, J.M. (2014). A user's guide to FACETS Rasch-model computer programs. http://www.winsteps.com/a/facets-manual.pdf adresinden alınmıştır.
  • Macdonald, P., & Paunonen, S.V. (2002). A Monte Carlo comparison of item and person statistics based on item response theory versus classical test theory. Educational and Psychological Measurement, 62(6), 921-943. http://dx.doi.org/10.1177/0013164402238082
  • Martella, R.C., Nelson, J.R., Morgan, R.L., & Marchand Martella, N.E. (2013). Understanding and interpreting educational research. New York: The Guilford Press.
  • Nartgün, Z. (2001). Klasik test kuramındaki cronbach alfa güvenirlik katsayısı ile örtük özellikler kuramındaki bilgi fonksiyonları ve marjinal güvenirlik katsayısının karşılaştırılması. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 1(2), 143-161. http://dergipark.ulakbim.gov.tr/aibuefd/article/view/5000091592 adresinden alınmıştır.
  • Ndalichako, J.L., & Todd Rogers, W. (1997). Comparison of finite state score theory, classical test theory, and item response theory in scoring multiple choice items. Educational and Psychological Measurement, 57(4), 580-589. http://dx.doi.org/10.1177/0013164497057004004
  • Ojerinde, D. (2013, May). Classical test theory (CTT) vs item response theory (IRT): An evaluation of comparability of item analysis results. Lecture Presentation at the Institute of Education, University of Ibadan. http://ui.edu.ng/sites/default/files/PROF%20OJERINDE'S%20LECTURE%20(Autosaved).pdf adresinden alınmıştır.
  • Özer Özkan (2014). Öğrenci başarılarının belirlenmesi sınavından klasik test kuramı, tek ve çok boyutlu madde tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması. International Journal of Human Sciences, 11(1), 20-44. http://dx.doi.org/10.14687/ijhs.v11i1.2739
  • Powell, R.R. (1997). Basic research methods for librarians. Greenwich, CT: Ablex Publishing.
  • Progar, S., & Sočan, G. (2008). An empirical comparison of item response theory and classical test theory. Psihološka obzorja / Horizons of Psychology, 17(3), 5-24. http://www.dlib.si/stream/URN:NBN:SI:DOC-0QF7AGYU/f6e1e8cf-6c06-4644-bf7f-922938b1dc74/PDF adresinden alınmıştır.
  • Stage, C. (1998a). A comparison between item analysis based on item response theory and classical test theory. A study of the SweSAT subtest WORD. (Educational Measurement No 29). Umeå University, Department of Educational Measurement. http://www.edusci.umu.se/digitalAssets/60/60607_enr2998sec.pdf adresinden alınmıştır.
  • Stage, C. (1998b). A comparison between item analysis based on item response theory and classical test theory. A study of the SweSAT subtest ERC. (Educational Measurement No 30). Umeå University, Department of Educational Measurement. http://www.edusci.umu.se/digitalAssets/60/60608_enr3098sec.pdf adresinden alınmıştır.
  • Uysal, M. (2015). Araştırma özyeterlik ölçeğinin psikometrik özelliklerinin klasik test kuramı ve madde tepki kuramına göre incelenmesi. Yayınlanmamış yüksek lisans tezi, Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
  • Van der Linden, W.J., & Hambleton, R.K. (1997). Handbook of modern item response theory. New York: Springer.
  • Wright, B.D. & Linacre, J.M. (1994). Reasonable mean-square fit values. Rasch Measurement Transactions, 8, 370. http://www.rasch.org/rmt/rmt83b.htm adresinden alınmıştır.
  • Zaman, A., Kashmiri, A., Mubarak, M., & Ali, A. (2008, November). Students ranking, based on their abilities on objective type test: Comparison of CTT and IRT. EDU-COM International Conference. http://ro.ecu.edu.au/ceducom/52/ adresinden alınmıştır.

Year 2017, Volume 18, Issue 1, 244 - 265, 07.07.2017
https://doi.org/10.12984/egeefd.289576

Abstract

References

  • Anshel, M.H., Weatherby, N.L., Kang, M., & Watson, T. (2009). Rasch calibration of a unidimensional perfectionism inventory for sport. Psychology of Sport and Exercise, 10(1), 210-216. http://dx.doi.org/10.1016/j.psychsport.2008.07.006
  • Awopeju, O.A.,& Afolabi, E.R.I. (2016). Comparative analysis of classical test theory and item response theory based item parameter estimates of senior school certificate mathematics examination. European Scientific Journal, 12(28), http://dx.doi.org/10.19044/esj.2016.v12n28p263
  • Baker, F.B. (2001). The basics of item response theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD.
  • Bickman, L., & Rog, D.R. (2009). Handbook of applied social research methods. Thousand Oaks, CA: Sage Publications.
  • Brinthaupt, T.M., & Kang, M. (2014). Many-faceted rasch calibration: An example using the self-talk scale. Assessment, 21(2) 241-249. http://dx.doi.org/10.1177/1073191112446653
  • Büyüköztürk, Ş. (2010). Sosyal bilimler için veri analizi el kitabı. Ankara: Pegem Akademi Yayıncılık.
  • Courville, T.G. (2004). An empirical comparison of item response theory and classical test theory item/person statistics. Unpublished doctoral dissertation, Texas A&M University, Texas, United States. http://oaktrust.library.tamu.edu/bitstream/handle/1969.1/1064/etd-tamu-2004B-EPSY-Courville-2.pdf?sequence=1&isAllowed=y adresinden alınmıştır.
  • Çelen, Ü., & Aybek, E.C. (2013). Öğrenci başarısının öğretmen yapımı bir testle klasik test kuramı ve madde tepki kuramı yöntemleriyle elde edilen puanlara göre karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 4(2), 64-75. http://dergipark.ulakbim.gov.tr/epod/article/view/1040000004 adresinden alınmıştır.
  • Çıkrıkçı Demirtaşlı, N. (1996). Test geliştirmede yeni yaklaşımlar: Örtük özellikler kuramı-Temel özellikleri, varsayımları, modeller ve sınırlılıklar. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 28(2), 434-445. http://dergiler.ankara.edu.tr/dergiler/40/486/5705.pdf
  • DeMars, C. (2010). Item response theory. Oxford, UK: Oxford University Press.
  • Doğan, N., & Tezbaşaran, A. (2003). Klasik test kuramı ve örtük özellikler kuramının örneklemler bağlamında karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 25, 58-67. http://dergipark.ulakbim.gov.tr/hunefd/article/download/5000048790/5000046110
  • Embretson, S.E., & Reise, S.P. (2000). Item response theory for psychologists. Mahwah, NJ:Lawrence Erlbaum Associates, Inc.
  • Engelhard, G. (1984). Thorndike, Thurstone, and Rasch: A comparison of their methods of scaling psychological and educational tests. Applied Psychological Measurement, 8 (1), 21-38. http://dx.doi.org/10.1177/014662168400800104
  • Fan, X. (1998). Item response theory and classical test theory: an empirical comparison of their item/person statistics. Educational and Psychological Measurement, 58(3), http://dx.doi.org/10.1177/0013164498058003001
  • Gezer, M., & İlhan, M. (2016). Sınıftaki farklılıklar için öğretmen yeterlikleri ölçeğinin Türkçe’ye uyarlaması. Hasan Ali Yücel Eğitim Fakültesi Dergisi, 13(2), 187-200. http://www.journals.istanbul.edu.tr/iuayefd/article/viewFile/5000146180/5000170741 adresinden alınmıştır.
  • Güler, N., Kaya Uyanık G., Taşdelen Teker, G. (2014). Comparison of classical test theory and item response theory in terms of item parameters. European Journal of Research on Education, 2(1), 1-6. http://iassr2.org/rs/020101.pdf adresinden alınmıştır.
  • Haiyang, S. (2010). An application of classical test theory and many facet Rasch measurement in analyzing the reliability of an English test for non-English major graduates. Chinese Journal of Applied Linguistics, 33(2), 87-102. http://www.celea.org.cn/teic/90/10060807.pdf adresinden alınmıştır.
  • Hambleton, R.K., & Jones, R.W. (1993). Comparison of classical test theory and item response theory and their applications to test development. Educational Measurement: Issues and Practice, 12(3), 38-47. http://dx.doi.org/10.1111/j.1745-3992.1993.tb00543.x
  • Hambleton, R.K., Swaminathan, H., & Rogers, H.J. (1991). Fundamentals of item response theory. Newbury Park, CA: SAGE Publications, Inc.
  • Hwang, (2002, February). Classical test theory and İtem response theory: Analytical and empirical comparisons. Paper presented at the Annual Meeting of the Southwest Educational Research Association. http://files.eric.ed.gov/fulltext/ED466779.pdf adresinden alınmıştır.
  • İlhan, M. (2016). Açık uçlu sorularla yapılan ölçmelerde klasik test kuramı ve çok yüzeyli Rasch modeline göre hesaplanan yetenek kestirimlerinin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 31(2), 346-368. http://dx.doi.org/10.16986/HUJE.2016015182
  • Jackson, S. (2008). Research methods: A modular approach. Belmont, CA: Thompson Wadsworth.
  • Jamieson, S. (2004). Likert scales: How to (ab)use them. Medical Education, 38(12), 1212–1218. http://dx.doi.org/10.1111/j.1365-2929.2004.02012.x
  • Kan, A. (2006). Klasik test teorisine ve örtük özellikler teorisine göre kestirilen madde parametrelerinin karşılaştırılması üzerine ampirik bir çalışma. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 2(2), 227-235. http://dergipark.ulakbim.gov.tr/mersinefd/article/view/5000002951/0 adresinden alınmıştır.
  • Kelecioğlu, H. (2011). Örtük özellikler teorisindeki b ve a parametreleri ile klasik test teorisindeki p ve r istatistikleri arasındaki ilişki. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20, 104-110. http://www.efdergi.hacettepe.edu.tr/yonetim/icerik/makaleler/992-published.pdf
  • Kline, R.B. (1994). An easy guide to factor analysis. New York: Routledge.
  • Lawson, S. (1991). One Parameter latent trait measurement: Do the results justify the effort?. In B. Thompson (Ed.), Advances in educational research: Substantive findings, methodological developments (Vol. 1, pp. 159-168). Greenwich, CT: JAI Press.
  • Linacre, J.M. (2014). A user's guide to FACETS Rasch-model computer programs. http://www.winsteps.com/a/facets-manual.pdf adresinden alınmıştır.
  • Macdonald, P., & Paunonen, S.V. (2002). A Monte Carlo comparison of item and person statistics based on item response theory versus classical test theory. Educational and Psychological Measurement, 62(6), 921-943. http://dx.doi.org/10.1177/0013164402238082
  • Martella, R.C., Nelson, J.R., Morgan, R.L., & Marchand Martella, N.E. (2013). Understanding and interpreting educational research. New York: The Guilford Press.
  • Nartgün, Z. (2001). Klasik test kuramındaki cronbach alfa güvenirlik katsayısı ile örtük özellikler kuramındaki bilgi fonksiyonları ve marjinal güvenirlik katsayısının karşılaştırılması. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 1(2), 143-161. http://dergipark.ulakbim.gov.tr/aibuefd/article/view/5000091592 adresinden alınmıştır.
  • Ndalichako, J.L., & Todd Rogers, W. (1997). Comparison of finite state score theory, classical test theory, and item response theory in scoring multiple choice items. Educational and Psychological Measurement, 57(4), 580-589. http://dx.doi.org/10.1177/0013164497057004004
  • Ojerinde, D. (2013, May). Classical test theory (CTT) vs item response theory (IRT): An evaluation of comparability of item analysis results. Lecture Presentation at the Institute of Education, University of Ibadan. http://ui.edu.ng/sites/default/files/PROF%20OJERINDE'S%20LECTURE%20(Autosaved).pdf adresinden alınmıştır.
  • Özer Özkan (2014). Öğrenci başarılarının belirlenmesi sınavından klasik test kuramı, tek ve çok boyutlu madde tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması. International Journal of Human Sciences, 11(1), 20-44. http://dx.doi.org/10.14687/ijhs.v11i1.2739
  • Powell, R.R. (1997). Basic research methods for librarians. Greenwich, CT: Ablex Publishing.
  • Progar, S., & Sočan, G. (2008). An empirical comparison of item response theory and classical test theory. Psihološka obzorja / Horizons of Psychology, 17(3), 5-24. http://www.dlib.si/stream/URN:NBN:SI:DOC-0QF7AGYU/f6e1e8cf-6c06-4644-bf7f-922938b1dc74/PDF adresinden alınmıştır.
  • Stage, C. (1998a). A comparison between item analysis based on item response theory and classical test theory. A study of the SweSAT subtest WORD. (Educational Measurement No 29). Umeå University, Department of Educational Measurement. http://www.edusci.umu.se/digitalAssets/60/60607_enr2998sec.pdf adresinden alınmıştır.
  • Stage, C. (1998b). A comparison between item analysis based on item response theory and classical test theory. A study of the SweSAT subtest ERC. (Educational Measurement No 30). Umeå University, Department of Educational Measurement. http://www.edusci.umu.se/digitalAssets/60/60608_enr3098sec.pdf adresinden alınmıştır.
  • Uysal, M. (2015). Araştırma özyeterlik ölçeğinin psikometrik özelliklerinin klasik test kuramı ve madde tepki kuramına göre incelenmesi. Yayınlanmamış yüksek lisans tezi, Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
  • Van der Linden, W.J., & Hambleton, R.K. (1997). Handbook of modern item response theory. New York: Springer.
  • Wright, B.D. & Linacre, J.M. (1994). Reasonable mean-square fit values. Rasch Measurement Transactions, 8, 370. http://www.rasch.org/rmt/rmt83b.htm adresinden alınmıştır.
  • Zaman, A., Kashmiri, A., Mubarak, M., & Ali, A. (2008, November). Students ranking, based on their abilities on objective type test: Comparison of CTT and IRT. EDU-COM International Conference. http://ro.ecu.edu.au/ceducom/52/ adresinden alınmıştır.

Details

Subjects Social
Journal Section Articles
Authors

Mustafa İLHAN>
DİCLE ÜNİVERSİTESİ
0000-0003-1804-002X
Türkiye


Neşe GÜLER>
SAKARYA UNIV
Türkiye

Publication Date July 7, 2017
Published in Issue Year 2017, Volume 18, Issue 1

Cite

APA İlhan, M. & Güler, N. (2017). Likert Tipi Ölçeklerde Klasik Test Kuramı ile Rasch Analizinden Elde Edilen Yetenek Kestirimleri Arasındaki Uyumun Test Edilmesi . Ege Eğitim Dergisi , 18 (1) , 244-265 . DOI: 10.12984/egeefd.289576