İkili Karşılaştırmalarla Ölçekleme Yöntemi ile Rasch Analizinden Elde Edilen Ölçek Değerlerinin Karşılaştırılması

Year 2018, Volume: 19 Issue: 1, 31 - 48, 30.04.2018

Neşe Güler , Mustafa İlhan , Gülşen Taşdelen Teker

https://doi.org/10.17679/inuefd.400386

Cited By: 2

Abstract

Bu araştırmada, ikili karşılaştırmalarla ölçekleme yöntemi ile Rasch
analizinden elde edilen ölçek değerlerinin karşılaştırılması amaçlanmıştır.
Araştırma 2015-2016 öğretim yılı bahar döneminde 185 üniversite öğrencisi
üzerinde yürütülmüştür. Çalışmanın verileri iki adımda toplanmıştır. Birinci
adımda katılımcılardan ölçme ve değerlendirme dersi kapsamında işlenen altı
konuyu ikişerli karşılaştırmaları ve karşılaştırdıkları iki konudan hangisinin
kendileri için daha zor olduğunu bildirmeleri istenmiştir. Bu şekilde toplanan
veriler üzerinden ikili karşılaştırmalarla ölçekleme çalışması yürütülmüştür.
İkinci adımda, katılımcıların aynı altı konuyu güçlük düzeyleri bakımından
kolay, orta ve zor şeklinde derecelemeleri istenmiştir. Bu uygulamadan elde
edilen veriler ise Rasch modeline göre analiz edilmiştir. Araştırmada,
konuların güçlük düzeyleri için ikili karşılaştırmalarla ölçekleme yöntemi ve
Rasch analizi sonucunda ulaşılan sıralamaların aynı olduğu görülmüştür.
Sıralamanın yanı sıra konuların güçlük düzeylerine ilişkin eşit aralıklı ölçek
düzeyinde hesaplanan değerlerin birbirlerine yakınlığı/uzaklığı da her iki
yöntemde aynı çıkmıştır. Bu sonuçlar, ikili karşılaştırmalarla ölçekleme
yönteminde ve Rasch analizinde hesaplanan ölçek değerlerinin tutarlı olduğunu
ortaya koymaktadır.

Keywords

Thurstone, ikili karşılaştırmalarla ölçekleme, Rasch analizi, eşit aralıklı ölçek

Comparing the Scale Values Obtained from Pairwise Comparison Scaling Method and Rasch Analysis

Abstract

This study aims
to compare the scale values obtained from pairwise comparison scaling method
and Rasch Analysis. The study was conducted with 185 university students in
the Spring Semester of 2015-2016 academic year. The data were collected in two
stages. At the first stage, the participants were asked to make a pairwise
comparison of six subjects taught in the Measurement and Evaluation course and
to say which one was more difficult for them. Using the data collected in this
way, scaling was performed through pairwise comparisons. At the second stage,
the participants were asked to grade the six subjects as easy, medium and
difficult by taking the difficulty levels of the subjects into consideration.
The data obtained from this application were analyzed according to the Rasch
model. It was observed that the ordering made in relation to the difficulty
levels of the subjects through pairwise comparison method and through Rasch
analysis was the same. Besides ordering, the closeness of the difficulty
levels of the subjects were also found similar in both methods. These results
demonstrate that the scaling values calculated in pairwise comparison scaling
method and in Rasch analysis are compatible.  

Keywords

Thurstone, scaling with pairwise comparison, Rasch analysis, interval scale

References

• Akın Arıkan, Ç., Uğurlu, S., & Atar, B. (2016). MIMIC, SIBTEST, lojistik regresyon ve Mantel-Haenszel yöntemleriyle gerçekleştirilen DMF ve yanlılık çalışması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 31(1), 34-52. http://dx.doi.org/10.16986/HUJE.2015014226
• Andrich, D. (1978a). A rating formulation for ordered response categories. Psychometrika, 43(9), 561-573. http://dx.doi.org/10.1007/BF02293814
• Andrich, D. (1978b). Relationships between the Thurstone and Rasch approaches to item scaling. Applied Psychological Measurement, 2(3), 449-460. http://dx.doi.org/10.1177/014662167800200319
• Anıl, D., Ertuna, L., & Uysal, İ. (2015). Türkiye’deki araştırma görevlilerinin mesleki sorunlarının ikili karşılaştırma yoluyla ölçeklenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(2), 279-292. http://dx.doi.org/10.21031/epod.14618
• Anıl, D., & Güler, N. (2006). İkili karşılaştırmalar yöntemi ile ölçekleme çalışmasına bir örnek. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30, 30-36. http://www.efdergi.hacettepe.edu.tr/yonetim/icerik/makaleler/722-published.pdf adresinden edinilmiştir.
• Arık, R.S., & Kutlu, Ö. (2013). Öğretmenlerin ölçme ve değerlendirme alanı yeterliklerinin yargıcı kararlarına dayalı ölçeklenmesi. Eğitim Bilimleri Araştırmaları Dergisi, 3(2), 163-196. http://dx.doi.org/10.12973/jesr.2013.3210a
• Atılgan, H. (2004). Genellenebilirlik kuramı ve çok değişkenlik kaynaklı Rasch modelinin karşılaştırılmasına ilişkin bir araştırma. Yayınlanmamış Doktora Tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
• Atılgan, H. (Ed.). (2013). Eğitimde ölçme ve değerlendirme. Ankara: Anı.
• Bahar, M., Nartgün, Z., Durmuş, S., & Bıçak, B. (2010). Geleneksel-tamamlayıcı ölçme ve değerlendirme teknikleri. Ankara: Pegem Akademi.
• Baker, F.B. (2001). The basics of item response theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD.
• Başol, G. (2013). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
• Baykul, Y. (1996). İstatistik metotlar ve uygulamalar. Ankara: Lazer Ofset.
• Baykul, Y. (2010). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: Pegem Akademi.
• Brentari, E., & Golia, S. (2008). Measuring job satisfaction in the social services sector with the Rasch model. Journal of Applied Measurement, 9(1), 45-56. Retrieved from https://www.researchgate.net/publication/5668940_Measuring_job_satisfaction_in_the_social_services_sector_with_the_Rasch_model.
• Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Florida: Holt, Rinehart and Winston. Çıkrıkçı Demirtaşlı, N. (Ed.). (2012). Eğitimde ölçme ve değerlendirme. Ankara: Öz Baran Ofset.
• DeMars, C. (2010). Item response theory. Oxford, UK: Oxford University.
• Doğan, N. (2002). Klasik test teorisi ve örtük özellikler kuramının örneklemeler bağlamında karşılaştırılması. Yayınlanmamış Doktora Tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
• Doğan, N., & Öğretmen, T. (2008). Değişen madde fonksiyonunu belirlemede Mantel Haenszel, ki‐kare ve lojistik regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 35(156), 3-16. http://egitimvebilim.ted.org.tr/index.php/EB/article/viewFile/679/130 adresinden edinilmiştir.
• Engelhard, G. (1984). Thorndike, Thurstone, and Rasch: A comparison of their methods of scaling psychological and educational tests. Applied Psychological Measurement, 8(1), 21-38. http://dx.doi.org/10.1177/014662168400800104
• Erkuş, A. (2012). Psiklojide ölçme ve ölçek geliştirme-I. Ankara: Pegem Akademi.
• Ertoprak, D.G. (2015). Üniversite tercihlerinde etkili olabilecek özellikleri belirlemeye yönelik bir ölçekleme çalışması. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 4(2), 153-174. http://dx.doi.org/10.17539/aej.96310
• Gömleksiz, M., & Erkan, S. (Ed.). (2010). Eğitimde ölçme ve değerlendirme. Ankara: Nobel.
• Güler, N. (2012). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
• Güler, N., & Anıl, D. (2009). Scaling through pair-wise comparison method in required characteristics of students applying for post graduate programs. International Journal of Human Sciences, 6(1), 627-639. Retrieved from https://j-humansciences.com/ojs/index.php/IJHS/article/download/673/365.
• Hall, R. (2008). Applied social research: Planning, designing and conducting real-world research. South Yarra, Australia: Palgrave Macmillan.
• Jackson, S. (2008). Research methods: A modular approach. Belmont, CA: Thompson Wadsworth.
• Jansen, P.G.W. (1984). Relationships between the Thurstone, Coombs, and Rasch approaches to item scaling. Applied Psychological Measurement, 8(4), 373-383. http://dx.doi.org/10.1177/014662168400800401
• Johnson, B., & Christensen, L. (2014). Educational research: Quantitative, qualitative, and mixed approaches. Thousand Oaks, CA: Sage.
• Kan, A. (2008a). Yargıcı kararlarına dayalı ölçekleme yöntemlerinin karşılaştırılması üzerine ampirik bir çalışma. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 35, 186-194. http://www.efdergi.hacettepe.edu.tr/yonetim/icerik/makaleler/552-published.pdf adresinden edinilmiştir.
• Kan, A. (2008b). Psikolojik değişkenleri ölçmek için kullanılan ölçekleme yaklaşımları üzerine bir karşılaştırma. Eğitimde Kuram ve Uygulama, 4(1), 2-18. http://eku.comu.edu.tr/article/download/1044000044/1044000127 adresinden edinilmiştir.
• Köse, İ.A., & Öztemur, B. (2014). Kayıp veri ele alma yöntemlerinin t-testi ve anova parametreleri üzerine etkisinin incelenmesi. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 14(1), 400-412. http://dx.doi.org/10.17240/aibuefd.2014.14.1-5000091519
• Linacre, J.M. (1989). Many-facet Rasch measurement. Chicago: MESA.
• Linacre, J.M. (2002). Optimizing rating scale category effectiveness. Journal of Applied Measurement, 3(1), 85-106. Retrieved from http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.424.2811&rep=rep1&type=pdf.
• Linacre, J.M. (2012). Many-facet Rasch measurement: Facets tutorial. Retrieved from http://www.winsteps.com/a/ftutorial2.pdf.
• Linacre, J.M. (2014). A user's guide to FACETS Rasch-model computer programs. Retrieved from http://www.winsteps.com/a/facets-manual.pdf.
• Lunz, M.E., & Stahl, J.A. (1990, April). Severity of grading across time periods. Paper presented at the Annual Meeting of the American Educational Research Association, Boston. Retrieved from http://files.eric.ed.gov/fulltext/ED317602.pdf.
• Lunz, M.E., Wright, B.D., & Linacre, J.M. (1990). Measuring the impact of judge severity on examination scores. Applied Measurement in Education, 3(4), 331-345. http://dx.doi.org/10.1207/s15324818ame0304_3
• Martella, R.C., Nelson, J.R., Morgan, R.L., & Marchand Martella, N.E. (2013). Understanding and interpreting educational research. New York: The Guilford.
• Masters, G.N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47(2), 149-174. http://dx.doi.org/10.1007/BF02296272
• Myford, C.M., & Wolfe, E.W. (2003). Detecting and measuring rater effects using many-facet Rasch measurement: Part I. Journal of Applied Measurement, 4(4), 386-422. Retrieved from https://www.researchgate.net/publication/9069043_Detecting_and_Measuring_Rater_Effects_Using_Many-Facet_Rasch_Measurement_Part_I.
• Nakamura, N. (2002). Teacher assessment and peer assessment in practice. Educational Studies, 44, 143. 204-215. Retrieved from https://ia800200.us.archive.org/4/items/ERIC_ED464483/ERIC_ED464483.pdf.
• O’Neill, T.R., & Lunz, M.E. (1996, April). Examining the invariance of rater and project calibrations using a multi-facet Rasch model. Paper
• Presented at the Annual Meeting of the American Educational Research Association, New York. Retrieved from http://files.eric.ed.gov/fulltext/ED398284.pdf.
• Polat, B., & Göksel, H.G. (2014). Öğretmen adaylarının sosyal aktivite tercihlerinin ikili karşılaştırmalı ölçekleme yöntemiyle belirlenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 88-100. http://epodder.dergipark.gov.tr/download/article-file/65953 adresinden edinilmiştir.
• Powell, R.R. (1997). Basic research methods for librarians. Greenwich, CT: Ablex.
• Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen, Denmark: Danish Institute for Educational Research.
• Schaefer, E. (2008). Rater bias patterns in an EFL writing assessment. Language Testing, 25(4), 465-493. http://dx.doi.org/10.1177/0265532208094273
• Sudweeks, R.R., Reeve, S., & Bradshaw, W.S. (2005). A comparison of generalizability theory and many-facet Rasch measurement in an analysis of college sophomore writing. Assessing Writing, 9(3), 239-261. http://dx.doi.org/10.1016/j.asw.2004.11.001
• Şahin Kürşad & Nartgün (2015). Kayıp veri sorununun çözümünde kullanılan farklı yöntemlerin ölçeklerin geçerlik ve güvenirliği bağlamında karşılaştırılması. Eğitimde ve psikolojide ölçme ve değerlendirme dergisi, 6(2), 25-267. http://dx.doi.org/10.21031/epod.95917
• Tan, Ş. (2015). Öğretimde ölçme ve değerlendirme KPSS el kitabı. Ankara: Pegem Akademi.
• Tekindal, S. (2009). Duyuşsal özelliklerin ölçülmesi için araç oluşturma. Ankara: Pegem Akademi.
• Thurstone, L.L. (1927). A law of comparative judgment. Psychological Review, 34(4), 273-286. http://dx.doi.org/10.1037/h0070288
• Torgerson, W.S. (1958). Theory and methods of scaling. Newyork: John Wiley & Sons Inc.
• Turgut, M.F., & Baykul, Y. (1992). Ölçekleme teknikleri. Ankara: ÖSYM.
• Wainer, H., Fairbank, D.T., & Hough, R.L. (1978). Predicting the impact of simple and compound life change events. Applied Psychological Measurement, 2(3), 311-320. http://dx.doi.org/10.1177/014662167800200301
• Walker, E.R., Engelhard, G., & Thompson, N.J. (2012). Using Rasch measurement theory to assess three depression scales among adults with epilepsy. Seizure, 21(6), 437-443. http://dx.doi.org/10.1016/j.seizure.2012.04.009
• Wright, B.D. & Linacre, J.M. (1994). Reasonable mean-square fit values. Rasch Measurement Transactions, 8, 370. Retrieved from http://www.rasch.org/rmt/rmt83b.htm.
• Wright, B.D. & Masters, G. (1982). Rating scale analysis: Rasch measurement. Chicago: MESA.