The Effect of Rubric Type On Raters’ Behaviors in Scoring Non-Routine Mathematics Problems

Abstract

In this study, the effects of scoring the mathematics achievement test, which consists of non-routine mathematics problems, with analytical and holistic rubrics on rater behavior were examined with the many-facet Rasch measurement model. Survey model, one of the descriptive research methods, was used. An achievement test consisting of 15 different non-routine mathematics problems prepared by the researcher was administered to the students in two different sessions in two days. According to research, it was seen that model data fit was achieved on the rater, individual and item surfaces in all scoring. Additionally, it was observed that individuals were differentiated according to their ability levels and the difficulty levels of the items were different. Scoring with analytical rubric gives relatively more reliable results in terms of rater surface than scoring with holistic rubric; when the rater surfaces were compared, it was determined that the levels of rater severity/leniency in scoring using analytical rubric were higher than in scoring using holistic rubric. When rater behaviors were examined, rater strictness and generosity behaviors were higher in raters using holistic rubrics than raters using analytical rubrics; It was determined that bias behaviors were less.

Keywords

• Analytical rubric
• Holistic rubric
• Many-facet Rasch model
• Non-routine math problem
• Rater behavior

Dereceli Puanlama Anahtarı Türünün Rutin Olmayan Matematik Problemlerinin Puanlanmasında Puanlayıcı Davranışları Üzerine Etkisi

Abstract

Bu araştırmada, rutin olmayan matematik problemlerinden oluşan matematik başarı testinin analitik ve bütünsel dereceli puanlama anahtarları (DPA) ile puanlanmasının puanlayıcı davranışları üzerine etkileri Çok Yüzeyli Rasch Ölçme Modeli ile incelenmiştir. Çalışma grubu, rutin olmayan matematik problemlerinden oluşan başarı testinin uygulandığı öğrenci grubu ve cevaplanan başarı testini değerlendiren puanlayıcılar olmak üzere iki farklı kısımdan oluşmaktadır. Bu çalışmada, betimsel araştırma yöntemlerinden tarama modeli kullanılmıştır. Bu çalışmada, araştırmacı tarafından hazırlanmış, 15 farklı rutin olmayan matematik probleminden oluşan başarı testi, iki farklı oturum şeklinde, iki günde öğrencilere uygulanmıştır. Çalışmanın bulguları incelendiğinde, yapılan tüm puanlamalarda, puanlayıcı, birey ve madde yüzeylerinde model veri uyumunun sağlandığı görülmüştür. Ayrıca, bireylerin yetenek düzeylerine göre ayrıştığı ve maddelerin güçlük düzeylerinin farklı olduğu görülmüştür. Analitik DPA ile yapılan puanlamanın bütünsel DPA ile yapılan puanlamaya göre, puanlayıcı yüzeyi bakımından göreceli olarak daha güvenilir sonuçlar verdiği; puanlayıcı yüzeyleri karşılaştırıldığında ise, analitik DPA kullanılan puanlamalarda puanlayıcı katılık/cömertlik düzeylerinin, bütünsel DPA kullanılan puanlamalardan daha fazla olduğu belirlenmiştir. Ayrıca, analitik DPA kullanılan puanlamalar arasındaki uyumun, bütünsel DPA kullanılan puanlamalardan daha düşük olduğu sonucuna varılmıştır. Puanlayıcı davranışları incelendiğinde, bütünsel dereceli puanlama anahtarı kullanan puanlayıcılardan, analitik dereceli puanlama anahtarı kullanan puanlayıcılara göre puanlayıcı katılık ve cömertlik davranışları gösteren puanlayıcı sayısının daha fazla olduğu; yanlılık davranışlarının ise daha az olduğu belirlenmiştir.

Keywords

• Analitik dereceli puanlama anahtarı
• Bütünsel dereceli puanlama anahtarı
• Çok yüzeyli Rasch modeli
• Puanlayıcı davranışları

References

1. Akgün, M. (2016). Yüksek öğretimde ideal öğretim elemanı nasıl olmalıdır? Kaygı Uludağ Üniversitesi Fen-Edebiyat Fakültesi Felsefe Dergisi, 26, 197-204. https://doi.org/10.20981/kuufefd.97116
2. Alharby, E.R. (2006). A comparison between two scoring methods, holistic vs. analytic using two measurement models, generalizability theory and the many facet Rasch measurement within the context of performance assessment. [Doctoral Dissertation, Pennsylvenia State University].
3. Alkan, H. (1999). Matematikte ölçme ve değerlendirme, A. Özdaş (Ed.), Matematik öğretimi içinde (ss. 93-110). Anadolu Üniversitesi Açık Öğretim Fakültesi.
4. Altun, M. (2014). Ortaokullarda matematik öğretimi. Aktüel.
5. Altun, M. (2020). Matematik okuryazarlığı el kitabı-yeni nesil soru yazma ve öğretim düzenleme teknikleri. Aktüel.
6. Anastasi, A. (1988). Psychological testing. Macmillan.
7. Archbald, D.A., & Grant, T.J. (2000) What's on the test? An analytical framework and findings from an examination of teachers' math tests. Educational Assessment, 6(4), 221-256. http://dx.doi.org/10.1207/S15326977EA0604_2
8. Arıkan, S. (2023). Rutin olmayan problemler nedir ve nasıl hazırlanır? Kanguru Matematik Derneği Yayınevi.

9. Arter, J., & McTighe, J. (2001). Scoring rubrics in the classroom: Using performance criteria for assessing and improving student performance. Corwin Press, Inc.
10. Aypay, A. (Ed.). (2015). Araştırma yöntemleri desen ve analiz. Anı.
11. Bachman, L.F. (2004). Statistical analyses for language assessment. Cambridge University Press. https://doi.org/10.1017/CBO9780511667350
12. Badia, G. (2019). Holistic or analytic rubrics? Grading information literacy instruction. College & Undergraduate Libraries, 26(2), 109–116. https://doi.org/10.1080/10691316.2019.1638081
13. Bağcan Büyükturan, E. & Çıkrıkçı Demirtaşlı, N. (2013). Çoktan seçmeli testler ile yapılandırılmış gridlerin psikometrik özellikleri bakımından karşılaştırılması. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 46(1), 395-415.
14. Bargainnier, S. (2003). Fundamentals of rubrics. http://www.webpages.uidaho.edu/ele/scholars/Practices/Evaluating_Projects/Resources/Using_Rubrics.pdf
15. Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. ÖSYM.
16. Bıkmaz Bilgen, Ö., & Doğan, N. (2017). Puanlayıcılar arası güvenirlik belirleme tekniklerinin karşılaştırılması. Journal of Measurement and Evaluation in Education and Psychology, 8(1), 63-78. https://doi.org/10.21031/epod.294847
17. Bloom, W. & Niss, M. (1991). Applied mathematical problem solving, modelling, applications and links to other subjects. Educational Studies in Mathematics, 22, 37-68. https://doi.org/10.1007/BF00302716
18. Brookhart, S. M. (2013). How to create and use rubrics for formative assessment and grading. ASCD.
19. Brookhart, S. M. (2013). Dereceli puanlama anahtarlarının hazırlanması ve uygulanması. (İ. Karakaya, & F.N., Fişne, Çev.). Pegem A Yayıncılık.
20. Chukwuere, J.E. (2021). The comparisons between the use of analytic and holistic rubrics in information systems discipline. Academia Letters, Article 3579. https://doi.org/10.20935/AL3579.
21. Crocker, L. M., & Algina, L. (1986). Introduction to classical and modern test theory. Holt, Rinehart and Winston.
22. Cronbach, L.I. (1990). Essentials of psychological testing. Harper and Row.
23. Ebel, R.L. (1951). Estimation of the reliability of ratings. Psychometrika, 16(4), 407- 424. https://psycnet.apa.org/doi/10.1007/BF02288803
24. Eckes, T. (2015). Introduction to many-facet Rasch measurement: Analyzing and evaluating rater-mediated assessments. Peter Lang.
25. Gürbüz, R., & Güder, Y. (2016). Matematik öğretmenlerinin problem çözmede kullandıkları stratejiler. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi (KEFAD) 17(2), 371-386.
26. Güler, N. (2008). Klasik test kuramı, genellenebilirlik kuramı ve Rasch modeli üzerine bir araştırma. (Yayın No. 257569) [Doktora Tezi, Hacettepe Üniversitesi]. YÖK. https://tez.yok.gov.tr
27. Güler, N. & Taşdelen Teker, G. (2015). Açık uçlu maddelerde farklı yaklaşımlarla elde edilen puanlayıcılar arası güvenirliğin değerlendirilmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(1), 12-24. https://doi.org/10.21031/epod.63041
28. Gölcür, Z. (2022). Çok yüzeyli̇ Rasch modeli̇ puanlama desenlerine göre açık uçlu maddelerin puanlayıcılar arası güvenirliklerinin karşılaştırılması. (Yayın No. 708236) [Yüksek Lisans Tezi, Gazi Üniversitesi]. YÖK. https://tez.yok.gov.tr
29. Görgülü Öztürk, B. (2023). Açık uçlu maddelerinin puanlanmasında öğrencilere verilen puanlayıcı eğitiminin puanlayıcı davranışlarına etkisinin çok yüzeyli Rasch ölçme modeli ile incelenmesi. (Yayın No. 839567) [Yüksek Lisans Tezi, Gazi Üniversitesi]. YÖK. https://tez.yok.gov.tr
30. Haladyna, T. M. (1997). Writing test items to evaluate higher order thinking. Allyn and Bacon.
31. Haladyna, T. M. & Rodriguez, M. C. (2013) Developing and validating test items. Routledge. https://doi.org/10.4324/9780203850381
32. Hoyt, W.T. (2000). Rater bias in psychological research: When is it a problem and what can we do about it? Psychological Methods, 5(1), 64-86. https://psycnet.apa.org/doi/10.1037/1082-989X.5.1.64
33. Işık, C. & Kar T. (2012). Sınıf öğretmeni adaylarının problem kurma becerileri. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 23(1), 190-214.
34. İlhan, M. (2015). Standart ve Solo taksonomisine dayalı rubrikler ile puanlanan açık uçlu matematik sorularında puanlayıcı etkilerinin çok yüzeyli Rasch modeli ile incelenmesi. (Yayın No. 398394) [Doktora Tezi, Gaziantep Üniversitesi]. YÖK. https://tez.yok.gov.tr
35. İlhan, M. & Çetin, B. (2014). Performans değerlendirmeye karışan puanlayıcı etkilerini azaltmanın yollarından biri olarak puanlayıcı eğitimleri. Journal of Europan Education, 4(2), 29-38. https://doi.org/10.18656/jee.77087
36. Jönsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130-144. https://doi.org/10.1016/j.edurev.2007.05.002
37. Jönsson, A., Balan, A., & Hartell, E. (2021). Analytic or holistic? A study about how to increase the agreement in teachers’ grading. Assessment in Education: Principles, Policy & Practice, 28(3), 212–227. https://doi.org/10.1080/0969594X.2021.1884041
38. Kantrov, I. (2000). Assessing students’ mathematics learning. Issues in Mathematics Education (pp. 1-11). Educational Development Center.
39. Karakaya, İ. (Ed.). (2022). Açık uçlu soruların hazırlanması, uygulanması ve değerlendirilmesi. Pegem Akademi.
40. Karakaya, İ. & Fişne, F. N. (Ed.). (2023). Dereceli puanlama anahtarlarının hazırlanması ve uygulanması. Pegem A Yayıncılık.
41. Karasar, N. (2020). Bilimsel araştırma yöntemi. Nobel.
42. Klein, S.P., Stecher, B.M., Shavelson, R.J., McCaffrey, D., Ormseth, T., Bell, R.M., Comfort, K., & Othman, A.R. (1998) Analytic versus holistic scoring of science performance tasks. Applied Measurement in Education, 11(2), 121- 137. DOI: 10.1207/s15324818ame1102_1
43. Kubiszyn, T., & Borich, G. (2013). Educational testing and measurement: Classroom application and practice (10th ed.). John Wiley & Sons, Inc.
44. Kumar, DSP D. (2005). Performance appraisal: The importance of rater training. Journal of the Kuala Lumpur Royal Malaysia Police College, 4, 1-15.
45. Kutlu, Ö., Doğan, C. D., & Karakaya, İ. (2014). Performansa ve portfolyoya dayalı durum belirleme. Pegem. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28, 563-575.
46. Linacre, J. M. (2017). A user’s guide to FACETS: Rasch-model computer programs. MESA Press.
47. Mertler, C. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). http://pareonline.net/getvn.asp?v=7&n=25
48. Milli Eğitim Bakanlığı (2015). Akademik becerilerin izlenmesi ve değerlendirilmesi (ABİDE) projesi. http://abide.meb.gov.tr/proje-hakkinda.asp
49. Moore, B.B. (2009). Consideration of rater effects and rater design via signal detection theory. [Unpublished Doctoral Dissertation]. Columbia University.
50. Moskal, B.M. (2000). Scoring rubrics: What, when, how? Practical Assessment, Research and Evaluation, 7(3). http://pareonline.net/getvn.asp?v=7&n=3
51. Myford, C.M., & Wolfe, E.W. (2004). Detecting and measuring rater effects using many-facet Rasch measurement: Part II. Journal of Applied Measurement, 5(2), 189-227.
52. Nakamura, Y. (2002). Teacher assessment and peer assessment in practice. Educational Studies, 44, 45-85.
53. Nelson, N.W., & Van Meter, A.M. (2007). Measuring written language ability in narrative samples. Reading & Writing Quarterly, 23(3), 287-309. https://psycnet.apa.org/doi/10.1080/10573560701277807
54. Nitko, A.J. (2004). Educational assessment of students. Pearson.
55. Petkov, D., & Petkova, O. (2006). Development of scoring rubrics for IS projects as an assessment tool. Issues in Informing Science and Information Technology, 3, 499-510. DOI:10.28945/910
56. Polya, G. (1973). How to solve it: A new aspect of mathematical method (2nd ed.). Princeton University Press.
57. Popham, W.J. (1997). What’s wrong-and what’s right-with rubrics. Educational Leadership, 55(2), 72-75.
58. Reddy, M.Y. (2010). Design and development of rubrics to improve assessment outcomes. A pilot study in a master's level business program in india. Quality Assurance in Education, 19(1), 84-104.
59. Royal, K. D., & Hecker, K. G. (2016). Rater errors in clinical performance assessments. Journal of veterinary medical education, 43(1), 5-8. https://doi.org/ 10.3138/ jvme.0715-112R
60. Saal, F. E., Downey, R. G. & Lahey, M. A. (1980). Rating the ratings: Assessing the psychometric quality of rating data. Psychological Bulletin, 88, 413-428. https://doi.org/10. 1037/0033-2909.88.2.413
61. Stevens, S. S. (1951). Mathematics, measurement and psychophysics. In S. S. Stevens (Eds.), Handbook of Experimental Psychology (22). John Wiley and Sons.
62. Sudweeks, R. R., Reeve, S., & Bradshaw, W. S. (2005). A comparison of generalizability theory and many-facet Rasch measurement in an analysis of college sophomore writing. Assessing Writing, 9, 239-261. https://doi.org/10.1016/j.asw.2004.11.001
63. Şahin, M. G., Güler, N., & Taşdelen Teker, G. (2016). An analysis of peer assessment through many facet Rasch model. Journal of Education and Practice, 7(32), 172-181.
64. Şata, M. (2019). Performans değerlendirme sürecinde puanlayıcı eğitiminin puanlayıcı davranışları üzerindeki etkisinin incelenmesi. (Yayın No. 626117) [Doktora Tezi, Gazi Üniversitesi]. YÖK. https://tez.yok.gov.tr
65. Şata, M. & Karakaya, İ. (2020). Investigation of the use of electronic portfolios in the determination of student achievement in higher education using many-facet Rasch measurement model. Educational Policy Analysis and Strategic Researh, 15(1), 7-21. https://doi.org/10.29329/epasr.2020.236.1
66. Thorndike, R. M. & Thorndike-Christ, T. (2017). Psikolojide ve eğitimde ölçme ve değerlendirme (M. Otrar, Çev. Ed.). Nobel.
67. Tobaş, C. (2020). Performansın değerlendirilmesinde farklılaşan puanlayıcı davranışlarının çok yüzeyli Rasch ölçme modeli ile incelenmesi. (Yayın No. 629923) [Yüksek Lisans Tezi, Gazi Üniversitesi]. YÖK. https://tez.yok.gov.tr
68. Turgut, M.F. & Baykul, Y. (2012). Eğitimde ölçme ve değerlendirme. Pegem Akademi.
69. Uluman, M. (2015). Çok değişkenlik kaynaklı Rasch ölçme modeli ve hiyerarşik puanlayıcı modeli ile kestirilen parametrelerin karşılaştırılması. (Yayın No. 396151) [Doktora Tezi, Ankara Üniversitesi]. YÖK. https://tez.yok.gov.tr
70. Weigle, S.C. (2002). Assessing writing. Cambridge University.
71. Woehr, D. J. (1994). Understanding frame-of-reference training: The impact of training on the recall of performance information. Journal of Applied Psychology, 79, 525– 534. https://doi.org/10.1037/0021-9010.79.4.525
72. Wolf, K., & Stevens, E. (2007). The role of rubrics in advancing and assessing student learning. The Journal of Effective Teaching, 7(1), 3-14.
73. Wolfe, E.W., & McVay, A. (2010). Rater effects as a function of rater training context. http://www.pearsonassessments.com/NR/rdonlyres/6435A0AF-0C12-46F7-812E-908CBB7ADDFF/0/RaterEffects_101510.pdf
74. Woodward, J., Monroe, K., & Baxter, J. (2001). Enhancing student achievement on performance assessments in mathematics. Learning Disability Quarterly, 24(1), 33-46. https://doi.org/10.2307/1511294