DERECELİ PUANLAMA ANAHTARI İLE DERECELENDİRME ÖLÇEĞİ’NDEN ELDE EDİLEN SONUÇLARIN TUTARLILIĞININ İNCELENMESİ: OKUMA AKICILIĞI VE PROZODİK OKUMA ÖRNEĞİ

Abstract

Aynı özelliğin farklı yöntemler kullanılarak değerlendirilmesi ve sonuçlarının karşılaştırılması, araştırmacılara ve uygulayıcılara ölçme yöntemlerine ilişkin önemli bilgiler sunabilir. Bu araştırmada özel eğitime gereksinimi olan hafif derecede zihinsel engelli öğrencilerin okuma akıcılığı ve prozodik okuma becerileri, derecelendirme tipi maddelerden oluşan bir ölçme aracı ve bir dereceli puanlama anahtarı kullanılarak değerlendirilmiş, elde edilen sonuçlar karşılaştırılmıştır. Araştırmada 5. sınıf düzeyindeki özel gereksinimli 75 öğrenciden veri toplanmıştır. Öğrencilerden daha önce görmedikleri bir metni okumaları istenmiş, öğrencilerin okuma performanslarına göre değerlendiriciler Prozodik Okuma Ölçeği ile Çok Boyutlu Okuma Akıcılığı Puanlama Anahtarını kullanarak değerlendirme yapmışlardır. Değerlendirmeler dört farklı uzman tarafından gerçekleştirilmiştir. Değerlendiriciler arasındaki uyum G ve Φ katsayıları, Cronbach’ın  katsayısı, korelasyon katsayıları hesaplanarak incelenmiştir. İki ölçme aracından elde edilen sonuçlar arasında pozitif yüksek korelasyonların olduğu belirlenmiştir. Her iki ölçme aracından elde edilen verilerde tek faktörlü bir yapı olduğu görülmüştür. Ölçme araçlarından elde edilen sonuçlar Çok Boyutlu Okuma Akıcılığı Puanlama Anahtarı’nda yer alan hız bileşeni hariç cinsiyet ve engel türü değişkenlerine göre benzer sonuçlar üretmiştir. Ölçme araçlarının uygulanmasından elde edilen sonuçların güvenilir ve uyumlu olduğu sonucuna ulaşılmıştır.

Keywords

• Dereceli Puanlama Anahtarı
• Derecelendirme Ölçeği
• Tutarlılık
• Okuma Akıcılığı
• Prozodi.

EXAMINING THE CONSISTENCY OF THE RESULTS OBTAINED FROM THE RUBRIC AND THE GRADING SCALE: READING FLUENCY AND PROSODIC READING

Abstract

Assessing the same trait using different methods and comparing the results can provide researchers and practitioners with important information about measurement methods. In this study, reading fluency and prosodic reading skills of students with mild intellectual disabilities who need special education were evaluated using a measurement tool consisting of rating-type items and a rubric, and the results obtained were compared. In the study, data were collected from 75 5th-grade students with special needs. The students were asked to read a text they had not seen before, and the assessors evaluated the students' reading performances using the Prosodic Reading Scale and the Multidimensional Reading Fluency Rubric. The evaluations were conducted by four different experts. Inter-rater agreement was examined by calculating G and Φ coefficients, Cronbach's  coefficient, and correlation coefficients. It was determined that there were positive correlations between the results obtained from the two measurement tools. It was seen that there was a single-factor structure in the data obtained from both measurement tools. The results obtained from the measurement tools produced similar results according to gender and disability type variables, except for the speed component in the Multidimensional Reading Fluency Scoring Key. It was concluded that the results obtained from the application of the measurement tools were reliable and compatible.

Keywords

• Rubric
• Rating Scale
• Coherence
• Reading Fluency
• Prosody.

References

1. Aktaş, M., & Alıcı, H.D. (2017). Kontrol listesi, analitik rubrik ve dereceleme ölçeklerinde puanlayıcı güvenirliğinin genellenebilirlik kuramına göre incelenmesi. Uluslararası Avrasya Sosyal Bilimler Dergisi, 8(29), 991-1010.
2. Arter, J.A., & McTighe, J. (2000). Scoring rubrics in the classroom: Using performance criteria for assessing and improving student performance (Experts in Assessment Series). Corwin Press.
3. Aslanoğlu, A.E., & Kutlu, Ö. (2003). Öğretimde sunu becerilerinin değerlendirilmesinde dereceli puanlama anahtarı (rubric) kullanılmasına ilişkin bir araştırma. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 36(1-2), 25-36.
4. Balcı, A. (2009). İlköğretim 8. sınıf öğrencilerinin okuma alışkanlıkları ve ilgileri üzerine bir araştırma [Doktora Tezi, Gazi Üniversitesi]. https://tez.yok.gov.tr
5. Başaran, M. (2013). Okuduğunu anlamanın bir göstergesi olarak akıcı okuma. Kuram ve Uygulamada Eğitim Bilimleri, 13(4), 2277-2290.
6. Baştuğ, M. (2012). İlköğretim I. kademe öğrencilerinin akıcı okuma becerilerinin çeşitli değişkenler açısından incelenmesi [Doktora Tezi, Gazi Üniversitesi]. https://tez.yok.gov.tr
7. Bayat, N., Şekercioğlu, G., & Bakır, S. (2014). Okuduğunu anlama ve fen başarısı arasındaki ilişkinin belirlenmesi. Eğitim ve Bilim, 39(176), 457-466. http://dx.doi.org/10.15390/EB.2014.3693
8. Baykul, Y. (2015). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Pegem Akademi.

9. Benjamın, R.G., & Schwanenflugel, P.J. (2010). Text complexity and oral reading prosody in young readers. Reading Research Quarterly, 45(4), 388-404. https://doi.org/10.1598/RRQ.45.4.2
10. Bilican Demir, S., & Yıldırım, Ö. (2019). Yazılı anlatım becerilerinin değerlendirilmesi için dereceli puanlama anahtarı geliştirme çalışması. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 47, 457-473. https://doi.org/10.9779/pauefd.588565
11. Birel, A.S., & Albuz, A. (2014). Viyolonsel öğretiminde performansı değerlendirmeye yönelik hazırlanan dereceli puanlama anahtarının (rubrik) sınanması ve değerlendirilmesi. Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 18(3), 281-207.
12. Birgili, B. (2014). Open ended questions as an alternative to multiple choice: Dilemma in Turkish examination system [Yüksek Lisans Tezi, Orta Doğu Teknik Üniversitesi]. https://tez.yok.gov.tr
13. Boersma, P., & Weenink, D. (2012). Praat: Doing phonetics by computer (Version 5.3.23) [Computer Software]. Amsterdam: Institute of Phonetic Sciences.
14. Colarusso, R., & O’Rourke C. (2007). Special education for all teachers. Kendal/Hunt Publishing Company
15. Çaycı, B. & Demir, M.K. (2006). Okuma ve anlama sorunu olan öğrenciler üzerine karşılaştırmalı bir çalışma. Türk Eğitim Bilimleri Dergisi, 4(4), 437-456.
16. Deno, S.L. (1985). Curriculum-based measurement: The emerging alternative. Exceptional Children, 52(3), 219-232. https://doi.org/10.1177/001440298505200303
17. Deno, S.L. (2003). Developments in curriculum-based measurement. Journal of Special Education, 37(3), 184-192. https://doi.org/10.1177/00224669030370030801
18. Doğan, N. & Öğretmen, T. (2008). Değişen Madde Fonksiyonunu belirlemede Mantel‐Haenszel, Ki‐kare ve Lojistik Regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 33(148), 100-112.
19. Dowhower, S.L. (1987). Effects of repeated reading on second-grade transitional readers' fluency and comprehension. Reading Research Quarterly, 22(4), 389-406. https://doi.org/10.2307/747699
20. Dowhower, S.L. (1991). Speaking of prosody: Fluency's unattended bedfellow. Theory Into Practice, 30(3), 165-175. https://doi.org/10.1080/00405849109543497
21. Erdem, B. (2015). Ortaöğretime geçişte kullanılan ortak sınavların değişen madde fonksiyonu açısından kitapçık türlerine göre farklı yöntemlerle incelenmesi. [Yüksek Lisans Tezi, Hacettepe Üniversitesi]. https://tez.yok.gov.tr
22. Erkuş, A. (2012). Psikolojide ölçme ve ölçek geliştirme. Pegem Akademi Yayınları.
23. George, D., & Mallery, P. (2010). SPSS for Windows step by step. A simple study guide and reference (10. Baskı). Pearson Education Inc.
24. Gök, B., Kelecioğlu, H., & Doğan, N. (2010). Değişen madde fonksiyonunu belirlemede Mantel–Haenszel ve Lojistik Regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 35(156), 3-16.
25. Gökçe-Sarıpınar, E., & Erden, G. (2010). Okuma güçlüğünde akademik beceri ve duyusal-motor işlevleri değerlendirme testlerinin kullanılabilirliği. Türk Psikoloji Dergisi, 25(65), 56-66.
26. Hudson, R. F., Lane, H. B., & Pullen, P. C. (2005). Reading fluency assessment and instruction: What, why, and how?. The Reading Teacher, 58(8), 702-714. https://doi.org/10.1598/RT.58.8.1
27. Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130-144. https://doi.org/10.1016/j.edurev.2007.05.002
28. Kanık Uysal, P., & Bilge, H. (2021). Prozodik okuma becerisinin değerlendirilmesinde dereceli puanlama anahtarı kullanımına ilişkin öğretmen görüşleri. Uludağ Üniversitesi Eğitim Fakültesi Dergisi, 34(3), 1245-1280. https://doi.org/10.19171/uefad.935702
29. Kasap, Y., Gelbal, S., & Doğan, N. (2021). Dereceli puanlama anahtarı ve puanlama anahtarından elde edilen puanların karşılaştırılması. Türk Akademik Yayınlar Dergisi, 5(1), 95-117.
30. Kayakçı Danışmaz, Z., & Kurnaz Adıbatmaz, F.B. (2020). Çocuk gelişimi alanında dereceli puanlama anahtarı hazırlama: Deneysel bir uygulama. Çocuk ve Gelişim Dergisi, 3(5), 13-29. https://doi.org/10.36731/cg.674797
31. Keskin, H.K., & Baştuğ, M. (2013). Geçmişten günümüze akıcı okuma. Türkiye Sosyal Araştırmalar Dergisi, 171(171), 189-208.
32. Keskin, H., Baştuğ, M., & Akyol, H. (2013). Sesli okuma ve konuşma prozodisi: ilişkisel bir çalışma. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 9(2), 168-180.
33. Kim, Y.S., Wagner, R.K., & Lopez, D. (2012). Developmental relations between reading fluency and reading comprehension: A longitudinal study from grade 1 to grade 2. Journal of Experimental Child Psychology, 113(1), 93- 111. https://doi.org/10.1016/j.jecp.2012.03.002
34. Kurnaz, F.B., Ergün, E., & Ilgaz, H. (2018). Participation in online discussion environments: Is it really effective? Education and Information Technologies, 23(4), 1719-1736. https://doi.org/10.1007/s10639-018-9688-4
35. Kurnaz, F.B., & Kelecioğlu, H. (2008). Investigation of Peabody Picture Vocabulary Test from the point of item bias. World Applied Sciences Journal, 3(2), 231-239.
36. Kurnaz Adıbatmaz, F.B., & Yıldız, H. (2020). The effects of distractors to differential ıtem functioning in Peabody Picture Vocabulary Test. Journal of Theoretical Educational Science, 13 (3), 530-547.
37. Kutlu, Ö., Doğan, C.D., & Karakaya, İ. (2017). Ölçme ve değerlendirme performansa ve portfolyoya dayalı durum belirleme. Pegem Akademi.
38. Kutlu, Y.Ö., Yıldırım, A.Ö., & Bilican, A.S. (2009). Öğretmenlerin dereceli puanlama anahtarlarına ilişkin tutum ölçeği geliştirme çalışması. Van Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 6(2), 76-88.
39. Kutlu, Ö., Yıldırım, Ö., Bilican, S., & Kumandaş, H. (2011). İlköğretim 5. sınıf öğrencilerinin okuduğunu anlamada başarılı olup-olmama durumlarının kestirilmesinde etkili olan değişkenlerin incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 2(1), 132-139.
40. Mastropieri, M.A., & Scruggs, T.E. (2000). The inclusive classroom. Prentice Hall.
41. Melanlıoğlu, D. (2016). Yabancı öğreniciler için dinleme becerisine yönelik üstbilişsel dereceli puanlama anahtarı. Erzincan Eğitim Fakültesi Dergisi, 18(2), 1206-1229. http://www.doi.org.10.17556/jef.20880
42. Morgil, F.İ., & Yılmaz, A. (2001). Kimya eğitiminde farklı madde türlerinin psikometrik özellikleri ve öğrenci başarısı bakımından karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20, 111-116.
43. Moskal, B.M., & Leydens, J.A. (2000). Scoring rubric development: Validity and reliability. Practical Assessment, Research, And Evaluation, 7(1), 10. https://doi.org/10.7275/q7rm-gg74
44. Ouellete, G., & Beers, A. (2010). A not so simple view of reading: How oral vocabulary and visual word recognition complicate the story. Reading & Writing, 23, 189-208. https://doi.org/10.1007/s11145-008-9159-1
45. Özdemir, A. (2022). Ayrık seçenekli çoktan seçmeli testlerin uygulanabilirliği [Doktora tezi, Hacettepe Üniversitesi]. https://tez.yok.gov.tr
46. Paige, D.D., Rasinski, T.V., & Magpuri‐Lavell, T. (2012). Is fluent, expressive reading important for high school readers?. Journal of Adolescent & Adult Literacy, 56(1), 67-76. https://doi.org/10.1002/JAAL.00103
47. Parlak, B., & Doğan, N. (2014). Dereceli puanlama anahtarı ve puanlama anahtarından elde edilen puanların uyum düzeyleri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 29(2), 189-197.
48. Patel, R., & Mcnab, C. (2011). Displaying prosodic text to enhance expressive oral reading. Speech Communication, 53(3), 431-441. https://doi.org/10.1016/j.specom.2010.11.007
49. Pinnell, G.S., Pikulski, J.J., Wixson, K.K., Campbell, J.R., Gough, P.B., & Beatty, A.S. (1995). Listening to children read aloud: Data from naep's integrated reading performance record (irpr) at grade 4 (No. 0-88685-167-X). National Assessment of Educational Progress.
50. Rasinski, T. (2004). Creating fluent readers. Educational Leadership, 61(6), 46-51.
51. Reutzel, D.R. (2009). Reading fluency what every SLP and teacher should know. The ASHA Leader, 14(5), 10-13. https://doi.org/10.1044/leader.FTR1.14052009.10
52. Samuels, S.J. (2006a). Looking backward: Reflection on a carrier in reading. Journal of Literacy Research, 38(3), 327-344. https://journals.sagepub.com/doi/pdf/10.1207/s15548430jlr3803_3
53. Samuels, S.J. (2006b). Reading fluency: Its past, present, and future. İçinde T.V. Rasinski, C.L.Z. Blachowicz & K. Lems (Eds.), Fluency instruction:Research-based best practices (pp. 7-20), Guilford.
54. Seçkin, Ş. (2012). Okuma güçlüğü olan ve olmayan ilköğretim öğrencilerinin okuma akıcılıkları [Yayımlanmamış Yüksek Lisans Tezi, Ankara Üniversitesi]. https://tez.yok.gov.tr
55. Schreiber, P.A. (1991). Understanding prosody's role in reading acquisition. Theory into Practice, 30(3), 158. https://doi.org/10.1080/00405849109543496
56. Spector, P.E. (1992). Summated rating scale construction: An introduction. Sage.
57. Şıvkın, S., Aksoy, V.C., & Erdoğan, D.G. (2020). LGS ‘de sorulan PISA tarzı matematik sorularını doğru cevaplama ile okuduğunu anlama arasındaki ilişkinin öğretmen görüşlerine göre değerlendirilmesi. Sakarya Üniversitesi Eğitim Fakültesi Dergisi, 20(2), 148-159.
58. Tavakoli, H. (2012). A dictionary of research methodology and statistics in applied linguistics. Rahnama.
59. Turan, İ., Şimşek, Ü., & Aslan, H., (2015). Eğitim araştırmalarında Likert ölçeği ve likert tipi soruların kullanımı ve analizi. Sakarya Üniversitesi Eğitim Fakültesi Dergisi, 30, 186-203.
60. Turgut, M.F., & Baykul, Y. (1992). Ölçekleme teknikleri. ÖSYM yayınları.
61. Ulusoy, M., Ertem, İ.S., & Dedeoğlu, H. (2011). Öğretmen adaylarının 1-5. sınıf öğrencilerine yönelik hazırladıkları sesli okuma kayıtlarının prozodi yeterlikleri açısından değerlendirilmesi. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 31(3), 759-774.
62. Valencia, S.W., Smith, A.T., Reece, A.M., Li, M., Wixson, K.K., & Newman, H. (2010). Oral reading fluency assessment: Issues of construct, criterion, and consequential validity. Reading Research Quarterly, 45(3), 270-291. https://doi.org/10.1598/rrq.45.3.1
63. Verhoeven, L., & van Leeuwe, J. (2008). Prediction of the development of reading comprehension: A longitudinal study. Applied Cognitive Psychology, 22(3), 407-423 https://doi.org/10.1002/acp.1414
64. Yıldırım, Ö. (2012). Okuduğunu anlama başarısıyla ilişkili faktörlerin aşamalı doğrusal modellemeyle belirlenmesi (PISA 2009 Hollanda, Kore ve Türkiye karşılaştırması). [Yayımlanmamış Doktora Tezi, Ankara Üniversitesi]. https://tez.yok.gov.tr
65. Yıldız, M., Yıldırım, K., Ateş, S., & Çetinkaya, Ç. (2009). An evaluation of the oral reading fluency of 4th graders with respect to prosodic characteristic. International Journal of Human Science, 6(1), 353-360.
66. Zutell, J., & Rasinski, T.V. (1991). Training teachers to attend to their student's oral reading fluency. Theory into Practice, 30(3), 211. https://doi.org/10.1080/00405849109543502