PISA Ölçütünde Metinsellik Rubriği Geliştirme

Öz

Çalışmada ders kitaplarındaki metinleri değerlendirmek üzere “PISA Ölçütünde Metinsellik Rubriği”nin (PÖMR) geliştirilmesi amaçlanmıştır. Veriler 2019-2020 eğitim-öğretim yılında okutulan ortaokul (5-8. sınıf) Türkçe ders kitaplarında serbest okuma metni olarak yer alan ve PISA’nın sürekli metin özelliklerini taşıyan 20 okuma metninin 4 bağımsız puanlayıcı tarafından puanlanmasıyla elde edilmiştir. Analitik rubrik için ölçüt atanırken PISA 2018 okuma becerileri değerlendirme çerçevesindeki bilişsel süreçler ve okuma yeterlik düzeyleri dikkate alınmıştır. Her ölçüt için 3 farklı başarı derecesi tanımlanmıştır. Geliştirilen analitik rubriğin geçerlik kanıtlarının sağlanması için öncelikle 8 uzmanın görüşüne başvurulmuştur. Toplanan uzman tepkileri üzerinden her bir ölçüt için kapsam geçerlik oranı hesaplanmıştır. Uzman görüşünden gelen dönütler ile geçerlik kanıtı olması amacıyla temel bileşenler analizi uygulanmıştır. Analitik rubriğin güvenirlik kanıtları için hesaplanan sınıf içi korelasyon katsayısı .96 ve Cronbach alfa değeri .96 olarak bulunmuştur. Puanlayıcılar arası güvenirliğe kanıt sağlamak için 2 Türkçe öğretmeninin yaptığı puanlamalar üzerinden ağırlıklandırılmış Kappa hesaplanmıştır. Elde edilen ağırlıklandırılmış Kappa katsayısı testine göre analitik rubriğin ölçütleri iyi ve çok iyi uyuşma göstermiştir. Yapılan çalışmalarla “bilgiye ulaşma”, “anlama” ve “derinlemesine düşünme ve değerlendirme” olmak üzere 3 ana ölçüt ve toplam 8 alt ölçütten oluşan “PISA Ölçütünde Metinsellik Rubriği” geliştirilmiştir. Geliştirilen analitik rubriğin geçerli ve güvenilir bir ölçme aracı olduğu sonucuna ulaşılmıştır.

Anahtar Kelimeler

• Analitik rubrik
• okuma becerileri
• PISA

Textuality Rubric Development in PISA Criterion

Öz

The goal of this study was to develop a "Textuality Rubric in PISA Criterion" (TRIPC) in order to evaluate schoolbook texts. The data were obtained by using the analytical rubric developed for the study in order to score 20 reading texts with continuous text characteristics of PISA which were included in Turkish textbooks used in 5th, 6th, 7th, and 8th grades during the 2019-2020 school year. Cognitive processes and reading proficiency levels within the framework of PISA 2018 reading skills assessment were taken into consideration when setting the criteria of the analytical rubric. Three different degrees of success were defined for each criterion. First, 8 experts were consulted in order to obtain validity proof for the developed analytical rubric. Content validity rates were calculated for each criterion based on the responses of these experts and a principle components analysis was also conducted in order to obtain proof of validity. Intraclass correlation coefficient and Cronbach alpha value calculated for proof of reliability for the analytical rubric were 0.96 and 0.96, respectively. Weighted Kappa was calculated by using scores given by two Turkish teachers in order to obtain proof of inter-rater reliability. According to the obtained weighted Kappa coefficient test, the analytical rubric criteria showed good and very good agreement. "Textuality Rubric in PISA Criterion" consisting of 3 main criteria, namely "obtaining information”, "understanding” and "reflecting and evaluating” and 8 sub-criteria were developed. It was concluded that the analytical rubric developed is a highly valid and reliable measurement tool.

Anahtar Kelimeler

• Analytical rubric
• PISA
• reading skills

Kaynakça

1. Aktaş, E., Bayram, B. (2018). Türkçe öğretiminde okuduğunu anlama stratejilerinin kullanımı üzerine bir inceleme . Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi , 22(3), 1401-1414.
2. Atılgan, H. (2005). Genellenebilirlik kuramı ve ve puanlayıcılar arası güvenirlik için örnek bir uygulama. Eğitim Bilimleri ve Uygulama Dergisi 4(7), 95-108.
3. Atılgan, H., Kan, A., Aydın, B. (2019). Eğitimde ölçme ve değerlendirme. Ankara: Anı Yayıncılık.
4. Benzer, A. (2019). Türkçe ders kitaplarının PISA okuma yeterlik düzeyleri ile imtihanı. Okuma Yazma Eğitimi Araştırmaları 7(2), 96-109.
5. Canlı, S. (2015). Türkçe ders kitaplarına seçilecek metinlerin belirlenmesinde çocuğa görelik ilkesi. Dil Eğitimi ve Araştırmaları Dergisi, 1(1), 98-123.
6. Çelik, T., Demirgüneş, S., Baştuğ, M. (2014). Metin oluşturma ve değerlendirme çalışmalarına yönelik okur dostu metin değerlendirme rubriği geliştirme çalışması. Uluslararası Avrasya Sosyal Bilimler Dergisi 5(14), 65-83.
7. Şahin, M.G. (2019). Performansa dayalı değerlendirme. İçinde B. Çetin (Ed.) Eğitimde ölçme ve değerlendirme (219-268). Ankara: Anı Yayıncılık.
8. Güler, N. (2015). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.

9. Güneş, F. (2013). Türkçe öğretiminde metin seçimi . Ana Dili Eğitimi Dergisi 1 (1), 1-12.
10. Goodrich Andrade, H. (2001). The effects of instructional rubrics on learning to write. Current Issues Education 4(4), 1-22.
11. Karatay, H., Bolat, K. K., Güngör, H. (2013). Türkçe ders kitaplarındaki metinlerin okunabilirlik ve anlaşılabilirliği. The Journal of Academic Social Science Studies 6(6), 603-623.
12. Çepni, S. (2015). Performansların değerlendirilmesi. İçinde Karip E. (Ed.) Ölçme ve değerlendirme (231-290). Ankara: Pegem Akademi.
13. Kutlu, Ö., Doğan, C.D., Karakaya, İ. (2014). Ölçme ve değerlendirme: performansa ve portfolyoya dayalı durum belirleme. Ankara: Pegem Akademi.
14. Lüle Mert, E. (2011). 8. sınıf türkçe ders kitaplarındaki metinlerin metinsellik ölçütlerine uygunlukları. Dil Dergisi 153, 7-23.
15. MEB. (2005). PISA 2003 Projesi Ulusal Nihaî Rapor. [çevrim içi: pisa.meb.gov.tr: http://pisa.meb.gov.tr/wp-content/uploads/2013/07/PISA-2003-Ulusal-Nihai-Rapor.pdf ] Erişim tarihi: 19.05.2020.
16. MEB. (2010a). PISA 2006 ulusal nihaî raporu. Ankara: T. C. Millî Eğitim Bakanlığı Eğitimi Araştırma ve Geliştirme Dairesi Başkanlığı. [çevrim içi: http://pisa.meb.gov.tr/wp-content/uploads/2013/07/PISA2006-Ulusal-Nihai-Rapor.pdf] Erişim tarihi: 19.05.2020.
17. MEB. (2010b). PISA 2009 Ulusal Ön Raporu. Ankara: T. C. Millî Eğitim Bakanlığı Eğitimi Araştırma ve Geliştirme Dairesi Başkanlığı [çevrim içi: http://pisa.meb.gov.tr/wp-content/uploads/2013/07/PISA-2009-Ulusal-On-Rapor.pdf] Erişim tarihi: 19.05.2020.
18. MEB. (2015). PISA 2012 Araştırması ulusal nihaî rapor. Ankara: T.C. Millî Eğitim Bakanlığı Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü. [çevrim içi: https://drive.google.com/file/d/0B2wxMX5xMcnhaGtnV2x6YWsyY2c/view] Erişim tarihi: 20.05.2020.
19. MEB. (2019). PISA 2018 Türkiye ön raporu. Ankara: T. C. Millî Eğitim Bakanlığı [çevrim içi: http://pisa.meb.gov.tr/wp-content/uploads/2020/01/PISA_2018_Turkiye_On_Raporu.pdf] Erişim tarihi: 20.05.2020.
20. MEB. (2019). Türkçe dersi öğretim programı. Ankara: T.C. Millî Eğitim Bakanlığı.[ çevrim içi: http://mufredat.meb.gov.tr/ProgramDetay.aspx?PID=663] Erişim tarihi: 20.06.2020.
21. Moskal, B. M. (2000). Scoring rubric: what, when and how? Practical Assessment, Research & Evaluation 7(3), 1-5.
22. Moskal, B.M., Leydens, J. (2000). Scoring rubric development: validity and reliability. Practical Assessment, Research & Evaluation 7(10)., 71-81.
23. OECD (2019). PISA 2018 reading literacy framework. Paris: OECD Publishing. [avaible online at: https://www.oecd-ilibrary.org/education/pisa-2018-assessment-and-analytical-framework_b25efab8-en] Erişim tarihi: 15.04.2020.
24. Öztürk, H. (2019). İlköğretim 6. sınıf millî eğitim bakanlığı türkçe kitabındaki metinlerin ana dil eğitiminde metin olma özelliğine uygunluğu. Yayımlanmamış yüksek lisans tezi. Celal Bayar Üniversitesi Sosyal Bilimler Enstitüsü, Manisa.
25. Popham, W. J. (1997). What’s wrong-and what’s right-with rubrics. Educational Leadership 55(2), 72-75.
26. Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde güvenilirlik ve geçerlilik. Ankara: Seçkin Yayınevi.
27. Türkben, T. (2018). Türkçe ders kitaplarındaki metinlerin tür ve tema açısından incelenmesi. Hitit Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 11(3), 2152-2166.