Assessing middle school students critical thinking and problem solving skills: An analytical rubric development study

Year 2024, Volume: 6 Issue: 10, 107 - 126, 01.04.2024

Halil Turgut Fatih Emre Kılıç Ramazan Aycan Cemre Ece Ünal

Abstract

Developing the ability of individuals to respond to the requirements of contemporary life and to participate in democratic life are among the priority agenda of modern science education. This agenda makes the competencies of critically following up scientific reports and discussions, participating in decision-making processes, understanding the way of scientists in producing information and problem solving, avoiding one-sided explanations and accessing reliable sources as important goals to be achieved. The critical thinking and problem solving skills constitute an important infrastructure for these competencies and meaningful contexts and measurement tools are needed in order to deal with and develop these critical thinking and problem solving skills practically in teaching environments. In this study, a planning was made in line with this need and it was aimed to develop an analytical rubric that can be used in the holistic and performance-based measurement of secondary school students' critical thinking and problem-solving skills. During the development process of the aforementioned analytical rubric, firstly, the relevant literature was examined, criteria and performance levels were determined, expert opinion was taken and a pilot study was carried out. For the pilot study, a relevant context for the evaluation of interesting and alternative theories on the extinction of dinosaurs was defined, and students were asked to answer related questions with performing their critical thinking and problem solving skills. The content validity of the developed analytical rubric was evaluated in line with the literature review and expert opinions, and the construct validity and reliability were evaluated in line with the data obtained in the pilot application. The results showed that with the developed analytical rubric, the critical thinking and problem solving skills of secondary school students can be measured holistically in a valid and reliable way that based on their performance.

Keywords

Critical thinking, Problem solving, Analytical rubric

Ortaokul öğrencilerinin eleştirel düşünme ve problem çözme becerilerinin ölçümü: Bir analitik rubrik geliştirme çalışması

Abstract

Bireylerin çağdaş yaşamın gerekliliklerine cevap verebilmesi ve demokratik hayata katılım sağlayabilmesi için bilimsel rapor ve tartışmaları eleştirel bi¬çimde takip edilebilmesi, bilim insanlarının bilgi üretme ve problem çözme biçimlerini kavrayabilmesi ve tek taraflı açıklamalardan kaçınması gerekmektedir. Tüm bu yeterlikler bütünü eleştirel düşünme ve problem çözme becerilerini gündeme getirmektedir. Bu iki becerinin öğretim ortamlarında uygulamalı olarak ele alınması ve geliştirilebilmesi içinse anlamlı bağlamlara ve sağlıklı ölçüm araçlarına ihtiyaç vardır. Bu çalışmada doğrultuda bir planlama yapılmış ve ortaokul öğrencilerinin eleştirel düşünme ve problem çözme becerilerinin bütüncül ve performansa dayalı ölçümünde kullanılabilecek analitik bir rubriğin geliştirilmesi amaçlanmıştır. Söz konusu analitik rubriğin geliştirilmesi sürecinde önce ilgili alan yazın taranmış, ölçütler ve performans düzeyleri belirlenmiş, uzman görüşü alınmış ve bir pilot uygulama gerçekleştirilmiştir. Gerçekleştirilen pilot uygulama için dinozorların yok oluş teorileri üzerinden ilgi çekici ve alternatif iddiaların değerlendirilmesine açık bir bağlam tanımlanmış ve öğrencilerin bu bağlamda eleştirel düşünme ve problem çözme becerilerini işe koşacakları bir performans sergilemeleri sağlanmıştır. Geliştirilen analitik rubriğin içerik geçerliği alan yazın incelemesi ve uzman görüşleri, yapı geçerliği ve güvenirliği ise pilot uygulamada elde edilen veriler doğrultusunda değerlendirilmiştir. Ulaşılan sonuçlar geliştirilen analitik rubrik ile ortaokul öğrencilerinin eleştirel düşünme ve problem çözme becerilerinin bütüncül ve performansa dayalı olarak geçerli ve güvenilir biçimde ölçülebileceğini göstermiştir.

Keywords

Eleştirel düşünme, Problem çözme, Analitik rubrik

References

• Airasian, P. W., & Jones, A. M. (1993). The teacher as applied measurer: Realities of classroom measurement and assessment. Applied Measurement in Education, 6(3), 241-254.
• Andrade, H. G. (2001). The effects of instructional rubrics on learning to write. Current Issues in Education, 4(4), 1-21.
• Arslan, E. (2022). Nitel araştırmalarda geçerlilik ve güvenilirlik. Pamukkale Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 51(1), 395-407.
• Bailin, S., Case, R., Coombs, J. R., & Daniels, L. B. (1999). Conceptualizing critical thinking. Journal of Curriculum Studies, 31(3), 285–302.
• Benner, P., Stuphen, M., Leonard, V., & Day, L. (2010). Educating nurses, a call for radical transformation. Jossey-Bass.
• Bingham, A. (2004). Çocuklarda problem çözme yeteneklerinin geliştirilmesi (4.Baskı). (F. Oğuzkan, Çev.). Milli Eğitim Basımevi. (Orijinal eserin basım tarihi 1983)
• Bircan, A. (2022). Öğretmenlerin internete yönelik eleştirel okuryazarlık düzeylerinin belirlenmesinde bilgi ve teknoloji okuryazarlık düzeylerinin incelenmesi [Yüksek Lisans Tezi, Necmettin Erbakan Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi’nden edinilmiştir. (Tez No:714456).
• Braman, O. R. (1999). Teaching peace to adults: Using critical thinking to improve conflict resolution. Adult Learning, 10(2), 30-32.
• Brusatte, S. L., Butler, R. J., Barret, P. M., Carrano, M. T., Evans, D. C., Lloyd, G. T., Mannion, P. D. Norell, M. A., Peppe, D. J., Upchurch, P., & Williamson, T. E. (2015). The extinction of the dinosaurs. Biological Reviews, 90(2), 628-642.
• Bybee, R. W., Powell, J. C., & Trowbridge, L. W. (2008). Teaching secondary school science. Pearson Prentice Hall.
• Charles, R. (1987). How To Evaluate Progress in Problem Solving. National Council of Teachers of Mathematics, 1906 Association Drive, VA 22901.
• Chiappetta, E. L., & Koballa, T. R., (2006). Science instruction in the middle and secondary schools. Pearson Prentice Hall.
• Coffey, H. (2008). Critical literacy. Retrieved May, 13, 2009 from http://www.learnnc.org/lp/pages/4437?style=print
• Creswell, J. W. (2013). Qualitative inquiry & research design: Choosing among five approaches. Sage Publications.
• Çınar, O. Hatunoğlu, A., & Hatunoğlu, Y. (2009). Öğretmenlerin problem çözme becerileri. Erzincan Üniversitesi Eğitim Fakültesi Dergisi, 11(2), 215-226.
• DeBoer G. E. (2000). Scientific literacy: Another look at its historical and contemporary meanings and its relationship to science education reform. Journal of Research in Science Teaching, 37(6), 582-601.
• Demircioğlu, A. (2018). Eleştirel düşünme eğitimi. Gece Kitaplığı.
• Demirel, Ö., & Kaya, Z. (2006). Eğitim bilimine giriş. PegemA Yayıncılık.
• Drost, E. A. (2011) Validity and reliability in social science research. Education Research and Perspectives, 38(1), 105- 123.
• Ennis, R. H. (1985). A logical basis for measuring critical thinking skills. Educational Leadership, 43(2), 44-48.
• Ennis, R. H. (1987). A taxonomy of critical thinking dispositions and abilities. In J. Baron, & R. J. Sternberg (Eds.), Teaching Thinking Skills: Theory and Practice (pp. 9-26). W. H. Freeman and Company.
• Erten, P. (2020). Öğretmen Adaylarının 21. Yüzyıl Becerileri Yeterlilik Algıları ve Bu Becerilerin Kazandırılmasına Yönelik Görüşleri. Milli Eğitim Dergisi, 49(227), 33-64.
• Facione, P. A. (1990). Critical thinking: A statement of expert consensus for purposes of educational assessment and instructions. Research findings and recommendations. California Academic Press.
• Facione, P. A. (2000). The disposition toward critical thinking: Its character, measurement, and relation to critical thinking skill. Informal Logic, 20(1), 61-84.
• Gamel, C. van Andel, S. G. de Haan, W. I., & Hafsteinsdóttir, T. B. (2018). Development and testing of an analytic rubric for a master's course systematic review of the literature: A cross-sectional study. Education for Health, 31(2), 72-79.
• Gelen, İ. (2017). P21-Program ve öğretimde 21. yüzyıl beceri çerçeveleri (ABD uygulamaları). Disiplinlerarası Eğitim Araştırmaları Dergisi, 1(2), 15-29.
• Güçlü, N. (2003). Lise Müdürlerinin Problem Çözme Becerileri. Milli Eğitim Dergisi, 160, 272-300.
• Güçray, S. S. (2001). Ergenlerde karar verme davranışlarının öz saygı ve problem çözme becerileri algısı ile ilişkisi. Çukurova Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 8(8). 106-121.
• Gülen, S. (2019). Development of critical thinking skills scale for science lesson. European Journal of Education Studies.
• Hadzigeorgiou, Y., Fokialis, P., & Kabouropoulou, M. (2012). Thinking about creativity in science education. Creative Education, 3(5), 603-611.
• Hohmann, J. W., & Grillo, M. C. (2014). Using critical thinking rubrics to increase academic performance. Journal of College Reading and Learning, 45(1), 35-51.
• Hu, W., & Adey, P. (2002). A scientific creativity test for secondary school students. International Journal of Science Education, 24(4), 389-403.
• Irwanto, I., Saputro, A. D., Rohaeti, E., & Prodjosantoso, A. (2019). Using inquiry-based laboratory instruction to improve critical thinking and scientific process skills among preservice elementary teachers. Eurasian Journal of Educational Research, 80, 151-170.
• İncirkuş, F. A., & Beyreli, L. (2019). Öyküleyici metinler aracılığıyla eleştirel düşünme becerilerini değerlendirmeye yönelik bir rubrik. Ana Dili Eğitimi Dergisi, 7(3), 597-629.
• Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130-144.
• Kelecioğlu, H., & Şahin, S. G. (2014). Geçmişten günümüze geçerlik. Journal of Measurement and Evaluation in Education and Psychology, 5(2), 1-11.
• Koray, Ö., & Azar, A. (2008). Ortaöğretim öğrencilerinin problem çözme ve mantıksal düşünme becerilerinin cinsiyet ve seçilen alan açısından incelenmesi. Kastamonu Eğitim Dergisi, 16(1), 125-136.
• Korkut, F. (2002). Lise öğrencilerinin problem çözme becerileri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 23(23).
• Kürüm, D. (2002). Öğretmenlerin adaylarının eleştirel düşünme gücü [Yüksek Lisans Tezi, Anadolu Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi’nden edinilmiştir. (Tez No:117321).
• McDonald, M. (2007). The nurse educator's guide to assessing learning outcomes. Jones and Bartlett Publishers. Millî Eğitim Bakanlığı [MEB]. (2018). Fen bilimleri dersi öğretim programı (İlkokul ve ortaokul 3, 4, 5, 6, 7 ve 8. Sınıflar). T.C. Millî Eğitim Bakanlığı.
• Moskal, B. M. (2000). Scoring rubrics: What, when and how? Practical Assessment, Research & Evaluation, 7(1), 3. Moskal, B. M., & Leydens, J. A. (2000). Scoring rubric development: Validity and reliability. Practical Assessment, Research & Evaluation, 7, 10.
• Muir, T., Beswick, K., & Williamson, J. (2008). “I’m not very good at solving problems”: An exploration of students’ problem-solving behaviours. The Journal of Mathematical Behavior, 27(3), 228-241.
• Mulaik, S. A. James, L. R. Van Alstine, J. Bennett, N. Lind, S., & Stilwell, C. D. (1989). Evaluation of goodness-of-fit indices for structural equation models. Psychological Bulletin, 105, 430-445.
• Özgenel, M., & Çetin, M. (2018). Development of the Marmara critical thinking dispositions scale: Validity and reliability analysis. Uluslararası Avrasya Sosyal Bilimler Dergisi. 9(9), 991-1015.
• Özsoy, G. (2005). Problem çözme becerisi ile matematik başarısı arasındaki ilişki. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 25(3), 179-190.
• Özyürek, A. (2018). Okul öncesi dönem çocuklarda problem çözme becerilerinin bazı değişkenler açısından incelenmesi. Uluslararası Erken Çocukluk Eğitimi Çalışmaları Dergisi, 3(2), 32-41.
• Panadero, E. & Jonsson, A. (2020). A critical review of the arguments against the use of rubrics. Educational Research Review, 30, 100329. doi: 10.1016/j.edurev.2020.100329
• Peña, A. (2010). The Dreyfus model of clinical problem-solving skills acquisition: a critical perspective. Medical education online, 15(1), 4846.
• Tishman, S., Jay, E., & Perkins, D. N. (1993). Teaching thinking dispositions: From transmission to enculturation. Theory into practice, 32(3), 147-153.
• Polat, R. H., & Tümkaya, S. (2010). Sınıf öğretmenliği öğrencilerinin düşünme ihtiyacına göre problem çözme becerilerinin incelenmesi. İlköğretim Online, 9(1), 346-360.
• Reynders, G. Lantz, J. Ruder, S. M. Stanford, C. L., & Cole, R. S. (2020). Rubrics to assess critical thinking and information processing in undergraduate STEM courses. International Journal of STEM Education, 7, 1-15.
• Sarıbaş, D. Akdemir, Z. G. Aydın, G., & Yılmaz, Ş. (2019). Critical Thinking Skills in Preschool Science Education and Suggestions Towards Teacher Education. Necatibey Faculty of Education Electronic Journal of Science & Mathematics Education, 13(2).
• Schoenfeld, A. H. (1980). Teaching problem-solving skills. The American Mathematical Monthly, 87(10), 794-805.
• Seferoğlu, S., & Akbıyık, C. (2006). Eleştirel düşünme ve öğretimi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, (30). 193-200.
• Sezer, S. (2005). Öğrencinin Akademik başarısının belirlenmesinde tamamlayıcı değerlendirme aracı olarak rubrik kullanımı üzerinde bir araştırma. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 18(18), 61-69.
• Sezgin, E. (2011). Problem Çözme Becerisi Ölçeğinin geliştirilmesi [Yüksek lisans tezi, Ankara Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi’nden edinilmiştir. (Tez No: 302037).
• Simon, H. A. (1975). The functional equivalence of problem-solving skills. Cognitive Psychology, 7(2), 268-288. Snyder, L. G., & Snyder, M. J. (2008). Teaching critical thinking and problem-solving skills. The Journal of Research in Business Education, 50(2), 90.
• Şahin, Ç. (2004). Problem çözme becerisinin temel felsefesi. Atatürk Üniversitesi Kazım Karabekir Eğitim Fakültesi Dergisi, (10). 160-171.
• Şanlı, N. (2005). Çocukların problem çözme becerisini geliştirmek için. Çoluk Çocuk Aylık Anne Baba Eğitim Dergisi, 52, 20-22
• Temel, V., & Ayan, V. (2015). Beden eğitimi ve spor öğretmenlerinin problem çözme becerileri. KMÜ Sosyal ve Ekonomik Araştırmalar Dergisi 17 (29), 70-76.
• Türnüklü, E. B., & Yeşildere, S. (2015). Problem, problem çözme ve eleştirel düşünme. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 25(3), 107-123.
• Unterrainer, J. M., & Owen, A. M. (2006). Planning and problem solving: from neuropsychology to functional neuroimaging. Journal of Physiology-Paris, 99(4-6), 308-317.
• Yaghmaie, F. (2003). Content validity and its estimation. Journal of medical education, 3(1). 25-27.
• Yiğit, Y. (2018). Din öğretiminde problem çözme becerisi kazanma amacına erişim düzeyi ölçeği: Geçerlik güvenilirlik çalışması. Dokuz Eylül Üniversitesi İlahiyat Fakültesi Dergisi, (47), 347-371.
• Willingham, D. T. (2007). Critical thinking: Why is it so hard to teach. American Educator. 31(2), 8-19.
• Zimmerman, C. (2007). The development of scientific thinking skills in elementary and middle school. Developmental Review, 27, 172-223.