Problem Types Used by Content Areas: A Comparative Analysis on PISA and National Exams

Year 2022, Volume: 9 Issue: 2, 712 - 734, 30.08.2022

Fahrettin Aşıcı , Yüksel Dede

https://doi.org/10.30900/kafkasegt.1001840

Abstract

The way content areas in the curriculum handle information, learning-teaching strategies, and habits may change. In addition, the evaluation methods of the subjects belonging to these content areas and the tools used in these evaluations may also change. In this context, it is aimed to determine the characteristics of the problems used in the national exams applied during the transition to secondary education in Turkey and in the mathematics tests in PISA, which is an international comparative exam, according to the content area to which the problem is related, and to determine the similarities and differences between the assessments. For this purpose, in the study in which document analysis, one of the qualitative research approaches, was used, 450 problems that appeared in the national exams between 2003-2019 and 116 problems that were asked and shared publicly in PISA were subjected to content analysis according to coding protocols prepared with a deductive approach. As a result of the study, it has been determined that numbers and operations, algebra, data processing, and probability content area problems are mostly or completely standard or verbal data-laden problems in both cases. In addition, it was concluded that geometry and measurement content area problems in national exams are mostly standard problems, and in PISA they are mostly non-standard problems, being approximately balanced. On the other hand, it was concluded that all content area problems in PISA are contextual, while in national exams, problems without context in numbers and operations, algebra and geometry and measurement were used more. In addition, in some content areas in both applications, results were obtained regarding the absence of common perspectives such as an algorithmic and non-rule-based approach to problem-solving, the use of high-level skills, and the effective use of representations.

Keywords

National exams, PISA, problem types, content area

Öğrenme Alanlarına Göre Kullanılan Problem Türleri: PISA ve Ulusal Sınavlar Üzerine Karşılaştırmalı Bir Analiz

Abstract

Bir öğretim programında yer verilen öğrenme alanlarının bilgiyi ele alış biçimleri, öğrenme-öğretme stratejileri ve alışkanlıkları değişebildiği gibi bu öğrenme alanlarına ait konuların değerlendirme biçimleri ve bu değerlendirmelerde kullanılan araçlar da değişebilmektedir. Bu bağlamda şimdiki çalışmada; Türkiye’de ortaöğretime geçiş aşamasında uygulanan ulusal sınavlarda ve bir uluslararası karşılaştırmalı sınav olan PISA uygulamalarındaki matematik testlerinde kullanılan problemlerin sahip olduğu niteliklerin, problemin ilgili olduğu öğrenme alanına göre durumunu tespit etmek, ayrıca değerlendirmeler arasındaki benzerlik ve farklılıkları belirlemek amaçlanmıştır. Bu amaçla nitel araştırma yaklaşımlarından doküman analizinin kullanıldığı çalışmada, 2003-2019 yılları arasında yapılmış olan ulusal sınavlarda çıkmış 450 ve PISA uygulamalarında çıkmış ve açıklanmış 116 problem, tümdengelimsel yaklaşımla hazırlanan kodlama protokollerine göre içerik analizine tabi tutulmuştur. Çalışmanın sonucunda sayılar ve işlemler, cebir, veri işleme ve olasılık öğrenme alanı problemlerinin, her iki durumda da çoğunlukla ya da tamamen standart ya da sözel veri ağırlıklı problemler olduğu, geometri ve ölçme öğrenme alanı problemlerinin ise ulusal sınavlarda çoğunlukla standart, PISA’da ise yaklaşık dengeli bir şekilde olmak üzere çoğunlukla standart olmayan problemler olduğu, ayrıca PISA’daki tüm öğrenme alanı problemlerinin bağlamsal, ulusal sınavlarda ise sayılar ve işlemler, cebir ve geometri ve ölçme öğrenme alanlarında bağlam içermeyen problemlere daha fazla yer verildiği tespit edilmiştir. Bununla beraber problem çözmeye algoritmik ve kural temelli yaklaşılmaması, üst düzey becerilerin kullanılması, temsillerin etkin kullanımı gibi ortak perspektiflere, ulusal sınavlar ve PISA uygulamalarındaki bazı öğrenme alanlarındaki problemlerde yer verilmediği sonucuna ulaşılmıştır.

Keywords

Ulusal sınavlar, PISA, Problem türleri, Öğrenme alanı

References

• Atweh, B. (2007, Kasım). Pedagogy for socially response-able mathematics education. Australian Association of Research in Education Yıllık Konferansı'nda sunulmuş bildiri. Fremantle, West Australia.
• Batur, A., Özmen, Z. M., Topan, B., Akoğlu, K., & Güven, B. (2021). A Cross-National Comparison of Statistics Curricula. Turkish Journal of Computer and Mathematics Education, 12(1), 187-201. https://doi.org/10.16949/turkbilmat.793285
• Berg, B. L. (2001). Qualitative research methods for the social sciences (4.b.). Boston: Allyne & Bacon.
• Bogdan, R. C., & Biklen, S. K. (2007). Qualitative research for education: an introduction to theories and methods (5. b.). Boston: Pearson.
• Bowen, G. A. (2009). Document analysis as a qualitative research method, Qualitative Research Journal, 9(2), 27-40. https://doi.org/10.3316/QRJ0902027
• Brown, R. (2001, Eylül). Educational values and summative assessment a view across three educational systems. İngiliz Eğitim Araştırmaları Derneği Yıllık Konferansı'nda sunulmuş bildiri, University of Leeds, England.
• Clarke, D., Emanuelsson, J., Jablonka, E., & Mok, I. A. (2006). The learner’s perspective study and international comparisons of classroom practice. D. Clarke, J. Emanuelsson, E. Jablonka, & I. A. Mok (Eds), Making connections: Comparing mathematics classrooms around the world içinde (s. 1-22). Rotterdam: Sense.
• Clarke, D. (2003). International comparative research in mathematics education. A. J. Bishop, M. C. Clements, C. Keitel, J. Kilpatrick, & F. K. Leung (Eds), Second international handbook of mathematics education içinde (s. 143-184). Kluwer Academic. Corbin, J. M., & Strauss, A. (2008). Basics of Qualitative Research: Techniques and Procedures for Developing Grounded Theory (3. b.). London: SAGE.
• Deshler, D. D., Mitchell, B. B., Kennedy, M. J., Novosel, L., & Ihle, F. (2012). Content-area learning. N. M. Seel (Ed.), Encyclopedia of the sciences of learning içinde (s. 787-790). Boston, MA: Springer. Downe-Wamboldt, B. (1992). Content analysis: Method, applications, and issues. Health Care for Women International, 13, 313-321. doi:10.1080/07399339209516006
• Flick, U. (2009). An introduction to qualitative research (4. b.). London: SAGE.
• Fyhn, A. B. (2013). Sami culture and values: A Study of the national mathematics exam for the compulsory school in Norway. Interchange, 44, 349-367. doi:10.1007/s10780-013-9201-3
• Great Schools Partnership. (2020, Mart 24). Content area. The glossary of educational reform: https://www.edglossary.org/content-area/ adresinden alındı
• Hitchcock, G., & Hughes, D. (1995). Research and the teacher: a qualitative introduction to school-based research (2. b.). London: RoutledgeFalmer.
• Huckin, T. (2004). Content analysis: What texts talk about. C. Bazerman, & P. Prior (Eds), What writing does and how it does it: an introduction to analyzing texts and textual practices içinde (s. 13-32). Lawrence Erlbaum Associates.
• Jablonka, E. (2003). Mathematical literacy. A. J. Bishop, M. A. Clements, C. Keitel, J. Kilpatrick, & F. K. Leung (Eds), Second international handbook of mathematics education içinde (s. 75-102). Dordrecht: Kluwer Academic.
• Jablonka, E. (2006). Student(s) at the front: Forms and functions in six classrooms from Germany, Hong Kong and the United States. D. J. Clarke, J. Emanuelsson, E. Jablonka, & I. A. Mok (Eds), Making connections: Comparing mathematics classrooms around the world içinde (s. 107-126). Rotterdam: Sense.
• Kolovou, A. (2011). Mathematical problem solving in primary school. Doctoral Dissertation, Freudenthal Institute for Science and Mathematics Education, Faculty of Science, Utrecht University, Utrecht.
• Krulik, S., & Rudnick, J. A. (1988). Problem solving: A handbook for elementary school teachers. Boston: Allyn & Bacon.
• Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174.
• Lim, C. S. (2003). Cultural differences and mathematics learning in Malaysia. The Mathematics Educator, 7(1), 110-122.
• Loh M. Y., & Lee N. H. (2019) The impact of various methods in evaluating metacognitive strategies in mathematical problem solving. Liljedahl P., Santos-Trigo M. (Eds.) Mathematical problem solving. ICME-13 monographs içinde (s. 155-176). Cham: Springer.
• MEB. (2009). İlköğretim matematik dersi 6-8. sınıflar öğretim programı. Ankara: MEB.
• MEB. (2011). Ortaöğretim matematik (9, 10, 11 ve 12. sınıflar) dersi öğretim programı. Ankara: MEB.
• MEB. (2018). Matematik dersi öğretim programı (İlkokul ve ortaokul 1, 2, 3, 4, 5, 6, 7 ve 8. sınıflar). Ankara: MEB.
• MEB. (2019). PISA 2018 Türkiye ön raporu. Ankara: MEB. http://pisa.meb.gov.tr/wp-content/uploads/2014/11/PISA_2018_Turkiye_On_Raporu.pdf adresinden alındı.
• MEB (2019). Araştırma Sınavı Matematik Raporu 8. Sınıf. Ankara: Millî Eğitim Bakanlığı Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü.
• MEB. (2020, Mart 28). PISA Nedir? Mart 28, 2020 tarihinde PISA Türkiye Resmi Web Sitesi: pisa.meb.gov.tr adresinden alındı.
• Merriam, S. B., & Tisdell, E. J. (2016). Qualitative research: a guide to design and implementation (4. b.). San Francisco: Jossey-Bass.
• National Council of Teachers of Mathematics. (2000). Principles and Standards for School Mathematics. Reston, VA: The National Council of Teachers of Mathematics.
• OECD. (1999). Measuring student knowledge and skills: A new framework for assessment. Paris: OECD. http://www.oecd.org/education/school/programmeforinternationalstudentassessmentpisa/33693997.pdf adresinden alındı.
• OECD. (2003). Literacy skills for the world of tomorrow: Further results from PISA 2000. Paris: OECD. https://www.oecd-ilibrary.org/docserver/9789264102873-en.pdf?expires=1578988848&id=id&accname=guest&checksum=8208455F1019FC2F17B08BF17CBC9F59 adresinden alındı.
• OECD. (2003a). The PISA 2003 assesment framework. Paris: OECD. https://www.oecd-ilibrary.org/docserver/9789264101739-en.pdf?expires=1579010601&id=id&accname=guest&checksum=56F94643FECEA6D69B38EE378130FFA6 adresinden alındı.
• OECD. (2013). PISA 2012 assessment and analytical framework: Mathematics, reading, science, problem solving and financial literacy. OECD. doi:10.1787/9789264190511-en
• OECD. (2017). PISA 2015 assessment and analytical framework: Science, reading, mathematic, financial literacy and collaborative problem solving (Revised edition). Paris: OECD. doi:10.1787/9789264281820-en
• OECD. (2018). PISA 2021 mathematics framework (Draft). Paris: OECD. http://www.oecd.org/pisa/sitedocument/PISA-2021-mathematics-framework.pdf adresinden alındı.
• OECD. (2019). PISA 2018 assessment and analytical framework. Paris: OECD. doi:10.1787/b25efab8-en
• OECD. (2019a). PISA 2018: Insights and interpretations. Paris: OECD. http://www.oecd.org/pisa/PISA%202018%20Insights%20and%20Interpretations%20FINAL%20PDF.pdf adresinden alındı.
• OECD. (2020, Ocak 28). PISA 2021 mathematics framework. https://pisa2021-maths.oecd.org: https://pisa2021-maths.oecd.org/#Overview adresinden alındı.
• Özmen, Z. M., Taşkın, D., & Güven, B. (2012). İlköğretim 7. sınıf matematik öğretmenlerinin kullandıkları problem türlerinin belirlenmesi. Eğitim ve Bilim, 37(165), 246-261.
• Patton, M. Q. (2015). Qualitative research & evaluation methods: integrating theory and practice (4. b.). California: SAGE.
• Polya, G. (2004). How to solve it: A new aspect of mathematical method. Princeton: Princeton University.
• Saldaña, J. (2013). The coding manual for qualitative researchers (2. b.). London: SAGE.
• Taplin, M. (2007). Teaching values through a problem-solving approach to mathematics. Hong Kong: Institute of Sathya Sai Education.
• Van de Walle, J. A., Karp, K. S., & Bay-Williams, J. M. (2019). Elementary and middle school mathematics: Teaching developmentally (10. b.). Boston: Pearson.
• World Bank. (2013). Promoting excellence in Turkey's schools: Türkiyede okullarda mükemmelliyeti teşvik etmek. Washington DC: World Bank.