Development of an Analytical Thinking Skills Test for the Pure Substance and Mixtures Unit

Abstract

This study aims to develop a validated and reliable multiple-choice test on the "Pure Substance and Mixtures" unit in 7th grade science curriculum, which incorporates indicators of analytical thinking skills. The “Pure Substance and Mixtures” Unit Analytical Thinking Skills Test (ATST) was administered to a total of 204 students studying in the 7th grade of secondary schools in Trabzon in the 2022-2023 academic year. Lawshe technique is used to ensure the content validity of the developed test and items 2, 19 and 30, which received negative feedback from the experts, were removed from the test. As a result of the item analysis, item 12 was removed, along with items 10 and 16 following the factor analysis. The difficulty index of the items in the test ranged from 0.19 to 0.66, while the discrimination index ranged from 0.02 to 0.76. Based on the reliability analysis, the KR-20 was determined to be 0.86. It can be concluded that the ATST for the "Pure Substance and Mixtures" unit has an acceptable level of reliability (Büyüköztürk, 2011). As a result of the study, a test consisting of 28 items, covering the indicators of analytical thinking skills and aligned with the unit's learning outcomes, was developed.

Keywords

• Pure matter
• mixture
• analytical thinking skill
• achievement test

Saf Madde ve Karışımlar Ünitesine Yönelik Analitik Düşünme Becerisi Testi Geliştirme Çalışması

Abstract

Bu araştırmanın amacı, Fen Bilimleri Dersi Öğretim Programı’nda 7. sınıfta yer alan “Saf Madde ve Karışımlar” ünitesine yönelik, analitik düşünme becerisi göstergelerini kapsayan, geçerlik ve güvenirlik analizi yapılmış, çoktan seçmeli sorular içeren bir test geliştirmektir. “Saf Madde ve Karışımlar” Ünitesine Yönelik Analitik Düşünme Becerisi Testi (ADBT), 2022-2023 eğitim öğretim yılında, Trabzon ili bir merkez ve iki köy ortaokulu 7. sınıfında öğrenim gören toplam 204 öğrenciye uygulanmıştır. Geliştirilen testin kapsam geçerliğini değerlendirmek amacıyla kullanılan Lawshe tekniği sonucunda uzmanlardan olumsuz geri bildirim alan 2, 19 ve 30 numaralı maddeler testten çıkarılmıştır. Madde analizi sonucu 12. madde ve faktör analizi sonucunda da 10 ve 16. maddeler testten çıkarılmıştır. Testte yer alan maddelerin güçlük indeksi 0.19 ile 0.66 arasında, ayırt edicilik indeksi ise, 0.02 ile 0.76 arasında değişmektedir. Testin güvenirlik analizi için hesaplanan KR-20 iç tutarlılık katsayısı 0.86 olarak belirlenmiştir (Büyüköztürk, 2011). Bu değer “Saf Madde ve Karışımlar” ünitesi ile ilgili analitik düşünme becerilerini ölçmede güvenilir bir test olduğunu göstermektedir. Çalışmanın sonucunda ünite kazanımlarına uygun, analitik düşünme becerisi göstergelerini kapsayan ve nihai hali 28 sorudan oluşan bir test geliştirilmiştir.

Keywords

• Saf madde
• karışımlar
• analitik düşünme becerisi
• başarı testi

References

1. Açıkgöz, M., & Karslı, F. (2015). Validity and reliability analysis of the achievement test developed on work and energy using alternative measurement-evaluation techniques. Amasya University Journal of the Faculty of Education, 4(1), 1-25.
2. Akbulut, H. İ. & Çepni, S. (2013). Bir üniteye yönelik başarı testi nasıl geliştirilir?: İlköğretim 7. Sınıf kuvvet ve hareket ünitesine yönelik bir çalışma. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 2(1), 18-44.
3. Akkuş Çakır, N. & Senemoğlu N. (2016). Yükseköğretimde analitik düşünme becerileri. Kastamonu Eğitim Dergisi, 24(3), 1487-1502.
4. Akyürek, G. (2019). LGS ve TEOG sınavlarının fen bilimleri dersi öğretim programı ve yenilenmiş Bloom taksonomisine göre incelenmesi [Yayınlanmamış yüksek lisans tezi]. Necmettin Erbakan Üniversitesi.
5. Alisinanoğlu, F., & Şimşek, Ö. (2013). Okul öncesi dönemdeki çocukların yazmaya hazırlık becerilerini değerlendirme kontrol listesinin geçerlik ve güvenirlik çalışması. Kastamonu Eğitim Dergisi, 21(3), 1163-1176.
6. Alkan Dilbaz, G., Özgelen, S. & Yanpar Yelken, T. (2015). Araştırma becerileri testinin (ABT) geliştirilmesi. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 12(2), 305-332.
7. Arslan, A. (2021). Eğitsel oyun içerikli fen ev ödevlerinin ortaokul öğrencilerinin akademik başarısına etkisi ve öğrencilerin eğitsel oyun içerikli ev ödevlerine yönelik görüşleri [Yayınlanmamış yüksek lisans tezi]. Necmettin Erbakan Üniversitesi.
8. Ateş Çobanoğlu, A. (2013). Eğitsel web sitelerini değerlendirmeye yönelik bir ölçek önerisi. Eğitim Teknolojileri Araştırmaları Dergisi, 4(1).

9. Atılgan, H., Kan, A., & Doğan, N. (2016). Davranışların ölçülmesi, ölçme araçlarını sınıflama çabaları, yazılı yoklamalar, sözlü yoklamalar, çoktan seçmeli testler. Eğitimde Ölçme ve Değerlendirme içinde (s.139-326). Anı Yayıncılık.
10. Avcı, F. (2020). Yenilenmiş bloom taksonomisine göre madde ve ısı başarı testi: Geçerlik güvenirlik çalışması. Igdır University Journal of Social Sciences, 21, 263- 292.
11. Ayre, C., & Scally A. J. (2014). Critical values for Lawshe’s content validity ratio: revisiting the original methods of calculation. Measurement and Evaluation in Counseling and Development, 47 (1), 79–86
12. Ayvacı, H. Ş., & Durmuş, A. (2016). Bir başarı testi geliştirme çalışması: ısı ve sıcaklık başarı testi geçerlik ve güvenirlik araştırması. Ondokuz Mayıs Üniversitesi Eğitim Fakültesi Dergisi, 35(1), 87-102.
13. Baştürk, S. (2014). Eğitimde ölçme ve değerlendirme. Nobel Yayınları.
14. Batdı, V. (2013). İşbirlikli öğrenmenin yabancı dil öğretimindeki önemine ilişkin öğretmen görüşleri. Eğitim ve Öğretim Araştırmaları Dergisi, 2(1), 158-165.
15. Bolat, A., & Karamustafaoğlu, S. (2019). “Vücudumuzdaki sistemler” ünitesi başarı testi geliştirme: geçerlik ve güvenirlik. Gazi Eğitim Bilimleri Dergisi, 5(2), 131-159. https://doi.org/10.47479/ihead.800620
16. Büyüköztürk, Ş. (2011). Sosyal bilimler için veri analizi el kitabı. Pegem A Yayınları.
17. Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö.E., Karadeniz Ş., & Demirel, F. (2010). Bilimsel araştırma yöntemleri (5. Baskı). Pegem Akademi Yayınları.
18. Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö.E., Karadeniz, Ş. & Demirel, F. (2008). Bilimsel araştırma yöntemleri. Pegem Akademi Yayınları.
19. Büyüköztürk, Ş. (2020). Sosyal bilimler için veri analizi kitabı (27. baskı). Pegem Akademi Yayıncılık.
20. Chonkaew, P., Sukhummek, B., & Faikhamta, C. (2016). Development of analytical thinking ability and attitudes towards science learning of grade-11 students through science technology engineering and mathematics (STEM education) in the study of stoichiometry. Chemistry Education Research and Practice, 17(4), 842-861. https://doi.org/10.1039/C6RP00074F
21. Çalık, M. & Ayas, A. (2002). Öğrencilerin bazı kimya kavramlarını anlama seviyelerinin karşılaştırılması. 2000’li Yıllarda I. Öğrenme ve Öğretme Sempozyumu, Marmara Üniversitesi, İstanbul.
22. Dede, H. & Keleş, İ. H. (2020). Saf madde, karışımlar ve karışımların ayrılması konularında yaşam temelli başarı testinin geliştirilmesi. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 40(3), 797-825. https://doi.org/10.17152/gefad.659887
23. Demir, N., & Akarsu, B. (2014). Modern fizik konuları ile ilgili kavram testi geliştirilmesi ve uygulanması: Modern fizik kavram testi (MKFT). Journal of European Education, 4(2), 39-51. https://doi.org/10.18656/jee.85816
24. Demir, N., Kızılay, E., & Bektaş, O. (2016). 7. sınıf çözeltiler konusunda başarı testi geliştirme: Geçerlik ve güvenirlik çalışması. Necatibey Eğitim Fakültesi Elektronik Fen ve Matematik Eğitimi Dergisi, 10(1). https://doi.org/10.17522/nefefmed.52947
25. Dinç Bilgin, S. & Zorlu, Y. (2023). “Saf madde ve karışımlar” ünitesinde 2d ve 3d teknoloji destekli modellemeye dayalı öğretimin öğrencilerin akademik başarılarına ve 21. yüzyıl becerilerine etkisi. Erzincan Üniversitesi Eğitim Fakültesi Dergisi, 25(4), 601-616. https://doi.org/10.17556/erziefd.1302334
26. Divarcı, Ö. F. & Kaya, H., (2019). 8. sınıf “maddenin halleri ve ısı” ünitesine yönelik geçerliliği ve güvenirliği sağlanmış bir akademik başarı testi geliştirme çalışması. Eğitim Kuram ve Uygulama Araştırmaları Dergisi, 5(2), 214-238.
27. Doğan, A., Kılıç, M.A. & Şimşek, Ü. (2016). Jigsaw yönteminin maddenin tanecikli yapısı ünitesinin öğretiminde öğrenci başarısına etkisi. Erzincan Üniversitesi Eğitim Fakültesi Dergisi, 18(2), 1357-1379. https://doi.org/10.17556/jef.31750
28. Doymuş, K., Okumuş, S. & Çavdar, O. (2016). Fen eğitimi öğrencilerinin maddenin tanecikli yapısı ile ilgili anlamalarının belirlenmesi. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 13(33), 69-93.
29. Emekli, E. (2021). Fen bilimlerinde yaşam becerileri eğitimi kılavuzunun fen bilgisi öğretmen adaylarının analitik düşünme becerisine yönelik mesleki bilgilerinin gelişimi üzerine etkisinin incelenmesi [Yayınlanmamış yüksek lisans tezi]. Kafkas Üniversitesi.
30. Ercan, İ., & Kan, İ. (2004). Ölçeklerde güvenirlik ve geçerlik. Uludağ Üniversitesi Tıp Fakültesi Dergisi, 30(3), 211-216.
31. Gömleksiz, M., & Erkan, S. (2010). Eğitimde ölçme ve değerlendirme (2. Baskı). Nobel Yayın Dağıtım.
32. Gönen, S., Kocakaya, S. & Kocakaya, F. (2011). Dinamik konusunda geçerliliği ve güvenilirliği sağlanmış bir başarı testi geliştirme çalışması. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 8(1), 40-57.
33. Güler, N. (2019). Eğitimde ölçme ve değerlendirme. (14. Baskı) Pegem Akademi.
34. Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309-333. https://doi.org/10.1207/S15324818AME1503_5
35. Hasançebi, B., Terzi, Y. Küçük, Z. (2020). Madde güçlük indeksi ve madde ayırt edicilik indeksine dayalı çeldirici analizi. Gümüşhane Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 10(1), 224-240. https://doi.org/10.17714/gumusfenbil.615465
36. Irwanto, I., Rohaeti, E., Widjajanti, E. & Suyanta, S. (2017, August). Students’ science process skill and analytical thinking ability in chemistry learning. In AIP Conference Proceedings (Vol. 1868, No. 1). AIP Publishing. https://doi.org/10.1063/1.4995100
37. Johnson, P. (1998). Progression in children’s understanding of a “basic” particletheory: A longitudinal study. International Journal of Science Education, 20(4), 393-412. https://doi.org/10.1080/0950069980200402
38. Kaewsudjarit, J. (1998). A development of a feature of thinking scale for phathom suksa four to six students, [Unpublished master’s thesis]. Chalalongkorn University.
39. Kala, A. (2019). Fen bilimleri eğitiminde analitik düşünme becerisi. A. Kirman Bilgin (Eds.), Fen Bilimlerinde Yaşam Becerileri Eğitimi içinde (ss. 52-80). Pegem Akademi. https://doi.org/10.14527/9786050370041.02
40. Kala, N. & Kirman Bilgin, A. (2019). Bağlam temelli öğrenme uygulamaları ile zenginleştirilmiş fen bilimlerinde yaşam becerileri eğitimi kılavuzunun tasarlanması, uygulanması ve değerlendirilmesi. TUBİTAK - 117K993, 1. Gelişme Raporu https://doi.org/10.14527/9786050370041
41. Kala, N., & Kirman Bilgin, A. (2020). Fen bilimleri öğretmen adaylarının analitik düşünme becerisi ile ilgili mesleki bilgilerinin belirlenmesi. Journal of Turkish Educational Sciences, 18(2). https://doi.org/10.37217/tebd.668160
42. Kan, A. (2020). Ölçme aracı geliştirme. S. Tekindal (Ed.) Eğitimde Ölçme ve Değerlendirme içinde (s. 239-276). Pegem Akademi.
43. Kanyılmaz, B. M. & Özata Yücel, E. (2020). Öğretmenlerin fen bilimleri dersinde ilkokul öğrencilerinin analitik düşünme becerilerinin geliştirilmesine yönelik görüşlerinin ve sınıf içi uygulamalarının değerlendirilmesi. Eğitim ve Bilim, 45(204), 23-39. http://dx.doi.org/10.15390/EB.2020.8876
44. Kaplan, E., Bektaş, O. & Karaca, M. (2022). Madde ve ısı ünitesi başarı testi geliştirme çalışması. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 63, 78-116. https://doi.org/10.21764/maeuefd.985968
45. Karasar, N. (2012). Bilimsel araştırma yöntemi. Bilim Kitap Kırtasiye Yayınevi.
46. Karslı, F., & Ayas, A. (2013). Fen ve teknoloji dersi öğretmen adaylarının bilimsel süreç becerilerinin ölçülmesine ilişkin bir test geliştirme çalışması. Türk Fen Eğitimi Dergisi, 10(2), 66-84.
47. Khamsaengmat, R., & Kanjug, I. (2022, Kasım 28-Aralık 2). The use of constructivism flipped classroom to promote analytical thinking in the technology course [Paper presentation]. In Proceedings of the 30th International Conference on Computers in Education, Kuala Lumpur, Malaysia. https://icce2022.apsce.net/
48. Kızkapan, O. & Bektaş O. (2018). Yedinci sınıf maddenin yapısı ve özellikleri ünitesi başarı geliştirme çalışması: geçerlik ve güvenirlik çalışması [Bildiri sunumu]. 4. Uluslararası Eğitim Bilimleri Sempozyumu, Alanya. https://doi.org/10.34137/jilses.431971
49. Kocaman, B. (2021). Analitik düşünme temelli çevrimiçi stem öğretim programının geliştirilmesi ve etkililiğinin incelenmesi. [Yayınlanmamış doktora tezi]. Afyon Kocatepe Üniversitesi.
50. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575.
51. Lorenzo-Seva, U., & Ferrando, P.J. (2021). Not positive definite correlation matrices in exploratory item factor analysis: Causes, consequences and a proposed solution. Structural Equation Modeling: A Multidisciplinary Journal, 28(1), 138-147. https://doi:10.1080/10705511.2020.1735393
52. Marzano, R. J., & Kendall, J. S. (2007). The new taxonomy of educational objectives (2nd ed.). Thousand Oaks, CA: Corwin Press.
53. McMillan, J. H. (2015). Sınıf içi değerlendirme etkili ölçütlere dayalı etkili bir öğretim için ilke ve uygulamalar. Eğitim Yayınevi.
54. MEB, (2018). Fen bilimleri dersi taslak öğretim programı (ilkokul ve ortaokul 3, 4, 5, 6, 7, 8. sınıflar). Ankara: Temel Eğitim Genel Müdürlüğü.
55. Montaku S. (2011). Results of analytical thinking skills training through students in system analysis and design course, IETEC’11 Conference, Kuala Lumpur, Malezya.
56. Ocak, G. & Park, F. (2020). Lise öğrencileri için analitik düşünme ölçeği geliştirme çalışması. Afyon Kocatepe Üniversitesi Sosyal Bilimler Dergisi, 22(1), 49-68. https://doi.org/10.32709/akusosbil.565699
57. Olça, M. (2015). Probleme dayalı öğrenme yönteminin öğrencilerin analitik düşünme becerileri, kavramsal anlamaları ve fene yönelik tutumları üzerine etkileri [Yayınlanmamış yüksek lisans tezi]. Dokuz Eylül Üniversitesi.
58. Öngöz, S. (2011, May 25-27). Elektronik ders kitabı değerlendirme formunun geliştirilmesi: geçerlik ve güvenirlik çalışması. 11th International Educational Technology Conference, Istanbul, Turkey.
59. Özçelik, D.A. (2010). Test hazırlama kılavuzu. Pegem Akademi.
60. Özdamar, K. (2016). Eğitim, sağlık ve davranış bilimlerinde ölçek ve test geliştirme yapısal eşitlik modellemesi. Nisan.
61. Özdemir, E., & Yurtseven, N. (2023). UbD temelli farklılaştırılmış fen öğretiminin öğrencilerin motivasyonlarına, bilimsel süreç becerilerine ve akademik başarılarına etkisi. Ulusal Eğitim Akademisi Dergisi, 7(1), 1-16. https://doi.org/10.32960/uead.1215835
62. Özden, B., & Yenice, N. (2021). Ortaokul 7. ve 8. sınıf öğrencilerine yönelik bir bilimsel sorgulama becerileri testi geliştirme çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 17(1), 112-131. https://doi.org/10.17860/mersinefd.726360
63. Özkan, S. & Yadigaroğlu, M. (2020). Başarı testi geliştirme: asit-baz başarı testi geçerlik ve güvenirlik araştırması, Turkish Studies Education, 15(2), 1141-1163. https://doi.org/10.29228/TurkishStudies.41734
64. Pazar, B., & Karamustafaoğlu, S. (2023). “Saf madde ve karışımlar” ünitesi başarı testi geliştirme: geçerlik ve güvenirlik. Anadolu University Journal of Education Faculty, 7(2), 404-432. https://doi.org/10.34056/aujef.1021291
65. Pazar, Ş. B., & Karamustafaoğlu, S. (2023). “Saf madde ve karışımlar” ünitesinin öğretiminde jigsaw tekniğinin ortaokul 7. sınıf öğrencilerin akademik başarıları üzerine etkisi. Premium e-Journal of Social Science (PEJOSS), 7(35), 1413-1428.
66. Ponputtha, W., Wannapiroon, P. & Nilsook, P. (2021). Creative history learning model using digital storytelling through cloud learning to enhance analytical thinking. International Journal of e-Education, e-Business, e-Management and e-Learning, 11(2), 42-50. https://doi.org/10.17706/ijeeee.2021.11.2.42-50
67. Saraç, H. (2018). Fen bilimleri dersi ‘maddenin değişimi’ ünitesi ile ilgili başarı testi geliştirme: geçerlik ve güvenirlik çalışması. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 18(1), 416-445. https://doi.org/10.17240/aibuefd.2018..-388815
68. Sartika, S. B. (2018). Teaching models to increase students’ analytical thinking skills. 1st International Conference on Intellectuals’ Global Responsibility (ICIGR 2017). Atlantis Press. https://doi.org/10.2991/icigr-17.2018.52
69. Sezgin Selçuk, G. (2019). Tarama yöntemi. H. Özmen ve O. Karamustafaoğlu (Ed.), Eğitimde araştırma yöntemleri içinde (ss.139-162). Pegem Akademi. https://doi.org/10.14527/9786052417867.07
70. Siribunnam, R., & Tayraukham, S. (2009). Effects of 7-E, KWL and conventional instruction on analytical thinking, learning achievement and attitudes toward chemistry learning. Journal of Social Sciences, 5(4), 279-282. https://doi.org/10.3844/jssp.2009.279.282
71. Sontay, G., & Karamustafaoğlu, S. (2020). 5. sınıf fen bilimleri dersi “yer kabuğunun gizemi” ünitesine yönelik başarı testi geliştirme çalışması. Fen Bilimleri Öğretimi Dergisi, 5(1), 62-86.
72. Soylu, Ü. İ., Karamustafaoğlu, S. & Karamustafaoğlu, O. (2020). 6. sınıf “madde ve ısı” ünitesi başarı testi geliştirme: geçerlik ve güvenirlik. Ihlara Eğitim Araştırmaları Dergisi, 5(2), 270-292. https://doi.org/10.47479/ihead.800620
73. Sözbilir, M. (2017, 20 Eylül). Madde analizi ve test geliştirme. http://olcmevedegerlendirme. wordpress.com/about/
74. Sternberg R J. (2002). Raising the achievement of all students: teaching for successful intelligence. Educational Psychology Review, 14(4), 383–393. https://doi.org/10.1023/A:1020601027773
75. Sternberg R J. (2006). The rainbow project: enhancing the sat through assessments of analytical, practical, and creative skills. Intelligence, (34), 321–350. https://doi.org/10.1016/j.intell.2006.01.002
76. Tekin, H. (2010). Eğitimde ölçme ve değerlendirme (20. Baskı). Yargı Yayınevi.
77. Tekindal, S. (2009). Duyuşsal özeliklerin ölçülmesi için araç oluşturma. Pegem Akademi.
78. Thaneerananon, T., Triampo, W., & Nokkaew, A. (2016). Development of a test to evaluate students' analytical thinking based on fact versus opinion differentiation. International Journal of Instruction, 9(2), 123-138.
79. Topay, N., & Yılmaz, M. (2023). Biyoloji ve fen bilgisi öğretmenlerine yönelik tamamlayıcı ölçme ve değerlendirme teknikleri başarı testi geliştirilmesi. Gazi Eğitim Bilimleri Dergisi, 9(2), 214-240. https://doi.org/10.30855/gjes.2023.09.02.005.
80. Turgut, M. F. & Baykul, Y. (2019). Eğitimde ölçme ve değerlendirme (8. baskı). Pegem Akademi.
81. Uçkun Kelek, F. (2019). Performans görevlerinin öğrencilerin 9. sınıf matematik dersi başarısı, özyeterlik algısı ve tutum ile ilişkisi ve öğrenci görüşleri [Yayınlanmamış yüksek lisans tezi] Gazi Üniversitesi.
82. Yalçın, M. (2012). Lise kimya öğretiminde kullanılan farklı (yazılı) ölçme türlerinin çözelti konusunda öğrencilerin başarılarını değerlendirmedeki güvenirlikleri [Yayınlanmamış doktora tezi] Gazi Üniversitesi.