Investigation of Validity and Reliability Studies in Mathematics Education Graduate Theses

Year 2020, Volume: 16 Issue: 31, 3924 - 3957, 30.11.2020

Sami Sezer Arbağ , Erhan Ertekin

https://doi.org/10.26466/opus.735675

Cited By: 1

Abstract

The aim of this research is to examine the validity and reliability studies of graduate theses completed in the field of mathematics education in terms of contemporary standards and to determine erors. The research was designed as a case study from qualitative research since it aimed to examine the validity and reliability studies of doctorate and master’s theses completed in mathematics education in terms of some criteria. Sample of study was composed by a total of 435 postgraduate theses which include 92 doctorate theses and 343 postgraduate theses from the website of YÖK Center of International Thesis which were written between the years 2000-2018 in the field of mathematics education.
According to the findings obtained as a result of the research, the reliability coefficient reported in 65% of the examined theses is lower than 0.80; in 96% confidence interval of the reliability coefficients were not reported; in the sample size at 89% is less than 400. In additon, the most commonly used reliability estimation methods Kuder-Richardson and Cronbach alpha; scope and structure validity types; the validity evidence was found to be evidence based on test content and internal structure. Possible solutions and suggestions were proposed by discussing the findigs.

Keywords

Validity, Reliability, Math Education

Matematik Eğitimi Lisansüstü Tezlerindeki Geçerlik ve Güvenirlik Çalışmalarının İncelenmesi

Abstract

Bu araştırmanın amacı, matematik eğitimi alanında tamamlanan lisansüstü tezlerin geçerlik ve güvenirlik çalışmalarını çağdaş standartlar yönünden incelemek ve hataları belirlemektir. Çalışma, matematik eğitiminde tamamlanmış doktora ve yüksek lisans tezlerinin geçerlik ve güvenirlik çalışmalarının bazı kriterler yönünden incelenmesini hedeflediğinden nitel araştırmalardan durum çalışması olarak desenlenmiştir. Çalışmanın örneklemini 2000-2018 yılları arasında matematik eğitimi alanında yapılan ve YÖK Ulusal Tez Merkezinin internet sitesinde erişim engeli bulunmayan 92 doktora ve 343 yüksek lisans tezi olmak üzere toplam 435 lisansüstü tez oluşturmaktadır.
Araştırma sonucunda elde edilen bulgulara göre, incelenen tezlerin %65’inde rapor edilen güvenirlik katsayısının 0.80’den düşük olduğu; %96’sında güvenirlik katsayısının güven aralıklarının rapor edilmediği; %89’unda güvenirlik kestirimine yönelik alınmış olan örneklem büyüklüğünün 400’den az olduğu belirlenmiştir. Bunun yanında en çok kullanılan güvenirlik kestirim yöntemlerinin Kuder Richardson ve Cronbach alfa; geçerlik türlerinin kapsam ve yapı geçerliği; geçerlik kanıtlarının ise test içeriği ve iç yapı üzerine temellenmiş kanıt olduğu tespit edilmiştir. Bulgular tartışılarak olası çözüm ve öneriler ileri sürülmüştür.

Keywords

Geçerlik, Güvenirlik, Matematik Eğitimi

References

• AERA, APA ve NCME [American Educational Research Association, American Psycholog-ical Association ve National Council on Measurement in Education] (1999). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
• AERA, APA ve NCME [American Educational Research Association, American Psychological Association ve National Council on Measurement in Education] (2014). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
• Alkan, G. (2014). Türkiye’de muhasebe alanında yapılan lisansüstü tez çalışmaları üzerine bir araştırma (1984- 2012). Muhasebe ve Finansman Dergisi, 61, 41-52.
• Altınkurt, L. (2007). Sanat eğitimi ile ilgili lisansüstü tezlerin incelenmesi. Milli Eğitim Dergisi, 173, 105-113.
• Arslan, A., Geriş, A. ve Kulaksız, T. (2016). Eğitsel Yazılım Değerlendirme Formlarının ve Ölçeklerinin İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 7(2), 272-284.
• Bademci, V. (2004). ‘Testin güvenirliği’ veya ‘Test güvenilirdir’ diye ifade etmek doğru değildir. Türk Eğitim Bilimleri Dergisi, 2(3), 367-372.
• Bademci, V. (2005a). Araştırmalarda ölçme ile ilgili bazı büyük hataları düzeltmek ve bir reformu başlatmak: Güvenirlik, testlerin bir özelliği değildir. Eğitim Fakültelerinde Yeniden Yapılandırmanın Sonuçları ve Öğretmen Yetiştirme Sempozyumu, 22-23-24 Eylül, Gazi Üniversitesi, Gazi Eğitim Fakültesi, Ankara.
• Bademci, V. (2005b). Testler güvenilir değildir: Ölçüm güvenirliğine yeterli dikkat ve güvenirlik çalışmaları için örneklem büyüklüğü. Gazi Üniversitesi Endüstriyel Sanatlar Eğitim Fakültesi Dergisi, 17, 33-45.
• Bademci, V. (2006a). Güvenirliği doğru anlamak ve bazı klişeleri yıkmak: Bilinenlerin aksine, Cronbach’ın alfa katsayısı, negatif ve -1’den küçük olabilir. İnönü Üniversitesi Eğitim Fakültesi Dergisi, 7(12), 3-26.
• Bademci, V. (2006b). Tartışmayı sonlandırmak: Cronbach’ın alfa katsayısı, iki değerli [0,1] ölçümlenmiş maddeler ile kullanılabilir. Kazım Karabekir Eğitim Fakültesi Dergisi, 13, 438-446.
• Bademci, V. (2007). Ölçme ve araştırma yöntem biliminde paradigma değişikliği: Testler güvenilir değildir, Ankara: Yenyap Yayınları.
• Bademci, V. (2008). Araştırmalarda ölçme ile ilgili bazı büyük hataları düzeltmek ve eğitimde yeniden yapılanmayı sürdürmek: Güvenirlik, testlerin bir özelliği değildir. Gazi Üniversitesi Endüstriyel Sanatlar Eğitim Fakültesi Dergisi, 22, 50-69.
• Bademci, V. (2010). Türk eğitim ve biliminde paradigma değişikliği: Testler veya ölçekler güvenilir ve geçerli değildir. Gazi Üniversitesi Endüstriyel Sanatlar Eğitim Fakültesi Dekanlığı, 26 Nisan, G.Ü. Gazi Eğitim Fakültesi Resim-İş Eğitimi Anabilim Dalı Konferans Salonu, Ankara.
• Bademci, V. (2011a). Türk eğitim ve biliminde paradigma değişikliği: Testler veya ölçekler güvenilir ve geçerli değildir. Dicle Üniversitesi Eğitim Fakültesi Dergisi, 16, 116-132.
• Bademci, V. (2011b). Kuder-Richardson 20, Cronbach Alfa, Hoyt’un varyans analizi, genelle-nirlik kuramı ve ölçüm güvenirliği üzerine bir çalışma. Dicle Üniversitesi Eğitim Fakül-tesi Dergisi, 17, 173-193.
• Bademci, V. (2017a). Ölçme ve araştırma yöntembiliminde çağdaş gelişmeler ve yeni standartlar 1: Geçerlik, ölçümlerin kullanımlarının ve önerilen yorumlarının bir özelliğidir. Eğitim ve Toplum Araştırmaları Dergisi, 4(1), 63-80.
• Bademci, V. (2017b). Ölçme ve araştırma yöntembiliminde çağdaş gelişmeler ve yeni standartlar 2: Geçerlikte üçleme (kapsam, ölçüt ilişkili ve yapı geçerlikleri) öğretisinin reddi ve geçerlik kanıtının kaynakları. Eğitim ve Toplum Araştırmaları Dergisi, 4(1), 81-97.
• Benligiray, S. (2012). Araştırmacıların bankacılık alanına bilimsel katkıları: Bankacılık konusunda yapılan lisansüstü tezlere ilişkin bir araştırma. Süleyman Demirel Üniversitesi Vizyoner Dergisi, 3(6), 26-46.
• Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş., ve Demirel, F. (2008). Bilimsel Araştırma Yöntemleri (17. Baskı). Ankara: Pegem Yayınları.
• Creswell, J. W. (2012). Educational research: Planning, conducting, and evaluating quantative and qualitative research (4th ed.). Boston: Pearson Education.
• Creswell, J. W. (2013). Research design: Qualilative, quantitative, and mixed methods approaches (4th ed.). Thousand Oaks, CA: Sage.
• Crocker, L., ve Algina, J. (1986). Introduction to classical and modern test theory, Ford Worth: Holt, Rinehart and Winston, Inc.
• Çepni, S. (2014). Araştırma ve proje çalışmalarına giriş. (7. Baskı). Trabzon: Celepler Matbaacılık.
• Delice, A., ve Ergene, Ö. (2015).Ölçek geliştirme ve uyarlama çalışmalarının incelenmesi: Matematik eğitimi makaleleri örneği.Karaelmas Eğitim Bilimleri Dergisi, 3, 60-75.
• Dunkin, M. J. (1996). Types of errors in synthesizing research in education. Review of Educational Research, 66(2), 87–97.
• Ergun, M. ve Cilingir, F. (2013). İlköğretim Bölümünde yapılan lisansüstü tezlerin incelenmesi:Ondokuz Mayıs Üniversitesi örneği. Sözel bildiri, VI. Ulusal Lisansüstü Eğitim Sempozyumu, SakaryaÜniversitesi, Sakarya.
• Evrekli, E., İnel, D., Deniş, H., ve Balım, A. G. (2011). Fen Eğitimi alanındaki lisansüstü tezlerdeki yöntemsel ve istatistiksel sorunlar. İlköğretim Online, 10(1), 206-218.
• İnce, M., Gül, H. ve Bozyiğit, S. (2017). Türkiye’de turizm pazarlaması konusunda yazılan lisansüstü tezlerin içerik analizi yöntemi ile incelenmesi.MANAS Sosyal Araştırmlar Dergisi,6(5), 113-130.
• Kabaca, T., ve Erdoğan, Y. (2007). Fen bilimleri, bilgisayar ve matematik eğitimi alanlarındaki tez çalışmalarının istatistiksel açıdan incelenmesi. Pamukkale Üniversitesi Eğitim Fa-kültesi Dergisi, 22 (2), 54-63.
• Kaya, Ç., Yazıcı, A. Ş., Deliveli, K., ve Hoşgörür, V. (2016). Türkiye’de eğitim denetimi alanında yapılan lisansüstü çalışmalarının değerlendirilmesi.Adnan Menderes Üniversitesi Eğitim Fakültesi Eğitim Bilimleri Dergisi,7(1), 38- 51.
• Korkmaz, A. (2010). Vahit Bademci’nin paradigma değişikliği üzerine bir araştırma: Testler değil, ölçümler güvenilirdir.Yayımlanmamış yüksek lisans tezi. Sosyal Bilimler Enstitüsü, Zonguldak.
• Kutanis Özen, R., Özsoy, E., Karakiraz, A., Aras, M., Erol, E., ve Uslu, O. (2015). Örgüt kültürü çalışmalarının yöntem ve kapsam bakımından incelenmesi: Lisansüstü tezler üzerinden bir inceleme. Yönetim ve Ekonomi Araştırmaları Dergisi, 13(1), 123-142.
• Lincoln, Y. S., ve Guba, E. G. (1985). Naturalistic inquiry. Beverly Hills, CA:Sage.
• Miles, M. B., ve Huberman, A. M. (2015). Nitel veri analizi (S. Akbaba-Altun ve A. Ersoy Çev. Ed.). Ankara: Pegem Akademi.
• Odom, S. L., Brantlinger, E., Gersten, R., Horner, R. H., Thompson, B., ve Harris, K. R. (2005). Research in special education: Scientific methods and evidence-based practices. Co-uncil for Exiceptional Children, 71(2), 137–148.
• Onwuegbuzie, A. J., ve Daniel L. G. (2003). Typology of analytical and interpretational errors in quantitative and qualitative educational research. Current Issues in Education, 6(2).
• Reynolds, C. R., Livingston, R. B., ve Willson, V. (2009). Measurement and assessment in education. Upper Saddle River, New Jersey: Pearson Education International.
• Sireci, S. G. (2007) On validity theory and test validation, Educational Research, 36(8), 477-481.
• Soycan, M., ve Babacan, E. (2019). Müziksel işitme, okuma ve yazma ile ilgili geliştirilmiş ölçme araçlarının incelenmesi: İçerik analizi çalışması. Elektronik Sosyal Bilimler Dergisi,18(69), 343-353.
• Şenyurt, S., ve Özer Özkan, Y. (2017). Eğitimde ölçme ve değerlendirme alanında yapılan yüksek lisans tezlerinin tematik ve metodolojik açıdan incelenmesi. İlköğretim Online,16(2), 628-653.
• Şimşek, A., Özdamar, N., Becit, G., Kılıçer, K., Akbulut, Y., ve Yıldırım, Y. (2007, Mayıs). Türkiye’deki eğitim teknolojisi araştırmalarında güncel eğilimler. Sözel bildiri, I. Uluslararası Bilgisayar ve Öğretim Teknolojileri Sempozyumu, Çanakkale Onsekiz Mart Üniversitesi, Çanakkale.
• Tavşancıl, E. (2008). Lisansüstü tez çalışmalarının yöntem bölümünün içerik çözümlenmesi. Yazılı bildiri, I. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi Ankara Üniversitesi, Ankara.
• Ulutaş, B., Üner, S., Turan Oluk, N., Yalçın Çelik, A., ve Akkuş, H. (2015). Türkiye’deki Kimya eğitimi makalelerinin incelenmesi: 2000-2013. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 16(2),141-160.
• Yıldırım, A. ve Şimşek, H. (2013). Sosyal bilimlerde nitel araştırma yöntemleri. (9. Baskı). Ankara: SeçkinYayınları.