Examination of Qualitative Studies in the Field of Education in Terms of Validity and Reliability Analyses

Abstract

In this study, it is aimed to examine qualitative studies conducted in the field of education in terms of the validity and reliability techniques used. Qualitative studies published in academic journals, identified by criterion sampling, were evaluated using an online checklist prepared by the researchers. Descriptive analysis was conducted by calculating the frequencies and percentages of the obtained data, and the statistical significance of the differences across years was examined using the Chi-Square test. The research findings indicate that in one-fifth of the studies, no information was provided regarding validity and reliability; in more than one-third, only one of these aspects was focused on. Additionally, in the studies that included validity and reliability techniques, it was found that these techniques were generally addressed indirectly and not reported in detail. Shortcomings were identified in the use of credibility and transferability techniques, with techniques such as expert review being commonly used, while participant confirmation and purposeful sampling were less frequently applied. Therefore, it is recommended that various techniques be applied in a balanced way to increase the credibility of the studies, and that purposeful sampling and detailed description techniques be included to enhance transferability. Furthermore, it was concluded that there is a need for more frequent use of consistency and confirmability techniques. This study is expected to contribute to the validity and reliability of research by drawing attention to the importance of using validity and reliability techniques in qualitative research, as well as the need for these techniques to be applied more systematically and reported in detail.

Keywords

• Qualitative Research
• Validity
• Reliability
• Credibility and Transferability
• Confirmability and Dependability

Eğitim Alanındaki Nitel Çalışmaların Geçerlik ve Güvenirlik Analizleri Kapsamında İncelenmesi

Abstract

Bu araştırmada, eğitim alanında gerçekleştirilen nitel çalışmaların, kullanılan geçerlik ve güvenirlik teknikleri bakımından incelenmesi amaçlanmıştır. Ölçüt örneklemeyle belirlenen akademik dergilerde yayımlanan nitel çalışmalar, araştırmacılar tarafından hazırlanan çevrimiçi kontrol listesi ile değerlendirilmiştir. Elde edilen verilerin frekans ve yüzdeleri hesaplanarak betimsel analiz yapılmış; yıllara göre farkların istatistiksel anlamlılığı Ki-Kare testiyle incelenmiştir. Araştırma bulguları, çalışmaların beşte birinde geçerlik ve güvenirlik kapsamında hiçbir bilgi verilmediğini; üçte birinden fazlasında ise sadece birine odaklanıldığını göstermektedir. Bunun yanı sıra geçerlik ve güvenirlik tekniklerine yer veren çalışmalarda ise bu tekniklerin genellikle dolaylı bir biçimde ele alındığı ve ayrıntılı bir şekilde raporlanmadığı belirlenmiştir. İnandırıcılık ve aktarılabilirlik tekniklerinin kullanımında eksiklikler tespit edilmiş, özellikle uzman incelemesi gibi tekniklerin kullanımı yaygınken, katılımcı teyidi ve amaçlı örnekleme gibi tekniklerin daha az kullanıldığı saptanmıştır. Bu nedenle, çalışmaların inandırıcılığını arttırmak için çeşitli tekniklerin dengeli şekilde uygulanması, aktarılabilirlik için ise amaçlı örnekleme ve ayrıntılı betimleme tekniklerine yer verilmesi önerilmektedir. Bunun yanı sıra, tutarlılık ve teyit edilebilirlik tekniklerinin daha fazla kullanılması gerektiği sonucuna ulaşılmıştır. Çalışmanın, nitel araştırmalarda geçerlik ve güvenirlik tekniklerinin kullanımının önemine, ayrıca bu tekniklerin daha sistematik uygulanması ve ayrıntılı raporlanmasına dikkat çekmesi açısından, araştırmaların geçerliğine ve güvenirliğine katkı sağlaması beklenmektedir.

Keywords

• Nitel araştırma
• geçerlik
• güvenirlik
• inandırıcılık ve aktarılabilirlik
• teyit edilebilirlik ve tutarlılık

References

1. Arastaman, G., Fidan, İ. Ö., & Fidan, T. (2018). Nitel araştırmada geçerlik ve güvenirlik: Kuramsal bir inceleme. Van Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 15(1), 37-75.
2. Arslan, E. (2022). Nitel araştırmalarda geçerlilik ve güvenilirlik. Pamukkale Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, (51), 395-407.
3. Ary, D., Jacobs, L. C., Sorensen, C., & Razavieh, A. (2010). Introduction to research in education. Wadsworth Cengage Learning.
4. Başkale, H. (2016). Nitel araştırmalarda geçerlik, güvenirlik ve örneklem büyüklüğünün belirlenmesi. Dokuz Eylül Üniversitesi Hemşirelik Fakültesi Elektronik Dergisi, 9(1), 23-28.
5. Brannen, J. (2017). Combining qualitative and quantitative approaches: an overview. In Mixing methods: Qualitative and quantitative research, 3-37.
6. Creswell, J. W. (2012). Educational research: planning, conducting, and evaluating quantitative and qualitative research. Pearson Education.
7. Creswell, J. W. (2013). Research design: Qualitative, quantitative, and mixed methods approaches. Sage.
8. Denzin, N. K. (2017). The research act: A theoretical introduction to sociological methods. Routledge.

9. Denzin, N. K., & Lincoln, Y. S. (2005). The Sage Handbook of Qualitative Research (3rd ed.). Sage Publications.
10. Ercan, İ., & Kan, İ. (2004). Ölçeklerde güvenirlik ve geçerlik. Uludağ Üniversitesi Tıp Fakültesi Dergisi, 30(3), 211-216.
11. Fraenkel, J. R., & Wallen, N. E. (2006). How to design and evaluate research in education (6th ed.). McGraw-Hill.
12. Franklin, C., & Ballan, M. (2001). Reliability and validity in qualitative research. In The handbook of social work research methods, 4(273-292).
13. Franklin, C., Cody, P. A. ve Ballan, M. (2010). Reliability and Validity in Qualitative Research (Editör: Thyer, B. A.), İçinde, The handbook of social work research methods, ss.273-292. SAGE Publications.
14. Glesne, C., & Peshkin, A. (1992). Becoming Qualitative Researchers: An Introduction. Longman Group Ltd.
15. Gliner, J. A., Morgan, G. A., & Leech, N. L. (2015). Uygulamada Araştırma Yöntemleri: Desen ve Analizi Bütünleştiren Yaklaşım. Nobel Akademik Yayıncılık.
16. Golafshani, N. (2003). Understanding reliability and validity in qualitative research. The Qualitative Report, 8(4), 597-607.
17. Guba, E. G. (1981). Criteria for assessing the trustworthiness of naturalistic inquiries. Educational Communication and Technology Journal, 29(2), 75-91.
18. Guba, E. G., & Lincoln, Y. S. (1982). Epistemological and Methodological Bases of Naturalistic Inquiry. ECTJ, 30(4), 233-252.
19. Holloway, I., & Wheeler, S. (1996). Qualitative research for nurses. Blackwell Science Ltd.
20. Houser, J. (2015). Nursing research: reading, using, and creating evidence. (3rd ed.). Burlington: Jones ve Bartlett Learning.
21. Houser, J., & Oja, K. (2024). Nursing research: Reading, using, and creating evidence. Jones & Bartlett Learning.
22. Kayabaşı, A., & Demirağ, F. (2023). Pazarlama alanında yapılan nitel araştırmaların geçerlilik ve güvenirlik incelemesi. Business Economics and Management Research Journal, 6(1), 1-17.
23. Krefting, L. (1991). Rigor in qualitative research: The assessment of trustworthiness. The American Journal of Occupational Therapy, 45(3), 214-222.
24. Kirk, J., ve Miller, M. L. (1986). Reliability and validity in qualitative research. Sage.
25. LeCompte, M. D., & Goetz, J. P. (1982). Problems of reliability and validity in ethnographic research. Review of Educational Research, 52(1), 31-60.
26. Li, D. (2004). Trustworthiness of Think-Aloud Protocols in the Study of Translation Process. International Journal of Applied Linguistics, 14(3), 301-313.
27. Lincoln, Y. S. & Guba, E. (1985). Naturalistic Inquiry. Sage.
28. Lincoln, Y. S., & Guba, E. E. (1986). Research, evaluation, and policy analysis: Heuristics for disciplined inquiry. Review of Policy Research, 5(3), 546-565.
29. Mays, N., & Pope, C. (2000). Assessing quality in qualitative research. BMJ, 320(7226), 50-52.
30. Merriam, S. B. (1995). N of I?: Issues of Validity and Reliability in. PAACE Journal of Lifelong Learning, 4, 51-60.
31. Merriam, S. B., & Tisdell, E. J. (2015). Qualitative Research: A Guide to Design and Implementation (4th ed.). Jossey-Bass.
32. Mertens, D. M. (2010). Research and Evaluation in Education and Psychology: Integrating Diversity With Quantitative, and Mixed Methods. Sage Publications.
33. Miles, M. B., & Huberman, A. M. (1994). Qualitative Data Analysis: An Expanded Sourcebook (2nd ed.). Sage.
34. Morse, J. M., Mayan, M., Spiers, J., Barrett, M., & Olson, K. (2002). Verification strategies for establishing reliability and validity in qualitative research. International Journal of Qualitative Methods, 1(1), 1-19.
35. Roberts, P., & Priest, H. (2006). Reliability and Validity in Research. Nursing Standard, 20(40), 42-45.
36. Sharts-Hopko, N. C. (2002). Qualitative research in the health sciences. Springer.
37. Shenton, A. K. (2004). Strategies for ensuring trustworthiness in qualitative research projects. Education for Information, 22(2), 63-75.
38. Silverman, D. (2000). Doing Qualitative Research: A Practical Handbook. Sage Publications.
39. Silverman, D. (2015). Interpreting Qualitative Data (5th ed.). Sage Publications.
40. Speziale, H. S., Streubert, H. J., & Carpenter, D. R. (2011). Qualitative research in nursing: Advancing the humanistic imperative. Lippincott Williams & Wilkins.
41. Stake, R. (2005). Qualitative case studies. In N. K. Denzin ve Y. S. Lincoln (Ed.), The Sage Handbook of Qualitative Research (3rd ed., s. 443-466). SAGE Publications.
42. Şener, S., Bahçeci, V., Doğru, H., Sel, Z. G., Ertaş, M., Songür, S., & Tütüncü, Ö. (2017). Turizm alanındaki nitel araştırmaların güvenirlik ve geçerlik ölçütleri kapsamında değerlendirilmesi. Anatolia: Turizm Araştırmaları Dergisi, 28(1), 7-26.
43. Thomas, E., & Magilvy, J. K. (2011). Qualitative Rigor or Researcher Rigor? Journal of Advanced Nursing, 68(1), 1-5.
44. Tutar, H. (2022). Nitel araştırmalarda geçerlilik ve güvenilirlik: Bir model önerisi. Anadolu Üniversitesi Sosyal Bilimler Dergisi, 22(Özel Sayı 2), 117-140.
45. Winter, G. (2000). A comparative discussion of the notion of validity in qualitative and quantitative research. The Qualitative Report, 4(3), 1-14.
46. Yağar, F., & Dökme, S. (2018). Niteliksel araştırmaların planlanması: Araştırma soruları, örneklem seçimi, geçerlik ve güvenirlik. Gazi Sağlık Bilimleri Dergisi, 3(3), 1-9.
47. Yaşar, M. (2018). Nitel araştırmalarda nitelik sorunu. Muğla Sıtkı Koçman Üniversitesi Eğitim Fakültesi Dergisi, 5(2), 55-73.
48. Yıldırım, A., & Şimşek, H. (2016). Sosyal Bilimlerde Nitel Araştırma Yöntemleri (11. baskı). Seçkin Yayıncılık.