Validity and Reliability in Document Analysis Method: A Theoretical Review in the Context of Educational Science Research

Year 2023, Issue: 56, 832 - 848, 22.06.2023

Umut Birkan Özkan

https://doi.org/10.53444/deubefd.1258867

Cited By: 3

Abstract

This study examines the concepts of validity and reliability in the context of educational sciences using the document analysis method. It is qualitative research designed in the conceptual survey model. First, the existence was explored to understand the real problem, considering the methodological context of the study, in the Journal of Buca Faculty of Education sample. 161 articles published between 2020 and 2022 were subjected to descriptive analysis. Second, the theoretical examination of the focus of the study was carried out in detail in light of the findings obtained. The study found that many educational science articles using document analysis did not explain validity and reliability. Thus, the study proposed validity and reliability strategies for research using the document analysis method within the approaches of positivist, interpretive, and critical paradigms. These proposed strategies should be used as a guide to review and evaluate the elements of an educational science study in its context and purpose, rather than as prescriptive rules.The validity and reliability strategies proposed in this study should be used not as prescriptive rules, but rather to guide the review and evaluation of the elements of an educational science study, considering its context and purpose.

Keywords

Document analysis, validity, reliability, positivist paradigm, interpretivist paradigm, critical paradigm.

Doküman İnceleme Yönteminde Geçerlik ve Güvenirlik: Eğitim Bilimleri Araştırmaları Bağlamında Kuramsal Bir İnceleme

Abstract

Bu çalışma, doküman inceleme yönteminde geçerlik ve güvenirlik kavramlarını eğitim bilimleri bağlamında incelemektedir. Kavramsal tarama modelinde desenlenmiş nitel bir araştırmadır. Kavramsal tarama, iki aşamada gerçekleştirilmiştir. İlk aşamada çalışmanın metodolojik bağlamı göz önünde bulundurularak gerçek problemin anlaşılması için mevcudiyetin keşfi Buca Eğitim Fakültesi Dergisi örnekleminde yapılmıştır. 2020-2022 yılları arasında yayımlanmış 161 makale betimsel analize tabi tutulmuştur. İkinci aşamada ise çalışmanın odağındaki kuramsal inceleme, birinci aşamada elde edilen bulguların ışığında ayrıntılı bir şekilde yapılmıştır. Bulgular incelendiğinde çalışmanın örneklemindeki doküman incelemesi kullanılan eğitim bilimleri makalelerinin %70’inde çalışmanın geçerliğine, %46’sında ise güvenirliğine yönelik herhangi bir açıklamanın yapılmadığı görülmüştür. Geçerlik ve güvenirlik konularının üzerinde tartışılması gerektiğini ortaya koyan bu bulgular doğrultusunda pozitivist, yorumlayıcı ve eleştirel paradigmaların doküman incelemesine yaklaşımları çerçevesinde geçerlik ve güvenirlik stratejileri önerilmiştir. Pozitivist paradigmada yerleşik olan geçerlik ve güvenirlik kriterlerinin yanında yorumlayıcı ve eleştirel paradigma eksenindeki doküman incelemesi yöntemi kullanılan araştırmalar için geçerlik ve güvenirlik stratejilerine ilk kez bu araştırmada yer verilmiştir. Bu çalışmada ortaya konulan geçerlik ve güvenirlik stratejileri kural koyucu olarak alınmak yerine, bağlamı ve amacı göz önüne alındığında, bir eğitim bilimleri çalışmasının öğelerinin gözden geçirilmesine ve değerlendirilmesine rehberlik etmek için kullanılması önerilmektedir.

Keywords

Doküman incelemesi, geçerlik, güvenirlik, pozitivist paradigma, yorumlayıcı paradigma, eleştirel paradigma

References

• Akyıldırım, E. (2020). “Tüketim Toplumu” kavramının pozitivist, eleştirel, yorumsamacı yaklaşımlarla irdelenmesi. Asya Studies, 4(12), 118-127. https://doi.org/10.31455/asya.617128
• Asdal, K. & Reinertsen, H. (2022). Doing document analysis: A practice-oriented method. Sage.
• Assalahi, H. (2015). The philosophical foundations of educational research: A beginner’s guide. American Journal of Educational Research, 3(3), 312-317. Balaban Salı, J. (2018). Verilerin toplanması. In A. Şimşek (Ed.), Sosyal bilimlerde araştırma yöntemleri (pp. 134-161). Anadolu Üniversitesi.
• Baltacı, A. (2017). Avrupa okullarında dini simgelerin yasallığı. Cumhuriyet İlahiyat Dergisi, 21(1), 45-80. https://doi.org/10.18505/cuid.286581
• Baltacı, A. (2019). Nitel araştırma süreci: Nitel bir araştırma nasıl yapılır? Ahi Evran Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 5(2), 368-388. https://doi.org/10.31592/aeusbed.598299
• Baş, T. & Akturan, U. (2017). Nitel araştırma yöntemleri, Nvivo ile nitel veri analizi, örnekleme, analiz, yorum (3. Baskı). Seçkin Yayıncılık.
• Bayhan, V. (2016). Sosyal bilimlerde "objektiflik" efsanesi. Mukaddime, 7(2), 217-242. Bengtsson, M. (2016). How to plan and perform a qualitative study using content analysis. NursingPlus Open, 2, 8-14. https://doi.org/10.1016/j.npls.2016.01.001
• Bolognesi, M., Pilgram, R. & van den Heerik, R. (2017). Reliability in content analysis: The case of semantic feature norms classification. Behavior Research Methods, 49, 1984-2001. https://doi.org/10.3758/s13428-016-0838-6
• Campbell, D. T. (1957). Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54(4), 297-312. doi:https://doi.org/10.1037/h0040950
• Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104
• Cohen, L., Manion, L. & Morrison, K. (2005). Research methods in education. RoutledgeFalmer.
• Çıvak, B. & Sezerel, H. (2018). Araştırma paradigmaları ve turizm yazını. Turizm Akademik Dergisi, 5(1), 1-14. Demirtaş, H. & Özer, N. (2015). Eleştirel kuram açısından eğitim ve eğitim yönetimi. Journal of Teacher Education and Educators, 4(2), 206-227. Doğanay, A. (2018). Bilimsel yönteme giriş. In A. Şimşek (Ed.), Sosyal bilimlerde araştırma yöntemleri (pp. 2-29). Anadolu Üniversitesi.
• Endacott, R. (2005). Clinical research 4: Qualitative data collection and analysis. Intensive and Critical Care Nursing, 21(2), 123-127.
• Erlandson, D. A., Harris, E. L., Skipper, B. L. & Allen, S. D. (1993). Doing naturalistic inquiry: A guide to methods. Sage.
• Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. doi:https://doi.org/10.1037/h0031619
• Fossey, E., Harvey, C., McDermott, F. & Davidson, L. (2002). Understanding and evaluating qualitative research. Australian & New Zealand Journal of Psychiatry, 36(6), 717-732. https://doi.org/10.1046/j.1440-1614.2002.01100.x
• Gidley, B. (2012). Doing historical and documentary research. In C. Seale (Ed.), Researching society and culture 3rd Edition (pp. 263-282). SAGE Publications Ltd.
• Gomm, R., Hammersley, M. & Foster, P. (2000). Case study and generalization. In R. Gomm, M. Hammersley, & P. Foster (Eds.), Case study method: Key issues, key texts (pp. 98-115).
• Guba, E. G. (1981). Criteria for assessing the trustworthiness of naturalistic inquiries. Educational Communication and Technology, 29(2), 75-91. Guba, E. G. & Lincoln, Y. S. (1989). Fourth generation evaluation. Sage Publications, Inc.
• Hammersley, M. (2006). What’s wrong with ethnography?: Methodological explorations. Routledge.
• Hayashi Jr, P., Abib, G. & Hoppen, N. (2019). Validity in qualitative research: A processual approach. The Qualitative Report, 24(1), 98-112. Heale, R. & Twycross, A. (2015). Validity and reliability in quantitative studies. Evidence-based Nursing, 18(3), 66-67. Jupp, V. & Norris, C. (1993). Traditions in documentary analysis. In M. Hammersley (Ed.), Social research: philosophy, politics and practice (pp. 37-51). SAGE Publications.
• Kabakçı Yurdakul, I. (2013). Veri toplama araçlarında bulunması gereken nitelikler. In A. Şimşek (Ed.), Bilimsel araştırma yöntemleri (pp. 117-138). Anadolu Üniversitesi.
• Kartal, R. N. (2021). Gerçekler ve illüzyonlar ekseninde eleştirel (Critical) teori/yaklaşım. Asya Studies, 5(16), 195-213. https://doi.org/10.31455/asya.895617
• Kaya, F. & Büyükekmekci, B. (2022). Sosyal bilimlerde iki farklı yöntem: Pozitivizmin “açıklama”sından hermeneutiğin “anlama”sına. Akademik Hassasiyetler, 9(19), 415-442. Kıral, B. (2020). Nitel bir veri analizi yöntemi olarak doküman analizi. Siirt Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 8(15), 170-189. Krippendorff, K. (2018). Content analysis: An introduction to its methodology. Sage Publications.
• Krüger, H. H. (2010). The importance of qualitative methods in the German educational science. In R. Bohnsack, N. Pfaff, & W. Weller (Eds.), Qualitative analysis and documentary method in international education research (pp. 53-74). Barbara Budrich Publishers.
• Leung, L. (2015). Validity, reliability, and generalizability in qualitative research. Journal of Family Medicine and Primary Care, 4(3), 324-327. Long, T. & Johnson, M. (2000). Rigour, reliability and validity in qualitative research. Clinical Effectiveness in Nursing, 4(1), 30-37. https://doi.org/10.1054/cein.2000.0106
• McCulloch, G. (2004). Documentary research: In education, history and the social sciences. RoutledgeFalmer.
• McGregor, S. L. T. & Murnane, J. A. (2010). Paradigm, methodology and method: Intellectual integrity in consumer scholarship. International Journal of Consumer Studies, 34(4), 419-427. https://doi.org/10.1111/j.1470-6431.2010.00883.x
• Miles, M. B. & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook (2 ed.). Sage.
• Miller, P. (2008a). Validity. In L. M. Given (Ed.), The Sage encyclopedia of qualitative research methods (pp. 909-910). SAGE Publications, Inc.
• Miller, P. (2008b). Reliability. In L. M. Given (Ed.), The Sage encyclopedia of qualitative research methods (pp. 753-754). SAGE Publications, Inc.
• Morrow, S. L. (2005). Quality and trustworthiness in qualitative research in counseling psychology. Journal of Counseling Psychology, 52(2), 250-260. https://doi.org/10.1037/0022-0167.52.2.250
• Namlı Altıntaş, İ. & Erdem, C. C. (2021). Hermeneutik ve nitel araştırma ilişkisi üzerine bir değerlendirme. Uluslararası Türkoloji Araştırmaları ve İncelemeleri Dergisi, 6(1), 37-45. http://dx.doi.org/10.29228/uluturkad.49394
• Neuman, W. L. (2014). Social research methods: Qualitative and quantitative approaches (7 ed.). Pearson Education Limited.
• Noble, H. & Smith, J. (2015). Issues of validity and reliability in qualitative research. Evidence-based Nursing, 18(2), 34-35. Özkan, U. B. (2021). Eğitim bilimleri araştırmaları için doküman inceleme yöntemi. Pegem Akademi Yayıncılık.
• Patton, M. Q. (2015). Qualitative research & evaluation methods: Integrating theory and practice (4 ed.). Sage Publications, Inc.
• Platt, J. (1981). Evidence and proof in documentary research: 1 Some specific problems of documentary research. The Sociological Review, 29(1), 31-52. https://doi.org/10.1111/j.1467-954X.1981.tb03021.x
• Rapley, T. (2008). Doing conversation, discourse and document analysis. Sage.
• Riffe, D., Lacy, S., Watson, B. & Fico, F. (2019). Analyzing media messages: Using quantitative content analysis in research (4 ed.). Routledge.
• Sak, R., Şahin Sak, İ. T., Öneren Şendil, Ç. & Nas, E. (2021). Bir araştırma yöntemi olarak doküman analizi. Kocaeli Üniversitesi Eğitim Dergisi, 4(1), 227-256. http://doi.org/10.33400/kuje.843306
• Scott, J. (1990). A matter of record: Documentary sources in social research. Polity Press.
• Scott, W. A. (1955). Reliability of content analysis: The case of nominal scale coding. The Public Opinion Quarterly, 19(3), 321-325. Shenton, A. K. (2004). Strategies for ensuring trustworthiness in qualitative research projects. 22(2), 63-75. Silverman, D. (2014). Interpreting qualitative data. SAGE.
• Snyder, H. (2019). Literature review as a research methodology: An overview and guidelines. Journal of business research, 333-339. Şişman, M. (1998). Eğitim yönetiminde kuram ve araştırmada alternatif paradigma ve yaklaşımlar. Kuram ve Uygulamada Eğitim Yönetimi, 16(16), 395-422. Taş, K. (2018). Sosyolojik metodolojinin ontolojik ve epistemolojik temelleri. Turkish Studies, 13(2), 49-70. Taşdelen, V. (2007). Çağdaş hermeneutige doğru: Schleiermacher ve genel hermeneutik. Felsefe Dünyası(46), 189-203. Taylor, P. C., Taylor, E. & Luitel, B. C. (2012). Multi-paradigmatic transformative research as/for teacher education: An integral perspective. In B. J. Fraser, K. Tobin, & C. J. McRobbie (Eds.), Second international handbook of science education (Vol. 1, pp. 373-387). Springer.
• Thanh, N. C. & Thanh, T. T. L. (2015). The interconnection between interpretivist paradigm and qualitative methods in education. American Journal of Educational Science, 1(2), 24-27. Tosh, J. (2002). The Pursuit of history: Aims, methods and new directions in the study of modern history (Revised Third Edition). Longman Pearson Education Limited.
• Whittemore, R., Chase, S. K. & Mandle, C. L. (2001). Validity in qualitative research. Qualitative Health Research, 11(4), 522-537. https://doi.org/10.1177/104973201129119299
• Yıldırım, A. & Şimşek, H. (2018). Sosyal bilimlerde nitel araştırma yöntemleri (11. Baskı). Seçkin Yayıncılık.