Doküman İnceleme Yönteminde Geçerlik ve Güvenirlik: Eğitim Bilimleri Araştırmaları Bağlamında Kuramsal Bir İnceleme

Umut Birkan Özkan

doi:10.53444/deubefd.1258867

EN TR

Validity and Reliability in Document Analysis Method: A Theoretical Review in the Context of Educational Science Research

Abstract

This study examines the concepts of validity and reliability in the context of educational sciences using the document analysis method. It is qualitative research designed in the conceptual survey model. First, the existence was explored to understand the real problem, considering the methodological context of the study, in the Journal of Buca Faculty of Education sample. 161 articles published between 2020 and 2022 were subjected to descriptive analysis. Second, the theoretical examination of the focus of the study was carried out in detail in light of the findings obtained. The study found that many educational science articles using document analysis did not explain validity and reliability. Thus, the study proposed validity and reliability strategies for research using the document analysis method within the approaches of positivist, interpretive, and critical paradigms. These proposed strategies should be used as a guide to review and evaluate the elements of an educational science study in its context and purpose, rather than as prescriptive rules.The validity and reliability strategies proposed in this study should be used not as prescriptive rules, but rather to guide the review and evaluation of the elements of an educational science study, considering its context and purpose.

Keywords

Document analysis , validity , reliability , positivist paradigm , interpretivist paradigm , critical paradigm.

Doküman İnceleme Yönteminde Geçerlik ve Güvenirlik: Eğitim Bilimleri Araştırmaları Bağlamında Kuramsal Bir İnceleme

Öz

Bu çalışma, doküman inceleme yönteminde geçerlik ve güvenirlik kavramlarını eğitim bilimleri bağlamında incelemektedir. Kavramsal tarama modelinde desenlenmiş nitel bir araştırmadır. Kavramsal tarama, iki aşamada gerçekleştirilmiştir. İlk aşamada çalışmanın metodolojik bağlamı göz önünde bulundurularak gerçek problemin anlaşılması için mevcudiyetin keşfi Buca Eğitim Fakültesi Dergisi örnekleminde yapılmıştır. 2020-2022 yılları arasında yayımlanmış 161 makale betimsel analize tabi tutulmuştur. İkinci aşamada ise çalışmanın odağındaki kuramsal inceleme, birinci aşamada elde edilen bulguların ışığında ayrıntılı bir şekilde yapılmıştır. Bulgular incelendiğinde çalışmanın örneklemindeki doküman incelemesi kullanılan eğitim bilimleri makalelerinin %70’inde çalışmanın geçerliğine, %46’sında ise güvenirliğine yönelik herhangi bir açıklamanın yapılmadığı görülmüştür. Geçerlik ve güvenirlik konularının üzerinde tartışılması gerektiğini ortaya koyan bu bulgular doğrultusunda pozitivist, yorumlayıcı ve eleştirel paradigmaların doküman incelemesine yaklaşımları çerçevesinde geçerlik ve güvenirlik stratejileri önerilmiştir. Pozitivist paradigmada yerleşik olan geçerlik ve güvenirlik kriterlerinin yanında yorumlayıcı ve eleştirel paradigma eksenindeki doküman incelemesi yöntemi kullanılan araştırmalar için geçerlik ve güvenirlik stratejilerine ilk kez bu araştırmada yer verilmiştir. Bu çalışmada ortaya konulan geçerlik ve güvenirlik stratejileri kural koyucu olarak alınmak yerine, bağlamı ve amacı göz önüne alındığında, bir eğitim bilimleri çalışmasının öğelerinin gözden geçirilmesine ve değerlendirilmesine rehberlik etmek için kullanılması önerilmektedir.

Anahtar Kelimeler

Doküman incelemesi , geçerlik , güvenirlik , pozitivist paradigma , yorumlayıcı paradigma , eleştirel paradigma

Kaynakça

Akyıldırım, E. (2020). “Tüketim Toplumu” kavramının pozitivist, eleştirel, yorumsamacı yaklaşımlarla irdelenmesi. Asya Studies, 4(12), 118-127. https://doi.org/10.31455/asya.617128
Asdal, K. & Reinertsen, H. (2022). Doing document analysis: A practice-oriented method. Sage.
Assalahi, H. (2015). The philosophical foundations of educational research: A beginner’s guide. American Journal of Educational Research, 3(3), 312-317. Balaban Salı, J. (2018). Verilerin toplanması. In A. Şimşek (Ed.), Sosyal bilimlerde araştırma yöntemleri (pp. 134-161). Anadolu Üniversitesi.
Baltacı, A. (2017). Avrupa okullarında dini simgelerin yasallığı. Cumhuriyet İlahiyat Dergisi, 21(1), 45-80. https://doi.org/10.18505/cuid.286581
Baltacı, A. (2019). Nitel araştırma süreci: Nitel bir araştırma nasıl yapılır? Ahi Evran Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 5(2), 368-388. https://doi.org/10.31592/aeusbed.598299
Baş, T. & Akturan, U. (2017). Nitel araştırma yöntemleri, Nvivo ile nitel veri analizi, örnekleme, analiz, yorum (3. Baskı). Seçkin Yayıncılık.
Bayhan, V. (2016). Sosyal bilimlerde "objektiflik" efsanesi. Mukaddime, 7(2), 217-242. Bengtsson, M. (2016). How to plan and perform a qualitative study using content analysis. NursingPlus Open, 2, 8-14. https://doi.org/10.1016/j.npls.2016.01.001
Bolognesi, M., Pilgram, R. & van den Heerik, R. (2017). Reliability in content analysis: The case of semantic feature norms classification. Behavior Research Methods, 49, 1984-2001. https://doi.org/10.3758/s13428-016-0838-6
Campbell, D. T. (1957). Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54(4), 297-312. doi:https://doi.org/10.1037/h0040950
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104

Cohen, L., Manion, L. & Morrison, K. (2005). Research methods in education. RoutledgeFalmer.
Çıvak, B. & Sezerel, H. (2018). Araştırma paradigmaları ve turizm yazını. Turizm Akademik Dergisi, 5(1), 1-14. Demirtaş, H. & Özer, N. (2015). Eleştirel kuram açısından eğitim ve eğitim yönetimi. Journal of Teacher Education and Educators, 4(2), 206-227. Doğanay, A. (2018). Bilimsel yönteme giriş. In A. Şimşek (Ed.), Sosyal bilimlerde araştırma yöntemleri (pp. 2-29). Anadolu Üniversitesi.
Endacott, R. (2005). Clinical research 4: Qualitative data collection and analysis. Intensive and Critical Care Nursing, 21(2), 123-127.
Erlandson, D. A., Harris, E. L., Skipper, B. L. & Allen, S. D. (1993). Doing naturalistic inquiry: A guide to methods. Sage.
Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. doi:https://doi.org/10.1037/h0031619
Fossey, E., Harvey, C., McDermott, F. & Davidson, L. (2002). Understanding and evaluating qualitative research. Australian & New Zealand Journal of Psychiatry, 36(6), 717-732. https://doi.org/10.1046/j.1440-1614.2002.01100.x
Gidley, B. (2012). Doing historical and documentary research. In C. Seale (Ed.), Researching society and culture 3rd Edition (pp. 263-282). SAGE Publications Ltd.
Gomm, R., Hammersley, M. & Foster, P. (2000). Case study and generalization. In R. Gomm, M. Hammersley, & P. Foster (Eds.), Case study method: Key issues, key texts (pp. 98-115).
Guba, E. G. (1981). Criteria for assessing the trustworthiness of naturalistic inquiries. Educational Communication and Technology, 29(2), 75-91. Guba, E. G. & Lincoln, Y. S. (1989). Fourth generation evaluation. Sage Publications, Inc.
Hammersley, M. (2006). What’s wrong with ethnography?: Methodological explorations. Routledge.
Hayashi Jr, P., Abib, G. & Hoppen, N. (2019). Validity in qualitative research: A processual approach. The Qualitative Report, 24(1), 98-112. Heale, R. & Twycross, A. (2015). Validity and reliability in quantitative studies. Evidence-based Nursing, 18(3), 66-67. Jupp, V. & Norris, C. (1993). Traditions in documentary analysis. In M. Hammersley (Ed.), Social research: philosophy, politics and practice (pp. 37-51). SAGE Publications.
Kabakçı Yurdakul, I. (2013). Veri toplama araçlarında bulunması gereken nitelikler. In A. Şimşek (Ed.), Bilimsel araştırma yöntemleri (pp. 117-138). Anadolu Üniversitesi.
Kartal, R. N. (2021). Gerçekler ve illüzyonlar ekseninde eleştirel (Critical) teori/yaklaşım. Asya Studies, 5(16), 195-213. https://doi.org/10.31455/asya.895617
Kaya, F. & Büyükekmekci, B. (2022). Sosyal bilimlerde iki farklı yöntem: Pozitivizmin “açıklama”sından hermeneutiğin “anlama”sına. Akademik Hassasiyetler, 9(19), 415-442. Kıral, B. (2020). Nitel bir veri analizi yöntemi olarak doküman analizi. Siirt Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 8(15), 170-189. Krippendorff, K. (2018). Content analysis: An introduction to its methodology. Sage Publications.
Krüger, H. H. (2010). The importance of qualitative methods in the German educational science. In R. Bohnsack, N. Pfaff, & W. Weller (Eds.), Qualitative analysis and documentary method in international education research (pp. 53-74). Barbara Budrich Publishers.
Leung, L. (2015). Validity, reliability, and generalizability in qualitative research. Journal of Family Medicine and Primary Care, 4(3), 324-327. Long, T. & Johnson, M. (2000). Rigour, reliability and validity in qualitative research. Clinical Effectiveness in Nursing, 4(1), 30-37. https://doi.org/10.1054/cein.2000.0106
McCulloch, G. (2004). Documentary research: In education, history and the social sciences. RoutledgeFalmer.
McGregor, S. L. T. & Murnane, J. A. (2010). Paradigm, methodology and method: Intellectual integrity in consumer scholarship. International Journal of Consumer Studies, 34(4), 419-427. https://doi.org/10.1111/j.1470-6431.2010.00883.x
Miles, M. B. & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook (2 ed.). Sage.
Miller, P. (2008a). Validity. In L. M. Given (Ed.), The Sage encyclopedia of qualitative research methods (pp. 909-910). SAGE Publications, Inc.
Miller, P. (2008b). Reliability. In L. M. Given (Ed.), The Sage encyclopedia of qualitative research methods (pp. 753-754). SAGE Publications, Inc.
Morrow, S. L. (2005). Quality and trustworthiness in qualitative research in counseling psychology. Journal of Counseling Psychology, 52(2), 250-260. https://doi.org/10.1037/0022-0167.52.2.250
Namlı Altıntaş, İ. & Erdem, C. C. (2021). Hermeneutik ve nitel araştırma ilişkisi üzerine bir değerlendirme. Uluslararası Türkoloji Araştırmaları ve İncelemeleri Dergisi, 6(1), 37-45. http://dx.doi.org/10.29228/uluturkad.49394
Neuman, W. L. (2014). Social research methods: Qualitative and quantitative approaches (7 ed.). Pearson Education Limited.
Noble, H. & Smith, J. (2015). Issues of validity and reliability in qualitative research. Evidence-based Nursing, 18(2), 34-35. Özkan, U. B. (2021). Eğitim bilimleri araştırmaları için doküman inceleme yöntemi. Pegem Akademi Yayıncılık.
Patton, M. Q. (2015). Qualitative research & evaluation methods: Integrating theory and practice (4 ed.). Sage Publications, Inc.
Platt, J. (1981). Evidence and proof in documentary research: 1 Some specific problems of documentary research. The Sociological Review, 29(1), 31-52. https://doi.org/10.1111/j.1467-954X.1981.tb03021.x
Rapley, T. (2008). Doing conversation, discourse and document analysis. Sage.
Riffe, D., Lacy, S., Watson, B. & Fico, F. (2019). Analyzing media messages: Using quantitative content analysis in research (4 ed.). Routledge.
Sak, R., Şahin Sak, İ. T., Öneren Şendil, Ç. & Nas, E. (2021). Bir araştırma yöntemi olarak doküman analizi. Kocaeli Üniversitesi Eğitim Dergisi, 4(1), 227-256. http://doi.org/10.33400/kuje.843306
Scott, J. (1990). A matter of record: Documentary sources in social research. Polity Press.
Scott, W. A. (1955). Reliability of content analysis: The case of nominal scale coding. The Public Opinion Quarterly, 19(3), 321-325. Shenton, A. K. (2004). Strategies for ensuring trustworthiness in qualitative research projects. 22(2), 63-75. Silverman, D. (2014). Interpreting qualitative data. SAGE.
Snyder, H. (2019). Literature review as a research methodology: An overview and guidelines. Journal of business research, 333-339. Şişman, M. (1998). Eğitim yönetiminde kuram ve araştırmada alternatif paradigma ve yaklaşımlar. Kuram ve Uygulamada Eğitim Yönetimi, 16(16), 395-422. Taş, K. (2018). Sosyolojik metodolojinin ontolojik ve epistemolojik temelleri. Turkish Studies, 13(2), 49-70. Taşdelen, V. (2007). Çağdaş hermeneutige doğru: Schleiermacher ve genel hermeneutik. Felsefe Dünyası(46), 189-203. Taylor, P. C., Taylor, E. & Luitel, B. C. (2012). Multi-paradigmatic transformative research as/for teacher education: An integral perspective. In B. J. Fraser, K. Tobin, & C. J. McRobbie (Eds.), Second international handbook of science education (Vol. 1, pp. 373-387). Springer.
Thanh, N. C. & Thanh, T. T. L. (2015). The interconnection between interpretivist paradigm and qualitative methods in education. American Journal of Educational Science, 1(2), 24-27. Tosh, J. (2002). The Pursuit of history: Aims, methods and new directions in the study of modern history (Revised Third Edition). Longman Pearson Education Limited.
Whittemore, R., Chase, S. K. & Mandle, C. L. (2001). Validity in qualitative research. Qualitative Health Research, 11(4), 522-537. https://doi.org/10.1177/104973201129119299
Yıldırım, A. & Şimşek, H. (2018). Sosyal bilimlerde nitel araştırma yöntemleri (11. Baskı). Seçkin Yayıncılık.

Ayrıntılar

Birincil Dil

Türkçe

Konular

Eğitim Üzerine Çalışmalar

Bölüm

Araştırma Makalesi

Yazarlar

Umut Birkan Özkan ^*
0000-0001-8978-3213
Türkiye

Yayımlanma Tarihi

22 Haziran 2023

Gönderilme Tarihi

2 Mart 2023

Kabul Tarihi

15 Mayıs 2023

Yayımlandığı Sayı

Yıl 2023 Sayı: 56

DOI

https://doi.org/10.53444/deubefd.1258867

IZ

https://izlik.org/JA88XD85KX

APA

Özkan, U. B. (2023). Doküman İnceleme Yönteminde Geçerlik ve Güvenirlik: Eğitim Bilimleri Araştırmaları Bağlamında Kuramsal Bir İnceleme. Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, 56, 832-848. https://doi.org/10.53444/deubefd.1258867

Cited By

National will in the context of low fertility: exploring the Chinese childcare policies after the implementation of three-child policy

Policy Studies

https://doi.org/10.1080/01442872.2024.2339889

An Evaluation of the Literary Texts in the 5th Grade Turkish Textbook within the Scope of the Türkiye Century Education Model in Terms of Critical Thinking Skills

Bartın University Journal of Faculty of Education

https://doi.org/10.14686/buefad.1760020

Examining Curricula within the Scope of Algebraic Thinking: Examples from Turkiye, Singapore, England and Canada (Ontario)

Milli Eğitim Dergisi

https://doi.org/10.37669/milliegitim.1708174

Türkiye Yüzyılı Maarif Modeli ve Çin Fen Bilimleri Programlarının Karşılaştırmalı Olarak İncelenmesi

Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi

https://doi.org/10.14582/zgefd.1729454

Türkiye Yüzyılı Maarif Modeli Okul Öncesi Çekirdek Serisinde Yer Alan Matematik Etkinliklerinin Eleştirel Düşünme Bağlamında İncelenmesi

Ondokuz Mayis University Journal of Education Faculty

https://doi.org/10.7822/omuefd.1744335

Doküman İnceleme Yönteminde Geçerlik ve Güvenirlik: Eğitim Bilimleri Araştırmaları Bağlamında Kuramsal Bir İnceleme

Validity and Reliability in Document Analysis Method: A Theoretical Review in the Context of Educational Science Research

Abstract

Keywords

Doküman İnceleme Yönteminde Geçerlik ve Güvenirlik: Eğitim Bilimleri Araştırmaları Bağlamında Kuramsal Bir İnceleme

Öz

Anahtar Kelimeler

Kaynakça

Ayrıntılar

Birincil Dil

Konular

Bölüm

Yazarlar

Yayımlanma Tarihi

Gönderilme Tarihi

Kabul Tarihi

Yayımlandığı Sayı

DOI

IZ

Kaynak Göster

Cited By

National will in the context of low fertility: exploring the Chinese childcare policies after the implementation of three-child policy

Sosyal Hizmetin Yas Danışmanlığı Uygulamasında Güçlendirme Aracı Olarak Sinema: Rabbit Hole ve The Son’s Room Filmleri

Yusuf Has Hâcib'in "Kutadgu Bilig" Adlı Eserinin Değerler Açısından İncelenmesi

Spor Bilimleri Alanında Yapılan Ölçek Geliştirme Çalışmalarının Metodolojik Açıdan İncelenmesi

Presenting a STEM Ways of Thinking framework for engineering design-based physics problems

Nicelik, Nitelik ve Tutarlılık Açısından Türkçe Ders Kitaplarındaki Hedef Söz Varlığı

TÜRKİYE SÜPER LİGİ'NDE YABANCI FUTBOLCU KOTASI: SOSYAL MEDYA YORUMLARI ÜZERİNE BİR İÇERİK ANALİZİ

Deprem Bölgesindeki Okullarda Kriz Yönetimi

An Evaluation of the Literary Texts in the 5th Grade Turkish Textbook within the Scope of the Türkiye Century Education Model in Terms of Critical Thinking Skills

Agenda of Sports Press on X: An International Examination

Müslüm Filminin Yapısal Aile Terapisi Perspektifinden İncelenmesi

TYMM Okul Öncesi Eğitim Programı Öğretmen Kılavuz Kitaplarında Yer Alan Farklılaştırma Uygulamalarının İncelenmesi

0-36 Aylık Destek Gereksinimi Olan Çocuklar İçin Erken Çocukluk Eğitim Hizmetlerinin Uygulama Sürecinin İncelenmesi

Examining Curricula within the Scope of Algebraic Thinking: Examples from Turkiye, Singapore, England and Canada (Ontario)

Türkiye Yüzyılı Maarif Modeli ve Çin Fen Bilimleri Programlarının Karşılaştırmalı Olarak İncelenmesi

Türkiye Yüzyılı Maarif Modeli Okul Öncesi Çekirdek Serisinde Yer Alan Matematik Etkinliklerinin Eleştirel Düşünme Bağlamında İncelenmesi