COMMON RELIABILITY AND VALIDITY STRATEGIES IN INSTRUCTIONAL TECHNOLOGY RESEARCH

Abstract

The purpose of this study is to identify the reliability and validity strategies used in Instructional Technology research studies in Turkey. For this purpose, 42 doctoral dissertations published between 2005 and 2011 in the field of Instructional Technology were content analyzed, and then codes were created. Based on the code list, these doctoral dissertations were re-examined by means of the descriptive analysis method. The results show that the main reliability and validity strategies employed in the dissertations are explanation of the data collection instruments, explanation of the administration and the data analysis process, explanation of the participants’ characteristics and their selection process, and surveying expert opinions. However, the strategies of inter-rater reliability between the evaluators, peer reviews, control of consistency in the results, member checking, and the use of language experts were all observed less frequently in the theses. The identification of these strategies should allow researchers to better understand reliability and validity methodologies, so that they may enhance their usage in Instructional Technology studies.

Keywords

• Instructional technology, validity, reliability

Fatma Burcu TOPU*a; Özlem BAYDAŞa

Abstract

Bu çalışmanın amacı, öğretim teknolojisi alanında yapılan doktora tezlerinde, araştırma yöntemlerine göre kullanılan geçerlik ve güvenirlik önlemlerini belirlemektir. Bu amaçla, 2005-2011 yılları arasında öğretim teknolojisi alanında Türkiye’de yayınlanmış 42 doktora tezi içerik analizi yöntemiyle incelenerek kodlar oluşturulmuştur. Bu kod listesine bağlı olarak tezler, betimsel analiz yöntemiyle tekrar incelenmiştir. Araştırma bulguları; uygulama ve veri analiz sürecinin açıklanmasının, veri toplama aracının, örneklem özelliklerinin ve seçim şeklinin belirtilmesinin, uzman görüşünün alınmasının geçerlik ve güvenirlik önlemlerinde öncelikli olarak kullanıldığını göstermiştir. Ancak değerlendiriciler arası güvenirlik ve akran değerlendirmesinin yapılması, veriler arasında tutarlığın kontrol edilmesi, katılımcı görüşünün alınması ve uzmanlarca dil kontrolünün yapılması geçerlik ve güvenirlik önlemleri olarak alt sıralarda yer almıştır. Bu önlemlerin belirlenmesi araştırmacıların geçerlik ve güvenirlik önlemlerini daha iyi anlamalarını, böylece öğretim teknolojisiyle ilgili çalışmalarda bunların kullanımını artırabilir

Keywords

• öğretim teknolojisi, geçerlik, güvenirlik

References

1. Abowitz, D., & Toole, M. (2010). Mixed method research: Fundamental issues of design, validity, and reliability in construction research. Journal of Constructıon Engıneerıng and Management, 136(1), 108-116.
2. Bakioğlu, A., & Kurnaz, Ö. (2010). Araştırmada kalite. Ankara: Nobel Yayınları.
3. Best, J. W., & Kahn, J. V. (1993). Research in Education (9. baskı.). Boston: Allyn and Bacon.
4. Bogdan, R. C., & Biklen, S. K. (2007). Qualitative research for education (5. baskı.). London: Pearson.
5. Booth, W. C., Colomb, G. G., & Williams, J. M. (2003). The craft of research (2. baskı). Chicago: University of Chicago Press.
6. Brinberg, D., & McGrath, J. (1985). Validity and the research process. Newbury Park, CA: Sage.
7. Büyüköztürk, Ş., Kılıç-Çakmak, E., Akgün, Ö. E., Karadeniz, Ş., & Demirel, F. (2010). Bilimsel araştırma yöntemleri (6.baskı). Ankara: Pegem.
8. Creswell, J. W. (2005). Educational research. Planning, conducting, and evaluating quantitative and qualitative research (2. baskı). Thousand Oaks, CA: Sage.

9. Creswell, J. W. (2007). Qualitative inquiry and research design: Choosing among five traditions (2. baskı). London: Sage.
10. Çepni, S. (2007). Araştırma ve proje çalışmalarına giriş (3. baskı). Trabzon: Celepler Matbaacılık.
11. Day, R. A. (2000). How to write and publish scientific paper (G. Aşkar-Altay, Çev.). Ankara: Tübitak Yayınları. (Orjinal basım 1994).
12. Ekiz, D. (2009). Bilimsel araştırma yöntemleri. Ankara: Anı Yayıncılık.
13. Ekmekçi, A., & Konaç, E. (2009). Bilimsel yazımın bazı temel kuralları. Türk Bilim Araştırma Vakfı, 2(1), 17-121.
14. Fraenkel, J. R., & Wallen, N. E. (2000). How to design & evaluate research in education (4. baskı). London: McGraw Hill.
15. Geray, H. (2004). Toplumsal araştırmalarda nicel ve nitel yöntemlere giriş. Ankara: Siyasal Kitabevi.
16. Golafshani, N. (2003). Understanding reliability and validity in qualitative research. The Qualitative Report, 8(4), 597-607. Mart 24, 2010 tarihinde Online: http://peoplelearn.homestead.com/MEdHOME/QUALITATIVE/Reliab.VALIDITY.pdf adresinden alınmıştır.
17. Göktaş, Y., Küçük, S., Aydemir, M., Telli, E., Arpacık, Ö., Yıldırım, G., & Reisoğlu, İ. (2012). Türkiye’de eğitim teknolojileri araştırmalarındaki eğilimler: 2000-2009 dönemi makalelerin içerik analizi. Kuram ve Uygulamada Eğitim Bilimleri, 12(1), 177-199.
18. Greenhalgh, T. (1997). How to read a paper: Assessing the methodological quality of published papers. British Medical Journal, 315(7103), 305–308.
19. Gülbahar, Y., & Alper, A. (2009). Öğretim teknolojileri alanında yapılan araştırmalar konusunda bir içerik analizi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 42(2), 93-111.
20. Hoepfl, M. C. (1997). Choosing qualitative research: A primer for technology education researchers. Journal of Technology Education 9(1).
21. Johnson, B., & Christensen, L. (2004). Educational research: Quantitative, qualitative, and mixed approaches (2. baskı). NY: Pearson/Allyn & Bacon.
22. Karasar, N. (2009). Bilimsel araştırma yöntemi. Ankara: Nobel Yayınları.
23. Karatay, M. (2008). Araştırmada örnekleme. Ankara Üniversitesi Eğitim Fakültesi Dergisi, 2(5).
24. Lancaster, D., & Williamson, P. (2004). Design and analysis of pilot studies: Recommendation for good practice. Journal of Evaluation in Clinical Practice, 10(2), 307-312.
25. LeCompte, M. D., & Goetz, J. P. (1982). Problems of reliability and validity in educational research. Review of Educational Research, 52(2), 31-60.
26. Maxwell, J. A. (1992). Understanding and validity in qualitative research. Harvard Educational Review, 62, 279 - 300.
27. McMillan, J. H., & Schumacher, S. (2010). Research in education: Evidence based inquiry (7. baskı). London: Pearson.
28. Merriam, S. B. (1998). Qualitative research and case study applications in education (2. baskı). San Francisco: Jossey-Bass Publishers.
29. Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis (2. baskı). London: Sage.
30. Oliver-Hoyo, M., & Allen, D. (2006). The use of triangulation methods in qualitative educational research. Journal of College Science Teaching, 35(4), 42.
31. Patton, M.Q. (2002). Qualitative eesearch and evaluation methods. Thousand Oaks, CA: Sage.
32. Roberts, P., & Priest, H. (2006). Reliability and validity in research. Nursing Standard, 20, 41-45.
33. Sözbilir, M., & Kutu, H. (2008). Development and current status of science education research in Turkey. Essays in Education, Special Issue, 1-22.
34. Şencan, H. (2005). Sosyal ve davranışsal ölçmelerde güvenirlik ve geçerlik. Ankara: Seçkin Yayınevi.
35. Şimşek, A., Özdamar, N., Becit, G., Kılıçer, K., Akbulut, Y., & Yıldırım, Y. (2008). Türkiye’deki eğitim teknolojisi araştırmalarında güncel eğilimler. Selçuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 19, 439-458.
36. Toy, B., & Tosunoğlu, N. (2007). Sosyal bilimler alanındaki sosyal bilimler alanındaki araştırmalarda bilimsel araştırma süreci, istatistiksel teknikler ve yapılan hatalar. Ticaret ve Turizm Eğitim Fakültesi Dergisi, 1, 1-20.
37. Yıldırım, A., & Şimşek, H. (2006). Soysal bilimlerde nitel araştırma yöntemleri (6. baskı). Ankara: Seçkin Kitabevi.
38. Yıldırım, K. (2010). Nitel araştırmalarda niteliği artırma. İlköğretim Online, 9(2), 78-92.