Examination of Quantitative Studies Published in National Journals in the Field of English Language Education in Terms of Methodology

Abstract

The main purpose of this study is to examine the quantitative studies conducted in the field of English Language Education in terms of methodology and to report the findings. Therefore, in the examined studies, characteristics of the data collection tools, preliminary data analysis process and appropriateness of the statistical techniques used in the data analysis phase were examined and explained in detail. In this study, a total of 30 studies using inferential statistics published between the years of 2013 and 2020 in 15 different journals indexed in the Ulakbim journal index in the field of English language education were analyzed. This study adopts the phenomenology design and selected studies were examined using document analysis method with a study review form developed by the researchers. After the examination, it was observed that twelve of the examined studies were mixed-method studies, while in some studies, only the analyzes performed were mentioned in the method part and detailed information about the research method was not given. These studies' findings were examined it was found that they were either mixed or quantitative studies. Half of the studies used the term sample while some of them never mentioned any statement regarding sampling. Although only one study mentioned having missing data, it was found that there were missing data in six studies in total, and missing data methods were not used in any of these studies. In the studies examined, it was observed that the most frequently used data collection tools were scales and questionnaires for quantitative data and semi-structured interview forms for qualitative data. In the data analysis, 24 of the studies examined were found to be using parametric tests, 1 using non-parametric tests and 5 using both parametric and non-parametric tests. However, it was seen that most of the studies did not mention the assumptions of the analyses.

Keywords

• Quantitative research
• missing data
• statistical assumptions
• robust statistics

İngiliz Dili Eğitimi Alanında Ulusal Dergilerde Yayımlanan Nicel Çalışmaların Yöntem Açısından İncelenmesi

Öz

İngilizce eğitimi birçok ülkede önemli görülmekte ve bu konuda ülkeler büyük kaynaklar kullanmaktadır. Kaynakların etkili ve verimli kullanılmasında ise kanıta dayalı politikalar ve uygulamalar geliştirilmesi önemlidir. Bu nedenle bilimsel araştırmaların ürünü olarak kabul edilebilecek kanıtların güvenirliklerini sağlayabilmek önemlidir. Bunu sağlayabilmek için alanyazında bulunan çalışmalarda sıklıkla yapılan hataların belirlenmesi ve çözüm önerilerinin sunulması önemlidir. Bu çalışma İngiliz dili eğitimi alanında yapılan nicel çalışmaları yöntemsel açıdan inceleyerek bulguları raporlamayı ve çözüm önerileri sunmayı amaçlamaktadır. Bu amaca ulaşmak için nitel araştırma yöntemlerinden olgu bilim deseni kullanılmıştır. Elde edilen veriler doküman incelemesi ile araştırmacılar tarafından geliştirilen bir makale inceleme formu kullanılarak incelenmiştir. Çalışmanın verileri, Ulakbim dergi tabanında yer alan 15 farklı dergide, 2013-2021 yılları arasında İngiliz dili eğitimi alanında basılan ve çıkarımsal istatistiğin kullanıldığı 30 makaleden toplanmıştır. İncelemeler sonucunda çalışmaların belirli bir kısmında araştırma yönteminin belirtilmediği, istatistiksel terimlerin kullanımında hataların yapıldığı, kayıp veri sorunundan bahsedilmediği veya kayıp veri atama yöntemlerinin kullanılmadığı ve parametrik analizlerin kullanılması için ön şart olan varsayımlardan bahsedilmediği görülmüştür. Sonuç olarak araştırmacıların istatistiksel analizler için yeterli teorik bilgiye sahip olmadan paket programlar yardımıyla bu analizleri gerçekleştirdikleri görülmüştür. Bu anlamda, araştırmacıların istatistiksel analiz konusunda temel düzeyde eğitimler almaları, araştırma süreçlerinde verilerin analizi ve raporlanması konusunda ölçme ve değerlendirme alanında uzman bir danışmandan destek alarak süreci yönetmeleri önerilmektedir.

Anahtar Kelimeler

• Nicel araştırma
• kayıp veri
• istatistiksel varsayımlar
• sağlam istatistikler.

References

1. Allison, P. D. (2009). Missing data. R. E. Millsap, A. Maydeu-Olivares (Yay. haz.), Quantitative methods in psychology içinde (p. 72-89). London: SAGE Publication.
2. Altunışık, R., Coşkun, R., Bayraktaroğlu, S., Yıldırım, E. (2012). Sosyal bilimlerde araştırma yöntemleri (7. bs.). Sakarya Yayıncılık. Arı, G., Armutlu, C., Tosunoğlu, N., Toy, B. (2009). Nicel araştırmalarda metodoloji sorunları: yüksek lisans tezleri üzerine bir araştırma. Ankara Üniversitesi SBF Dergisi, 64(4), 15-37.
3. Bakker, M., Wicherts, J. M. (2011). The (mis)reporting of statistical results in psychology journals. Behavior research methods, 43(3), 666-678.
4. Balcı, A. (2013). Sosyal bilimlerde araştırma: Yöntem, teknik ve ilkeler. Ankara: Pegem A.
5. Blischke W.R., Rezaul Karim M., Prabhakar Murthy D.N. (2011) Preliminary data analysis. In: Warranty Data Collection and Analysis. Springer Series in Reliability Engineering. Springer, London. https://doi.org/10.1007/978-0-85729-647-4_8.
6. Bryman, A. (2001). Social research methods (1. bs.). New York: Oxford University Press.
7. Connolly, P. (2007). Qualitative data analysis in education: A critical introduction using spss. London: Routledge.
8. Cook, T., Wong, V. (2008). Better quasi-experimental practice. P. Alasuutari, L. Bickman, J. Brannen (Yay. haz.), The Sage handbook of social research methods içinde (p. 134-164). London: Sage.

9. Cramer, D., Howitt, D. L. (2004). The Sage dictionary of statistics: a practical resource for students in the social sciences. Sage.
10. Cronbach, L. J., Schönemann, P., McKie, D. (1965). Alpha coefficients for Stratified-Parallel Tests. Educational and Psychological Measurement, 25(2), 291–312. https://doi.org/10.1177/001316446502500201
11. Curley, C., Krause, R. M., Feiock, R., Hawkins, C. V. (2017). Dealing with missing data: A comparative exploration of approaches using the integrated city sustainability database. Urban Affairs Review, 55(2), 591-615. https://doi.org/10.1177/1078087417726394
12. Demir, E., Parlak, B. (2012). Türkiye’de eğitim araştırmalarında kayıp veri sorunu. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 3(1), 230-241.
13. Demir, E., Saatçioğlu, Ö., İmrol, F. (2016). Uluslararası dergilerde yayımlanan eğitim araştırmalarının normallik varsayımları açısından incelenmesi. Current Research in Education, 2(3), 130-148.
14. Ercan, İ., İsmet, K. A. N. (2004). Ölçeklerde güvenirlik ve geçerlik. Uludağ Üniversitesi Tıp Fakültesi Dergisi, 30(3), 211-216.
15. Erceg-Hurn, D. M., Wilcox, R. R.,Keselman, H. J. (2013). Robust statistical estimation. In The Oxford Handbook of Quantitative Methods in Psychology, Vol. 1.
16. Erdem, D. (2011). Türkiye’de 2005–2006 yılları arasında yayımlanan eğitim bilimleri dergilerindeki makalelerin bazı özellikler açısından incelenmesi: Betimsel bir analiz. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 2 (1), 140-147.
17. Erkuş, A. (2007). Ölçek geliştirme ve uyarlama çalışmalarında karşılaşılan sorunlar. Türk Psikoloji Bülteni, 13(40), 17-25.
18. Erkuş, A. (2010). Psikometrik terimlerin Türkçe karşılıklarının anlamları ile yapılan işlemlerin uyuşmazlığı. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(2), 72-77.
19. Ethnologue. (2019, Eylül 24). What is the most spoken language? Retrieved February 3, 2021, from https://www.ethnologue.com/guides/most-spoken-languages
20. European Commission. (2019). Education and training. Education and Training - European Commission. 3 Şubat 2021 tarihinde https://ec.europa.eu/education/policies/multilingualism/evidence-based-policy_en adresinden erişildi.
21. Fidell, L. S., Tabachnick, B. G. (2003). Preparatory data analysis. Handbook of Psychology, 115–141. https://doi.org/10.1002/0471264385.wei0205.
22. Frisell, T. (2016). Why missing data is a problem, and what you shouldn’t do to solve it. Annals of the Rheumatic Diseases, 75(Ek 2), 45.4–45. doi:10.1136/annrheumdis-2016-eular.6249
23. García-Laencina, P. J., Morales-Sánchez, J., Verdú-Monedero, R., Larrey-Ruiz, J., Sancho-Gómez, J., Figueiras-Vidal, A. R. (2009). Classification with incomplete data. T. Ganchev, M. Sokolova, R. Rada, P. J. García-Laencina, V. Ravi (Yay. haz.), Handbook of Research on Machine Learning Applications and Trends: Algorithms, Methods, and Techniques: Algorithms, Methods, and Techniques içinde (s. 147–175). IGI Global.
24. Gorard, S. (2001). Quantitative methods in educational research: The role of numbers made easy. London: The Tower Building.
25. Hatch, E. M., Lazaraton, A. (1991). The research manual: Design and statistics for applied linguistics. New York, NY: Newbury House Publishers.
26. Hsu, T. (2005). Research methods and data analysis procedures used by educational researchers. International Journal of Research and Method in Education, 28 (2), 109-133.
27. İlhan, M. (2016). Araştırmacıların nicel veri analizinde karşılaştıkları güçlüklerin ikili karşılaştırmalar yoluyla incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 7(1), 73-84.
28. Iwaniec, J. (2020). Questionnaires, implications for effective implementation. J. McKinley, H. Rose (Yay. haz.), The Routledge Handbook of Research Methods in Applied Linguistics içinde. New York: Routledge.
29. Johnson, R. B., Christensen, L. (2012). Educational research: Quantitative, qualitative, and mixed approaches (4. bs.). SAGE Publications.
30. Karasar, N. (2012). Bilimsel araştırma yöntemi. Ankara: Nobel Yayıncılık.
31. Kirk, R. (2009). Experimental design. R.E. Millsap, A. Maydeu-Olivares (Yay. haz.), The Sage handbook of quantitative methods in psychology içinde (s. 23-45). London: Sage.
32. Kraemer, H. (2014). Effect size. The Encyclopedia Of Clinical Psychology, 1-3. doi: 10.1002/9781118625392.wbecp048
33. Lafargue, P. (2014). Burjuvazi Öldürür ve Toplu Denemeler. Zeplin Yayınları.
34. Larson-Hall, J. (2016). A guide to doing statistics in second language research using SPSS and R (2nd ed.). Routledge.
35. Loewen, S., Plonsky, L. (2015). An A–Z of applied linguistics research methods. Macmillan International Higher Education.
36. Mahu, D. P. (2012). Why is learning english so beneficial nowadays? International Journal of Communication Research, 2(4), 374-376.
37. Mann, P. S. (2016). Introductory statistics (9. bs.). John Wiley & Sons, Inc.
38. Marascuilo, L. A., McSweeney, M. (1977). Nonparametric and distribution-free methods for the social sciences. Monterey, CA Brooks/Cole.
39. Marshall, E., Boggis, E. (2016). The statistics tutor’s quick guide to commonly used statistical tests. Statstutor Community Project, 1-57.
40. Nachmias, C., Nachmias, D. (1996). Research methods in the social sciences (5. bs.). New York: St. Martin's Press.
41. Norman, G. R., Streiner, D. L. (2003). PDQ statistics. PMPH-USA.
42. Özsoy, S. ve Özsoy, G. (2013). Eğitim araştırmalarında etki büyüklüğü raporlanması. İlköğretim Online, 12(2), 334-346.
43. Peacock, J. L., Peacock, P. J. (2011). Oxford handbook of medical statistics (1. bs.). Oxford University Press
44. Plonsky, L. (2017). Quantitative research methods. S. Loewen, M. Sato (Yay. haz.), The Routledge Handbook of Instructed Second Language Acquisition içinde. New York: Routledge.
45. Reddy, M. S. (2016). Importance of english language in today’s world. International Journal of Academic Research, 3(4), 179-184.
46. Reis, H. (2009). Quantitative methods in relationship research. H. T. Reis, S. Sprecher (Yay. haz.), Encyclopedia of human relationships içinde (s. 1319-1321). SAGE Publications, Inc., https://www.doi.org/10.4135/9781412958479.n427
47. Rogers, J., Révész, A. (2020). Experimental and quasi-experimental designs. J. McKinley, H. Rose (Yay. haz.), The Routledge Handbook of Research Methods in Applied Linguistics içinde. New York: Routledge.
48. Sahu, P. K., Pal, S. R., Das, A. K. (2015). Estimation and inferential statistics. Springer.
49. Salgado, C., Azevedo, C., Proença, H. G., Vieira, S. (2016). Missing data. In Secondary Analysis of Electronic Health Records (pp. 143-162). Springer.
50. Schuele, C. M., Justice, L. M. (2006). The importance of effect sizes in the interpretation of research. The ASHA Leader, 11(10), 14-27. https://doi.org/10.1044/leader.ftr4.11102006.14
51. Sheskin, D. J. (2000). Handbook of parametric and Nonparametric statistical procedures (2nd ed.). Chapman and Hall/CRC.
52. Sözbilir, M., Kutu, H. (2008). Development and current status of science education research in Turkey. Essays in Education, 24(1), 3.
53. Stout, D. E., Ruble, T. L. (1995). Assessing the practical significance of empirical results in accounting education research: The use of effect size information. Journal of Accounting Education, 13(3), 281-298. https://doi.org/10.1016/0748-5751(95)00010-j
54. Sullivan, G., Feinn, R. (2012). Using effect size—or why the p value is not enough. Journal Of Graduate Medical Education, 4(3), 279-282. doi: 10.4300/jgme-d-12-00156.1
55. Taherdoost, H. (2016). Sampling methods in research methodology; how to choose a sampling technique for research. International Journal of Academic Research in Management, 5(2), 18- 27.
56. Turan, İ., Şimşek, Ü., Aslan, H. (2015). Eğitim araştırmalarında likert ölçeği ve likert-tipi soruların kullanımı ve analizi. Sakarya Üniversitesi Eğitim Fakültesi Dergisi, 30(1), 186-203.
57. Wasserstein, R. L., Schirm, A. L., Lazar, N. A. (2019). Moving to a world beyond “p < 0.05”. The American Statician, 73(1), 1-19. https://doi.org/10.1080/00031305.2019.1583913
58. Wilkinson, L. (1999). Statistical methods in psychology journals: Guidelines and explanations. American psychologist, 54(8), 594.
59. Wisniewski, S. R., Leon, A. C., Otto, M. W., Trivedi, M. H. (2006). Prevention of missing data in clinical research studies. Biological Psychiatry, 59(11), 997-1000. https://doi.org/10.1016/j.biopsych.2006.01.017