A Systematic Review of Research Articles on Measurement Invariance in Education and Psychology

Abstract

This study aims to reveal the trends in the related field by examining the researches evaluating the measurement invariance in education and psychology between 2008-2019. Accordingly, 99 articles published in three journals that were selected using the purposive sampling method among the journals indexed on Social Sciences Citation Index (SSCI)were analyzed within the scope of the study. As a result of the content analysis, in the studies investigating the measurement invariance, typical response tests were observed to be the most frequently employed tests, sample sizes often included 1501 or greater number of subjects, and data were mostly collected from students. The measurement invariance of the tests was mostly analyzed in terms of the gender variable. According to the results of the bibliometric analysis, on the other hand, only Multi-Group Confirmatory Factor Analysis was mostly conducted on the Mplus software package. In the studies, the most cited article was "Cheung and Rensvold (2002)", the author was "Cheung, G. W.", and the journal was "Structural Equation Modeling: A Multidisciplinary Journal". According to the results of the analysis, studies, references, and keywords including factor analysis were among the most commonly used group, which denotes that factor analysis has a crucial role in invariance measurement analyses.

Keywords

• Measurement invariance
• Confirmatory Factor Analysis
• Content analysis
• Bibliometric analysis

References

1. Acar, G. M. & Özkan, Ö. Y. (2015). Türkiye’deki eğitim alanında yayımlanan bilimsel dergilerde ölçek geliştirme ve uyarlama konulu makalelerin incelenmesi. Elektronik Sosyal Bilimler Dergisi, 14(52), 23-33. http://dx.doi.org/10.17755/esosder.54872
2. Akaydın, Ş. & Çeçen M. A. (2015). Okuma becerisiyle ilgili makaleler üzerine bir içerik analizi. Eğitim ve Bilim, 40(178), 183-198. http://dx.doi.org/10.15390/EB.2015.4139
3. American Educational Research Association, American Psychological Association, NationalCouncil on Mea¬surement in Education [AERA/APA/NCME]. (1999). Standards for educational and psychological testing. Washington: American Psychological Association.
4. Arıcı, F., Yıldırım, P., Çalıklar, Ş., & Yılmaz, R. M. (2019). Research trends in the use of augmentedreality in science education: Content and bibliometric mapping analysis. Computers & Education, 142(December), 103647. http://dx.doi.org/10.1016/j.compedu.2019.103647
5. Arık, R. S., & Türkmen, M. (2009). Eğitim bilimleri alanında yayınlanan bilimsel dergilerde yer alan makalelerin incelenmesi. Retrieved November 11, 2019, from http://www.eab.org.tr/eab/2009/pdf/488.pdf
6. Aslan, C., & Özkubat, U. (2019). Ulusal özel eğitim kongresi bildirilerindeki araştırma eğilimleri: Bir İçerik analizi. Türkiye Sosyal Araştırmalar Dergisi, 23(2), 535-554.
7. Aydın, A., Erdağ, C., & Sarıer, Y. (2010). Eğitim yönetimi alanında yayınlanan makalelerin konu, yöntem ve sonuçlar açısından karşılaştırılması. Eurasian Journal of Educational Research, 39, 37-58.
8. Aypay, A., Coruk, A., Yazgan, D., Kartal, O., Çağatay, M., Tuncer, B., & Emran, B. (2010). The status of research in educational administration: An analysis of educationaladministrationjournals, 1999-2007. Eurasian Journal of Educational Research, 39, 59-77.

9. Aztekin, S., & Taşpınar Şener, Z. (2015). Türkiye’de matematik eğitimi alanındaki matematiksel modelleme araştırmalarının içerik analizi: Bir meta-sentez çalışması, Eğitim ve Bilim, 40(178), 139-161. http://dx.doi.org/10.15390/EB.2015.4125
10. Bacanak, A., Karamustafaoğlu, S., Değirmenci, S., & Karamustafaoğlu, O. (2011). E-dergilerde yayınlanan fen eğitimi makaleleri: Yöntem analizi. Türk Fen Eğitimi Dergisi, 8(1), 119 132.
11. Baki, A., Güven, B., Karataş, İ., Akkan, Y., & Çakıroğlu, Ü. (2011). Türkiye'deki matematik eğitimi araştırmalarındaki eğitimler:1998 ile 2007 yılları arası. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 40, 57-68.
12. Bastos, J. L., Celeste, R. K., Faerstein, E., & Barros, A. J. D. (2010). Racial discrimination and health: a systematic review of scales with a focus on their psychometric properties. Social Science and Medicine, 70(7), 1091-1099. https://doi.org/10.1016/j.socscimed.2009.12.20
13. Bozkurt, A., Akgün-Özbek, E., Yılmazel, S., Erdoğdu, E., Uçar, H., Güler, E., Sezgin, S., & Dincer, G.D. (2015). Trends in distance education research: Acontent analysis of journals 2009-2013. The International Review of Research in Open and Distributed Learning, 16(1), 330-363. https://doi.org/10.19173/irrodl.v16i1.1953
14. Boztunç Öztürk, N., Eroğlu, M. G., & Kelecioğlu, H. (2015). Eğitim bilimleri alanında yapılan ölçek uyarlama makalelerinin incelenmesi, Eğitim ve Bilim, 40(178) 123-137. http://dx.doi.org/10.15390/EB.2015.4091
15. Brown, T. A. (2015). Methodology in the social sciences. Confirmatory factor analysis for applied research (2nd ed.). New York: Guilford Press.
16. Browne, M. W., & Cudeck, R. (1992). Alternative ways of assessing model fit. Sociological Methods & Research, 21(2), 230–258. https://doi.org/10.1177/0049124192021002005
17. Byrne, B. M., Shavelson, R. J., & Muthén, B. (1989). Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological Bulletin, 105(3), 456–466. https://doi.org/10.1037/0033-2909.105.3.456
18. Chang, Y., Chang, C., & Tseng, Y. (2010). Trends of science education research: An automatic content analysis. Journal of Science Education and Technology, 19(4), 315-331.
19. Chen, F., F. (2007). Sensitivity of goodness of fit ındexes to lack of measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 14(3), 464-504. https://doi.org/10.1080/10705510701301834
20. Cheung G., W., & Rensvold R., B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 9(2), 233-255. https://doi.org/10.1207/S15328007SEM0902_5
21. Cohen, L., Manion, L., & Morrison, K. (2007). Research methods in education. London and New York, NY: Routledge Falmer.
22. Çiltaş, A., Güler, G., & Sözbilir, M. (2012). Türkiye’de matematik eğitimi araştırmaları: Bir içerik analizi çalışması. Kuram ve Uygulamada Eğitim Bilimleri, 12(1), 565-580.
23. Çüm, S., & Koç, N. (2013). Türkiye’de psikoloji ve eğitim bilimleri dergilerinde yayımlanan ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. Eğitim Bilimleri ve Uygulama, 12(24), 115 135.
24. de Jong O (2007) Trends in western science curricula and science education research: A bird’s eyeview. Journal of Baltic Science Education, 6(1). 15–22.
25. Doğan C., D., & Uluman M. (2016). İstatistiksel Veri Analizinde R Yazılımı ve Kullanımı. İlköğretim Online, 15(2), 615-634., https://doi.org/10.17051/io.2016.24991
26. Doğan, H., & Tok, T. N. (2018). Türkiye’de eğitim bilimleri alanında yayınlanan makalelerin incelenmesi: Eğitim ve Bilim Dergisi örneği. Current Research in Education, 4(2), 94-109.
27. Erdem Aydın İ., Kaya S., İşkol S., & İşcan A., (2019). Anadolu Üniversitesi uzaktan eğitim bölümünde yayınlanmış yüksek lisans ve doktora tezlerinin içerik analizi. Journal of Higher Education and Science, 9(3), 430-441. https://doi.org/10.5961/jhes.2019.343
28. Erdem Aydın, İ., Bozkaya, M., & Genç Kumtepe, E. (2019). Research trends and issues in educational technology: Content analysis of TOJET (2012–2018). The Turkish Online Journal of Educational Technology, 18(4), 46-61.
29. Erdem, D. (2011). Türkiye’de 2005–2006 yılları arasında yayımlanan eğitim bilimleri dergilerindeki makalelerin bazı özellikler açısından incelenmesi: Betimsel bir analiz. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 2(1), 140-147.
30. Erdoğmuş, F., U., & Çağıltay, K. (2009, Şubat). Türkiye’de eğitim teknolojileri alanında yapılan master ve doktora tezlerinde genel eğilimler. Paper presented at the XI. Akademik Bilişim Konferansı, Harran Üniversitesi, Şanlıurfa. Retrieved May 15, 2019, from https://ab.org.tr/ab09/kitap/erdogmus_cagiltay_AB09.pdf
31. Eybe, J., & Schmidt, H.-J. (2001). Quality criteria and exemplary papers in chemistry education research. International Journal of Science Education, 23, 209 225. https://doi.org/10.1080/09500690118920
32. Falkingham, L. T. & Reeves, R. (1998). Context analysis a technique for analysing research in a field, applied to literature on the management of R and D at the section level. Scientometrics, 42(2), 97-120. https://doi.org/10.1007/bf02458351
33. Fan, X., & Sivo, S. A. (2007). Sensitivity of fit indicesto model misspecification and model types. Multivariate Behavioral Research, 42(3), 509 529. https://doi.org/10.1080/00273170701382864
34. Fan, X., Thompson, B., & Wang, L. (1999). Effects of sample size, estimation methods, and model specification on structural equation modeling fit indexes. Structural Equation Modeling, 6(1), 56–83. https://doi.org/10.1080/10705519909540119
35. Fazlıoğulları, O., & Kurul, N. (2012). Türkiye’deki eğitim bilimleri doktora tezlerinin özellikleri. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 12(24), 43-75.
36. Fraenkel, J.R. & Wallen, N. (2005). How todesign and evaluate research in education. New York, NY: McGrawHill.
37. Gotch, C. M., & French, B. F. (2014). A systematic review of assessment literacy measures. Educational Measurement: Issues and Practice, 33, 14 18. http://dx.doi.org/10.1111/emip.12030
38. Göktaş, Y., Küçük, S., Aydemir, M., Telli, E., Arpacık, Ö., Yıldırım, G., & Reisoğlu, I. (2012). Türkiye'de eğitim teknolojileri araştırmalarındaki eğilimler: 2000-2009 dönemi makalelerinin içerik analizi. Kuram ve Uygulamada Eğitim Bilimleri, 12(1), 177-199.
39. Gülbahar, Y., & Alper, A. (2009). Öğretim teknolojileri alanında yapılan araştırmalar. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 42(2), 93 111. https://doi.org/10.1501/Egifak_0000001178
40. Hart, L. C., Smith, S. Z., Swars, S. L., & Smith, M. E. (2009). An examination of research methods in mathematics education: 1995–2005. Journal of Mixed Methods Research, 3(1) 26–41. https://doi.org/10.1177/1558689808325771
41. Hazır Bıkmaz, F., Aksoy, E., Tatar, Ö., & Atak Altınyüzük, C. (2013). Eğitim programları ve öğretim alanında yapılan doktora tezlerine ait içerik çözümlemesi (1974-2009). Eğitim ve Bilim, 38(168), 288 303.
42. Hew, K. F., Kale, U., & Kim, N. (2007). Past research in instructional technology: Results of a content analysis of empirical studies published in three prominent instructional technology journals from the year 2000 through 2004. Journal of Educational Computing Research, 36(3), 269-300. https://doi.org/10.2190/K3P8-8164-L56J-33W4
43. Hinkin, T. (1995). A review of scale development practices in the study of organizations. Journal of Management, 21(5), 967-988. https://doi.org/10.1016/0149-2063(95)90050-0
44. Holland, P. W., & Wainer, H. (1993). Differential item functioning. Hillside, NJ: Lawrence Erlbaum.
45. Horn, J. L., & McArdle, J. J. (1992). A practical and theoretical guide to measurement invariance in aging research. Experimental Aging Research, 18(3-4), 117-144. https://doi.org/10.1080/03610739208253916
46. Hsu, T. (2005). Research methods and data analysis procedures used by educational researchers. International Journal of Research & Method in Education, 28(2), 109–133. http://dx.doi.org/10.1080/01406720500256194
47. Hu L‐T. & Bentler, M., P. (1999). Cut off criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55. https://doi.org/10.1080/10705519909540118
48. Hu, L.T., & Bentler, P. M. (1998). Fit indices in covariance structure modeling: Sensitivity to under parameterized model misspecification. Psychological Methods, 3(4), 424–453. https://doi.org/10.1037/1082-989X.3.4.424
49. ITC (2005). International test commission guidelines for test adaptation. London: Author.
50. Ivanović L., & Ho Y. S. (2019) Highly cited articles in the education and educational research category in the Social Science Citation Index: A bibliometric analysis, Educational Review, 71(3), 277-286. https://doi.org/10.1080/00131911.2017.1415297
51. Kapuscinski, A. N., & Masters, K. S. (2010). The current status of measures of spirituality: A critical review of scale development. Psychology of Religion and Spirituality, 2(4), 191–205. https://doi.org/10.1037/a0020498
52. Karadağ, E. (2009). Eğitim bilimleri alanında yapılmış doktora tezlerinin tematik açıdan incelemesi. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 10(3), 75-87.
53. Karasar N. (2017). Bilimsel araştırma yöntemi: Kavramlar ilkeler teknikler. Ankara: Nobel Yayıncılık.
54. Kazu, H., & Aslan, S. (2013). 2004 ilköğretim programının ölçme-değerlendirme boyutu ile ilgili yapılan araştırmaların değerlendirilmesi. İlköğretim-Online, 12, 87-108.
55. Kazu, İ., Y., & Deniz, E. (2019). Öğretmenlerin ölçme ve değerlendirme tekniklerini kullanma durumlarını inceleyen araştırmaların değerlendirilmesi. Journal of History School, 12(XXXVIII) 174-195. https://doi.org/10.14225/Joh1527
56. Keselman, H. J., Huberty, C. J., Lix, L. M., Olejnik, S., Cribbie, R. A., Donahue, B., & Levin, J. R. (1998). Statistical practices of educational researchers: Ananalysis of their ANOVA, MANOVA and ANCOVA analyses. Review of educational research, 68(3), 350-386. https://doi.org/10.3102/00346543068003350
57. Kieffer, K. M., Reese, R. J., & Thompson, B. (2001). Statistical techniques employed in AERJ and JCP articles from 1988 to 1997: A methodological review. Journal of Experimental Education, 69(3), 280-309. https://doi.org/10.1080/00220970109599489
58. Kilbourne, W. E., & Beckmann, S.C., (1998). Review and critical assessment of research on marketing and the environment. Journal of Marketing Management 14(6), 513-32. https://doi.org/10.1362/026725798784867716
59. Kline, R. B. (2005). Methodology in the social sciences. Principles and practice of structural equation modeling (2nd ed.). New York: Guilford Press.
60. Küçükoğlu, A., & Ozan, C. (2013). Sınıf öğretmenliği alanındaki lisansüstü tezlere yönelik bir içerik analizi. Uluslararası Avrasya Sosyal Bilimler Dergisi, 4(12), 27-47.
61. Ladhari, R. (2010). Developing e-service qualityscales: A literature review. Journal of Retailing and Consumer Services, 17, 464 477. https://doi.org/10.1016/j.jretconser.2010.06.003.
62. Lee, M.H., Wu, Y.T. & Tsai, C.C. (2009). Research trends in science education from 2003 to 2007: A content analysis of publications in selected journals. International Journal of Science Education, 31(15), 1999-2020. https://doi.org/10.1080/09500690802314876
63. Lei, M., & Lomax, R. G. (2005). The effect of varying degrees of nonnormality in structural equation modeling. Structural Equation Modeling, 12(1), 1 27. https://doi.org/10.1207/s15328007sem1201_1
64. Lin, T. C., Lin, T. J., &Tsai, C. C. (2014). Research trends in science education from 2008 to 2012: A systematic content analysis of publications in selected journals. International Journal of Science Education, 36(8), 1346 1372. http://dx.doi.org/10.1080/09500693.2013.864428
65. Little, T., D. (1997). Mean and Covariance Structures (MACS) analyses of cross-cultural data: Practical and theoretical issues, Multivariate Behavioral Research, 32(1), 53 76. https://doi.org/10.1207/s15327906mbr3201_3
66. Mahler, C. (2011). The effects of misspecifcation type and nuisance variables on the behaviors of population fit indicesused in structural equation modeling. (Unpublished master dissertation The Faculty of Graduate Studies, University of British Columbia, Vancouver, Canada). Retrieved January 17, 2020, from https://open.library.ubc.ca/cIRcle/collections/ubctheses/24/items/1.0105120
67. Meredith W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika 58, 525–543. https://doi.org/10.1007/BF02294825
68. Millsap, R. E. (2011). Statistical approaches to measurement invariance. Routledge: Taylor & Francis Group.
69. Morgado, F. F. R., Meireles, J. F. F., Neves, C. M., Amaral, A. C. S., & Ferreira, M. E. C. (2017). Scale development: Ten main limitations and recommendations to improve future research practices. Psicologia: Reflexão e Crítica, 30(3). https://doi.org/10.1186/s41155-016-0057-1
70. Murphy, J, Vriesenga, M., & Storey, V. (2007). Educational administration quarterly, 1979-2003: An analysis of types of work, methods of investigation, and influences. Educational Administration Quarterly, 43(5), 612-628. https://doi.org/10.1177/0013161X07307796
71. Muthén, L. K., & Muthén, B. O. (2008). Mplus (Version 5.1) [Computer software]. Los Angeles: Muthén & Muthén.
72. Oxford Dictionary (2017). Retrieved January 15, 2020, from https://en.oxforddictionaries.com/definition/bibliometrics
73. Öncül, N. (2014). Türkiye'de erken çocuklukta özel eğitim ile ilgili yapılmış makalelerin gözden geçirilmesi. International Journal of Early Childhood Special Education, 6(2), 247 284.
74. Ören F. Ş. & Sarı, K. (2019). Web of Science veri tabanında fen eğitimi üzerine yapılan araştırmaya dayalı öğrenme stratejisi konulu çalışmaların değerlendirilmesi. İlköğretim Online, 18(4), 1875-1901. https://doi.org/10.17051/ilkonline.2019.639353
75. Özkan, M. (2016). Liderlik hangi sıfatları, nasıl alıyor? Liderlik konulu makalelerin incelenmesi. Gaziantep Üniversitesi Sosyal Bilimler Dergisi, 15(2), 615-639. https://doi.org/10.21547/jss.256732
76. Özyurt, Ö., & Özyurt, H. (2015) Learning style based individualized adaptive e-learning environments: Content analysis of the articles published from 2005 to 2014. Computers in Human Behavior, 52, 349-358. https://doi.org/10.1016/j.chb.2015.06.020
77. Patton, M. Q. (2002). Qualitative research and evaluation methods. Thousand Oaks, CA: Sage.
78. Saracaloğlu, A. S., & Dursun, F. (2010, Mayıs). Türkiye’de eğitim programları ve öğretim alanındaki lisansüstü tezlerinin incelenmesi. Paperpresented at the 1. Ulusal Eğitim Programları ve Öğretim Kongresi, Balıkesir Üniversitesi, Ayvalık. Retrieved October, 9, 2019, from https://www.pegem.net/akademi/kongrebildiri_detay.aspx?id=117909
79. Satorra, A., & Bentler, P., M. (2001). A scaled difference chi-square test statistic for moment structure analysis. Psychometrika, 66, 507–514. https://doi.org/10.1007/BF02296192
80. Schmitt, N., & Kuljanin, G. (2008). Measurement invariance: Review of practice and implications. Human Resource Management Review, 18(4), 210 222. https://doi.org/10.1016/j.hrmr.2008.03.003
81. Seçer, İ., Ay, İ., Ozan, C., & Yılmaz, B. Y. (2014). Rehberlik ve psikolojik danışma alanındaki araştırma eğilimleri: Bir içerik analizi. Turkish Psychological Counseling and Guidance Journal, 5(41), 49-60.
82. Selçuk, Z., Palancı, M., Kandemir, M. & Dündar, H. (2014). Eğitim ve bilim dergisinde yayınlanan araştırmaların eğilimleri: İçerik analizi. Eğitim ve Bilim, 39(173), 430-453. https://doi.org/10.15390/eb.v39i173.3278
83. Sırakaya M., & Alsancak Sırakaya, D. (2020). Augmented reality in STEM education: A systematic review. Interactive Learning Environments. https://doi.org/10.1080/10494820.2020.1722713
84. Small, H. (1999). Visualizing science by citation mapping for Information Science. Journal of the American Society, 50, 799 813. https://doi.org/10.1002/(SICI)1097 4571(1999)50:93.3.CO;2-7
85. Sözbilir, M., & Kutu, H. (2008). Development and currentstatus of scienceeducationresearch in Turkey. Essays in Education, Special Issue, 1-22.
86. Steenkamp, J., & Baumgartner, H. (1998). Assessing Measurement Invariance in Cross‐National Consumer Research. Journal of Consumer Research, 25(1), 78-107. https://doi.org/10.1086/209528
87. Sveinbjornsdottir, S., & Thorsteinsson, E. B. (2008). Adolescent coping scales: A critical psychometric review. Scandinavian Journal of Psychology, 49(6), 533 548. https://doi.org/10.1111/j.1467-9450.2008.00669.x
88. Şahin, M. G., & Boztunç Öztürk, N. (2018). Eğitim alanında ölçek geliştirme süreci: Bir içerik analizi çalışması. Kastamonu Eğitim Dergisi, 26(1), 191 199. https://doi.org/10.24106/kefdergi.375863
89. Şenyurt, S., & Özer Özkan, Y. (2017). Eğitimde ölçme ve değerlendirme alanında yapılan yüksek lisans tezlerinin tematik ve metodolojik açıdan incelenmesi. Elementary Education Online, 16(2), 628-653. https://doi.org/10.17051/ilkonline.2017.304724
90. Tarman, B., Güven, C., & Aktaşlı, İ. (2011). Türkiye’de sosyal bilgiler eğitimi alanında yapılan doktora tezlerinin değerlendirilmesi ve alana katkıları. Selçuk Üniversitesi Ahmet Keleşoğlu Eğitim Fakültesi Dergisi, 32, 391-410.
91. Tavşancıl, E., & Aslan, E. (2001). Sözel, yazılı ve diğer materyaller için içerik analizi ve uygulama örnekleri. İstanbul: Epsilon Yayınları.
92. Tavşancıl, E., Çokluk, Ö., Çıtak, G., Kezer, F., Yıldırım, Ö., Bilican, S., Büyükturan, E., Şekercioğlu, G., Yalçın, N., Erdem, D., & Özmen, T. (2010). Eğitim Bilimleri Enstitülerinde Tamamlanmış Lisansüstü Tezlerin İncelenmesi (2000-2008). Ankara Üniversitesi Bilimsel Araştırma Projeleri. Retrieved June 9, 2019, from https://dspace.ankara.edu.tr/xmlui/handle/20.500.12575/68960
93. Tavşancıl, E., Güler, G., & Ayan, C. (2014, June). 2002-2012 yılları arasında Türkiye’de geliştirilen bazı tutum ölçeği geliştirme çalışmalarının ölçek geliştirme süreci açısından incelenmesi. Paperpresented at the IV. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi (Uluslararası Katılımlı) 9-13 Haziran, Hacettepe Üniversitesi, Ankara.
94. Tekin, H. (2008). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınevi.
95. Tsai, C.‐C. & Wen, L.M.C. (2005). Research and trends in science education from 1998 to 2002: A content analysis of publication in selected journals. International Journal of Science Education, 27, 3–14. https://doi.org/10.1080/0950069042000243727
96. Turan, S., Karadağ, E., Bektaş, F., & Yalçın, M. (2014). Türkiye’de eğitim yönetiminde bilgi üretimi: Kuram ve Uygulamada Eğitim Yönetimi Dergisi 2003-2013 yayınlarının incelenmesi. Kuram ve Uygulamada Eğitim Yönetimi Dergisi, 20(1), 93-119. https://doi.org/10.14527/kuey.2014.005
97. Turgut, M., F., (2006). Eğitimde ölçme ve değerlendirme. Ankara: Saydam Yayıncılık.
98. Ulutaş, B., Üner, S., Turan Oluk, N., Yalçın Çelik, A., & Akkuş, H. (2015). Türkiye’deki kimya eğitimi makalelerinin incelenmesi: 2000-2013. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 16(2), 141-160.
99. Ulutaş, F. &Ubuz, B. (2008). Matematik eğitiminde araştırmalar ve eğilimler: 2000 ile 2006 yılları arası. İlköğretim Online, 7(3), 614-626.
100. vanEck, N. J., & Waltman, L. (2020). VOSviewer manual. Manual for VOSviewer version 1.6.14, software documentation. Leiden: Univeristeit Leiden.
101. Vandenberg, R. J., & Lance, C. E. (2000). A review and synthesis of the measurement invariance literature: Suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 3, 4−69. https://doi.org/10.1177/109442810031002
102. Vega-Arce, M., Salas, G., Núñez-Ulloa, G., Pinto-Cortez, C., Fernandez, I. T., & Ho, Y.S. (2019). Research performance and trends in child sexual abuse research: A Science Citation Index Expanded-based analysis. Scientometrics, 121(3), 1505-1525. https://doi.org/10.1007/s11192-019-03267-w
103. Wang, Y., Lai, N., Zuo, J., Chen, G., & Du, H. (2016) Characteristics and trends of research on waste-to-energy ıncineration: A bibliometric analysis, 1999–2015. Renewable and Sustainable Energy Reviews, 66, 95–104. http://doi.org/10.1016/j.rser.2016.07.006
104. White, R. (1997). Trends in research in science education. Research in Science Education, 27(2), 215-221. https://doi.org/10.1007/BF02461317
105. Widaman, K. F., & Reise, S. P. (1997). Exploring the measurement invariance of psychological instruments: Applications in the substanceuse domain. In K. J. Bryant, M. Windle, & S. G. West (Eds.), The science of prevention: Methodological advances from alcohol and substance abuse research (p. 281–324). American Psychological Association. https://doi.org/10.1037/10222-009
106. Worthington, R. L., & Whittaker, T. A. (2006). Scale development research: A content analysis and recommendations for best practices. The Counseling Psychologist, 34(6), 806–838. https://doi.org/10.1177/0011000006288127
107. Yalçın, S. (2016). Content analysis of research articles in measurement and evaluation journals. Ankara University Journal of Faculty of Educational Science, 49(1), 65-84. https://doi.org/10.1501/Egifak_0000001375
108. Yalçın, S., Yavuz, H. Ç. ve İlgün Dibek, M. (2015). An examination of articles published in educational journals having highest impact factors: Content analysis. Eğitim ve Bilim, 40(182), 1-28.
109. Yang, Y. T., Iqbal, U., Ching, J. H. Y., Ting, J. B. S., Chiu, H. T., Tamashiro, H., & Hsu, Y. H. E. (2015). Trends in the growth of literature of telemedicine: A bibliometric analysis. Computer Methods and Programs in Biomedicine, 122(3), 471-479. https://doi.org/10.1016/j.cmpb.2015.09.008
110. Yılmaz, K., & Altınkurt, Y. (2012). An examination of articles published on preschool education in Turkey. Kuram ve Uygulamada Eğitim Bilimleri, 12(4), 3227-3241.
111. Zainuddin, Z., WahChu, S. K., Shujahat, M., & Perera, C. J. (2020). The impact of gamification on learning and instruction: A systematic review of empirical evidence. Educational Research, 30. https://doi.org/10.1016/j.edurev.2020.100326
112. Zupic, I. (2015). Bibliometric methods in management and organization. Organizational Research Methods, 18(3), 429-472. https://doi.org/10.1177/1094428114562629