A Systematic Review of Research Articles on Measurement Invariance in Education and Psychology

Year 2020, Volume: 7 Issue: 4, 607 - 630, 20.12.2020

Betül Alatlı

https://doi.org/10.21449/ijate.738560

Cited By: 1

Abstract

This study aims to reveal the trends in the related field by examining the researches evaluating the measurement invariance in education and psychology between 2008-2019. Accordingly, 99 articles published in three journals that were selected using the purposive sampling method among the journals indexed on Social Sciences Citation Index (SSCI)were analyzed within the scope of the study. As a result of the content analysis, in the studies investigating the measurement invariance, typical response tests were observed to be the most frequently employed tests, sample sizes often included 1501 or greater number of subjects, and data were mostly collected from students. The measurement invariance of the tests was mostly analyzed in terms of the gender variable. According to the results of the bibliometric analysis, on the other hand, only Multi-Group Confirmatory Factor Analysis was mostly conducted on the Mplus software package. In the studies, the most cited article was "Cheung and Rensvold (2002)", the author was "Cheung, G. W.", and the journal was "Structural Equation Modeling: A Multidisciplinary Journal". According to the results of the analysis, studies, references, and keywords including factor analysis were among the most commonly used group, which denotes that factor analysis has a crucial role in invariance measurement analyses.

Keywords

Measurement invariance, Confirmatory Factor Analysis, Content analysis, Bibliometric analysis

References

• Acar, G. M. & Özkan, Ö. Y. (2015). Türkiye’deki eğitim alanında yayımlanan bilimsel dergilerde ölçek geliştirme ve uyarlama konulu makalelerin incelenmesi. Elektronik Sosyal Bilimler Dergisi, 14(52), 23-33. http://dx.doi.org/10.17755/esosder.54872
• Akaydın, Ş. & Çeçen M. A. (2015). Okuma becerisiyle ilgili makaleler üzerine bir içerik analizi. Eğitim ve Bilim, 40(178), 183-198. http://dx.doi.org/10.15390/EB.2015.4139
• American Educational Research Association, American Psychological Association, NationalCouncil on Mea¬surement in Education [AERA/APA/NCME]. (1999). Standards for educational and psychological testing. Washington: American Psychological Association.
• Arıcı, F., Yıldırım, P., Çalıklar, Ş., & Yılmaz, R. M. (2019). Research trends in the use of augmentedreality in science education: Content and bibliometric mapping analysis. Computers & Education, 142(December), 103647. http://dx.doi.org/10.1016/j.compedu.2019.103647
• Arık, R. S., & Türkmen, M. (2009). Eğitim bilimleri alanında yayınlanan bilimsel dergilerde yer alan makalelerin incelenmesi. Retrieved November 11, 2019, from http://www.eab.org.tr/eab/2009/pdf/488.pdf
• Aslan, C., & Özkubat, U. (2019). Ulusal özel eğitim kongresi bildirilerindeki araştırma eğilimleri: Bir İçerik analizi. Türkiye Sosyal Araştırmalar Dergisi, 23(2), 535-554.
• Aydın, A., Erdağ, C., & Sarıer, Y. (2010). Eğitim yönetimi alanında yayınlanan makalelerin konu, yöntem ve sonuçlar açısından karşılaştırılması. Eurasian Journal of Educational Research, 39, 37-58.
• Aypay, A., Coruk, A., Yazgan, D., Kartal, O., Çağatay, M., Tuncer, B., & Emran, B. (2010). The status of research in educational administration: An analysis of educationaladministrationjournals, 1999-2007. Eurasian Journal of Educational Research, 39, 59-77.
• Aztekin, S., & Taşpınar Şener, Z. (2015). Türkiye’de matematik eğitimi alanındaki matematiksel modelleme araştırmalarının içerik analizi: Bir meta-sentez çalışması, Eğitim ve Bilim, 40(178), 139-161. http://dx.doi.org/10.15390/EB.2015.4125
• Bacanak, A., Karamustafaoğlu, S., Değirmenci, S., & Karamustafaoğlu, O. (2011). E-dergilerde yayınlanan fen eğitimi makaleleri: Yöntem analizi. Türk Fen Eğitimi Dergisi, 8(1), 119 132.
• Baki, A., Güven, B., Karataş, İ., Akkan, Y., & Çakıroğlu, Ü. (2011). Türkiye'deki matematik eğitimi araştırmalarındaki eğitimler:1998 ile 2007 yılları arası. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 40, 57-68.
• Bastos, J. L., Celeste, R. K., Faerstein, E., & Barros, A. J. D. (2010). Racial discrimination and health: a systematic review of scales with a focus on their psychometric properties. Social Science and Medicine, 70(7), 1091-1099. https://doi.org/10.1016/j.socscimed.2009.12.20
• Bozkurt, A., Akgün-Özbek, E., Yılmazel, S., Erdoğdu, E., Uçar, H., Güler, E., Sezgin, S., & Dincer, G.D. (2015). Trends in distance education research: Acontent analysis of journals 2009-2013. The International Review of Research in Open and Distributed Learning, 16(1), 330-363. https://doi.org/10.19173/irrodl.v16i1.1953
• Boztunç Öztürk, N., Eroğlu, M. G., & Kelecioğlu, H. (2015). Eğitim bilimleri alanında yapılan ölçek uyarlama makalelerinin incelenmesi, Eğitim ve Bilim, 40(178) 123-137. http://dx.doi.org/10.15390/EB.2015.4091
• Brown, T. A. (2015). Methodology in the social sciences. Confirmatory factor analysis for applied research (2nd ed.). New York: Guilford Press.
• Browne, M. W., & Cudeck, R. (1992). Alternative ways of assessing model fit. Sociological Methods & Research, 21(2), 230–258. https://doi.org/10.1177/0049124192021002005
• Byrne, B. M., Shavelson, R. J., & Muthén, B. (1989). Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological Bulletin, 105(3), 456–466. https://doi.org/10.1037/0033-2909.105.3.456
• Chang, Y., Chang, C., & Tseng, Y. (2010). Trends of science education research: An automatic content analysis. Journal of Science Education and Technology, 19(4), 315-331.
• Chen, F., F. (2007). Sensitivity of goodness of fit ındexes to lack of measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 14(3), 464-504. https://doi.org/10.1080/10705510701301834
• Cheung G., W., & Rensvold R., B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 9(2), 233-255. https://doi.org/10.1207/S15328007SEM0902_5
• Cohen, L., Manion, L., & Morrison, K. (2007). Research methods in education. London and New York, NY: Routledge Falmer.
• Çiltaş, A., Güler, G., & Sözbilir, M. (2012). Türkiye’de matematik eğitimi araştırmaları: Bir içerik analizi çalışması. Kuram ve Uygulamada Eğitim Bilimleri, 12(1), 565-580.
• Çüm, S., & Koç, N. (2013). Türkiye’de psikoloji ve eğitim bilimleri dergilerinde yayımlanan ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. Eğitim Bilimleri ve Uygulama, 12(24), 115 135.
• de Jong O (2007) Trends in western science curricula and science education research: A bird’s eyeview. Journal of Baltic Science Education, 6(1). 15–22.
• Doğan C., D., & Uluman M. (2016). İstatistiksel Veri Analizinde R Yazılımı ve Kullanımı. İlköğretim Online, 15(2), 615-634., https://doi.org/10.17051/io.2016.24991
• Doğan, H., & Tok, T. N. (2018). Türkiye’de eğitim bilimleri alanında yayınlanan makalelerin incelenmesi: Eğitim ve Bilim Dergisi örneği. Current Research in Education, 4(2), 94-109.
• Erdem Aydın İ., Kaya S., İşkol S., & İşcan A., (2019). Anadolu Üniversitesi uzaktan eğitim bölümünde yayınlanmış yüksek lisans ve doktora tezlerinin içerik analizi. Journal of Higher Education and Science, 9(3), 430-441. https://doi.org/10.5961/jhes.2019.343
• Erdem Aydın, İ., Bozkaya, M., & Genç Kumtepe, E. (2019). Research trends and issues in educational technology: Content analysis of TOJET (2012–2018). The Turkish Online Journal of Educational Technology, 18(4), 46-61.
• Erdem, D. (2011). Türkiye’de 2005–2006 yılları arasında yayımlanan eğitim bilimleri dergilerindeki makalelerin bazı özellikler açısından incelenmesi: Betimsel bir analiz. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 2(1), 140-147.
• Erdoğmuş, F., U., & Çağıltay, K. (2009, Şubat). Türkiye’de eğitim teknolojileri alanında yapılan master ve doktora tezlerinde genel eğilimler. Paper presented at the XI. Akademik Bilişim Konferansı, Harran Üniversitesi, Şanlıurfa. Retrieved May 15, 2019, from https://ab.org.tr/ab09/kitap/erdogmus_cagiltay_AB09.pdf
• Eybe, J., & Schmidt, H.-J. (2001). Quality criteria and exemplary papers in chemistry education research. International Journal of Science Education, 23, 209 225. https://doi.org/10.1080/09500690118920
• Falkingham, L. T. & Reeves, R. (1998). Context analysis a technique for analysing research in a field, applied to literature on the management of R and D at the section level. Scientometrics, 42(2), 97-120. https://doi.org/10.1007/bf02458351
• Fan, X., & Sivo, S. A. (2007). Sensitivity of fit indicesto model misspecification and model types. Multivariate Behavioral Research, 42(3), 509 529. https://doi.org/10.1080/00273170701382864
• Fan, X., Thompson, B., & Wang, L. (1999). Effects of sample size, estimation methods, and model specification on structural equation modeling fit indexes. Structural Equation Modeling, 6(1), 56–83. https://doi.org/10.1080/10705519909540119
• Fazlıoğulları, O., & Kurul, N. (2012). Türkiye’deki eğitim bilimleri doktora tezlerinin özellikleri. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 12(24), 43-75.
• Fraenkel, J.R. & Wallen, N. (2005). How todesign and evaluate research in education. New York, NY: McGrawHill.
• Gotch, C. M., & French, B. F. (2014). A systematic review of assessment literacy measures. Educational Measurement: Issues and Practice, 33, 14 18. http://dx.doi.org/10.1111/emip.12030
• Göktaş, Y., Küçük, S., Aydemir, M., Telli, E., Arpacık, Ö., Yıldırım, G., & Reisoğlu, I. (2012). Türkiye'de eğitim teknolojileri araştırmalarındaki eğilimler: 2000-2009 dönemi makalelerinin içerik analizi. Kuram ve Uygulamada Eğitim Bilimleri, 12(1), 177-199.
• Gülbahar, Y., & Alper, A. (2009). Öğretim teknolojileri alanında yapılan araştırmalar. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 42(2), 93 111. https://doi.org/10.1501/Egifak_0000001178
• Hart, L. C., Smith, S. Z., Swars, S. L., & Smith, M. E. (2009). An examination of research methods in mathematics education: 1995–2005. Journal of Mixed Methods Research, 3(1) 26–41. https://doi.org/10.1177/1558689808325771
• Hazır Bıkmaz, F., Aksoy, E., Tatar, Ö., & Atak Altınyüzük, C. (2013). Eğitim programları ve öğretim alanında yapılan doktora tezlerine ait içerik çözümlemesi (1974-2009). Eğitim ve Bilim, 38(168), 288 303.
• Hew, K. F., Kale, U., & Kim, N. (2007). Past research in instructional technology: Results of a content analysis of empirical studies published in three prominent instructional technology journals from the year 2000 through 2004. Journal of Educational Computing Research, 36(3), 269-300. https://doi.org/10.2190/K3P8-8164-L56J-33W4
• Hinkin, T. (1995). A review of scale development practices in the study of organizations. Journal of Management, 21(5), 967-988. https://doi.org/10.1016/0149-2063(95)90050-0
• Holland, P. W., & Wainer, H. (1993). Differential item functioning. Hillside, NJ: Lawrence Erlbaum.
• Horn, J. L., & McArdle, J. J. (1992). A practical and theoretical guide to measurement invariance in aging research. Experimental Aging Research, 18(3-4), 117-144. https://doi.org/10.1080/03610739208253916
• Hsu, T. (2005). Research methods and data analysis procedures used by educational researchers. International Journal of Research & Method in Education, 28(2), 109–133. http://dx.doi.org/10.1080/01406720500256194
• Hu L‐T. & Bentler, M., P. (1999). Cut off criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55. https://doi.org/10.1080/10705519909540118
• Hu, L.T., & Bentler, P. M. (1998). Fit indices in covariance structure modeling: Sensitivity to under parameterized model misspecification. Psychological Methods, 3(4), 424–453. https://doi.org/10.1037/1082-989X.3.4.424
• ITC (2005). International test commission guidelines for test adaptation. London: Author.
• Ivanović L., & Ho Y. S. (2019) Highly cited articles in the education and educational research category in the Social Science Citation Index: A bibliometric analysis, Educational Review, 71(3), 277-286. https://doi.org/10.1080/00131911.2017.1415297
• Kapuscinski, A. N., & Masters, K. S. (2010). The current status of measures of spirituality: A critical review of scale development. Psychology of Religion and Spirituality, 2(4), 191–205. https://doi.org/10.1037/a0020498
• Karadağ, E. (2009). Eğitim bilimleri alanında yapılmış doktora tezlerinin tematik açıdan incelemesi. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 10(3), 75-87.
• Karasar N. (2017). Bilimsel araştırma yöntemi: Kavramlar ilkeler teknikler. Ankara: Nobel Yayıncılık.
• Kazu, H., & Aslan, S. (2013). 2004 ilköğretim programının ölçme-değerlendirme boyutu ile ilgili yapılan araştırmaların değerlendirilmesi. İlköğretim-Online, 12, 87-108.
• Kazu, İ., Y., & Deniz, E. (2019). Öğretmenlerin ölçme ve değerlendirme tekniklerini kullanma durumlarını inceleyen araştırmaların değerlendirilmesi. Journal of History School, 12(XXXVIII) 174-195. https://doi.org/10.14225/Joh1527
• Keselman, H. J., Huberty, C. J., Lix, L. M., Olejnik, S., Cribbie, R. A., Donahue, B., & Levin, J. R. (1998). Statistical practices of educational researchers: Ananalysis of their ANOVA, MANOVA and ANCOVA analyses. Review of educational research, 68(3), 350-386. https://doi.org/10.3102/00346543068003350
• Kieffer, K. M., Reese, R. J., & Thompson, B. (2001). Statistical techniques employed in AERJ and JCP articles from 1988 to 1997: A methodological review. Journal of Experimental Education, 69(3), 280-309. https://doi.org/10.1080/00220970109599489
• Kilbourne, W. E., & Beckmann, S.C., (1998). Review and critical assessment of research on marketing and the environment. Journal of Marketing Management 14(6), 513-32. https://doi.org/10.1362/026725798784867716
• Kline, R. B. (2005). Methodology in the social sciences. Principles and practice of structural equation modeling (2nd ed.). New York: Guilford Press.
• Küçükoğlu, A., & Ozan, C. (2013). Sınıf öğretmenliği alanındaki lisansüstü tezlere yönelik bir içerik analizi. Uluslararası Avrasya Sosyal Bilimler Dergisi, 4(12), 27-47.
• Ladhari, R. (2010). Developing e-service qualityscales: A literature review. Journal of Retailing and Consumer Services, 17, 464 477. https://doi.org/10.1016/j.jretconser.2010.06.003.
• Lee, M.H., Wu, Y.T. & Tsai, C.C. (2009). Research trends in science education from 2003 to 2007: A content analysis of publications in selected journals. International Journal of Science Education, 31(15), 1999-2020. https://doi.org/10.1080/09500690802314876
• Lei, M., & Lomax, R. G. (2005). The effect of varying degrees of nonnormality in structural equation modeling. Structural Equation Modeling, 12(1), 1 27. https://doi.org/10.1207/s15328007sem1201_1
• Lin, T. C., Lin, T. J., &Tsai, C. C. (2014). Research trends in science education from 2008 to 2012: A systematic content analysis of publications in selected journals. International Journal of Science Education, 36(8), 1346 1372. http://dx.doi.org/10.1080/09500693.2013.864428
• Little, T., D. (1997). Mean and Covariance Structures (MACS) analyses of cross-cultural data: Practical and theoretical issues, Multivariate Behavioral Research, 32(1), 53 76. https://doi.org/10.1207/s15327906mbr3201_3
• Mahler, C. (2011). The effects of misspecifcation type and nuisance variables on the behaviors of population fit indicesused in structural equation modeling. (Unpublished master dissertation The Faculty of Graduate Studies, University of British Columbia, Vancouver, Canada). Retrieved January 17, 2020, from https://open.library.ubc.ca/cIRcle/collections/ubctheses/24/items/1.0105120
• Meredith W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika 58, 525–543. https://doi.org/10.1007/BF02294825
• Millsap, R. E. (2011). Statistical approaches to measurement invariance. Routledge: Taylor & Francis Group.
• Morgado, F. F. R., Meireles, J. F. F., Neves, C. M., Amaral, A. C. S., & Ferreira, M. E. C. (2017). Scale development: Ten main limitations and recommendations to improve future research practices. Psicologia: Reflexão e Crítica, 30(3). https://doi.org/10.1186/s41155-016-0057-1
• Murphy, J, Vriesenga, M., & Storey, V. (2007). Educational administration quarterly, 1979-2003: An analysis of types of work, methods of investigation, and influences. Educational Administration Quarterly, 43(5), 612-628. https://doi.org/10.1177/0013161X07307796
• Muthén, L. K., & Muthén, B. O. (2008). Mplus (Version 5.1) [Computer software]. Los Angeles: Muthén & Muthén.
• Oxford Dictionary (2017). Retrieved January 15, 2020, from https://en.oxforddictionaries.com/definition/bibliometrics
• Öncül, N. (2014). Türkiye'de erken çocuklukta özel eğitim ile ilgili yapılmış makalelerin gözden geçirilmesi. International Journal of Early Childhood Special Education, 6(2), 247 284.
• Ören F. Ş. & Sarı, K. (2019). Web of Science veri tabanında fen eğitimi üzerine yapılan araştırmaya dayalı öğrenme stratejisi konulu çalışmaların değerlendirilmesi. İlköğretim Online, 18(4), 1875-1901. https://doi.org/10.17051/ilkonline.2019.639353
• Özkan, M. (2016). Liderlik hangi sıfatları, nasıl alıyor? Liderlik konulu makalelerin incelenmesi. Gaziantep Üniversitesi Sosyal Bilimler Dergisi, 15(2), 615-639. https://doi.org/10.21547/jss.256732
• Özyurt, Ö., & Özyurt, H. (2015) Learning style based individualized adaptive e-learning environments: Content analysis of the articles published from 2005 to 2014. Computers in Human Behavior, 52, 349-358. https://doi.org/10.1016/j.chb.2015.06.020
• Patton, M. Q. (2002). Qualitative research and evaluation methods. Thousand Oaks, CA: Sage.
• Saracaloğlu, A. S., & Dursun, F. (2010, Mayıs). Türkiye’de eğitim programları ve öğretim alanındaki lisansüstü tezlerinin incelenmesi. Paperpresented at the 1. Ulusal Eğitim Programları ve Öğretim Kongresi, Balıkesir Üniversitesi, Ayvalık. Retrieved October, 9, 2019, from https://www.pegem.net/akademi/kongrebildiri_detay.aspx?id=117909
• Satorra, A., & Bentler, P., M. (2001). A scaled difference chi-square test statistic for moment structure analysis. Psychometrika, 66, 507–514. https://doi.org/10.1007/BF02296192
• Schmitt, N., & Kuljanin, G. (2008). Measurement invariance: Review of practice and implications. Human Resource Management Review, 18(4), 210 222. https://doi.org/10.1016/j.hrmr.2008.03.003
• Seçer, İ., Ay, İ., Ozan, C., & Yılmaz, B. Y. (2014). Rehberlik ve psikolojik danışma alanındaki araştırma eğilimleri: Bir içerik analizi. Turkish Psychological Counseling and Guidance Journal, 5(41), 49-60.
• Selçuk, Z., Palancı, M., Kandemir, M. & Dündar, H. (2014). Eğitim ve bilim dergisinde yayınlanan araştırmaların eğilimleri: İçerik analizi. Eğitim ve Bilim, 39(173), 430-453. https://doi.org/10.15390/eb.v39i173.3278
• Sırakaya M., & Alsancak Sırakaya, D. (2020). Augmented reality in STEM education: A systematic review. Interactive Learning Environments. https://doi.org/10.1080/10494820.2020.1722713
• Small, H. (1999). Visualizing science by citation mapping for Information Science. Journal of the American Society, 50, 799 813. https://doi.org/10.1002/(SICI)1097 4571(1999)50:93.3.CO;2-7
• Sözbilir, M., & Kutu, H. (2008). Development and currentstatus of scienceeducationresearch in Turkey. Essays in Education, Special Issue, 1-22.
• Steenkamp, J., & Baumgartner, H. (1998). Assessing Measurement Invariance in Cross‐National Consumer Research. Journal of Consumer Research, 25(1), 78-107. https://doi.org/10.1086/209528
• Sveinbjornsdottir, S., & Thorsteinsson, E. B. (2008). Adolescent coping scales: A critical psychometric review. Scandinavian Journal of Psychology, 49(6), 533 548. https://doi.org/10.1111/j.1467-9450.2008.00669.x
• Şahin, M. G., & Boztunç Öztürk, N. (2018). Eğitim alanında ölçek geliştirme süreci: Bir içerik analizi çalışması. Kastamonu Eğitim Dergisi, 26(1), 191 199. https://doi.org/10.24106/kefdergi.375863
• Şenyurt, S., & Özer Özkan, Y. (2017). Eğitimde ölçme ve değerlendirme alanında yapılan yüksek lisans tezlerinin tematik ve metodolojik açıdan incelenmesi. Elementary Education Online, 16(2), 628-653. https://doi.org/10.17051/ilkonline.2017.304724
• Tarman, B., Güven, C., & Aktaşlı, İ. (2011). Türkiye’de sosyal bilgiler eğitimi alanında yapılan doktora tezlerinin değerlendirilmesi ve alana katkıları. Selçuk Üniversitesi Ahmet Keleşoğlu Eğitim Fakültesi Dergisi, 32, 391-410.
• Tavşancıl, E., & Aslan, E. (2001). Sözel, yazılı ve diğer materyaller için içerik analizi ve uygulama örnekleri. İstanbul: Epsilon Yayınları.
• Tavşancıl, E., Çokluk, Ö., Çıtak, G., Kezer, F., Yıldırım, Ö., Bilican, S., Büyükturan, E., Şekercioğlu, G., Yalçın, N., Erdem, D., & Özmen, T. (2010). Eğitim Bilimleri Enstitülerinde Tamamlanmış Lisansüstü Tezlerin İncelenmesi (2000-2008). Ankara Üniversitesi Bilimsel Araştırma Projeleri. Retrieved June 9, 2019, from https://dspace.ankara.edu.tr/xmlui/handle/20.500.12575/68960
• Tavşancıl, E., Güler, G., & Ayan, C. (2014, June). 2002-2012 yılları arasında Türkiye’de geliştirilen bazı tutum ölçeği geliştirme çalışmalarının ölçek geliştirme süreci açısından incelenmesi. Paperpresented at the IV. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi (Uluslararası Katılımlı) 9-13 Haziran, Hacettepe Üniversitesi, Ankara.
• Tekin, H. (2008). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınevi.
• Tsai, C.‐C. & Wen, L.M.C. (2005). Research and trends in science education from 1998 to 2002: A content analysis of publication in selected journals. International Journal of Science Education, 27, 3–14. https://doi.org/10.1080/0950069042000243727
• Turan, S., Karadağ, E., Bektaş, F., & Yalçın, M. (2014). Türkiye’de eğitim yönetiminde bilgi üretimi: Kuram ve Uygulamada Eğitim Yönetimi Dergisi 2003-2013 yayınlarının incelenmesi. Kuram ve Uygulamada Eğitim Yönetimi Dergisi, 20(1), 93-119. https://doi.org/10.14527/kuey.2014.005
• Turgut, M., F., (2006). Eğitimde ölçme ve değerlendirme. Ankara: Saydam Yayıncılık.
• Ulutaş, B., Üner, S., Turan Oluk, N., Yalçın Çelik, A., & Akkuş, H. (2015). Türkiye’deki kimya eğitimi makalelerinin incelenmesi: 2000-2013. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 16(2), 141-160.
• Ulutaş, F. &Ubuz, B. (2008). Matematik eğitiminde araştırmalar ve eğilimler: 2000 ile 2006 yılları arası. İlköğretim Online, 7(3), 614-626.
• vanEck, N. J., & Waltman, L. (2020). VOSviewer manual. Manual for VOSviewer version 1.6.14, software documentation. Leiden: Univeristeit Leiden.
• Vandenberg, R. J., & Lance, C. E. (2000). A review and synthesis of the measurement invariance literature: Suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 3, 4−69. https://doi.org/10.1177/109442810031002
• Vega-Arce, M., Salas, G., Núñez-Ulloa, G., Pinto-Cortez, C., Fernandez, I. T., & Ho, Y.S. (2019). Research performance and trends in child sexual abuse research: A Science Citation Index Expanded-based analysis. Scientometrics, 121(3), 1505-1525. https://doi.org/10.1007/s11192-019-03267-w
• Wang, Y., Lai, N., Zuo, J., Chen, G., & Du, H. (2016) Characteristics and trends of research on waste-to-energy ıncineration: A bibliometric analysis, 1999–2015. Renewable and Sustainable Energy Reviews, 66, 95–104. http://doi.org/10.1016/j.rser.2016.07.006
• White, R. (1997). Trends in research in science education. Research in Science Education, 27(2), 215-221. https://doi.org/10.1007/BF02461317
• Widaman, K. F., & Reise, S. P. (1997). Exploring the measurement invariance of psychological instruments: Applications in the substanceuse domain. In K. J. Bryant, M. Windle, & S. G. West (Eds.), The science of prevention: Methodological advances from alcohol and substance abuse research (p. 281–324). American Psychological Association. https://doi.org/10.1037/10222-009
• Worthington, R. L., & Whittaker, T. A. (2006). Scale development research: A content analysis and recommendations for best practices. The Counseling Psychologist, 34(6), 806–838. https://doi.org/10.1177/0011000006288127
• Yalçın, S. (2016). Content analysis of research articles in measurement and evaluation journals. Ankara University Journal of Faculty of Educational Science, 49(1), 65-84. https://doi.org/10.1501/Egifak_0000001375
• Yalçın, S., Yavuz, H. Ç. ve İlgün Dibek, M. (2015). An examination of articles published in educational journals having highest impact factors: Content analysis. Eğitim ve Bilim, 40(182), 1-28.
• Yang, Y. T., Iqbal, U., Ching, J. H. Y., Ting, J. B. S., Chiu, H. T., Tamashiro, H., & Hsu, Y. H. E. (2015). Trends in the growth of literature of telemedicine: A bibliometric analysis. Computer Methods and Programs in Biomedicine, 122(3), 471-479. https://doi.org/10.1016/j.cmpb.2015.09.008
• Yılmaz, K., & Altınkurt, Y. (2012). An examination of articles published on preschool education in Turkey. Kuram ve Uygulamada Eğitim Bilimleri, 12(4), 3227-3241.
• Zainuddin, Z., WahChu, S. K., Shujahat, M., & Perera, C. J. (2020). The impact of gamification on learning and instruction: A systematic review of empirical evidence. Educational Research, 30. https://doi.org/10.1016/j.edurev.2020.100326
• Zupic, I. (2015). Bibliometric methods in management and organization. Organizational Research Methods, 18(3), 429-472. https://doi.org/10.1177/1094428114562629