Adaptation of the Online Student Engagement Scale to Turkish

Abstract

Due to the increasing demands for online learning in recent years, there has been an increase in researches to determine the factors affecting students' engagement in classes in these environments. The aim of this research is to adapt a valid and reliable data collection tool to Turkish culture that can be used in evaluating university students' participation in online learning. For this purpose, the online student engagement scale developed by Dixson (2010) was adapted to Turkish. After obtaining the necessary permissions for adaptation from Dixson, who developed the scale adaptation process started. The adaptation study of the scale was carried out with the participation of second, third- and fourth-year undergraduate students studying at Harran University and having experience in online course participation. During the adaptation process of the scale, 211 university students participated in the exploratory factor analysis and 163 university students participated in the confirmatory factor analysis. As a result of exploratory factor analysis, the scale, which originally consisted of 19 items and four dimensions, was reduced to 14 items and three dimensions. As a result of exploratory factor analysis, a three-factor structure was obtained with item factor loadings ranging between .621 and .857. The dimensions of the five-point Likert type scale are named skill-performance, association with life and interaction-participation. In the online student engagement scale adapted to Turkish, the three-factor structure explains 64.29% of the total variance. The three-factor structure that emerged as a result of confirmatory factor analysis and exploratory factor analysis was confirmed, and according to the results of the reliability analysis of the scale, the Cronbach Alpha coefficient was calculated as .918. Cronbach's Alpha reliability coefficient for the dimensions of the scale varies between .813 and .870. As a result of the analysis, it was concluded that the online student engagement scale is valid and reliable in the sample of university students.

Keywords

• Online Learning
• Online Engagement
• Factor analysis
• Validity
• Reliability

Çevrim İçi Öğrenci Katılım Ölçeğinin Türkçeye Uyarlanması

Abstract

Son yıllarda çevrim içi öğrenmeye yönelik taleplerin artmasına bağlı olarak bu ortamlarda öğrencilerin derse katılımını etkileyen faktörlerin belirlenmesine yönelik yapılan çalışmalarda artış görülmektedir. Bu araştırmanın amacı üniversite öğrencilerinin çevrim içi öğrenmeye katılımlarının değerlendirilmesinde kullanılabilecek geçerli ve güvenilir bir veri toplama aracının Türkçeye uyarlanmasını sağlamaktır. Bu amaçla Dixson tarafından geliştirilen çevrim içi öğrenci katılım ölçeği Türkçeye uyarlanmıştır. Ölçeği geliştiren Dixson’dan uyarlama için gerekli izinler alındıktan sonra uyarlama süreci başlamıştır. Ölçeğin uyarlama çalışması Harran Üniversitesinde öğrenim gören ve çevrim içi ders katılım tecrübesi olan ikinci, üçüncü ve dördüncü sınıf lisans öğrencilerinin katılımıyla gerçekleşmiştir. Ölçeğin uyarlanması sürecinde açımlayıcı faktör analizine 211, doğrulayıcı faktör analizine ise 163 üniversite öğrencisi katılmıştır. Açımlayıcı faktör analizi sonucunda orijinali 19 maddeden ve dört boyuttan oluşan ölçek 14 madde ve üç boyuta indirgenmiştir. Açımlayıcı faktör analizi sonucunda madde faktör yükleri .621 ve .857 arasında değişen üç faktörlü bir yapı elde edilmiştir. Beşli likert tipindeki ölçeğin boyutları beceri-performans, hayatla ilişkilendirme ve etkileşim-katılım olarak isimlendirilmiştir. Türkçeye uyarlanan çevrim içi öğrenci katılım ölçeğinde üç faktörlü yapı toplam varyansın %64,29'unu açıklamaktadır. Doğrulayıcı faktör analizi ile açımlayıcı faktör analizi sonucunda ortaya çıkan üç faktörlü yapı doğrulanmış, ölçeğin güvenirlik analizi sonucuna göre Cronbach Alfa katsayısı .918 olarak hesaplanmıştır. Ölçeğin boyutlarına ilişkin Cronbach Alfa güvenirlik katsayısı .813 ile .870 arasında değişmektedir. Analizler sonucunda çevrim içi öğrenci katılım ölçeğinin üniversite öğrencileri örnekleminde geçerli ve güvenilir olduğu sonucuna ulaşılmıştır.

Keywords

• Çevrim İçi Öğrenme
• Çevrim İçi Katılım
• Faktör Analizi
• Geçerlik
• Güvenirlik

References

1. Abdi, H. (2003). Factor rotations in factor analyses. Encyclopedia for Research Methods for the Social Sciences. Sage Publishing, CA, 792-795.
2. Anderson, J. C., & Gerbing, D. W. (1984). The effect of sampling error on convergence, improper solutions, and goodness-of-fit indices for maximum likelihood confirmatory factor analysis. Psychometrika, 49, 155-173.
3. Bentler, P. M., & Chou, C. P. (1987). Practical issues in structural modeling. Sociological Methods & Research, 16(1), 78-117.
4. Boomsma, A. (1985). Nonconvergence, improper solutions, and starting values in LISREL maximum likelihood estimation. Psychometrika, 50(2), 229-242.
5. Brown, T. A. (2015). Confirmatory factor analysis for applied research. Guilford publications.
6. Büyüköztürk, Ş. (2002). Faktör analizi: Temel kavramlar ve ölçek geliştirmede kullanımı. Kuram ve Uygulamada Eğitim Yönetimi, 32(32), 470-483.
7. Christensen, S. S., & Spackman, J. S. (2017). Dropout rates, student momentum, and course walls: A new tool for distance education designers. Journal of Educators Online, 14(2).
8. Coursera. (2025) https://investor.coursera.com/news/news-details/2024/Coursera-Reports-Fourth-Quarter-and-Full-Year-2023-Financial-Results/default.aspx adresinden Ocak 2025 tarihinde erişilmiştir.

9. Dahalan, N., Hassan, H., & Atan, H. (2012). Student engagement in online learning: Learners attitude toward e-mentoring. Procedia-Social and Behavioral Sciences, 67, 464-475.
10. Dixson, M. D. (2015). Measuring student engagement in the online course: The Online Student Engagement scale (OSE). Online Learning, 19(4).
11. Fredricks, J. A., Blumenfeld, P. C., & Paris, A. H. (2004). School engagement: Potential of the concept, state of the evidence. Review of educational research, 74(1), 59-109.
12. Goodwin, L. D. (1999). The role of factor analysis in the estimation of construct validity. Measurement in physical education and exercise science, 3(2), 85-100.
13. Gumport, P. J., & Chun, M. (1999). Technology and higher education: Opportunities and challenges for the new era. National Center for Postsecondary Improvement, Stanford University, School of Educaiton.
14. Hambleton, R. K., & Patsula, L. (1999). Increasing the validity of adapted tests: myths to be avoided and guidelines for improving test adaptation practices. Journal of Applied Testing Technology, 53(9), 1689–1699.
15. Hooper, D., Coughan, J., & Mullen, M. R. (2008). Structural equation modelling: Guidelines for determining model fit. Electronic Journal of Business Research Methods, 6(1), 53-60.
16. Hopkins, K., & Weeks, D. (1990). Tests for normality and measures of skewness and kurtosis: Their place in research reporting. Educational and psychological measurement, 50(4), 717-729.
17. Hu L.T., & Bentler P. M. (1999). Cutoff criteria for fit ındexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6(1), 1-55.
18. Ilgaz, H. (2019). Adult learners' participation in a blended learning environment: A case study on imposed pace learning. Malaysian online journal of educational technology, 7(4), 15-29.
19. İlhan, M., & Çetin, B. (2014). LISREL ve AMOS programları kullanılarak gerçekleştirilen yapısal eşitlik modeli (YEM) analizlerine ilişkin sonuçların karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(2), 26-42.
20. Jackson, D. L. (2001). Sample size and number of parameter estimates in maximum likelihood confirmatory factor analysis: A Monte Carlo investigation. Structural Equation Modeling, 8(2), 205-223.
21. Jaggars, S. S. (2014). Choosing between online and face-to-face courses: Community college student voices. American Journal of Distance Education, 28(1), 27-38.
22. Kahu, E. R. (2013). Framing student engagement in higher education. Studies in Higher Education, 38(5), 758-773
23. Kauffman, H. (2015). A review of predictive factors of student success in and satisfaction with online learning. Research in Learning Technology, 23.
24. Knowles, E., & Kerkman, D. (2007). An investigation of students attitude and motivation toward online learning. InSight: A Collection of Faculty Scholarship, 2, 70-80.
25. Lim, D. H., & Kim, H. (2003). Motivation and learner characteristics affecting online learning and learning application. Journal of Educational Technology Systems, 31(4), 423-439.
26. MacCallum, R. C., Widaman, K. F., Zhang, S., & Hong, S. (1999). Sample size in factor analysis. Psychological Methods, 4(1), 84–99.
27. Marcoulides, G., & Schumacher, R. (2001). New developments and tecniques in structural equation modeling. Lawrence Erlbaum Associates, Publishers.
28. Moore, M. G. (1989). Editorial: Three types of interaction. American Journal of Distance Education, 3(2), 1-7.
29. Moran, L., & Myringer, B. (1999). Flexible learning and university change. Harry, K. (ed.): Higher education through open and distance learning.
30. Murphy, C. A., & Stewart, J. C. (2017). On-campus students taking online courses: Factors associated with unsuccessful course completion. The Internet and Higher Education, 34, 1-9.
31. Naktiyok, S. (2019). Otel çalışanlarının örgütsel vatandaşlık davranışlarının iş performansı üzerine etkisi: Sivas ilinde bir uygulama. Journal of Tourism and Gastronomy Studies, 7(2), 1057-1076.
32. Nelson, P. F. (2007). Student retention in online education at the community college. Wilmington College (Delaware).
33. Orçan, F. (2018). Açımlayıcı ve doğrulayıcı faktör analizi: İlk hangisi kullanılmalı. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 9(4), 413-421.
34. Özdamar, K. (1999). Paket programlar ı̇le ı̇statistiksel veri analizi 1. Kaan Kitabevi.
35. Özdamar, K. (2017). Ölçek ve test geliştirme yapısal eşitlik modellemesi IBM SPSS, IBM SPSS AMOS ve MINTAB uygulamalı. Nisan Kitabevi.
36. Özdoğru, M. (2021). Uzaktan eğitimde öğrencilerin derse katılmama nedenleri ve derse katılımı sağlamaya yönelik öğretmenlerin kullandıkları stratejiler. Instructional Technology and Lifelong Learning 2(2), 209-233.
37. Özkara, B. Ö., & Tonguç, G. (2023). Çevrimiçi ortamda öğrencilerin derse katılımlarını ve derste geçirdikleri süreyi etkileyen faktörlerin incelenmesi. Eğitim Teknolojisi Kuram ve Uygulama, 13(1), 254-271.
38. Pawan, F., Paulus, T. M., Yalcin, S., & Chang, C. F. (2003). Online learning: Patterns of engagement and interaction among in-service teachers.
39. Renes, S. L. (2015). Increasing access to higher education through e-learning. E-learning-Instructional design, organizational strategy and management, 10, 60906, 347-361.
40. Robinson, C. C., & Hullinger, H. (2008). New benchmarks in higher education: Student engagement in online learning. Journal of Education for Business, 84(2), 101-109.
41. Schaeffer, C. E., & Konetes, G. D. (2010). Impact of learner engagement on attrition rates and student success in online learning. International Journal of Instructional Technology & Distance Learning, 7(5), 3-9.
42. Scherer, R. F. (1988). Dimensionality of coping: Factor stability using the ways of coping questionnaire, Psychological Report, 62, 76-770.
43. Schermelleh-Engel, K., Moosbrugger, H., & Müller, H. (2003). Evaluating the fit of structural equation models: Tests of significance and descriptive goodness-of-fit measures. Methods of Psychological Research Online, 8(2), 23-74.
44. Shea, P., & Bidjerano, T. (2018). Online course enrollment in community college and degree completion: The tipping point. International Review of Research in Open and Distributed Learning, 19(2), 282-293.
45. Solak, B., & Polat, S. (2022). Ders katılım oranı yüksek sanal sınıflardaki öğretmen ve öğrencilerin motivasyonlarını etkileyen etmenler. Anadolu Üniversitesi Eğitim Fakültesi Dergisi, 6(4), 477-513.
46. Sözen, N. (2020). Covid 19 sürecinde uzaktan eğitim uygulamaları üzerine bir inceleme. Avrasya Sosyal ve Ekonomi Araştırmaları Dergisi, 7(12), 302-319.
47. Swan, K., Shea, P., Fredericksen, E., Pickett, A., & Maher, G. (2000). Course design factors influencing the success of online learning. In WebNet World Conference on the WWW and Internet (pp. 513-518). Association for the Advancement of Computing in Education (AACE).
48. Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde geçerlilik ve güvenirlik. Seçkin Yayınevi.
49. Tabachnick, B. G., & Fidell, L. S. (2007). Using multivariate statistics (5th ed.). Allyn and Bacon.
50. Tanaka, J. S. (1987). How big is big enough: Sample size and goodness of fit in structural equation models with latent variables. Child Development, 134-146.
51. Terrell, S. R., & Dringus, L. (2000). An investigation of the effect of learning style on student success in an online learning environment. Journal of Educational Technology Systems, 28(3), 231-238.
52. Udemy. (2025). https://about.udemy.com/?locale=en-us adresinden Ocak 2025 tarihinde erişilmiştir.
53. Wang, K. H., Wang, T. H., Wang, W. L., & Huang, S. C. (2006). Learning styles and formative assessment strategy: enhancing student achievement in Web‐based learning. Journal of Computer Assisted Learning, 22(3), 207-217.
54. Wanstreet, C. E. (2006). Interaction in online learning environments: A review of the literature. The Quarterly Review of Distance Education, 7(4), 399-411.
55. Ward, M. E., Peters, G., & Shelley, K. (2010). Student and faculty perceptions of the quality of online learning experiences. International Review of Research in Open and Distributed Learning, 11(3), 57-77.
56. Yaşlıoğlu, M. M. (2017). Sosyal bilimlerde faktör analizi ve geçerlilik: Keşfedici ve doğrulayıcı faktör analizlerinin kullanılması. İstanbul Üniversitesi İşletme Fakültesi Dergisi, 46, 74-85.
57. Yıldırım, A., & Şimşek, H. (2011). Sosyal bilimlerde nitel araştırma yöntemleri. Seçkin Yayıncılık.
58. Zaki, M. S. (2022). Advantages and disadvantages of online learning. Journal of International Social Research, 15(92), 1-12.
59. Zulfiqar, M. S., Siddiqui, G. K., & Mahmood, S. (2020). A Comparison between online and on-campus classes: Taking university students’ perspective. Review of Education, Administration & Law, 3(2), 157-163.