The Effect of Perceived Instructional Effectiveness on Student Loyalty: A Multilevel Structural Equation Model

Abstract

Eğitim araştırmalarında öğrencilerin, sınırların ve okulların çok aşamalı yapıda olması gibi, aynı öğretim üyesinden ders alan öğrenciler de çok aşamalı veri yapısına bir örnektir. Bu çalışmada Algılanan Öğretim Üyesi Etkililiğinin (AÖÜE) Öğrenci Sadakatine (ÖS) etkisinin araştırılması için, çok aşamah yapısal eşitlik modelinden yararlanılmıştır. 2004 akademik yılında 202 öğretim üyesinden (ikinci aşama örnekleme birimi) ders alan 17647 öğrenci (birinci aşama örnekleme birimi) araştırınamn örneklemini oluşturmuştur. Hem öğretim üyesi içi, hem de öğretim üyeleri arası yapısal eşitlik modelleri AÖÜE’nin ÖS’yi olumlu etkilediğini doğrulamıştır. ÖS’deki değişkenliğin AÖÜE tarafından açıklanan kısnn, öğretim üyesi içi modelde %57 iken, öğretim üyeleri arası modelde %92 bulunmuştur. Ayrıca çahşmada ikinci aşama değişkenlerinin öğretim üyeleri arası modelde ÖS’ye etkisi de araştırılmıştır

Keywords

• çok aşamah yapısal eşitlik modeli, algılanan öğretim üyesi etkililiği, öğrenci sadakati

References

1. Bearden, W.O., & Teel, J .E. (1983). Selected determinants of consumer satisfaction and complaint reports. Journal of Marketing Research, 2, 21-28.
2. Bonetti, S. (1994). On the use of student questionnaires. Higher Education Review, 26(3), 57- 64.
3. Chan, K.C. (2001). Does Instructor Witness and Character Matter in Student Perception of Faculty Performance and Course Quality. Paper presented at the meeting of The Christian Business Faculty Association 17th Annual Conference. Olivet Nazarene University.
4. G. GÖLBAŞI ŞİMŞEK-F.NOYAN / H. Ü Eğitim Fakültesi Dergisi (H. U. Journal of Education), 36 (2009), 109-118
5. Chau, C.T. (1997). A bootstrap experiment on the statistical properties pf students’ ratings of teaching effectiveness. Research in Higher Education, 38(4), 497-517.
6. Cheung, M_KE. W—L., & Au, K. (2005). Applications of multilevel structural equation modeling to cross-cultural research. Structural Equation Modeling, 12(4), 598-619.
7. Dyer, G.N., Hanges, P.J., & Hall Rosalie, J. (2005). Applying multilevel conŞrmatory factor analysis techniques to the study of leadership. The Leadership Quarterly, 16, 149-167.
8. Ekinci C. E., & Burgaz B. (2007). Hacettepe Üniversitesi öğrencilerinin bazı akademik hizmetlere ilişkin beklenti ve memnuniyet düzeyleri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 33, 120-134.

9. Guolla, M. (1999). Assessing the teaching quality to student satisfaction relationship: Applied customer satisfaction research in the classroom. Journal of Marketing Theory and Practice, 16, 87-97.
10. Heck, R.H., & Thomas, S.L. (2000). An introduction to multilevel modeling techniques Mahwah, New Jersey: Lawrence Erlbaum Associates.
11. Hellier, P.K., Geursen, G.M., Carr, R.A., & Rickard, J.A. (2003). Customer repurchase intention: A general structural equation model. European Journal of Marketing, 3 7(1 1/ 12), 1762-1800.
12. Hofmann, D.A. (1997). An overview of the logic and rationale hierarchical linear models. Journal of Management, 23, 723- 744.
13. Hox, J .J . (1993). Factor analysis of multilevel data: Gauging the Muthén model. In J .H.L. Oud and R.A.W. van Blokland— Vogelesang (Ed.), Advances in longitudinal and multivariate analysis in the behavioral sciences (pp. 141-156). Nijmegen: NL:ITS.
14. Hu, L., & Bentler, P.M. (1999). Cutoff criteria for fıt indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6, 1—55 .
15. Innis, DE. (1991). Customer service, repurchase intentions, market orientation and Şrm performance in the channel. Unpublished doctoral dissertation, University of Ohio State.
16. Jackson, D.L., Teal, C.R., Raines, S.J., Nansel, T.R., Force, R. C., & Burdsal, C.A. (1999).The dimensions of students’ perceptions of teaching effectiveness. Educational and Psychological Measurement, 59(4), 580-596.
17. Jöreskog, K.G. (1977). Structural Equation modeling in the social sciences: Specification, estimation and testing. In P.R. Krishnaiah (Eds.), Application of Statistics (pp. 265- 287). North-Holland, Amsterdam.
18. Kaplan, D. (2000). Structural Equation Modeling: Foundations and Extensions. Thousand Oaks: Sage Publications.
19. Kaplan, D., & Elliot, R.P. (1997). A didactic example of multilevel structural equation modeling applicable to study of organizations. Structural Equation Modeling, 4(1), 1-4.
20. Kozlowski, S.W., & Klein, K.]. (2000). A multilevel approach to theory and research in organizations: Contextual, temporal, and emergent properties. San Francisco: Jossey Bass.
21. Lee, S.Y. (1990). Multilevel analysis of structural equation models. Biometrika, 77, 763-772.
22. Marsh, H.V., & Rochi, L.A. (1997). Making student’s evaluations of teaching effectiveness effective. American Psychologist, 52(1 1), 1187-1197.
23. Marsh, H.W. (1987). Student’s evaluations of university teaching: Research findings, methodological issues, and directions for future research. International Journal of Educational Research, 11(3), 263 -388.
24. Marsh, H.W., Overall, U.J., & Kesler, P.S. (1979). Validity of student evaluation of instructional effectiveness: A comparison of faculty self-evaluations and evaluation by their students. Journal of Educational Psychology, 71(2), 149-160.
25. Marsh, H.W., & Rochi, L.A. (2000). Effects of granting leniency and low workload on students’ evaluations of popular myth, bias, validity, or innocent bystanders. Journal of Educational Psychology, 71 (2), 149-160.
26. Muthén, B.O. (1989). Latent variable modeling in heterogeneous populations. Psychometrika, 54, 557-585.
27. Muthén, B0. (1990). Mean and covariance structure analysis of hierarchical data. UCLA, Statistics Series.
28. Muthén, B.O. (1991). Multilevel factor analysis of class and student achievement components. Journal of Educational Measurement, 28(4), 338-354.
29. Muthén, B0. (1994). Multilevel covariance structure analysis. Sociological Methods and Research, 22, 376-398.
30. Muthén, B.O., & Sattora, A. (1989). Multilevel aspects of varying parameters in structural models. In R.D. Bock (Ed.), Multilevel analysis of educational data. San Diego: Academic.
31. Nasser, F., & Hagtvet, K.A. (2006). Multilevel analysis of the effects of student and instructor/course characteristics on student ratings. Research in Higher Education,47(5), 559-590.
32. Oliver, R.L. (1980). A cognitive model of the antecedents and consequences of satisfaction decisions. Journal of Marketing Research, 17, 460-469.
33. Oliver, R.L. (1981). Measurement and evaluation of satisfaction processes in retail settings. Journal of Retailing, 57(3), 35- 48.
34. Rabe-Hesketh, S., Skrondal, A., & Zheng, X. (2007). Multilevel structural equation modeling. Handbook of Latent Variable and Related Models (pp. 209-227). Amsterdam: Elsevier. G. GÖLBAŞI ŞİMŞEK—ENOYAN / H. Ü Eğitim Fakültesi Dergisi (H. U. Journal of Education), 36 (2009), 109-118 117
35. Roest, H., & Pieters, R. (1997). The nomological net of perceived service quality. International Journal of Service Industry Management, 8(4), 336-351.
36. Roundenbush, S.W., & Bryk, A.S. (2002). Hierarchical Linear models: Applications and data analysis methods. Thousand Oaks, CA:Sage.
37. Roundenbush, S.W., & Willams, J .D. (Eds.). (1991). Schools, classrooms, and pupils: International studies of schooling from a multilevel perspective. Orlando: Academic press.
38. Stapleton, L.M. (2006). Using multilevel structural equation modeling techniques with complex sample data. Structural Equation Modeling: A second course, 345-383.
39. Appendix l-Items On The Evaluation Questionnaire
40. Part I. Perceived Instructional Effectiveness
41. X1.The instructor taught the course according to the syllabus.
42. X2.The knowledge and ability of instructor was sufficient.
43. X3.Preparation of course was done by instructor before the courses.
44. X4.The instructor had a good communication with students.
45. X5.The instructor provided clear understanding of the course.
46. X6.The instructor used course and teaching equipment effectively.
47. X7.The instructor encouraged student participation and/or discussion.
48. X8.The instructor encouraged the students to research (library, internet etc.)
49. Part II. Student Loyalty
50. Y. I would like to take another course from the same instructor. GENİŞLETİLMİŞ ÖZET
51. Özellikle son yıllarda üniversitelerdeki eğitim ve öğretim faaliyetlerinin geliştirilmesi
52. kapsamında, öğretim üyesi etkililiğinin ve kalitesinin ölçülmesi için öğrenci değerlendirme formları
53. kullanılmaktadır. Bununla beraber bu formların geçerliliği hakkındaki tartışmalar da halen devam
54. etmektedir. Bu konuda ileri sürülen fikirlerden biri, öğrenci memnuniyetinin öğretme kalitesini ifade
55. ettiği şeklindedir. Bir diğeri de öğrenci memnuniyetinin ve öğretme etkililiğinin farklı kavramlar
56. olduğudur. Buna göre öğrencinin öğretim üyesinden memnun olması, öğretim üyesinin de etkili
57. olduğu anlamına gelmemektedir. Öğretim üyesi etkililiğinin öğrenci memnuniyetine etkisinin
58. araştırıldığı çahşmalarda, öğretim üyesi etkililiğinin öğrenci memnuniyeti üzerinde olumlu etkisinin
59. olduğu sonucuna da varılrrııştır.
60. Öğretim üyesi etkililiği, öğrenci memnuniyeti ve öğrenci sadakati kavramları temellerini
61. pazarlama araştırmalarından almaktadırlar. Pazarlama araştırmaları alamnda yapılan deneysel
62. çalışmalarda müşteri memnuniyeti, algılanan ürün/hizmet kalitesi, müşteri sadakati, ürünü/hizmeti
63. yeniden satın alma niyeti vb. kavramlar hemen her çahşmada kullanılmakta ve bu kavramlar ayrı ayrı
64. ele alınmaktadırlar. Pazarlama teorisine göre algılanan kalite ve müşteri memnuniyeti, müşteri
65. sadakatinin belirleyicileri olmaktadırlar. Algılanan kalite müşterinin ürün veya hizmet sağlayıcımn
66. standardı hakkındaki genel değerlendirmesidir. Müşteri memnuniyeti ise, ürün/hizmet sağlayıcımn,
67. müşterinin istek, beklenti ve ihtiyaçlarım karşılaması bağlamında müşteri tarafından hissedilen genel
68. memnuniyet ve iç huzurdur. Müşteri sadakati ise en genel tanımıyla müşterinin ürünü/hizmeti aynı
69. sağlayıcıdan almaya devam etme isteğidir. Bu bağlamda, bu kavramlar eğitim alanında ele
70. ahndıklarında algılanan kalite, algılanan öğretim üyesi etkililiğine, müşteri sadakati ise öğretim
71. üyesine karşı öğrenci sadakatine karşılık gelmekte ve pazarlama araştırmalarında olduğu gibi algılanan
72. öğretim üyesi etkililiğinin öğrenci sadakatini pozitif olarak etkilediği düşünülmektedir. Burada tekrar
73. üzerinde durulınası gereken nokta algılanan öğretim üyesi etkililiğinin pazarlama literatüründeki
74. ürün/hizmet kalitesine denk geldiği ve öğrenci memnuniyeti olmadığıdır.
75. Eğitim alamnda daha önce yapılmış olan çalışmalarda, yukarıda verilen kavramlar arasındaki
76. ilişkilerin incelenmesinde, öğrencilerin öğretim üyelerinde gruplandığı dikkate ahnmayarak, yalnızca
77. öğrencilerin örnekleme birimler oldukları veya yalnızca öğretim üyelerinin ele alınmasıyla, her
78. öğretim üyesi için öğrencilerinden elde edilen skorları kullanılması şeklinde iki tür veri kullanılmıştır.
79. 1 8 G. GÖLBAŞI ŞIMŞEK—ENOYAN /H. Ü Eğitim Fakültesi Dergisi (H. U. Journal ofEducation), 36 (2009), 109-1 18
80. Fakat bu iki yaklaşımın da bazı dezavantajları bulunmaktadır. Bu yaklaşımları ilki olan ve dağıtma adı
81. verilebilen yaklaşımda, öğrencilerin öğretim üyeleri üzerinde yuvalanmış olduğu, aşamalı veri yapısı
82. göz ardı edilmektedir. Böylece istatistiksel analizlerin en temel varsayımı olan birimlerin bağımsızlığı
83. varsayımı en başta ihlal edilmiş olmaktadır. Çünkü aym öğretim üyesinden ders alan öğrencilerin, bu
84. öğretim üyesine verdikleri puanlar arasında ilişki olacağı ve böylece de gözlemlerin bağımsızlığı
85. varsayımının bozulacağı açıktır. Bu varsayım ihlali halinde tahminler sistematik hatalı olacak ve
86. birinci tür hata da artacaktır. Veri analizinde kullanılan ikinci yaklaşım her bir öğretim üyesi için
87. öğrenciler tarafından verilen puanların toplanmasıdır ve bu yaklaşıma da kısaca toplanma yaklaşımı
88. denilebilmektedir. Bu durumda da örnek büyüklüğü yalnızca öğretim üyesi sayısı kadar olacak ve
89. böylece büyük miktarda bilgi kaybı ortaya çıkacaktır. Ayrıca analizler sonucunda bulunacak
90. sonuçların yorumlanmasında da sorunlar yaşanacaktır. Çünkü dağıtma ve toplanma yaklaşımlarından
91. elde edilen veri aynı anlamda değildir. Verinin bu şekilde yuvalannıış olduğu durumlarda, çok aşamah
92. verideki bağımlılık yapısını telafi etmek için, çok aşamalı modellerden yararlanılmaktadır.
93. Bu makalenin asıl konusu algılanan öğretim üyesi etkililiğinin öğrenci sadakati üstündeki
94. etkisinin araştırılmasıdır. Sözü edilen bu iki kavram latent (örtük) değişkenler olduklarından ve örtük
95. değişkenler arasındaki ilişkiler incelenmek istendiğinden, Yapısal Eşitlik Modellerinin (YEM)
96. kullanılması uygun olmaktadır. Bununla beraber, verinin aşamalı yapısı da hesaba katıldığında,
97. modelleme için kullamlabilecek en uygun yaklaşımın Çok Aşamalı Yapısal Eşitlik Modelleri
98. (ÇAYEM) olduğu açıktır. ÇAYEM gözlem birimlerinin hiyerarşik veya kümelenmiş olması
99. durumunda geçerli istatistiksel çıkarsama yapılmasına olanak sağlayan, çok aşamah modellerin ve
100. YEM’in sentezi olmaktadır. Bu güçlü yöntem, öğretim üyeleri arası ve öğretim üyeleri içi değişkenliği
101. eş anlı olarak fakat ayrı ayrı ele almaktadır.
102. Bu çalışmada kullamlan veriler, Türkiye’deki en büyük üniversitelerden biri olan Yıldız Teknik
103. Üniversitesi’nin öğrenci ve öğretim üyelerinden elde edilmiştir. Ders/öğretim üyesi değerlendirme
104. fornılarımn kullanılması üniversitede 2003 y111nda başlanıış olup hala devam etmektedir. Tesadüfi
105. olarak seçilen 202 öğretim üyesinde ders alan toplam 17647 öğrenciye ait değerlendirme formlarından
106. elde edilen veriler, bu çahşmanm verilerini oluşturmaktadır. Örnekteki öğretim üyelerirıin %68.4’ü
107. erkek, %31.6’sı kadındır; %54.6’s1 doçent veya profesör, %45.4’ü öğretim görevlisi veya yardımcı
108. doçenttir. Sistematik hatalı cevaplardan kaçınmak amacıyla, öğrenci değerlendirme formlarında
109. öğrenci bilgileri sorulmamıştır.
110. Algılanan öğretim üyesi etkililiğini ölçen sekiz madde ve öğrenci sadakatini ölçen tek madde
111. Ekl’de verilmektedir. Soruların cevaplandırılmasmda 5 noktah Likert ölçek kullamlnııştır. Algılanan
112. öğretim üyesi etkililiği için güvenilirlik katsayısı da oldukça yüksektir (Cronbach’s alpha=0.9048).
113. Bu çalışmadaki araştırma hipotezirrıiz, algılanan öğretim üyesi etkililiğinin, öğrenci sadakatini
114. olumlu olarak etkilediği şeklindedir. Bu hipotez hem öğretim üyeleri arası modelde hem de öğretim
115. üyeleri içi modelde reddedihnemektedir. Yani algılanan öğretim üyesi etkililiği arttıkça öğrencinin
116. öğretim üyesinden tekrar ders alma isteği yani öğrenci sadakati de artmaktadır. Öğretim üyeleri içi
117. modelde öğrenci sadakatinin algılanan öğretim üyesi etkililiği tarafından açıklanan varyansı %57 iken,
118. öğretim üyeleri arası modelde bu oran %92 olmaktadır. Bunun asıl sebebi öğretim üyeleri arası
119. modelde ölçme hatalarının etkisinin yok denecek kadar az olmasıdır. Çalışmadaki ikincil amacımız,
120. öğretim üyeleri arası modelde, öğrenci sadakatinin öğretim üyesinin akademik ünvanından, öğretim
121. üyesinin algılanan etkililiğinin de verilen ders sayısı, toplam ders saati, öğretim üyesinin yayınlarımn
122. ilgili bölüm yaymlarına oram olan yayın oramndan, ve öğretim üyesinin cinsiyetinden etkilendiği
123. şeklindedir. Bu hipotezlerden yalmzca ilki kabul edilirken, diğerleri reddedilmiştir. Yani öğretim
124. üyeleri arası modelde, öğretim üyesinin ünvanı ve algılanan öğretim üyesi etkililiği arttıkça öğrenci
125. sadakati de artmaktadır. Diğer taraftan öğretim üyesinin göreli yayın sayısının, verdiği farklı ders
126. sayısı ve toplam ders saatinin ve cinsiyetinin algılanan öğretim üyesi etkililiği üzerinde anlamlı bir
127. etkisi bulunamamıştır. Sonuç olarak öğretim üyesinin akademik performansı öğrenciler tarafından
128. algılanan öğretimsel etkililiğini etkilememekte, algılanan öğretim üyesi etkililiği ve öğretim üyesinin
129. akademik ünvanı ise öğrencilerin öğretim üyesine sadakatini arttırmaktadır.