Evaluation of an Optional English Preparatory Program with CIPP Scale

Öz

The quality of English language education in universities is vital in preparing individuals for the increasingly globalized world. Assessing the efficacy of English teaching programs is therefore crucial to ensuring such quality. Consequently, this study aims to evaluate the optional English preparatory program of a state university using the CIPP model dimensions: context, input, process, and product. The current study employs a mixed-methods research approach, combining quantitative and qualitative data to address the research questions. The study sample comprised 247 preparatory graduate and 77 preparatory students, as well as 6 lecturers. In the quantitative part, The CIPP scale (Context, Input, Process, and Product), developed by the researchers based on item analysis, second-order exploratory factor analysis, reliability analysis, criterion validity, and content validity, was used to determine the strengths and weaknesses of the English preparatory program based on responses of participants to the items in four dimensions of the scale. The qualitative aspect of the study involved obtaining responses from participant students through open-ended questions and conducting semi-structured interviews with lecturers. These responses were analyzed, and the resulting excerpts were used to support and complement the findings obtained from the quantitative findings. The results indicate that the participants were highly satisfied with the optional nature of the program and held positive perceptions of it. However, some improvements, particularly in the physical conditions of the program's context dimension, such as the library, laboratory, and school building, were required. The findings from the input and process dimensions reveal the importance of increasing target language use and prioritization of speaking skills in the product dimension. The developed CIPP scale, which is statistically reliable and valid, can be utilized by researchers to evaluate English preparatory programs using the CIPP model. The study concludes by offering several key recommendations for creating a more effective English preparatory program based on the findings.

Anahtar Kelimeler

• English Teaching
• English Preparatory Program
• Program Evaluation
• Optional Preparatory Program
• CIPP Model
• CIPP Scale.

İsteğe Bağlı Bir İngilizce Hazırlık Programının CIPP Ölçeği ile Değerlendirilmesi

Öz

Üniversitelerdeki İngilizce dil eğitiminin kalitesi, bireyleri giderek küreselleşen dünyaya hazırlamada, hayati öneme sahiptir. Bu nedenle, İngilizce öğretim programlarının etkililiğini değerlendirmek, bu kaliteyi sağlamak açısından son derece önemlidir. Bu noktadan hareketle, mevcut çalışma, bir devlet üniversitesinin isteğe bağlı İngilizce hazırlık programını CIPP modeli boyutları: bağlam, girdi, süreç ve ürün kullanarak değerlendirmeyi amaçlamıştır. Çalışmada, araştırma sorularını cevaplandırmak için nicel ve nitel verileri birleştiren karma yöntem bir araştırma tasarımı kullanılmıştır. Çalışma örneklemi, 247 hazırlık mezunu ve 77 hazırlık öğrencisi ile 6 öğretim görevlisinden oluşmaktadır. Nicel boyutta, araştırmacılar tarafından madde analizi, ikinci derece keşifsel faktör analizi, güvenirlik analizi, ölçüt geçerliliği ve içerik geçerliliği temel alınarak geliştirilen CIPP ölçeği (Bağlam, Girdi, Süreç ve Ürün), ölçeğin dört boyutundaki maddelere katılımcıların yanıtlarına dayanarak, İngilizce hazırlık programının güçlü ve zayıf yönlerini belirlemek için kullanıldı. Çalışmanın nitel boyutunda, katılımcı öğrencilerden açık uçlu sorularla yanıtlar alındı ve öğretim görevlileriyle yarı yapılandırılmış görüşmeler gerçekleştirildi. Bu yanıtlar analiz edilerek, nicel bulguları desteklemek ve tamamlamak için kullanıldı. Bulgular, katılımcıların programın isteğe bağlı doğasından oldukça memnun olduklarını ve programın bu yönüne olumlu algılar beslediklerini göstermektedir. Ancak, programın bağlam boyutu, özellikle kütüphane, laboratuvar ve okul binası gibi fiziksel koşullarda bazı iyileştirmeler gerektiğine işaret etmektedir. Girdi ve süreç boyutlarından elde edilen bulgular, hedef dil kullanımını artırmanın ve ürün boyutunda konuşma becerilerine öncelik vermenin önemini ortaya koymaktadır. Çalışma kapsamında geliştirilen ve istatistiksel olarak güvenilirliği ve geçerliği ortaya konulan CIPP ölçeğinin, araştırmacılar tarafından İngilizce hazırlık programlarını CIPP modelini kullanarak değerlendirmek için kullanılabilir. Çalışma, bulgulardan yola çıkılarak etkili bir İngilizce hazırlık programı oluşturmak için birkaç önemli öneri ile sonuçlandırılmıştır.

Anahtar Kelimeler

• İngilizce Öğretimi
• İngilizce Hazırlık Programı
• Program Değerlendirme
• İsteğe Bağlı Hazırlık Programı
• CIPP Modeli
• CIPP Ölçeği.

Kaynakça

1. Akpur, U., Alcı, B., & Karataş, H. (2016). Evaluation of the curriculum of English Preparatory Classes at Yildiz Technical University using CIPP Model. Educational Research and Reviews, 11(7), 466-473. https://doi.org/10.5897/ERR2016.2638
2. Alizadeh, I. (2018). Exploring language learners’ perception of the effectiveness of an English Language Teaching (ELT) program in Iran. Cogent Education, 5(1), 1-19. https://doi.org/10.1080/2331186X.2018.1553652
3. Arap, B. (2016). An investigation into the implementation of English preparatory programs at tertiary level in Turkey [Unpublished master's thesis]. Cukurova University.
4. Aydın, B., Kızıltan, N., Öztürk, G., İpek, Ö. F., Yükselir, C., & Beceren, S. (2017). YÖK 2016 Yönetmeliği sonrası isteğe bağlı İngilizce hazırlık programları: Mevcut durum ve sorunlar üzerine yönetici görüşleri. Anadolu University Journal of Education Faculty (AUJEF), 1(2), 1-14.
5. Brevik, L. M., & Rindal, U. (2020). Language use in the classroom: Balancing target language exposure with the need for other languages. Tesol Quarterly, 54(4), 925-953. https://doi.org/10.1002/tesq.564
6. Brown, J. D. (1995). The elements of language curriculum: A systematic approach to program development. Heinle & Heinle Publishers.
7. Büyüköztürk, Ş. (2011). Deneysel desenler: Öntest-sontest kontrol grubu, desen ve veri analizi. Pegem Akademi Yayınları.
8. Cengiz, Y. (2019). An evaluation of a University-Based Intensive English Program: Insights of students and teachers [Unpublished Master’s thesis]. Boğaziçi University.

9. Chen, C. F. (2009). A case study in the evaluation of English training courses using a version of the CIPP model as an evaluative tool. [Unpublished doctoral dissertation]. Durham University.
10. Clark, V. L. P., & Creswell, J. W. (2014). Understanding research: A consumer's guide. Pearson Higher Ed.
11. Council of Europe (2020). Common European Framework of Reference for Languages: Learning, teaching, assessment – Companion volume, Council of Europe Publishing. https://rm.coe.int/common-european-framework-of-reference-for-languages-learning-teaching/16809ea0d4
12. Creswell, J. W., & Clark, V. L. P. (2018). Designing and conducting mixed methods research (3rd ed). Sage Publication.
13. Çakıcı, D. (2015). Yabancı dil öğrenenlerin sınav kaygı düzeyleri. International Periodical for The Languages, Literature and History of Turkish or Turkic Volume, 10(7), 243-258. https://doi.org/10.7827/TurkishStudies.8251
14. Çokluk, Ö., Şekercioğlu, G., & Büyüköztürk, Ş. (2010). Çok değişkenli istatistik SPSS ve LISREL uygulamaları. Pegem Akademi Yayınları.
15. Efeoğlu, G., İlerten, F., & Basal, A. (2018). A utilization focused evaluation of the preparatory school of an ELT program. International Online Journal of Educational Sciences, 10(4), 149-163. https://doi.org/10.15345/iojes.2018.04.009
16. Erdoğan, G. (2020). Evaluation of an English preparatory program using CIPP model and exploring A1 level students’ motivational beliefs [Unpublished master’s thesis]. Bahçeşehir University.
17. Esgaiar, E. (2019). An evaluation of the English language teaching provision in a Libyan University [Unpublished doctoral dissertation]. Liverpool John Moores University.
18. Eslek, F. (2019). An evaluation of compulsory English preparatory program through the perspectives of students and instructors at the school of foreign languages at Fırat University [Unpublished master’s thesis]. Cukurova University.
19. Field, A. (2013). Discovering statistics using IBM SPSS statistics. Sage Publication.
20. Gökdemir, C. V. (2010). Üniversitelerimizde verilen yabanci dil öğretimindeki başarı durumumuz. Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 6(2), 251-264.
21. Greene, J. C., Caracelli, V. J., & Graham, W. F. (1989). Toward a conceptual framework for mixed-method evaluation designs. Educational Evaluation and Policy Analysis, 11(3), 255-274. https://doi.org/10.3102/01623737011003255
22. Hatch, J. A. (2002). Doing qualitative research in education settings. Suny Press.
23. Karcı Aktaş, C., & Gündoğdu, K. (2020). An extensive evaluation study of the English preparatory curriculum of a foreign language school. Pegem Eğitim ve Öğretim Dergisi, 10(1), 169-214. https://doi.org/10.14527/pegegog.2020.007
24. Kiely, R. (2000). Program evaluation by teachers: An observational study [Unpublished doctoral dissertation]. University of Warwick.
25. Kuzu, E. (2020). Evaluation of an English preparatory program through the context, input, process, and product (CIPP) model [Unpublished master’s thesis]. Cukurova University.
26. Lynch, B. K. (1997). Language program evaluation: Theory and practice. Cambridge University Press. Ogasawara, H. (2002). Exploratory second‐order analyses for components and factors. Japanese Psychological Research, 44(1), 9-19. https://doi.org/10.1111/1468-5884.00002
27. Özdoruk, P. (2016). Evaluation of the English language preparatory school curriculum at Yıldırım Beyazıt University [Unpublished master’s thesis]. Middle East Technical University.
28. Özkanal, Ü. (2009). Eskişehir Osmangazi Üniversitesi Yabancı Diller Bölümü İngilizce hazırlık programının değerlendirilmesi ve bir model önerisi [Yayımlanmamış yüksek lisans tezi]. Anadolu Üniversitesi.
29. Özüdoğru, F. (2017). Evaluation of the voluntary English preparatory program at a Turkish state university. Journal of International Social Research, 10(48), 501–509. https://doi.org/10.17719/jisr.2017.1520
30. Pamukoğlu, M. (2019). Evaluation of the English language preparatory programs with student and teacher perceptions through CIPP (Contex, Input, Process, Product) model: Public and foundation university sampling [Unpublished master's thesis]. Sakarya University.
31. Patton, M. Q. (2002). Qualitative research & evaluation methods (3rd ed.). Sage Publications.
32. Richards, J. C., & Schmidt, R. (2010). Longman dictionary of language teaching and applied linguistics (4th ed.). Pearson Education Limited.
33. Rossi, P. H., Lipsey, M. W., & Freeman, H. E. (2004). Evaluation: A systematic approach (7th ed.). Sage Publications.
34. Sağlam, D., & Akdemir, E. (2018). İngilizce hazırlık öğretim programına ilişkin öğrenci görüşleri. Yükseköğretim ve Bilim Dergisi, 8(2), 401-409.
35. Seidlhofer, B. (2005). Language variation and change: The case of English as a lingua franca. In K. Dziubalska-Kolaczyk, & J. Przedlacka (Eds.), English pronunciation models: A changing scene, (pp. 59-75). Peter Lang.
36. Stufflebeam, D. L. (1983). The CIPP Model for Program Evaluation. In G. F. Madaus, M. S. Scriven, & D. L. Stufflebeam (Eds.), Evaluation models: Viewpoints on educational and human services evaluation (pp. 117-141). Springer.
37. Stufflebeam, D. L., & Coryn, C. L. S. (2014). Evaluation theory, models, and applications (2nd ed.). John Wiley & Sons.
38. Stufflebeam, D. L., & Shinkfield, A. J. (1985). Systematic evaluation. Norwell.
39. Şad, S. N., & Gürbüztürk, O. (2009). İngilizce hazırlık öğrencilerinin özbelirleyicilik düzeylerinin çeşitli değişkenlere göre incelenmesi (İnönü Üniversitesi örneği). Kuram ve Uygulamada Eğitim Yönetimi, 15(59), 421-450.
40. Şakiroğlu Ünsal, H., & Kaya, H. İ. (2017 ). Re-evaluation of the components of intensive English program in Turkey. Cukurova Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 26(3), 200-213.
41. Şen Ersoy, N., & Kürüm Yapıcıoğlu, D. (2015). İsteğe bağlı İngilizce hazırlık programının öğrenci ve okutman görüşlerine göre değerlendirilmesi. Eğitimde Nitel Araştırmalar Dergisi, 3(3), 7-43. https://doi.org/10.14689/issn.2148-2624.1.3c3s1m
42. Şen, N. (2012). Dumlupınar Üniversitesi Yabanci Diller Bölümü İsteğe Bağli İngilizce Hazırlık Programının öğrenci ve öğretim elemanı görüşlerine göre incelenmesi [Yayımlanmamış yüksek lisans tezi]. Anadolu Üniversitesi.
43. Tekin, M. (2015). Evaluation of a preparatory school program at a public university in Turkey. The Journal of International Social Research, 8(36), 718-733. https://doi.org/10.17719/jisr.2015369537
44. Temur, M. (2013). A study on determining the attitudes and motivation levels of compulsory and voluntary students of English preparatory higher school at Inonu University [Unpublished master’s thesis]. Kafkas University.
45. The University of Winnipeg (2021). Global English Education Policy. https://www.uwinnipeg.ca/global-english-education/countries-in-which-english-is-mandatory-or-optional-subject.html
46. Uysal, D. (2019). Problems and solutions concerning English language preparatory curriculum at higher education in view of ELT instructors. International Journal of Contemporary Educational Research, 6(2), 452-467. https://doi.org/10.33200/ijcer.635093
47. Williams, E. (2007). Extensive reading in Malawi: Inadequate implementation or inappropriate innovation? Journal of Research in Reading, 30(1), 59-79. https://doi.org/10.1111/j.1467-9817.2006.00328.x
48. Yousif, A. A. (2017). Ahfad University English preparatory program (UPP): Friend or foe. Ahfad Journal, 34(1), 16-22.
49. Zhang, G., Zeller, N., Griffith, R., Metcalf, D., Williams, J., Shea, C., & Misulis, K. (2011). Using the context, input, process, and product evaluation model (CIPP) as a comprehensive framework to guide the planning, implementation, and assessment of service-learning programs. Journal of Higher Education Outreach and Engagement, 15(4), 57-84.