A Scale Development Study for Program Evaluation Based on the Illuminative Evaluation Model: Validity and Reliability (Student Form)

Abstract

This study aims to develop a scale based on the Illuminative Program Evaluation Model (IPEM) to evaluate the Learning Disability Support Education Program (LDSEP) in line with student opinions. During the development phase of the scale, expert opinions were taken and its content and structure validity were tested with a pilot application. For this purpose, the draft scale items prepared by the researchers were applied to a total of 440 students benefiting from LDSEP in two groups in the 2022-2023 academic year. Within the scope of scale development, a pilot application was carried out in line with expert opinions, and its content and structure validity were tested. The validity of the scale structure revealed by Exploratory Factor Analysis was tested with Confirmatory Factor Analysis. As a result of the analyses, the 16 items that make up the Illuminative Program Evaluation Model Program Evaluation Scale (Student Form) (IPEMPES-SF) and the single-factor model were confirmed. The total variance explained by the scale was determined as 62.30%. Factor loadings of the scale items vary between 0.54 and 0.88. As a result of the analysis, it was determined that the IPEMPES-SF gave valid and reliable results and could be used to measure student opinions regarding the evaluation of the LDSEP based on the Illuminative Program Evaluation Model.

Keywords

• Program evaluation
• Illuminative program evaluation model
• Student
• Program evaluation scale based on the ılluminative evaluation model

AYDINLATICI PROGRAM DEĞERLENDİRME MODELİ PROGRAM DEĞERLENDİRME ÖLÇEĞİ (ÖGRENCİ FORMU): GEÇERLİK VE GÜVENİRLİK ÇALIŞMASI

Abstract

Bu çalışmada, Öğrenme Güçlüğü Destek Eğitim Programı’nın (ÖGDEP) öğrenci görüşleri doğrultusunda değerlendirilmesi için, Aydınlatıcı Program Değerlendirme Modeli (APDM)’ne dayalı bir ölçek geliştirilmesi amaçlanmaktadır. Ölçeğin geliştirilme aşamasında, uzman görüşleri alınmış, kapsam ve yapı geçerliği pilot uygulama ile test edilmiştir. Bu amaç doğrultusunda araştırmacılar tarafından hazırlanan taslak ölçek maddeleri 2022-2023 eğitim-öğretim yılında iki grup olarak ÖGDEP’dan yararlanan toplam 440 öğrenciye uygulanmıştır. Ölçek geliştirme kapsamında uzman görüşleri doğrultusunda pilot uygulama gerçekleştirilmiş, ölçeğin kapsam ve yapı geçerliği test edilmiştir. Açımlayıcı Faktör Analizi sonucu meydana gelen ölçek yapısının geçerliği, Doğrulayıcı Faktör Analizi ile test edilmiştir. Analizler sonucunda, APDM Program Değerlendirme Ölçeği (Öğrenci Formu)’ni (APDMPDÖ-ÖF) oluşturan 16 madde ve tek faktörlü model doğrulanmıştır. Ölçeğin açıkladığı toplam varyans % 62.30 olarak tespit edilmiştir. Ölçek maddelerine ilişkin faktör yük değerleri 0.54 ile 0.88 arasında değişmektedir. Analizler sonucu, APDMPDÖ-ÖF’nun geçerli ve güvenilir sonuçlar verdiği ve APDM’ne dayalı olarak ÖGDEP’nın değerlendirilmesine yönelik öğrenci görüşlerini ölçmek amacıyla kullanılabileceği söylenebilir.

Keywords

• Program değerlendirme
• Aydınlatıcı program değerlendirme modeli
• Öğrenci
• Aydınlatıcı değerlendirme modeline dayalı program değerlendirme ölçeği

Ethical Statement

Bu çalışmada, bilimsel araştırma ve yayın etiği ilkelerine uygun olarak yürütülmüştür. Araştırma sürecinde etik ilkelere titizlikle uyulmuştur.

References

1. Acal, C., Aguilera, A. M., & Escabias, M. (2020). New modeling approaches based on varimax rotation of functional principal components. Mathematics, 8(11),1-15. https://doi.org/10.3390/math8112085
2. Adıgüzel, O. C. ve Özüdoğru, F. (2014). İlkokul 2. sınıf İngilizce öğretim programına yönelik Aydınlatıcı Değerlendirme Modeline Dayalı Program Değerlendirme Ölçeği çalışması. Trakya Üniversitesi Eğitim Fakültesi Dergisi, 4(2), 124-136.
3. Adıgüzel, O. C. (2015). Development of a Scale to Evaluate the Pedagogical Formation Program Implemented with Turkish Prospective Teachers. Education Research and Review, 10(2), 101-110. http://dx.doi.org/10.5897/ERR2014.2029)
4. Akıncı, M., & Köse, E. (2019). Validity and Reliability Study of Teacher Training Curriculum Evaluation Scale (TTCES). Uluslararası Bilimsel Araştırmalar Dergisi (IBAD), 4(2), 236-252. http://dx.doi.org/10.21733/ibad.534751
5. Aktan, O. (2020). Determination of educational needs of teachers regarding the education of inclusive students with learning disability. International Journal of Contemporary Educational Research, 7(1), 149- 164.https://doi.org/10.33200/ijcer.638362
6. Aktan, O. (2021). Özel gereksinimli bireylere yönelik Öğretmen Sosyal Kabul Ölçeği’nin geliştirilmesi, geçerlik ve güvenirlik çalışması. Trakya Eğitim Dergisi, 11(1), 315-332. https://doi.org/10.24315/tred.71298
7. Aktan, O. (2023). Kapsayıcı Eğitim. S.F.Büyükalan (Ed.), Öğrenme öğretme kuram ve yaklaşımları içinde (4.Baskı, s. 221-265). Pegem Akademi.
8. Aktan, O., Üçüncü, B., Bingöl, T., & Gökbayrak, Ö. (2025). Aydınlatıcı Değerlendirme Modeli Değerlendirme Ölçeği’nin geliştirilmesi: Geçerlik ve güvenirlik analizi. Anadolu Eğitim Liderliği ve Öğretim Dergisi, 13(1), 49-64.

9. Aktan, O., & Orakcı, Ş. (2026). Teachers’ Curriculum Literacy and Individualised Education Program Competencies in Turkey: A Mixed Method Study. International Journal of Disability, Development and Education, 73(5), 949-975. https://doi.org/10.1080/1034912X.2025.2605504
10. Altınsoy, T. & Küçüksüleymanoğlu, R. (2021). 5. Sınıf Müzik Öğretim Programı Değerlendirme Ölçeğinin Geliştirilmesi. Necmettin Erbakan Üniversitesi Ereğli Eğitim Fakültesi Dergisi, 3 (1), 82-96. Retrieved from https://dergipark.org.tr/tr/pub/neueefd/issue/62544/714944
11. Armstrong, F., Armstrong, D., & Barton, L. (2016). Inclusive education: Policy, contexts and comparative perspectives. Routledge.
12. Aslan, M., Soyalp, H., Karahan, O. & Altuntaş, M. (2016). Okul Öncesi Eğitim Programı Değerlendirme Ölçeği'nin geliştirilmesi. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 13(1), 657-683. Trakya Eğitim Dergisi, 16(3) 2026, 1437-1471
13. Bal, A. P.ve Arslan, U. (2021). Ortaokul Matematik Öğretim Programını Değerlendirme Ölçeğinin geliştirilmesi: Öğrenci boyutu. Akdeniz Eğitim Araştırmaları Dergisi, 15(37), 26-40. https://doi.org/10.29329/mjer.2021.380.2
14. Beavers, A. S., Lounsbury, J. W., Richards, J. K., Huck, S. W., Skolits, G. J., & Esquivel, S. L. (2013). Practical considerations for using exploratory factor analysis in educational research. Practical Assessment, Research, and Evaluation, 18(1), 1-13. https://doi.org/10.7275/qv2q-rk76
15. Bryant, D. P., Bryant, B. R., & Smith, D. D. (2019). Teaching students with special needs in inclusive classrooms (1th ed.). SAGE Publications Ltd.
16. Burden, B. (2017). Illuminative evaluation. In Frameworks for practice in educational psychology: A textbook trainees and practitioners, edited by B. Kelly, L. M. Woolfson, and J. Boyle, 291– 308. 2nd ed. London: Jessica Kingsley
17. Büyüköztürk, Ş. (2017). Sosyal bilimler için veri analizi el kitabı: İstatistik, araştırma deseni, SPSS uygulamaları ve yorum (22. baskı). Ankara: Pegem.
18. Cahapay, M. B. (2020). The responsiveness of bachelor of elementary education curriculum: An illuminative evaluation. International Journal of Evaluation and Research in Education, 9(3), 743-750. https://doi.org/10.11591/ijere.v9i3.20649
19. Carpenter, S. (2018). Ten steps in scale development and reporting: A guide for researchers. Communication methods and measures, 12(1), 25-44. https://doi.org/10.1080/19312458.2017.1396583
20. Carvalho, J., & Chima, F. O. (2014). Applications of structural equation modeling in social sciences research. American International Journal of Contemporary Research, 4 (1), 6-11.
21. Chambers, C. T., & Johnston, C. (2002). Developmental differences in children's use of rating scales. Journal of pediatric psychology, 27(1), 27-36.
22. Chan, F., Lee, G. K., Lee, E. J., Kubota, C. & Allen, C. A. (2007). Structural equation modeling in rehabilitation counseling research. Rehabilitation Counseling Bulletin, 51 (1), 53- 66. https://doi.org/10.1177/00343552070510010701
23. Chen, H. T. (2005). Practical program evaluation: Assessing and improving planning, implementation, and effectiveness. Sage.
24. Chen, H. T. (2010). The bottom-up approach to integrative validity: a new perspective for program evaluation. Evaluation and program planning, 33(3), 205-214. https://doi.org/10.1016/j.evalprogplan.2009.10.002
25. Çelikel, F. (2022). Ortaokul matematik dersi öğretim programının matematiksel yetkinlik bağlamında aydınlatıcı program değerlendirme modeli ile değerlendirilmesi [Yayınlanmamış doktora tezi]. Mersin Üniversitesi, Eğitim Bilimleri Enstitüsü.
26. Çopur, E., Türkmenoğlu, M., Artut Dinç, P., & Bal, A. P. (2021). Stufflebeam’ın CIPP modeline göre ilkokul matematik dersi öğretim programını değerlendirme ölçeği. International Journal of Educational Spectrum, 3(2), 150-175. https://doi.org/10.47806/ijesacademic.903747
27. DeVellis, R. F. (2017). Scale Development: Theory and Applications (4th ed.). Thousand Oaks, CA: Sage.
28. Fabrigar, L. R., & Wegener, D. T. (2011). Exploratory factor analysis. Oxford University Press.
29. Field, A. (2018). Discovering statistics using IBM SPSS Statistics. The USA: Sage
30. Gültekin, M., & Demirci, C. (2020). Evaluation of the English language preparatory school curriculum in the lights of illuminative evaluation model. European Journal of English Language Teaching, 5(3), 103- 131.
31. Hair, J. F., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2010). SEM: An introduction. Multivariate data analysis: A global perspective, 5(6), 629-686.
32. Hayton, J. C., Allen, D. G., & Scarpello, V. (2004). Factor retention decisions in exploratory factor analysis: A tutorial on parallel analysis. Organizational research methods, 7(2), 191-205. https://doi.org/10.1177/1094428104263675
33. Hornby, G. (2011). Inclusive education for children with special educational needs: A critique. International Journal of Disability, Development and Education, 58(3), 321-329. https://doi.org/10.1080/1034912X.2011.598678.
34. Howard, M. C. (2016). A review of exploratory factor analysis decisions and overview of current practices: What we are doing and how can we improve?. International journal of human-computer interaction, 32(1), 51-62.
35. Jöreskog, K. & Sörbom, D. (1998). LISREL 8: Structural Equation Modeling with the SIMPLIS Command Language, 4th ed.Scientific Software International, Hillsdale.
36. Karabay-Turan, A., Kuşdemir-Kayıran, B. ve Bal, A. P. (2019). Türkçe Dersi Öğretim Programını Değerlendirme Ölçeği: Geçerlik ve güvenirlik çalışması. Bolu Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 19(4), 1654-1666. https://dx.doi.org/10.17240/aibuefd.2019..-543058
37. Kauffman, J. M., & Hallahan, D. P. (Eds.). (2011). Handbook of special education. Routledge.
38. Kavan, N. (2023). Türkçe Dersi Öğretim Programı CIPP Modeli Değerlendirme Ölçeği: Geçerlik ve Güvenirlik Çalışması. Türkiye Eğitim Dergisi, 8(1), 159-185. https://doi.org/10.54979/turkegitimdergisi.1306033
39. Kline, P. (2014). An easy guide to factor analysis. Routledge.
40. Kubiszyen, T. & Borich, G. (2013). Educational testing and measurement: Classroon application and practice. (10th ed.) Indianapolis: John Wiley ve Sons, INC
41. Kutay, V. (2018). Inclusive education in Turkey. Studies in Educational Research and Development, 2(2), 144-162.
42. Kyriazos, T. A., & Stalikas, A. (2018). Applied psychometrics: The steps of scale development and standardization process. Psychology, 9(11), 2531-2560.
43. Ledesma, R. D., & Valero-Mora, P. (2007). Determining the number of factors to retain in EFA: An easy to use computer program for carrying out a parallel analysis. Practical Assessment, Research & Evaluation, 12(2), 1–11. https://doi.org/10.7275/wjnc-nm63
44. Ledesma, R. D., Mora, P. V., & Macbeth, G. (2015). The scree test and the number of factors: A dynamic graphics approach. The Spanish Journal of Psychology, 18(E11), 1–10. https://doi.org/10.1017/sjp.2015.13
45. Leppink, J., & Pérez-Fuster, P. (2017). We need more replication research–A case for test-retest reliability. Perspectives on Medical Education, 6(3), 158–164. https://doi.org/10.1007/s40037-017-0347-z
46. Louangrath, P. I., & Sutanapong, C. (2018). Validity and reliability of survey scales. International Journal of Research & Methodology in Social Science, 4(3), 99-114.
47. Madaus, G. F., Scriven, M., & Stufflebeam, D. L. (Eds.). (2012). Evaluation models: Viewpoints on educational and human services evaluation (Vol. 6). Springer Science & Business Media.
48. Marsh, C. J. & Willis, G. (2007). Curriculum: Alternative approaches, ongoing issues. New Jersey: Pearson Prentice Hall.
49. MEB. (2008). Özel öğrenme güçlüğü destek eğitim programı (s.4-8).Ankara
50. MEB. (2021). Öğrenme Güçlüğü Olan Bireyler İçin Destek Eğitim Programı. https://ookgm.meb.gov.tr/meb_iys_dosyalar/2021_07/09112608_21130110_Ogrenme_Guclugu.pdf adresinden erişilmiştir.
51. Morrison, J. T. (2009). Evaluating factor analysis decisions for scale design in communication research. Communication Methods and Measures, 3(4), 195–215.
52. Oliva, P.F. (2009). Developing the curriculum. New York: Pearson Allyn and Bacon
53. Ornstein, A. C., & Hunkins, F. P. (2009). Curriculum: Foundations, principles, and issues (5th ed.). Columbus, OH: Allyn & Bacon
54. Özdamar, K. (2016). Ölçek ve test geliştirme yapısal eşitlik modellemesi. Eskişehir: Nisan.
55. Özüdoğru, F. (2016). İlkokul 2. sınıf İngilizce öğretim programının diller için Avrupa ortak başvuru metni doğrultusunda aydınlatıcı değerlendirme modeli ile değerlendirilmesi [Yayınlanmamış doktora tezi]. Anadolu Üniversitesi, Eğitim Bilimleri Enstitüsü.
56. Özüdoğru, F., & Adıgüzel, O. C. (2016). Aydınlatıcı Program Değerlendirme Modeli. Anadolu Üniversitesi Sosyal Bilimler Dergisi, 16 (Özel Sayı), 25-34.
57. Palabıyık, T. (2021). Aydınlatıcı program değerlendirme modeline dayalı olarak ikinci sınıf İngilizce öğretim programının öğretmen görüşlerine göre değerlendirilmesi [Yayınlanmamış yüksek lisans tezi]. Mardin Artuklu Üniversitesi, Lisansüstü Eğitim Enstitüsü
58. Pallant, J. F., Haines, H. M., Green, P., Toohill, J., Gamble, J., Creedy, D. K., & Fenwick, J. (2016). Assessment of the dimensionality of the Wijma delivery expectancy/experience questionnaire using factor analysis and Rasch analysis. BMC pregnancy and childbirth, 16, 1-11. https://doi.org/10.1186/s12884-016-1157-8
59. Parlett, M. & Hamilton, D. (1977). Evaluation as Illumination: A New Approach to the Study of Innovatory Programs. Parlett, M. & Dearden, G. (Eds.), Introduction to Illuminative Evaluation: Studies in Higher Education içinde (ss. 9-29). California: Pacific Soundings Press.
60. Paulsrud, D., & Nilholm, C. (2023). Teaching for inclusion–a review of research on the cooperation between regular teachers and special educators in the work with students in need of special support. International Journal of Inclusive Education, 27(4), 541-555.https://doi.org/10.1080/13603116.2020.1846799
61. Peterson, R. A., & Kim, Y. (2013). On the relationship between coefficient alpha and composite reliability. Journal of Applied Psychology, 98(1), 194–198. https://doi.org/10.1037/a0030767
62. Price, L. R. (2017). Psychometric Methods: Theory into Practice. New York: The Guilford Press
63. Punch, K. F. (2013). Introduction to social research: Quantitative and qualitative approaches. Sage.
64. Rao, V., & Woolcock, M. (2003). Integrating qualitative and quantitative approaches in program evaluation. In Bourguignon F., Pereira Da Silva L. (Eds.), Evaluating the poverty and distributional impact of economic policies: A general introduction. World Bank and Oxford University Press.
65. Raubenheimer, J. E. (2004). An item selection procedure to maximise scale reliability and validity. SA Journal of Industrial Psychology, 30 (4), 59-64.
66. Richards, J. C. (2001). Curriculum development in language teaching. Cambridge university press.
67. Seçer, İ. (2017). SPSS ve LISREL ile pratik veri analizi. Anı Yayıncılık.
68. Shi, D., Lee, T., & Maydeu-Olivares, A. (2019). Understanding the model size effect on SEM fit indices. Educational and psychological measurement, 79(2), 310-334. https://doi.org/10.1177/0013164418783530
69. Silva, R., Oliveira, D., Santos, D. P., Santos, L.F.D., Wilson, R. E. & Bedo, M. (2020). Criteria for choosing the number ofdimensions in a principal component analysis: an empiricalassessment. In Anais do XXXV Simposio Brasileiro deBancos de Dados, 145–150. Porto Alegre, Brazil: Computacao Sociedade Brasileira de Computacao. https://sol.sbc.org.br/index.php/sbbd/article/view/13632
70. Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde güvenilirlik ve geçerlilik. Ankara: Seçkin.
71. Tabachnick, B. G., & Fidell, L. S. (2013). Using multivariate statistics. The USA: Pearson Education.
72. Tavşancıl, E. (2014). Tutumların ölçülmesi ve SPSS ile veri analizi, Ankara: Nobel.
73. Ullman, J. B. (2006). Structural equation modeling: rewiewing the basics and moving forward. Journal of personality assessment, 87 (1), 35- 50. https://doi.org/10.1207/s15327752jpa8701_03.
74. Uşun, S. (2016). Eğitimde program değerlendirme süreçler-yaklaşımlar ve modeller (2. baskı). Ankara: Anı.
75. Vieira A. L. (2011). Interactive LISREL in practice, getting started with a SIMPLIS Approach. London: Springer. https://doi.org/10.1007/978-3-642-18044-6.
76. Weir, J. P. (2005). Quantifying test-retest reliability using the intraclass correlation coefficient and the SEM. Journal of Strength & Conditioning Research, 19 (1), 231-240. https://doi.org/10.1519/15184.1.
77. Yang, Y., & Green, S.B. (2011). Coefficient Alpha: A reliability coefficient for the 21st century? Journal of Psychoeducational Assessment, 29 (4) 377-392. https://doi.org/10.1177/0734282911406668.
78. Yıldırım, A. & Şimşek, H. (2013). Sosyal bilimlerde nitel araştırma yöntemleri. (9. Baskı). Ankara: Seçkin Yayıncılık.
79. Zigmond, N. P., & Kloo, A. (2017). General and special education are (and should be) different. In Handbook of special education (pp. 249-261). Routledge.