Course Evaluation Scale (CES): Validity and Reliability Study

Abstract

It is essential to run a continuous improvement system for the Plan-Do- Check-Action cycle to be achieved and sustained. It is inevitable to consult stakeholder opinions to determine the improvable aspects of the activities carried out in the quality process. Student opinions, the main subject of educational activities, are one of the most critical data sources for continuous improvement. It is recommended to consult students’ views in all processes from the planning to the output of courses, which are the cornerstones of education programs. When the field is examined, it is seen that the number of studies in which students’ opinions are sought to evaluate the quality of the courses is quite limited. This study, built around the main problem “How to design a lesson effectively in all processes, from planning to assessment and evaluation?” is a scale development study. It is thought that a lesson plan designed with the data obtained based on student opinions will increase the quality of the lesson. It is known that the programs which carry out the quality and accreditation process use different questionnaires in the continuous improvement mechanism to measure the quality of courses. 636 students from Hitit University participated in this study in 2022. The scale's validity was evaluated using exploratory factor analysis and confirmatory factor analysis. The scale has a four-component structure with 24 items, according to the results of the exploratory factor analysis. Confirmatory factor analysis revealed that the fit indices were within a reasonable range. The reliability coefficients the factors were 0.93, 0.91, 0.86, and 0.93, respectively, with a Cronbach’s Alpha coefficient for the full scale of 0.94. This finding indicated that the scale items had a high degree of internal consistency and that the scale was made up of objects with a strong tie. According to the correlation study, all of the scale’s variables had a tangible link. It can be said that the “Course Evaluation Scale (CES),” which was developed as a result of all these analyses, is a valid and reliable measurement tool consisting of 24 items that can be used to measure the effectiveness of a course taught in higher education, according to student opinions.

Keywords

• Educational sciences
• Scale development
• Course evaluation scale
• Quality in education
• Quality processes
• Accreditation.

Ders Değerlendirme Ölçeği (DDÖ): Geçerlik ve Güvenirlik Çalışması

Abstract

Kalite sürecinde yürütülen faaliyetlerin iyileştirilmeye açık yönlerinin tespit edilebilmesi için paydaş görüşlerine başvurulması kaçınılmazdır. Eğitim- öğretim faaliyetlerinin temel öznesi konumunda olan öğrenci görüşleri sürekli iyileştirmede en önemli veri kaynaklarından biridir. Eğitim programlarının temel taşı olan derslerin planlamadan çıktılarına kadar tüm süreçlerinde öğrenci görüşlerine başvurulması önerilmektedir. Literatür incelendiğinde derslerin niteliğinin değerlendirilmesine yönelik öğrenci görüşlerine başvurulduğu çalışmaların oldukça sınırlı sayıda olduğu görülmüştür. Planlamadan ölçme değerlendirme aşamasına kadar tüm süreçlerde etkili bir ders nasıl tasarlamalıdır, temel problemi üzerine kurgulanan bu çalışma bir ölçek geliştirmesi çalışmasıdır. Öğrenci görüşlerini dikkate alarak tasarlanan bir ders planının dersin niteliğini artıracağı düşüncesinden hareketle bu çalışmada eğitim öğretim faaliyetlerinin niteliğini artırmaya çalışan ve kalite ve akreditasyon sürecini yürüten kurumlar için geçerliği ve güvenirliği sağlanmış ve dersin tüm boyutlarını ölçen bir veri toplama aracı geliştirilmesi amaçlanmıştır. Nicel araştırma yöntemiyle gerçekleştirilen bu çalışma, tarama yolu ile durum tespiti yapmak amacıyla 2022 yılında Hitit Üniversitesindeki 636 öğrenci ile yürütülmüştür. Açımlayıcı faktör analizi neticesinde ölçeğin 24 maddeden oluşan dört faktörlü bir yapıda olduğu belirlenmiştir. Doğrulayıcı faktör analizi neticesinde uyum indekslerinin kabul edilebilir düzeyde olduğu saptanmıştır. Ölçeğin tümü için iç tutarlık (Cronbach’nın Alfa) katsayısı 0,94; faktörleri için ise sırasıyla 0,93, 0,91, 0,86 ve 0,93 olduğu tespit edilmiştir. Bu netice, ölçeği oluşturan maddeler arasında yüksek düzeyde bir iç tutarlılığının bulunduğunu ve ölçeğin aralarında güçlü ilişki olan maddelerden oluştuğunu göstermektedir. Korelasyon analizinde ölçekteki bütün faktörler arasında pozitif ve anlamlı bir ilişki olduğu belirlenmiştir. Tüm bu analizlerin sonucunda “Ders Değerlendirme Ölçeği (DDÖ)”nin yükseköğretim programlarında yürütülen bir dersin niteliğini belirlemeyi sağlayan geçerli ve güvenilir bir ölçme aracı olduğu söylenebilir.

Keywords

• Eğitim bilimleri
• Kalite süreçleri
• Ders değerlendirme ölçeği
• Akreditasyon
• Eğitimde nitelik
• Ölçek geliştirme.

References

1. Abide, Ömer Faruk. “Farklı Eğitim Kademelerindeki Öğrencilerin Nitelikli Okul, Nitelikli Ders ve Nitelikli Öğretmen Özelliklerine Yönelik Algılarının Karşılaştırmalı Olarak İncelenmesi”. Kesit Akademi Dergisi 7/26 (2021), 463-482.
2. Altıngüzgün Kaynak, Havva Gonca - Coşgun, Dilruba Merve. “Peyzaj Mimarliği Öğretim Programlarının Kalite ve Akreditasyon Süreçlerine Öğrenci Katılımı”. Peyzaj 2020/Özel Sayı (04 Aralık 2020), 1-9.
3. Altınkaynak, Şenay vd. “Öğretmen Adayları ve Öğretim Elemanlarının Türk Eğitim Sistemindeki Bologna Sürecine İlişkin Görüşlerinin İncelenmesi: Hacettepe Üniversitesi Örneği”. Marmara Üniversitesi Atatürk Eğitim Fakültesi Eğitim Bilimleri Dergisi 43/43 (31 Ocak 2016), 1-20. https://doi.org/10.15285/ebd.98325
4. Aytaç, Mustafa - Öngen, Burcu. “Doğrulayıcı Faktör Analizi ile Yeni Çevresel Paradigma Ölçeğinin Yapı Geçerliliğinin İncelenmesi”. İstatistikçiler Dergisi: İstatistik ve Aktüerya 5/1 (2012), 14-22.
5. Baykal, Ülkü vd. “Öğrenci Memnuniyeti Ölçeği Geliştirme Çalışması”. Hemşirelik Dergisi 11/49 (2002), 23-32. Büyüköztürk, Şener vd. Bilimsel Araştırma Yöntemleri. Ankara: Pegem Akademi Yayıncılık, 27. Basım, 2019.
6. Büyüköztürk, Şener. “Faktör Analizi: Temel Kavramlar ve Ölçek Geliştirmede Kullanımı”. Kuram ve Uygulamada Eğitim Yönetimi 32/32 (2002), 470-483.
7. Büyüköztürk, Şener. Sosyal Bilimler İçin Veri Analizi El Kitabı. Ankara: Pegem Akademi Yayıncılık, 27. Basım, 2020.
8. Can, Abdullah. Spss ile Bilimsel Araştırma Süresince Nicel Veri Analizi. Ankara: Pegem Akademi, 4. Basım, 2016.

9. Çokluk, Ömay vd. Sosyal Bilimler İçin Çok Değişkenli İstatistik: SPSS ve LISREL Uygulamaları. Ankara: Pegem Akademi Yayıncılık, 2012.
10. Deming, W. Edwards. Out of the Crisis. Cambridge: Massachusetts Institute of Technology, Center for Advanced Engineering Study, 1986.
11. Derdiyok, Türkmen. “Üniversitelerde Kalite Güvence Sistemi Kapsamında PUKÖ Yönetim Döngüsü Uygulamasında Bir Model Önerisi”. Ufuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi 8/15 (01 Ocak 2019), 173-198.
12. Devellis, Robert F. Ölçek Geliştirme Kuram ve Uygulamalar. ed. Tarık Totan. Ankara: Nobel Yayınları, 2014.
13. Efil, İsmail. Toplam Kalite Yönetimi. Bursa: Dora Basım Yayın, 2010.
14. Erkuş, Adnan. Psikolojide Ölçme ve Ölçek Geliştirme I: Temel Kavramlar ve İşlemler. Ankara: Pegem Akademi Yayıncılık, 2021.
15. Gryna, Frank M. - Juran, Joseph M. Quality Planning and Analysis: From Product Development Through Use. McGraw-Hill Science, Engineering & Mathematics, 2001.
16. Güngör, Duygu. “Psikolojide Ölçme Araçlarının Geliştirilmesi ve Uyarlanması Kılavuzu”. Türk Psikoloji Yazıları 19/38 (2016), 104-112.
17. Ishikawa, Kaoru. What is Total Quality Control? The Japanese Way. çev. David J. Lu. Prentice Hall, 1985.
18. Juran, Joseph M. vd. Juran’s Quality Handbook. New York: McGraw-Hill, 1998.
19. Karakoç, Fatma Yeşim - Dönmez, Levent. “Ölçek Geliştirme Çalışmalarında Temel Ilkeler”. Tıp Eğitimi Dünyası 13/40 (2014), 39-49.
20. Koçak, Duygu vd. “Faktör Sayısının Belirlenmesinde Map Testi, Paralel Analiz, K1 Ve Yamaç Birikinti Grafiği Yöntemlerinin Karşılaştırılması”. Van Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi 13/1 (2016), 330-359.
21. Kuruşcu, Mehmet. Toplam Kalite Yönetimi ve Kalite Ödülleri. İstanbul: IQ Kültür Sanat Yayıncılık, 2003.
22. OECD. Education at a Glance 2022: OECD Indicators. Paris: OECD Publishing, 2022. https://doi.org/10.1787/3197152b-en
23. Özer, M. Akif. “Örgütsel Verimlilik Yolunda ‘Mükemmelliği’ Arayan İşletmeler”. Verimlilik Dergisi 3 (2017), 7-28.
24. Özgüngör, Sevgi. “Eğitim Süreci Öğrenci Değerlendirmeleri Ölçeği’nin Türkçeye Uyarlama Çalışması ve Etkili Öğretim Elemanlarını Tanımlayan Alt Boyutların Belirlenmesi”. Eğitim ve Bilim 38/170 (2013).
25. Shewhart, Walter Andrew - Deming, William Edwards. Statistical Method from the Viewpoint of Quality Control. New York: Courier Corporation, 1986.
26. Şimşek, Hüseyin vd. “Yükseköğretimde Kalite Arayışında Bir Gösterge Olarak Öğrenci Memnuniyeti: Bir Ölçek Geliştirme Çalışması”. Trakya Eğitim Dergisi 9/3 (30 Eylül 2019), 380-395.
27. Şimşek, Muhittin. Kalite Yönetimi. İstanbul: Marmara Üniversitesi Yayın -Teknik Eğitim Yayın, 1998.
28. Tavşancıl, Ezel. Tutumların Ölçülmesi ve Spss ile Veri Analizi. Ankara: Nobel Akademik Yayıncılık, 2014.
29. Uludağ, Gonca vd. “Türk Yükseköğretiminde Kalite Güvencesi Sistemi ve Öğrenci Katılımının Önemi”. Kalite ve Strateji Yönetimi Dergisi 1/1 (28 Temmuz 2021), 91-111.
30. Yaşlıoğlu, M. Murat. “Sosyal Bilimlerde Faktör Analizi ve Geçerlilik: Keşfedici ve Doğrulayıcı Faktör Analizlerinin Kullanılması”. İstanbul Üniversitesi İşletme Fakültesi Dergisi 46 (2017), 74-85.
31. YÖK. “YÖK Bologna Süreci Nedir?” Erişim 17 Ekim 2022. https://uluslararasi.yok.gov.tr/uluslararasilasma/bologna/temel-bilgiler/bologna-sureci-nedir
32. YÖKAK. “Mevzuat Bilgi Sistemi”. Erişim 17 Ekim 2022. https://www.mevzuat.gov.tr/mevzu atMevzuatNo=28996&MevzuatTur=7&MevzuatTertip=5
33. Yurdugül, Halil. “Ölçek Geliştirme Çalışmalarında Kapsam Geçerliği Için Kapsam Geçerlik Indekslerinin Kullanılması”. XIV. Ulusal Eğitim Bilimleri Kongresi 1 (2005), 771-774.
34. Yurtkoru, E. S. vd. Sosyal Bilimlerde Spss’le Veri Analizi. İstanbul: Beta Basım Yayın, 7. Basım, 2018.