Yenilikçi Eğitim Kurumları İçin Rasch Metodu Temelli Değerlendirme

Year 2020, Ejosat Special Issue 2020 (ISMSIT), 345 - 352, 30.11.2020

Elif Dülger

https://doi.org/10.31590/ejosat.824163

Abstract

Yüksek kaliteli sorular üretmek, öğrenme süreci kalitesini artırmak için en önemli şeylerden biridir. Yüksek kaliteli sorular geliştirmenin çağdaş yöntemlerinden biri, ölçek geliştirmedeki üstünlüğü nedeniyle Rasch Yöntemidir. Rasch yönteminin en önemli avantajı, kişinin yeteneğinden bağımsız olarak madde kalibrasyonunun ölçülmesine izin vermesidir. Aynı zamanda bir kişinin yeteneğinin madde zorluğundan bağımsız olarak ölçülmesini sağlar. Bu şekilde, eğitmenler sorularının kalitesini eleştirebilir ve eğitim kurumları daha kaliteli ve yenilikçi eğitim için kendi değerlendirme sistemlerini güncelleyebilir. Bu çalışma, öğretim elemanlarının bu ihtiyacını Rasch yöntemine göre karşılayacak bir rehber olmayı amaçlamaktadır. Bu yaklaşım, öğrencinin öğrenme deneyimini iyileştirmek için iyi nitelikli öğelerin öğrenme süreci boyunca kullanılabilmesini mümkün kılar. Böylelikle kişiselleştirilmiş eğitim için gerekli olan en uygun içerik ve test tasarımını gerçekleştirmek mümkündür. Öte yandan, öğelerin psikometrik özelliklerini analiz edebilir ve gelecekteki eğitim kurumlarının sürekli iyileştirme sistemi için değerlendirme sistemlerinin kalitesini iyileştirebilir. Bu çalışmada, Rasch Modeli kullanılarak dönem boyunca uygulanan matematik testi maddelerinin özellikleri değerlendirilmiştir. Test, öğrenme nesnelerine dayalı modüler bir yaklaşım kullanan bir matematik dersinde kullanılmak üzere geliştirilmiştir. Sonuçlar, testin psikometrik özelliklerinin iyileştirilmesine yönelik önerilerde bulunmak amacıyla değerlendirilmiştir. Bu yaklaşım, kurs geliştiricilerin testlerinin kalitesini dönem içinde değerlendirmelerini sağlamakla kalmaz, aynı zamanda e-öğrenme sürecinde kendi süreç performansları ve kendi yetenekleri hakkında faydalı bilgiler sağlar. E-öğrenme süreci devam ederken öğrencinin becerisinin analiz edilebilmesi sayesinde eksikliklerin giderilmesi mümkündür. Bu araştırmada 2019-2020 eğitim-öğretim yılı güz yarıyılı içerisinde, önlisans düzeyinde 62 İnternet ve Ağ Teknolojileri uzaktan eğitim programı öğrencisinin verdiği 20 maddeye verilen cevaplar incelenmiştir. Ölçüm raporları, uyum istatistikleri, güvenilirlikler Winstep paket programı ile hesaplanmıştır.

Keywords

Rasch Model, Değerlendirme Kalitesi, Öğrenme Kalitesi, Uzaktan Eğitim Kalitesi, Eğitim 4.0

Rasch-based Assessment for Innovative Education Systems

Abstract

Generating high-quality questions is one of the most significant things to improve learning process quality. One of the contemporary methods of developing high-quality questions is the Rasch Method because of superiority for scale development. The most important advantage of the Rasch method is that it allows the measurement of item calibration which is independent of a person's ability. At the same time, it allows the measurement of a person's ability which is independent of item difficulty. In this way, instructors can criticize the quality of their questions, and educational institutions can update their own assessment systems for higher quality and innovative education. This study aims to be a guide that will meet this need of instructors based on the Rasch method. This approach makes it possible for well-qualified items can be used throughout the learning process to improve the student’s learning experience. Thus it is possible to realize the most appropriate content and test design which is necessary for personalized education. On the other hand, it can analyze items psychometric properties and can improve the quality of evaluation systems for the continuous improvement system of future educational institutions. This study evaluated the properties of mathematics items within the test which is applied during term using the Rasch Model. The test was developed for use within a math course which used a modular approach based on learning objects. Results have been evaluated with a view to making recommendations for the improvement of the test psychometric properties. This approach not only enables course developers to evaluate the quality of their test in term but also provides useful information about their own process performance during the e-learning process and their own ability. Due to enable analyzing the student's ability while the e-learning process ongoing, it is possible to correct one's deficiencies. In this study, answers given to 20 items, provided by 62 students of the Internet and Network Technologies distance education program at the level of the associate degree in the fall semester of the 2019-2020 academic year, were examined. Measurement reports, fit statistics, reliabilities were calculated by the Winstep package program.

Keywords

Rasch Model, Assessment Quality, Learning Quality, Distance Education Quality, Education 4.0

References

• Baştürk R. (2008).” Applying the many‐facet Rasch model to evaluate PowerPoint presentation performance in higher education”, Assessment & Evaluation in Higher Education, 33:4, 431-444, DOI: 10.1080/02602930701562775
• Battisti F.D., Nicolini G., Salini S. (2005), “The Rasch Model to measure service quality”, Departmental Working Paper No. 27/2003 of Department of Economics, University of Milan, Italy. Retrieved from: http://wp.demm.unimi.it/files/wp/2003/DEMM-2003_027wp.pdf, Access date: 03.06.2020
• Chen CM., Lee HM., Chen YH. (2005)."Personalized e-learning system using Item Response Theory", Computers & Education, Volume 44, Issue 3, April 2005, Pages 237-255, https://doi.org/10.1016/j.compedu.2004.01.006
• Dülger E., (2012). “Yükseköğretimde uzaktan eğitim performansinin ölçme ve değerlendirilmesi için bir model önerisi”, Doktora tezi, Sakarya University, Turkey
• Dülger E., Sertvuran I. (2019). “Education 4.0: A system proposal based on lean learning”, 10th International Symposium on Intelligent Manufacturing and Service Systems, Sakarya
• Eckes, T. (2009) “Many-facet Rasch measurement.” Section H in relating language examinations to the common european framework of reference for languages: Learning, Teaching, Assessment. Language Policy Division, Strasbourg
• Finch H. (2008). “Estimation of item response theory parameters in the presence of missing data”, Journal of Educational Measurement Fall 2008, Vol. 45, No. 3, pp. 225–245
• Ghulman H. A., Mas'odi M. S. (2009) “Modern measurement paradigm in Engineering Education: Easier to read and better analysis using Rasch-based approach” International Conference on Engineering Education (ICEED 2009). Kuala Lumpur, Malaysia. December 7-8.
• Güler, N. (2014) “Analysis of open-ended statistics questions with Many Facet Rasch Model.” Eurasian Journal of Educational Research 55: 73-90
• Hagquist, C.t, Bruce M., Gustavsson J.P. (2009) “Using the Rasch model in nursing research: An introduction and illustrative example.” International Journal of Nursing Studies 46: 380-393. doi: 10.1016/j.ijnurstu.2008.10.007
• Harkins, A.M. (2008). “Leapfrog Principles and Practices: Core Components of Education 3.0 and 4.0”, Futures Research Quarterly draft VIII, 1-15, https://pdfs.semanticscholar.org/247d/e073104a6d07537f60b372b711c71935cad6.pdf, (Access date: 03.01.2018)
• Ibrahim, F. M., Zubairi Y. Z., Aziz A. A, Zaharim A. (2012) “Using The Rasch Model To Assess Examination Beyond Students’ Scores” Global Engineering Education Conference (EDUCON 2012). IEEE Conference Proceedings. doi: 10.1109/EDUCON.2012.6201058
• İlhan M. (2016). “Açık Uçlu Sorularla Yapılan Ölçmelerde Klasik Test Kuramı ve Çok Yüzeyli Rasch Modeline Göre Hesaplanan Yetenek Kestirimlerinin Karşılaştırılması”, Hacettepe Üniversitesi Eğitim Fakültesi Dergisi (H. U. Journal of Education) 31(2): 346-368, http://www.efdergi.hacettepe.edu.tr/yonetim/icerik/makaleler/2099-published.pdf, (Access date: 06.09.2020)
• Koparan, T., Guven B. (2014). “Determination of the statistical literacy levels towards sampling of 8th grade students.” Elementary Education Online 13 (4): 1171-1184
• Linacre J.M. (1989), "Observations are always ordinal; measurements, however, must be interval", Archives of Physical Medicine and Rehabilitation 70(12):857-60
• OECD Report. (2012) “Assessment Of Higher Education Learning Outcomes”. AHELO Feasibility Study Report. Vol 1. Design and Implementation.
• Öztemel E. (2018). “Eğitimde Yeni Yönelimlerin Değerlendirilmesi ve Eğitim 4.0”, Journal of University Research, April 2018, Volume 1, Issue 1, Page: 25-30, https://dergipark.org.tr/download/article-file/451373, (Access date: 06.12.2018)
• Özyurt H., Özyurt O., Baki A. (2012), “Architecture and design process of the ındividualized assesment system ıntegrable to distance education softwares”, Turkish Online Journal of Distance Education-TOJDE July 2012 ISSN 1302-6488 Volume: 13 Number: 3 Article 15
• Puncreobutr, V. (2016). “Education 4.0: New Challenge of Learning”, St. Theresa Journal of Humanities and Social Sciences, 2(2), http://www.stic.ac.th/ojs/index.php/sjhs/article/view/Position%20Paper3 (Access date: 03.04.2019) Waugh, R. F. (1999) “Approaches To Studying For Students In Higher Education: A Rasch Measurement Model Analysis.” British Journal of Educational Psychology 69: 63-79. doi: 10.1348/000709999157572
• Wiliam D., (2011). “Embedded Formative Assessment“, p.104. Solution Tree Press, USA
• Wiliam D., (2011). “What is assessment for learning?”, Studies in Educational Evaluation 37 (2011) 3–14
• Wright B.D., (1977), “Solving Measurement Problems with the Rasch Model”, Journal of Educational Measurement , Vol. 14, No. 2, Applications of Latent Trait Models, pp. 97-116
• Wright B.D., Stone M.H. (1979), “Best test design - Rasch Measurement”, Mesa press, Chicago
• Yang, SC., Tsou MY., Chen ET., Chan KH., Chang KY. (2011) “Statistical Item Analysis Of The Examination In Anesthesiology For Medical Students Using The Rasch Model.” Journal of the Chinese Medical Association 74: 125-129, doi: 10.1016/j.jcma.2011.01.027