A Research On Using a Web Based Expert Exam System in Measurement and Evaluation Studies in Education

Year 2016, Volume: 13 Issue: 3, 165 - 179, 29.12.2016

İrfan Şimşek , M. Erdal Balaban Hatice Ergin

Abstract

The aim of this study
is to prepare a module and to test the effectiveness of the module which
categorizes the questions with respect to the cognitive levels, determines the difficulty
levels by calculating the related data of item difficulty and item discrimination,
automatically tunes the difficulty levels of the questions with reference to
the answers given in the process of the exam, and provides person-specific
exams both in the classroom and digital environment. The Web-Based Expert
Examination System developed within the scope of this study makes it possible
to prepare questions compatible with the assessment and evaluation criteria in
education enabling the measurement of the level of actual learning of the
students. By utilizing the prepared questions, it would be possible to generate
exam forms. This system records the data belonging to the students and the data
as a result of the student-system interaction, and can determine the operation
order of the system and the questions to be used to evaluate the knowledge
level of the student in the light of the information obtained from the records.
In addition, this system can improve itself according to the changing needs and
student characteristics in due course and adapt itself to the current
situation. A questionnaire form was developed by taking the measurement and
evaluation criteria in education and qualities which testing tool was required
to have into consideration. Quantitative analysis of the research was completed
by utilizing the packet program “SPSS 21 for MacOS X” and items were examined
via dependent sample variant analysis. The results of the study indicate that
there was a significant difference between the referee evaluation scores in
favor of the exam form, which was prepared by using the Intelligent Exam System
in which Expert Agent and individuals interact, comparing the other exam forms
according to the qualities that a testing tool is required to include.

Keywords

expert exam system, measurement and evaluation, online exam, expert system, expert agent

EĞİTİMDE ÖLÇME VE DEĞERLENDİRME ÇALIŞMALARINDA WEB TABANLI UZMAN SINAV SİSTEMİNİN KULLANIMI ÜZERİNE BİR ARAŞTIRMA

Abstract

Bu çalışmanın amacı;soruların bilişsel düzeylere
göre kategorize edildiği, madde güçlük ve madde ayırt ediciliklerinin
otomatik olarak hesaplanarak zorluk düzeylerinin yapıldığı, sınav esnasında
kişinin soruları cevaplama durumuna göre soru düzeylerinin otomatik
belirlendiği, hem sınıf ortamında hem de dijital ortamda kişiye özgü sınav yapabilecek
bir modülün hazırlanması ve etkinliğinin sınanmasıdır. Bu araştırma kapsamında
geliştirilen Web Tabanlı Uzman Sınav Sistemi sayesinde öğrencilerin öğrenmelerinin
etkili bir şekilde ölçülebilmesini sağlayan, eğitimde ölçme ve değerlendirme
kriterlerine uygun sorular hazırlanabilmektedir. Hazırlanan bu sorular kullanılarak
sınav formlarının oluşturulması mümkün olabilmektedir. Bu sistem, öğrenciye
ait veriler ile öğrencinin sistemle olan etkileşimi sonucundaki verileri kayıt
altında tutmakta ve buradan elde edilen bilgiler doğrultusunda, öğrencinin
bilgi seviyesini ölçmede kullanılacak soruları ve sistemin çalışma sırasını belirlemektedir.
Ayrıca, zaman içinde değişen ihtiyaçlara ve öğrenci özelliklerine göre kendini
geliştirebilmekte ve güncel duruma göre kendini uyarlayabilmektedir. Eğitimde
ölçme ve değerlendirme kriterleri ve ölçme aracında bulunması gereken
nitelikler baz alınarak bir anket formu geliştirilmiştir. Araştırmanın nicel
analizi “SPSS 21 for MacOS X” paket programı ile yapılmış ve maddeler bağımlı
örneklem varyans analizi ile incelenmiştir. Araştırmanın bulguları; ölçme
aracında bulunması gereken nitelikler açısından diğer sınav formlarına göre
Uzman Ajan ve bireylerin etkileşimde olduğu Uzman Sınav Sistemi kullanılarak
hazırlanan sınav formu lehine hakem değerlendirme puanları arasındaki farkın
anlamlı olduğunu göstermiştir.

Keywords

uzman sınav sistemi, ölçme ve değerlendirme, çevrimiçi sınav, uzman sistem

References

• Alberico, R. & Micco, M. (1990). Expert systems for reference and information retrieval. London: Meckler.
• Arlı, M. ve Nazik, H. (2001). Bilimsel araştırmaya giriş. Ankara: Gazi Kitabevi.
• Ayas, A., Köse, S., & Taş, E. (2002, May). The effects of computer-assisted instruction on misconceptions about photosynthesis. In The First International Education Conference, Changing Times Changing Needs, Eastern Mediterranean University, Gazimagusa-Northern Cyprus.
• Bahar, M., Nartgün, Z., Durmuş, S. ve Bıçak, B. (2006). Geleneksel-alternatif ölçme değerlendirme teknikleri öğretmen el kitabı. Ankara: Pegem A Yayıncılık.
• Balcı, A. (2005). Sosyal bilimlerde araştırma. Ankara: Pegema Yayıncılık.
• Balcı, E. ve Tekkaya, C. (2000). Ölçme ve değerlendirme tekniklerine yönelik bir ölçeğin geliştirilmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 18, 42-50.
• Buzzetto-More, N. A., & Alade, A. J. (2006). Best practices in e-assessment. Journal of Information Technology Education, 5(1), 251-269.
• Çepni, S. (2003). An analysis of university science instructors’ examination questions according to cognitive levels. Educational Sciences: Theory and Knowledge, 3(1), 78-84.
• Çepni, S., ve Azar, A. (1998, Eylül). Lise fizik sınavlarında sorulan soruların analizi. III. Ulusal Fen Bilimleri Eğitimi Kongresi, 109-114.
• Cohen, L., Manion, L., & Morrison, K. (2000). Action research. Research Methods in Education, 5, 226-244.
• Demirli, C. (2007). Elektronik portfolyo öğretim sürecinin öğrenen tutumlarına ve öğrenme algılarına etkisi. (Yayınlanmamış doktora tezi, Fırat Üniversitesi, Elazığ, Türkiye).
• Emir, Ş. (2006). E-öğrenmede sınav modelleri ve uygulaması. (Yayınlanmamış yüksek lisans tezi, İstanbul Üniversitesi, Fen Bilimleri Enstitüsü, İstanbul).
• Erdem A. R. (2005). Öğretim teknolojisi ve materyal geliştirme. İstanbul: Lisans Yayınevi.
• Ertkin, E. (1993). Geleneksel ölçme kuramına alternatif iki yöntemin tanıtılması ve personel seçimini yönelik uygulama çalışması. (Yayınlanmamış doktora tezi, İstanbul Üniversitesi, Sosyal Bilimler Enstitüsü, İstanbul).
• Haque, M. S. (2000). Application of artificial intelligence in construction management. http://osp.mans.edu.eg/elbeltagi/AI%20Introduction.pdf Erişim Tarihi: 10.11.2013.
• Hart, A. (1986). Knowledge acquisition for expert system. London: Kogan Page.
• Harvey, J., & Mogey, N. (1999). Pragmatic issues when integrating technology into the assessment of students. In S. Brown, P. Race, & J. Bull (Eds.), Computer-assisted assessment in higher education (pp. 7-20). London: Kogan-Page
• Jackson, P. (1990). Introduction to expert systems (2nd ed.). Wokingham: Addision-Wesley.
• Kabakçı, İ. ve Karakaya, Z. (2003). Web’de öğrenme ölçme ve değerlendirme. Ankara: Türkiye Bilişim Derneği.
• Lynch, K. and Goold, A. & Blagn, J. (2004). Students' pedagogical preferences in the delivery of IT capstone courses. Journal of Issues in Informing Science and Information Technology, 1, 431-442.
• Özçelik, D. A. (1998). Ölçme ve değerlendirme. Ankara: ÖSYM Yayınları.
• Pickard, M. J. (2007). The New Bloom’s taxonomy: an overview for family and consumer sciences. Journal of Family and Consumer Sciences Education, 25(1), 45-55.
• Rgford, D. V., & Baur, G. (1990). Expert systems for business: Concepts and applications. Boston: South-Western Publishing Company.
• Robbins, A. (1995). İçindeki devi uyandır. (Çev. B. Ç. Dişbudak). İstanbul: İnkılâp Yayınevi.
• Şahinel, S. (2002). Eleştirel düşünme. Ankara: PegemA Yayıncılık.
• Savage, L. B. (1998). Eliciting critical thinking skills through questioning. The Clearing House, 71(5), 291-293.
• Talim Terbiye Kurulu Başkanlığı. (2016). Madde yazımı ile ilgili rapor. http://talimterbiye.mebnet.net/program-gel-birimi/Soru%20Analizleri-%20Rapor.pdf Erişim Tarihi: 15.4.2016.
• Turgut, M. F. ve Baykul, Y. (2012). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
• Uysal, Ö ve Kuzu, A. (2011). Çevrimiçi eğitimde kalite standartları: Amerika örnekleri. Anadolu Journal of Educational Sciences International, 1(1), 49-74.
• van Zee, E. H., Iwasyk, M., Kurose, A., Simpson, D. & Wild, J. (2001). Students and teacher questioning during conversations about science. Journal of Research in Science Teaching, 38(2), 159-190.
• Yıldırım, A. ve Şimşek, H. (2005). Sosyal bilimlerde nitel araştırma yöntemleri. Ankara: Seçkin Yayıncılık.