Using Artificial Intelligence Assisted Digital Tool Socrative Within The Scope of Measurement and Evaluation in Teaching Turkish As A Foreign Language

Abstract

This research investigates the effectiveness of the artificial intelligence supported Socrative digital tool in terms of assessment and evaluation during the teaching process of Turkish as a foreign language. The integration of such tools is inevitable, considering the rapid development of artificial intelligence technologies. In most institutions, traditional methods are widely preferred in exam techniques, which prolongs the assessment process in general. Socrative is a platform which gives feedback to the instructor and learner instantly. It is assumed that Socrative might be more effective than classical assessment methods. The research group is composed of 100 B1-level students attending a foundation university in Istanbul who learn Turkish as a foreign language. As a result, in classical and Socrative tests, it was observed that there was no significant difference among gender, age, and language groups. Students scored approximately three points higher in Socrative tests compared to the classical test, and a medium positive relationship at the level of r = .48 was determined between the two types of tests. Both tests were administered on the same day. Quantitative data were analyzed using SPSS, and qualitative data were evaluated through content analysis. The results revealed a significant difference in favor of the Socrative-based test. The study recommends wider use of artificial intelligence-supported tools like Socrative in the assessment and evaluation processes of language education.

Keywords

• Artificial intelligence
• artificial intelligence tools
• measurement and evaluation
• Socrative
• teaching Turkish as a foreign language

Yabancı Dil Olarak Türkçe Öğretiminde Yapay Zekâ Destekli Dijital Araç Socrative'in Ölçme ve Değerlendirme Kapsamında Kullanılması

Abstract

Bu araştırmanın amacı, Socrative isimli yapay zekâ destekli dijital aracın yabancı dil olarak Türkçe öğretiminde ölçme ve değerlendirme bağlamında ne kadar etkili olduğunu saptamaktır. Yapay zekâ alanındaki gelişmeler, bu araçların eğitimde kullanılmasını gerekli kılmaktadır. Yabancı dil olarak Türkçe öğretiminde çağdaş yöntem ve tekniklerin kullanılması büyük önem taşımaktadır. Birçok alanda olduğu gibi bu alanda da hâlen birçok kurumda geleneksel sınav yöntemleri tercih edilmektedir. Bu durum ölçme ve değerlendirmeye ayrılan zamanı artırmaktadır. Socrative, öğreticilere ve eğitmenlere anında geri bildirim sunan bir platformdur. Socrative’in klasik ölçme ve değerlendirme yöntemlerine oranla daha etkili olduğu hipotezinden varsayılmaktadır. Bu nedenle bu araştırmada Socrative’in yabancı dil olarak Türkçe öğretiminde ölçme ve değerlendirme bağlamında etkili olup olmadığının araştırılmasına gerek duyulmuştur. Araştırmanın çalışma grubu İstanbul’da bir vakıf üniversitesinde eğitim gören B1 düzeyinde yabancı dil olarak Türkçe öğrenen 100 öğrencidir. Bulgular; cinsiyet, yaş veya dil grupları arasında klasik ve Socrative test puanlarında önemli bir fark olmadığını ortaya koymuştur. Ancak, öğrenciler Socrative testinde klasik teste kıyasla yaklaşık üç puan daha yüksek puan almış ve iki test türü arasında orta derecede pozitif bir korelasyon (r = .48) bulunmuştur. Her iki test de çalışma grubuna aynı gün uygulanmıştır. Nicel verilerin analizi için SPSS kullanılırken nitel verilerin analizi için içerik analizi kullanılmıştır. Araştırma sonucunda klasik testlerle Socrative’de hazırlanmış testler arasında Socrative lehine anlamlı fark tespit edilmiştir. Çalışma, yabancı dil olarak Türkçe öğretiminde Socrative ve buna benzer yapay zekâ araçlarının ölçme ve değerlendirme kapsamında kullanımının artırılmasını önermektedir.

Keywords

• Ölçme ve değerlendirme
• Socrative
• yabancı dil olarak Türkçe öğretimi
• yapay zekâ
• yapay zekâ araçları

References

1. Akata, A. (2009). Türkçe programıyla ilgili ölçme ve değerlendirme sürecinin işlevselliği üzerine bir araştırma [A study on the functionality of the assessment and evaluation process regarding the Turkish program] [Unpublished master’s thesis]. Abant Izzet Baysal University.
2. Akçadağ, T. (2010). Öğretmenlerin ilköğretim programındaki yöntem teknik ölçme ve değerlendirme konularına ilişkin eğitim ihtiyaçları [Educational needs of teachers regarding method, technique, measurement and evaluation issues in the primary education curriculum]. Bilig, 53(1), 29-50.
3. Aktürk, A. O. (2012). Öğretmen adaylarının öğrenmeye ilişkin tutumlarının öğretmenlik mesleğini tercih etme nedenlerine ve akademik başarılarına göre incelenmesi [Investigation of pre-service teachers’ attitudes towards learning according to their reasons for preferring the teaching profession and their academic achievements]. Ahi Evran University Journal of Kırşehir Education Faculty, 13(3), 283-297.
4. Arslan, K. (2020). Eğitimde yapay zekâ ve uygulamaları [Artificial intelligence in education and its applications]. Batı Anadolu Eğitim Bilimleri Dergisi, 11(1), 71-88.
5. Awedh, M., Mueen, A., Zafar, B., & Manzoor, U. (2015). Using Socrative and Smartphones for the support of collaborative learning. International Journal on Integrating Technology in Education (IJITE) 3,(4), 17-24.
6. Aziz, A. (2015). Sosyal bilimlerde araştırma yöntemleri ve teknikleri [Research methods and techniques in social sciences]. Nobel.
7. Baki, A., & Gökçek, T. (2012). Karma yöntem araştırmalarına genel bir bakış [A general overview of mixed methods research]. Electronic Journal of Social Sciences, 11(42), 1-21.
8. Buguet, M., & Buxarrais, M. R. (2013). La eticidad de las TIC. Las competencias transversales y sus paradojas. Revista Teoría de la Educación: Educación y Cultura en la Sociedad de la Información, 14(3), 87-100.

9. Creswell, J. W. (2003). Research design: Qualitative, quantitative, and mixed methods approaches (2nd ed.). Sage.
10. Çeçen, M. A. (2011). Türkçe öğretmenlerinin seviye belirleme sınavı ve Türkçe sorularına ilişkin görüşleri [Turkish language teachers’ views on the placement test and Turkish questions]. Mustafa Kemal University Journal of Social Sciences Institute, 8(15), 201-211.
11. Dervan, P. (2014), Increasing in-class student engagement using Socrative (An online student response system). The All Ireland Journal of Teaching and Learning in Higher Education 6(3), 1801-1813.
12. El Shaban, A. (2017). The use of Socrative in ESL classrooms: Towards active learning. Teaching English with Technology, 17(4), 64-77.
13. Farrow, R. (2016). A framework for the ethics of open education. Open Praxis, 8(2), 93-109.
14. Fiske, J. (1996). İletişim çalışmalarına giriş [Introduction to communication studies] (S. İrvan, Trans.). Bilim ve Sanat.
15. García-Gutiérrez, J. (2013). Aproximación ética a la competencia digital. Los niveles de uso y sentido en ámbitos educativos virtuales. Revista Teoría de la Educación: Educación y Cultura en la Sociedad de la Información, 14(3), 121-145.
16. Gelbal, S., & Kelecioğlu, H. (2007). Öğretmenlerin ölçme ve değerlendirme yöntemleri hakkındaki yeterlik algıları ve karşılaştıkları sorunlar [Teachers’ proficiency perceptions of measurement and evaluation methods and the problems they encounter]. Hacettepe University Journal of Education, 33, 135-145.
17. George, D., & Mallery, M. (2010). SPSS for Windows step by step: A simple guide and reference (17.0 update). Pearson.
18. Gipps, C., & Stobart, G. (2003). Alternative assessment. In T. Kellaghan & D. L. Stufflebeam (Eds.), International handbook of educational evaluation (pp. 549–575). Kluwer Academic.
19. Gondal, K. M. (2018). Artificial intelligence and educational leadership. Annals of King Edward Medical University, 24(4), 1-2.
20. Guarascio, A. J., Nemecek, B. D., & Zimmerman, D. E. (2017). Evaluation of students’ perceptions of the Socrative application versus a traditional student response system and its impact on classroom engagement. Currents in Pharmacy Teaching and Learning, 9(5), 808–812.
21. Hancock, D. R., & Algozzine, B. (2006). Doing case study research: A practical guide for beginning researchers. Teachers College Press.
22. Holmes, W., Bialik, M., & Fadel, C. (2019). Artificial intelligence in education: Promises and implications for teaching and learning. Center for Curriculum Redesign.
23. Hsin Yuan Huang, W., & Soman, D. (2013). A practitioner’s guide to gamification of education. University of Toronto. http://inside.rotman.utoronto.ca/behaviouraleconomicsinaction/files/2013/09/GuideGamificationEducationDec2013.pdf
24. Johnson, R. B., & Onwuegbuzie, A. J. (2004). Mixed methods research: A research paradigm whose time has come. Educational Researcher, 33(7), 14-26.
25. Krippendorff, K. (2004). Content analysis: An introduction to its methodology (2nd ed.). Sage.
26. Maggiolini, P. (2014). A deep study on the concept of digital ethics. Revista de Administração de Empresas, 54(5), 585-591.
27. Metin, M., & Demiryürek, G. (2009). Türkçe öğretmenlerinin yenilenen Türkçe öğretim programlarının ölçme-değerlendirme anlayışı hakkındaki düşünceleri [Turkish teachers’ views on measurement and evaluation approach of the new Turkish curriculum]. Ondokuz Mayıs Üniversitesi Eğitim Fakültesi Dergisi, 28, 37‐51.
28. Moreland, J., & Jones, A. (2000). Emerging assessment practices in an emergent curriculum: Implications for technology. International Journal of Technology and Design Education, 10, 283-305.
29. Ng, D. T. K., Leung, J. K. L., Chu, S. K. W., & Qiao, M. S. (2021). Conceptualizing AI literacy: An exploratory review. Computers and Education: Artificial Intelligence, 2, 100041.
30. Obschonka, M., & Audretsch, D. B. (2020). Artificial intelligence and big data entrepreneurship: A new era has begun. Small Business Economics, 55, 529-539.
31. Pierce, L. V., & O’malley, J. M. (1992). Performance and portfolio assessment for language minority students. National Clearing House for Bilingual Education.
32. Pryke, S. (2020). The use of Socrative in university social science teaching. Learning and Teaching, 13(1), 67-86.
33. Shepard, L. A. (2000). The role of assessment in a learning culture. Educational Researcher, 29(7), 4-14.
34. Tashakkori, A., & Teddlie, C. (1998). Mixed methodology: Combining qualitative and quantitative approaches. Applied Social Research Methods Series (Vol.46). Sage.
35. Ural, A., & Kılıç, İ. (2013). Bilimsel araştırma süreci ve SPSS ile veri analizi [Scientific research process and data analysis with SPSS]. Detay.
36. Valverde, J. (2010). El movimiento de “educación abierta” y la “universidad expandida” [The “open education” movement and the “expanded university”]. Tendencias Pedagógicas, 16, 157-180.
37. Van Niekerk, E. F. (2002). ‘n Prosesgebaseerde assesseringsraamwerk vir Tegnologie-onderwys: ‘n Gevalstudie [A process-based assessment framework for technology education: A case study] [Unpublished master’s thesis]. Randse Afrikaanse Universiteit.
38. Van Niekerk, E., Ankiewicz, P., & de Swardt, E. (2010). A process-based assessment framework for technology education: A case study. International Journal of Technology and Design Education, 20, 191–215. https://doi.org/10.1007/s10798-008-9070-8
39. Wash, P. D. (2014). Taking advantage of mobile devices: Using Socrative in the classroom. Journal of Teaching and Learning With Technology, 3(1), 99–101. https://doi.org/10.14434/jotlt.v3n1.5016
40. Wiredu, J. (2023). An investigation on the characteristics, abilities, constraints, and functions of artificial intelligence (AI): The age of ChatGPT as an essential. Information and Management, 108(3), 62614-62620.
41. Yiğit, F., & Kırımlı, B. (2014). Türkçe öğretmenlerinin alternatif ölçme-değerlendirme yöntemlerini uygulama biçimleri ve uygulamada karşılaştıkları sorunlar [Turkish teachers’ styles of applying alternative measurement-evaluation methods and problems encountered in practice]. Turkish Studies - International Periodical For The Languages, Literature and History of Turkish or Turkic, 9(3), 1621-1639.