Arapçayı Yabancı Dil Olarak Öğrenenlerin Yazma Beceri Düzeylerinin Belirlenmesinde Analitik Bir Elektronik Değerlendirme Aracının Tasarımı
Öz
Bu araştırma, Arapçayı yabancı dil olarak öğrenenlerin yazma yeterlilik düzeylerinin belirlenmesine ilişkin kararı desteklemede kullanılacak analitik bir elektronik değerlendirme aracı geliştirmeyi amaçlamaktadır. Bu amaç, dijital öğrenme ortamlarında daha standart, adil ve tutarlı değerlendirmelere duyulan ihtiyaç göz önüne alınarak belirlenmiştir. Ortak Avrupa Dil Referans Çerçevesi’nin tanımlayıcılarını esas alan araştırmada öğrencilerin Google Classroom üzerinden değerlendirilmelerine imkân sağlayacak standart yazma görevleri tasarlanmış; söz konusu değerlendirme, performans tanımlayıcılarını yorumlanabilir ve karşılaştırılabilir puanlara dönüştüren derecelendirilmiş bir puanlama aracı kullanılarak gerçekleştirilmiştir. Değerlendirme aracı dört temel ölçüt üzerine yapılandırılmıştır: görev performansı, tutarlılık ve uyumluluk, kelime bilgisi, yazım ve dilbilgisi doğruluğu. Her düzey için kademeli performans düzeyleri ve açıklayıcı tanımlamalar oluşturulmuş; her ölçüt için 25 puan olmak üzere toplam 100 puanlık bir yapı benimsenmiştir. Araştırma ayrıca, aracın dijital platform içinde uygulanmasına yönelik adımları sunarak uygulama ve geri bildirim süreçlerinin standartlaştırılmasına katkı sağlamaktadır. Beceriler ve performans göstergeleri listelerinin oluşturulmasında betimleyici-analitik bir yöntem kullanılmış; bu tanımlayıcılar gözlenebilir ve ölçülebilir ölçütlere dönüştürülmüştür; testin nihai şekli, otuz öğrenciden oluşan bir pilot örneklem üzerinde uygulanmıştır. Sonuçlar, ölçüm aracının bileşenlerine uygun bir iç tutarlılık göstermiştir (Cronbach alfa katsayısı = 0,76). Yazılı metinlerin değerlendirilmesinde güvenilirliğin sağlanması için iki değerlendirici tarafından N=10 metin üzerinde çift değerlendirme yapılmış ve nihai not bu iki değerlendirmenin ortalaması alınarak belirlenmiştir. Değerlendiriciler arasındaki tutarlılık katsayısı, sınıf içi korelasyon ICC(2,k) kullanılarak hesaplanmıştır. Sınıf içi korelasyon (ICC) puanı, genel puan = 0,984 olmak üzere yüksek çıkmış; bu da değerlendiriciler arasında çok iyi bir uyum olduğunu göstermiştir. Araştırma neticesinde, önerilen değerlendirme aracının dijital öğrenme platformu içinde standart prosedürlerle uygulanabilir olduğu, standart geri bildirim sağladığı, seviye belirleme kararlarını desteklediği ve değerlendirmede adalet ile şeffaflığı güçlendirdiği gibi sonuçlara ulaşılmış; ilerideki çalışmalarda uygulamanın farklı düzeylerdeki daha büyük örneklemler üzerinde gerçekleştirilmesi, program ihtiyaçlarına göre farklı yazma türlerini kapsayacak şekilde genişletilmesi ve düzeylerin Avrupa Ortak Dil Referans Çerçevesi tanımlayıcılarıyla ilişkisinin korunması önerilmiştir.
Anahtar Kelimeler
Designing an Analytic Electronic Rating Tool to Determine the Writing Proficiency Level of Learners of Arabic as a Foreign Language
Öz
This study aimed to develop an electronic analytical rubric to support placement decisions regarding the writing proficiency level of learners of Arabic as a foreign language, in response to the need for more standardized, fair, and consistent assessment in digital learning environments. The study was based on the descriptors of the Common European Framework of Reference for Languages (CEFR). The study adopted a descriptive-analytical approach to transform these descriptors into observable and measurable criteria and to develop a list of writing skills and performance indicators. Standardized writing tasks were designed to elicit students’ written production. These tasks were assessed through Google Classroom using a graded rubric that converts performance descriptors into scores that are easy to understand and compare. The proposed tool was built on four main criteria: task achievement, coherence and cohesion, vocabulary control, and spelling and grammatical accuracy, with graded performance levels and descriptors for each level. The scoring structure allocated 25 points to each criterion, with a total score of 100. The study also presented procedures for implementing the tool within the digital platform to standardize administration and feedback. The final version of the test was applied to a pilot sample of 30 learners. The results showed acceptable internal consistency for the tool components (Cronbach’s alpha = 0.76). To ensure writing tasks’ reliability, ten texts were each rated by two raters, and the final score was based on the average of the two ratings. The total-score ICC was high (= 0.984), indicating very high agreement between raters. The study concluded that the proposed tool is applicable using unified procedures within a digital learning platform, as it provides standardized feedback, supports placement decisions, enhances fairness and transparency, and can be expanded to cover other writing types while maintaining alignment with CEFR descriptors.
Anahtar Kelimeler
تصميم أداة تقدير إلكترونية تحليلية لتحديد مستوى الكفاءة الكتابية لدارسي اللغة العربية لغةً أجنبية
Öz
هدف هذا البحث إلى بناء أداة تقدير إلكترونية تحليلية لدعم قرار تحديد مستوى الكفاءة الكتابية لدى دارسي اللغة العربية كلغةٍ أجنبيةٍ، في ظل الحاجة إلى استخدام أدوات تقويم أكثر معيارية وعدالة داخل بيئات التعلم الرقمي. استند البحث إلى واصفات الإطار الأوروبي بوصفها مرجعًا معياريًا لصياغة مجالات الأداء الكتابي ومؤشراته. تَبَنَّى البحث المنهج الوصفي التحليلي لوصف وتحليل الدراسات والأدبيات ذات الصلة بموضوع البحث وذلك لتحويل الواصفات إلى معايير قابلة للملاحظة والقياس. وصُمِّمت مهام كتابية معيارية لتوليد الأداء الكتابي في أربعة أنماط: وصف صورة، رسالة، قصة قصيرة، ومقال حجاجي، وتُقيَّم هذه المهام عبر فصول جوجل باستخدام أداة تقدير متدرجة تحوِّل واصفات الأداء إلى درجات قابلة للفهم والمقارنة. بُنيت الأداة على أربعة معايير رئيسة: أداء المهمة، التماسك والاتساق، التحكم في المفردات، والدقة النحوية والإملائية، مع مستويات أداء متدرجة وتوصيفات لكل مستوى. واعتمدت الأداة توزيعًا للدرجات يجعل لكل معيار 25 درجة بإجمالي 100 درجة؛ بما يدعم تفسير الدرجة ومقارنتها وربطها بواصفات أداء واضحة. كما يقدّم البحث خطوات تفعيل الأداة داخل المنصة الرقمية بما يضمن توحيد إجراءات التطبيق والتغذية الراجعة. ويُختتم بإطار تحقق مقترح لاختبار الصدق والثبات ومعايرة الحدود المقترحة للمستويات على الدارسين وفي سياقات تعليمية متنوعة. وتتمثل إسهامات البحث في تقديم نموذج تصميم لبناء أدوات تقدير معيارية في تعليم العربية، بما يعزّز العدالة والشفافية، ويدعم قرارات تحديد المستوى، ويوصي البحث بضرورة تطبيق الأداة على دارسي العربية كلغة أجنبية مع التأكيد على تنويع مستويات الدارسين؛ لتعزيز قابلية التعميم، وضرورة دراسة إمكانية توسيع الأداة مستقبلًا لتغطية أنماط كتابة أخرى بحسب احتياجات البرامج مع الحفاظ على ربط المستويات بواصفات الإطار المرجعي الأوروبي.
Anahtar Kelimeler