Developing Assessment Tolls of Receptive and Productive Collocation Knowledge

Abstract

The purpose of this study is to develop a standardized, valid, and reliable measurement tool that can be used to assess students' receptive and productive collocational knowledge. In the process of developing the assessment tool, a total of 60 questions were prepared based on the theoretical and conceptual framework with a focus on two dimensions. The assessment tool was administered to 344 students in grades 5-8 of middle school, and after the analyses, items with inadequate difficulty and discriminative power were removed from the test, reducing the number of questions to 40. It was observed that the 40 items in the final form of the measurement tool were highly discriminative and exhibited a high level of internal consistency reliability. In the receptive dimension of the assessment tool, there are items with two components, while in the productive dimension, there are fill-in-the-blank type items. Correct answers to the items should be scored as "1," and incorrect or blank responses should be scored as "0." A high score on the assessment tool indicates a high level of collocational knowledge for the test-taker.

Keywords

• Collocation knowledge
• Receptive collocation
• Productive collocation
• Vocabulary knowledge

Alıcı ve Üretici Eşdizimlilik Bilgisini Değerlendirme Aracının Geliştirilmesi

Abstract

Bu çalışmanın amacı, öğrencilerin alıcı ve üretici eşdizimlilik bilgisini saptamada kullanılabilecek ölçünleştirilmiş geçerli ve güvenilir bir değerlendirme aracı geliştirmektir. Değerlendirme aracının geliştirilmesi sürecinde kuramsal ve kavramsal çerçeveden yönelimle iki boyut için toplamda 60 soru hazırlanmıştır. Değerlendirme aracı ortaokul 5-8.sınıfta öğrenimini sürdüren 344 öğrenciye uygulanmış yapılan çözümlemeler sonucunda madde güçlüğü ve ayırt ediciliği yeterli görülmeyen maddeler araçtan çıkartılarak araçtaki soru sayısı 40’a düşürülmüştür. Değerlendirme aracının son biçiminde yer alan 40 maddenin yüksek düzeyde ayırt edici olduğu ve iç tutarlılığa bağlı güvenilirliğinin yüksek düzeyde olduğu görülmüştür. Değerlendirme aracının alıcı boyutunda iki bileşenli maddeler üretici boyutunda ise boşluk doldurma türü maddeler yer almaktadır. Maddelere verilecek doğru yanıtlar “1”, yanlış ve boş yanıtlar ise “0” puan olarak değerlendirilmelidir. Değerlendirme aracından alınacak puanın yüksek olması okuyucunun eşdizimlilik bilgisinin yüksek olduğunu gösterir

Keywords

• Eşdizimlilik bilgisi
• Alıcı eşdizimlilik
• Üretici eşdizimlilik
• Sözcük bilgisi

Ethical Statement

Bu çalışmada “Yükseköğretim Kurumları Bilimsel Araştırma ve Yayın Etiği Yönergesi” kapsamında uyulması belirtilen tüm kurallara uyulmuştur. Yönergenin ikinci bölümü olan “Bilimsel Araştırma ve Yayın Etiğine Aykırı Eylemler” başlığı altında belirtilen eylemlerden hiçbiri gerçekleştirilmemiştir.

References

1. Aksan, Y., Aksan, M., Mersinli, Ü., & Demirhan, U. U. (2016). A frequency dictionary of Turkish. Taylor & Francis.
2. Alharthi, T. (2018). Minding the gap in vocabulary knowledge: Incidental focus on collocation through reading. Arab World English Journal (AWEJ), 9(2), 3–22.
3. Barouni Ebrahimi, A. (2019). Measuring productive collocational knowledge of the most frequent words. International Journal of Applied Linguistics, 29(1), 1–14.
4. Begagić, M. (2014). English language students’ productive and receptive knowledge of collocations. ExELL (Explorations in English Language and Linguistics), 2, 46–67.
5. Benson, M., Benson, E., & Ilson, R. (2010). The BBI dictionary of English word combinations. Amsterdam: John Benjamins Publishing.
6. Büyüköztürk, Ş. (2012). Sosyal bilimler için veri analizi el kitabı. Ankara: PegemA Yayıncılık.
7. Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, E., Karadeniz, Ş. ve Demirel, F. (2008). Bilimsel araştırma yöntemleri. Ankara: Pegem Akademi Yayıncılık.
8. Cowie, A. P. (1998). Phraseology: Theory, analysis, and applications. Oxford: Clarendon Press.

9. Cowie, A.P. (2012). Dictionaries, language learning and phraseology. International Journal of Lexicography, 25(4), 386–392.
10. Cruse, D. A. (1986). Lexical semantics. Cambridge University Press.
11. Doğan, N. (2015). Türkçe sözlükte fiilsel eşdizimlilik. Gazi Türkiyat, 17, 67–84.
12. Doğan, N. (2016). Türkiye Türkçesinde fiillerin eşdizimleri. Ankara: Yayınevi Yay.
13. Forsberg Lundell, F., Lindqvist, C., & Edmonds, A. (2018). Productive collocation knowledge at advanced CEFR levels: Evidence from the development of a test for advanced L2 French. Canadian Modern Language Review, 74(4), 627–649.
14. Gitsaki, C. (1996). The development of esl collocational knowledge enrichment. (Unpublished doctoral thesis). The University of Queensland.
15. González Fernández, B., & Schmitt, N. (2015). How much collocation knowledge do L2 learners have? The effects of frequency and amount of exposure. ITL-International Journal of Applied Linguistics, 166(1), 94–126.
16. Granger, S. (1998). Prefabricated patters in advance EFL writing: Collocations and lexical phrases. In A. P. Cowie (Ed.), Phraseology: Theory, analysis and applications (pp. 145–160). Oxford: Clarendon Press.
17. Gries, S. Th. (2012). Collostructions. In P. Robinson (Ed.), The Routledge Encyclopedia of second language acquisition (pp. 92–95). London & New York: Routledge, Taylor & Francis Group.
18. Halliday, M. A. K. (2004). Lexicology. In M. A. K. Halliday, W. Teubert, C. Yallop, & A. Cermakova (Eds.), Lexicology and corpus linguistics (pp. 1–22). London: Continuum.
19. Han, S., & Lee, Y. W. (2016). Developing a collocation test for Korean efl learners: Test validation and item format effect. Korean Journal of English Language and Linguistics 16(2), 221–243.
20. Herbst, T. (1996). What are collocations: Sandy beaches or false teeth? English Studies, 77(4), 379–393.
21. Hill, J. (2000). Revising priorities: From grammatical failure to collocational success. In M. Lewis (Ed.), Teaching collocation (pp. 47-69). London: Language Teaching Publications.
22. Jeensuk, S. & Sukying, A. (2021). An investigation of high school EFL learners’ knowledge of English collocations. Journal of Applied Linguistics and Language Research, 8(1), 90–106.
23. Kıran, Z. (2002). Dilbilime giriş. Ankara: Seçkin.
24. Kumanlı, M. S. (2016). Türkçe sözlük’te eşdizimliliklerin gösterilişi. Gazi Türkiyat, 18, 195–204.
25. Lee, S. N. (2019). Examining the underlying constructs of L2 lexical collocation knowledge. (Unpublished doctoral dissertation). Indiana University Department of Second Language Studies, India.
26. Lee, S., & Shin, S. Y. (2021). Towards improved assessment of L2 collocation knowledge. Language Assessment Quarterly, 18(4), 419–445.
27. Lewis, M. (2000). Teaching collocation: Further developments in the lexical approach. London: Language Teaching Publications.
28. McCarthy, M., O’Keeft’e, A., & Walsh, S. (2010). Vocabulary matrix: Understanding, learning, teaching. Heinle: Cengage Learning.
29. McKeown, K. R., & Radev, D. R. (2000). Collocations. In R. Dale, H. Moisl, & H. Somers (Eds.), A handbook of natural language processing (pp. 507–524). New York: Marcel Dekker.
30. McLaughlin, B. (1990). Conscious versus unconscious learning. TESOL Quarterly, 2(1), 617–631. Meara, P. (1997). Models of vocabulary acquisition. In N. Schmitt, & M. McCarthy (Eds.), Vocabulary:Description, acquisition and pedagogy (pp. 109–121). Cambridge: Cambridge University Press.
31. Nation, I. S. P. (2001). Learning vocabulary in another language. Cambridge: Cambridge University Press. Nesselhauf, N. (2005). Collocations in a learner corpus. Amsterdam: John Benjamins Publishing Company.
32. Özkan, B. (2011). Türkiye Türkçesinde belirteçlerle fiillerin birlikte kullanılması ve eş dizimlilikleri. Ankara: TDK Yay.
33. Sinclair, J. (1991). Corpus, concordance, collocation. Oxford: Oxford Univ. Press.
34. Talakoob, F. & Koosha, M. (2017). Productive and receptive collocational knowledge of Iranian EFL learners at different proficiency levels. International Journal of Applied Linguistics and English Literature, 6(7), 11–16.
35. Tavşancıl, E. (2010). Tutumların ölçülmesi ve SPSS ile veri analizi. Nobel Yayın Dağıtım.
36. Tekin, H. (2004). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınevi.
37. Turgut, M. F. (1997). Eğitimde ölçme ve değerlendirme metotları. Ankara: Yargıcı Matbaası.
38. Ülper, H. (2023). Sözcük ve öğretimi. Ankara: Pegem Akademi.
39. Ülper, H., & Çetinkaya, G. (2023). Yabancı dil ve anadili olarak Türkçe öğrenen öğrencilerin alıcı sözvarlıklarını üretici olarak kullanabilmelerine ilişkin görünümler. M. Kalelioğlu ve B. Çanakpınar (Ed.), İçinde, 21. yüzyılda disiplinlerarasılık ve uygulama biçimleri (s. 296–312). İzmir: Papatya Bilim.
40. Voss, E. (2012). A validity argument for score meaning of a computer-based ESL academic collocational ability test based on a corpus-driven approach to test design. (Unpublished doctoral dissertation). Iowa State University Applied Linguistics and Technology, Iowa.