A study of AI-Generated and Student-Written Texts in terms of Lexical Features

Abstract

The aim of this study is to conduct a comparative analysis of the texts produced by ChatGPT, an AI-supported writing tool, with those created by Turkish teacher candidates. A case study design, one of the qualitative research methods, was employed. The study group consisted of students in the Turkish Language Teaching program at a state university, including first- through fourth-year undergraduates. These students produced a total of 147 texts on ten different topics. The same number of texts on the same topics was also generated by ChatGPT-4o mini, without specifying length. Thus, the research data consisted of 294 texts in total: 147 written by ChatGPT and 147 by students. To identify lexical elements in the texts, Atasoy’s (2015) criteria were used. The findings showed that AI-generated texts contained 34,235 tokens and 2,365 types, while student texts contained 23,306 tokens and 3,800 types. The lexical diversity ratio was 6.908% in AI texts and 16.304% in student texts. The total number of idioms was 1,038 in AI texts and 559 in student texts, with 107 and 205 type idioms respectively. No proverbs appeared in AI texts, whereas one was found in student texts. AI texts included 68 total and 10 type reduplications, compared to 53 total and 29 type reduplications in student texts. Overall, the results suggest that AI-generated texts outperform students’ texts in terms of lexical quantity but fall short in lexical diversity. This indicates that AI has not yet achieved the human capacity for originality and tends to produce texts in similar styles, a finding that supports paradigms privileging human expression over machine output.

Keywords

• Artificial intelligence
• ChatGPT
• human-AI texts
• lexical features
• writing skills

Ethical Statement

Gaziantep University Social and Human Sciences Scientific Research and Publication Ethics Board, Meeting No: 10, Meeting Date: 03.05.2024

Söz Varlığı Unsurları Bağlamında Yapay Zekâ ve Öğrenci Metinleri Üzerine Bir İnceleme

Abstract

Bu araştırmanın amacı, bir yapay zekâ destekli yazma aracı olan ChatGPT’nin ürettiği metinlerin Türkçe öğretmeni adaylarının oluşturduğu metinler ile söz varlığı unsurları açısından karşılaştırmalı analizini yapmaktır. Çalışmada nitel araştırma desenlerinden durum çalışması kullanılmıştır. Bir devlet üniversitesinin Türkçe Öğretmenliği programında öğrenim gören 1, 2, 3 ve 4. sınıf düzeyindeki öğrenciler 10 farklı konuda toplam 147 adet metin yazmışlardır. Aynı sayı ve konuda metni, herhangi bir uzunluk belirtmeden ChatGPT-4o mini’nin de yazması istenmiştir. Bu doğrultuda araştırmanın veri setini, 147 adet ChatGPT-4o mininin ürettiği, 147 adet de Türkçe öğretmeni adayının yazdığı metin olmak üzere toplam 294 metin oluşturmuştur. Metinlerdeki söz varlığı unsurlarının analizi için Atasoy’un (2015) ölçütleri kullanılmıştır. Elde edilen sonuçlara göre yapay zekâ metinlerinde 34,235 toplam, 2365 farklı kelime; öğrenci metinlerinde 23,306 toplam, 3800 farklı kelime kullanılmıştır. Yapay zekâ metinlerindeki kelime çeşitliliği oranı %6,908; öğrenci metinlerindeki kelime çeşitliliği oranı %16,304 olmuştur. Yapay zekâ metinlerindeki toplam deyim sayısı 1,038, farklı deyim sayısı 107; öğrenci metinlerindeki toplam deyim sayısı 559, farklı deyim sayısı 205 şeklinde tespit edilmiştir. Yapay zekâ metinlerinde hiç atasözü kullanılmadığı, öğrenci metinlerinde ise 1 adet atasözü kullanıldığı belirlenmiştir. Yapay zekâ metinlerindeki toplam ikileme sayısı 68, farklı ikileme sayısı 10 iken öğrenci metinlerindeki toplam ikileme sayısı 53, farklı ikileme sayısı 29 olarak bulgulanmıştır. Araştırmadan elde edilen sonuçlar birleştirildiğinde yapay zekânın söz varlığı miktarı yönünden öğrencilere kıyasla daha başarılı olduğu ancak söz varlığı çeşitliliği konusunda öğrencilerden daha düşük bir performans sergilediği görülmektedir. Mevcut durumda yapay zekânın insanın kendine özgü çeşitliliğini henüz yakalayamadığı ve benzer biçemlerde metinler ürettiği ifade edilebilir. Bu durum, makineler karşısında hâlâ insanı önceleyen paradigmaları desteklemektedir.

Keywords

• ChatGPT
• insan-yapay zekâ metinleri
• söz varlığı
• yapay zekâ
• yazma becerisi

Ethical Statement

Gaziantep Üniversitesi Sosyal ve Beşeri Bilimler Bilimsel Araştırma ve Yayın Etiği Kurulu, Toplantı No: 10, Toplantı Tarihi: 03.05.2024

References

1. Akpur, A. (2024). Exploring the potential and limitations of ChatGPT in academic writing and editorial tasks. Fırat Üniversitesi Sosyal Bilimler Dergisi, 34(1), 177-186. https://doi.org/10.18069/firatsbed.1299700.
2. AlAfnan, M. A., & MohdZuki, S. F. (2023). Do artificial intelligence chatbots have a writing style? An investigation into the stylistic features of ChatGPT-4. Journal of Artificial intelligence and technology, 3(3), 85-94. https://doi.org/10.37965/jait.2023.0267.
3. Altaş, Ö. (2023) 7. sınıf Türkçe ders kitaplarının söz varlığı açısından incelenmesi. [Yayımlanmamış yüksek lisans tezi]. Ağrı İbrahim Çeçen Üniversitesi.
4. Altıntop, M. (2023). Yapay zekâ/akıllı öğrenme teknolojileriyle akademik metin yazma: ChatGPT örneği. Süleyman Demirel Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 46, 186-211. https://izlik.org/JA74MN34LT.
5. Arıcı, A. (2024). Söz varlığı öğretiminin okuduğunu anlama üzerine etkisi. [Yayımlanmamış yüksek lisans tezi]. Karamanoğlu Mehmetbey Üniversitesi.
6. Atasoy, A. (2015). Ortaokul öğrencilerinin akıcı yazma becerilerinin değerlendirilmesi. [Yayımlanmamış yüksek lisans tezi]. Mustafa Kemal Üniversitesi.
7. Aytekin, Ç., & Karabina, T. B. (2024). ChatGPT’nin farklı büyük dil modelleri performanslarının Türkçedeki eş adlı kelimeler üzerinden incelenmesi. İstanbul Aydın Üniversitesi Sosyal Bilimler Dergisi, 16(3). 365-390. https://izlik.org/JA32TJ37KS.
8. Baltacı, A. (2018). Nitel Araştırmalarda Örnekleme Yöntemleri ve Örnek Hacmi Sorunsalı Üzerine Kavramsal Bir İnceleme. Bitlis Eren Üniversitesi Sosyal Bilimler Dergisi, 7(1), 231-274. https://izlik.org/JA98FN96XR.

9. Baş, B., & Karadağ, Ö. (2012). Söz varlığı üzerine yurt dışında ve Türkiye’de yapılan temel araştırmalar. Millî Eğitim Dergisi, 42(193), 81-105. https://izlik.org/JA76ES43KM.
10. Başer, M. G. (2025). The ChatGPT impact: creative writing skill development in college students. (Yayımlanmamış yüksek lisans tezi). Yıldız Teknik Üniversitesi.
11. Başpınar, O. (2008). İlköğretim 5. sınıf öğrencilerinin aktif kelime serveti üzerine bir araştırma (Manisa/Turgutlu ilçesi örneği). [Yayımlanmamış yüksek lisans tezi]. Afyon Kocatepe Üniversitesi.
12. Bayındır, E. (2023). Eğitim alanında yapılan yapay zekâ çalışmalarının sosyal ağ analizi ile incelenmesi. [Yayımlanmamış yüksek lisans tezi]. Bahçeşehir Üniversitesi.
13. Coşar, A. M. (2025). Söz dizimi Açısından ChatGPT’nin Türkçesine bir bakış. Uludağ Üniversitesi Fen-Edebiyat Fakültesi Sosyal Bilimler Dergisi, 26(48), 377-389. https://doi.org/10.21550/sosbilder.1568554.
14. Cresswell, J. (2013). Qualitative inquiry & research design: Choosing among five approaches. Sage publications.
15. Çabaz, Y. (2007). İlköğretim 5. sınıf öğrencilerinin yazılı anlatımlarındaki aktif kelime servetinin belirlenmesi (Kırklareli/Merkez örneği). [Yayımlanmamış yüksek lisans tezi]. Afyon Kocatepe Üniversitesi.
16. Çetin, G. (2023). Atasözü ve deyimler bağlamında Türkçe öğretim kaynaklarının incelenmesi. [Yayımlanmamış yüksek lisans tezi]. Manisa Celal Bayar Üniversitesi.
17. Çıplak, M. (2005). Uşak merkez ilköğretim 5., 8. ve 11. sınıfların yazılı kelime hazinesinin belirlenmesi. [Yayımlanmamış yüksek lisans tezi]. Afyon Kocatepe Üniversitesi.
18. Çiftçi, M. (1991). Bir grup yükseköğrenim öğrencisi üzerinde kelime serveti araştırması. [Yayımlanmamış yüksek lisans tezi]. Gazi Üniversitesi.
19. Çomaklı, M. E. (2024). 5. ve 8. sınıf Türkçe ders kitaplarındaki söz varlığının karşılaştırmalı incelenmesi. [Yayımlanmamış yüksek lisans tezi]. Atatürk Üniversitesi.
20. Dal, M. (2024). Yapay zekâ tabanlı ChatGPT'ye dayalı oluşturulan etkinliklerin 7. sınıf öğrencilerinin metin yazma, eleştirel ve yaratıcı düşünme becerilerine etkisi. [Yayımlanmamış yüksek lisans tezi]. Muş Alparslan Üniversitesi.
21. Demir, C., & Yapıcı, M. (2007). Ana Dili Olarak Türkçenin Öğretimi ve Sorunları. Afyon Kocatepe Üniversitesi Sosyal Bilimler Dergisi, 9(2), 177-192. https://izlik.org/JA66RJ45TE.
22. Doğan, F. (2016). Türkçe dersi ortaokul öğrenci çalışma kitaplarındaki etkinliklerin söz varlığı üzerine bir araştırma. [Yayımlanmamış yüksek lisans tezi]. Siirt Üniversitesi.
23. Doğan, S. (2014). Türkçe öğretmeni adaylarının yazılı anlatımlarında kullandıkları aktif kelime servetlerinin incelenmesi. [Yayımlanmamış yüksek lisans tezi]. Niğde Üniversitesi.
24. Duru, K. (2007). İlköğretim 5. sınıf öğrencilerinin yazılı anlatımlarındaki aktif kelime servetinin belirlenmesi (Uşak/Sivaslı örneği). [Yayımlanmamış yüksek lisans tezi]. Afyon Kocatepe Üniversitesi.
25. Eğilmez, N. İ. (2010). İlköğretim Türkçe ders kitaplarındaki söz varlığının ilköğretim dördüncü sınıf öğrencilerinin yazılı anlatımlarına aktarımı. [Yayımlanmamış doktora tezi]. Uludağ Üniversitesi.
26. Erkuş, H. (2025). 8. sınıf Türkçe ders kitabının söz varlığı unsurları açısından incelenmesi. [Yayımlanmamış yüksek lisans tezi]. Fırat Üniversitesi.
27. Eroğlu, A. (2019). Ortaokul 5. sınıf öğrencilerinin yazılı anlatımlarındaki aktif kelime servetinin belirlenmesi (Isparta/Gönen örneği). [Yayımlanmamış yüksek lisans tezi]. Uşak Üniversitesi.
28. Farazouli, A., Cerratto-Pargman, T., Bolander-Laksov, K., & McGrath, C. (2024). Hello GPT! Goodbye home examination? An exploratory study of AI chatbots impact on university teachers’ assessment practices. Assessment & Evaluation in Higher Education, 49(3), 363-375. https://doi.org/10.1080/02602938.2023.2241676.
29. Guo, Y., Shang, G., & Clavel, C. (2024). Benchmarking linguistic diversity of large language models. arXiv preprint arXiv:2412.10271.
30. Hancı, G. (2007). İlköğretim 5. sınıf öğrencilerinin yazılı anlatımlarındaki aktif kelime servetinin belirlenmesi (Uşak/Banaz örneği). [Yayımlanmamış yüksek lisans tezi]. Afyon Kocatepe Üniversitesi.
31. Handemir, N. (2021). Ortaokul 5. sınıf öğrencilerinin yazılı anlatımlarındaki aktif kelime servetinin belirlenmesi (Balıkesir/Dursunbey örneği). [Yayımlanmamış yüksek lisans tezi]. Kütahya Dumlupınar Üniversitesi.
32. Herbold, S., Hautli-Janisz, A., Heuer, U., Kikteva, Z., & Trautsch, A. (2023). A large-scale comparison of human-written versus ChatGPT-generated essays. Scientific reports, 13(1), 18617. https://doi.org/10.1038/s41598-023-45644-9.
33. İmre, G. (2024). 8. Sınıf öğrencilerinin yazılı anlatımda atasözü ve deyimleri kullanma becerileri üzerine bir inceleme. [Yayımlanmamış yüksek lisans tezi]. Afyon Kocatepe Üniversitesi.
34. Karakaya, İ. (2011). İlköğretim 8. sınıf öğrencilerinin yazılı anlatımlarındaki aktif kelime serveti üzerine bir araştırma: Uşak/Eşme örneği. [Yayımlanmamış yüksek lisans tezi]. Uşak Üniversitesi.
35. Karakurt, A. (2023). Ortaokul Türkçe ders kitaplarında geçen atasözü ile deyimlerin tespit ve sınıflandırılması. [Yayımlanmamış yüksek lisans tezi]. Düzce Üniversitesi.
36. Karaörs, M. (2009). Türkçenin Zenginliği. Dil ve Edebiyat Dergisi, 1, 12-17.
37. Karatay, H. (2007). Kelime Öğretimi. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 27(1), 141-153.
38. Katı, T. N., & Can, U. (2024). Yapay zekâ ile üretilen metinlerin yabancı dil olarak Türkçe öğretiminde okuma becerisine yönelik kullanılabilirliği: ChatGPT-3.5 örneği. İnönü Üniversitesi Eğitim Fakültesi Dergisi, 25(2), 538-569. https://doi.org/10.17679/inuefd.1415303.
39. Kayhan, G. Ç. (2009). Hakkâri/Yüksekova 75. Yıl yatılı İlköğretim Bölge Okulu ilköğretim 7. sınıf düzeyinde öğrenim gören öğrencilerin deyim, atasözü ve bilmece dağarcıklarının belirlenmesi ve bunların öğretilmesi. [Yayımlanmamış yüksek lisans tezi]. Selçuk Üniversitesi.
40. Kulaksız, G. C. (2024). Artificial intelligence-based language modelling: The effect of ChatGPT application on writing skills in the context of teaching English as a foreign language. [Yayımlanmamış yüksek lisans tezi]. Uludağ Üniversitesi.
41. Kurudayıoğlu, M. (2011). İlköğretim ikinci kademe öğrencilerinin kelime hazinesi üzerine bir değerlendirme. Education Sciences, 6(2), 1797-1808. https://izlik.org/JA83CL66WH.
42. Liu, J. Q., Hui, K. T., Al Zoubi, F., Zhou, Z. Z., Samartzis, D., Yu, C. C., ... & Wong, A. Y. (2024). The great detectives: humans versus AI detectors in catching large language model-generated medical writing. International Journal for Educational Integrity, 20(1), 8.https://doi.org/10.1007/s40979-024-00155-6.
43. Mahapatra, S. (2024). Impact of ChatGPT on ESL students’ academic writing skills: A mixed methods intervention study. Smart Learning Environments, 11(1), 9. https://doi.org/10.1186/s40561-024-00295-9.
44. Martínez, G., Hernández, J. A., Conde, J., Reviriego, P., & Merino-Gómez, E. (2024). Beware of words: Evaluating the lexical diversity of conversational llms using chatgpt as case study. ACM Transactions on Intelligent Systems and Technology. https://doi.org/10.1145/3696459.
45. Matthews, T. J. (2023). Recreating Literary Works Using ChatGPT3 and Evaluating Results Using Natural Language Processing Analysis. Truman State University.
46. Mizumoto, A., Yasuda, S., & Tamura, Y. (2024). Identifying ChatGPT-generated texts in EFL students’ writing: Through comparative analysis of linguistic fingerprints. Applied Corpus Linguistics, 4(3), 100106. https://doi.org/10.1016/j.acorp.2024.100106.
47. Morse, J. M. (2016). Mixed method design: Principles and procedures. Routledge.
48. Nacak, B. İ. (2024). A comparative analysis of AI-tools and English teachers in writing assessment. [Yayımlanmamış yüksek lisans tezi]. Abant İzzet Baysal Üniversitesi.
49. Ozan, O. (2024). Employing ChatGPT to improve high school students’ writing skills by providing feedback on topic-specific writing tasks. [Yayımlanmamış yüksek lisans tezi]. Tokat Gaziosmanpaşa Üniversitesi.
50. Özen, Ş. (2020). 5. sınıf öğrencilerinin kalıp sözleri tanıma ve yazılı anlatımda kullanma durumları (Manisa örneği). [Yayımlanmamış yüksek lisans tezi]. Uşak Üniversitesi.
51. Reviriego, P., Conde, J., Merino-Gómez, E., Martínez, G., & Hernández, J. A. (2024). Playing with words: Comparing the vocabulary and lexical diversity of ChatGPT and humans. Machine Learning with Applications, 18, 100602. https://doi.org/10.1016/j.mlwa.2024.100602.
52. Sayın, H. (2024). İlköğretim öğrencilerinin ders kitapları aracılığıyla karşılaştığı söz varlığı unsurları. [Yayımlanmamış doktora tezi]. Gazi Üniversitesi.
53. Stake, R. (1995). Case study research. Springer.
54. Su, Y., Lin, Y., & Lai, C. (2023). Collaborating with ChatGPT in argumentative writing classrooms. Assessing Writing, 57, 100752. https://doi.org/10.1016/j.asw.2023.100752
55. Tek, S. (2021). Deyimlerin hikâyesini bilmenin yedinci sınıf öğrencilerinin yazılı anlatımlarında deyim kullanımına etkileri. [Yayımlanmamış yüksek lisans tezi]. Afyon Kocatepe Üniversitesi.
56. Tülü, M. (2012). İlköğretim 5. sınıf öğrencilerinin yazılı anlatımlarındaki aktif kelime serveti üzerine bir araştırma. [Yayımlanmamış yüksek lisans tezi]. Uşak Üniversitesi.
57. Türkben, T. (2018). Söz varlığını belirlemeye ve geliştirmeye yönelik araştırmaların değerlendirilmesi. Türkiye Sosyal Araştırmalar Dergisi, 22(4), 993-1032.
58. Türkmen, B., & Koçlu, S. (2024). Yapay zekâ destekli haber metni üretimi ve çevirilerinin karşılaştırmalı bir analizi: ChatGPT-4o örneği. IU Journal of Translation Studies, 21, 212-229. https://doi.org/10.26650/iujts.2024.1552550.
59. Türkyılmaz, M. (2013). Ortaokul 5. Sınıf Öğrencilerinin Yazılı Anlatımdaki Aktif Kelime Hazinesinin Belirlenmesi. (Kırşehir/Akçakent Örneği). [Yayımlanmamış yüksek lisans tezi]. Gazi Üniversitesi.
60. Uluçay, M. (2016). Etkinlik temelli kelime öğretiminin ortaokul öğrencilerinin söz varlığını geliştirme sürecine etkisi. [Yayımlanmamış doktora tezi]. Atatürk Üniversitesi.
61. Vaezi, S., & Kafshgar, N. B. (2012). Learner characteristics and syntactic and lexical complexity of written products. International Journal of Linguistics, 4(3), 671-687. https://doi.org/10.5296/ijl.v4i3.2391.
62. Yaman, E. (2016). Türkçenin güncel söz varlığı. Millî Eğitim Dergisi, 45(210), 85-91. https://izlik.org/JA34CB93KT.
63. Zhang, M., & Crosthwaite, P. (2025). More human than human? Differences in lexis and collocation within academic essays produced by ChatGPT-3.5 and human L2 writers. International Review of Applied Linguistics in Language Teaching. https://doi.org/10.1515/iral-2024-0196.