The Use of ChatGPT in Qualitative Data Analysis: A Comparative Analysis on Contextual Fidelity and Thematic Consistency

Year 2025, Volume: 11 Issue: 2, 28 - 57, 05.08.2025

Serdar Erdem , Akif Pamuk

Abstract

This study aims to evaluate the functionality of the large language model ChatGPT in qualitative data analysis by comparing it with human-conducted content analysis. The dataset consists of a total of 43,164 tweets shared on the X (formerly Twitter) platform on Teachers’ Day, November 24, in the years 2020 and 2021. Since the data were obtained from previously archived social media content, document analysis was used as the data collection method.
The research was designed as a comparative case study. During the analysis process, both descriptive analysis and content analysis techniques were employed. The dataset, previously used in a published study by the researcher, was uploaded to ChatGPT-4o for AI-assisted analysis. The findings were compared in terms of thematic consistency, contextual fidelity, conceptual depth, and example discourse alignment. Additionally, ChatGPT’s critical evaluations and theoretical framework suggestions regarding the dataset were also assessed.
The results indicate that while ChatGPT is effective in constructing conceptual frameworks and generating general themes, it exhibits limitations in understanding context and producing data-faithful examples. Particularly in the absence of user guidance, the model tends to generate synthetic discourse, posing a risk of contextual drift.
Therefore, when supported with researcher oversight and clear prompts, ChatGPT can serve as a complementary tool in qualitative analysis processes.

Keywords

ChatGPT, AI-Assisted Qualitative Analysis, Artificial Intelligence and Contextual Fidelity, Thematic Coding with ChatGPT, Comparative Case Study

Nitel Veri Analizinde ChatGPT’nin Kullanımı: Bağlam Sadakati ve Tematik Tutarlılık Üzerine Karşılaştırmalı Bir Analiz

Abstract

Bu araştırma, büyük dil modeli ChatGPT’nin nitel veri analizindeki işlevselliğini, insan eliyle gerçekleştirilen içerik çözümlemeleriyle karşılaştırarak değerlendirmeyi amaçlamaktadır. Araştırmanın veri seti, X (Twitter) platformunda 2020 ve 2021 yıllarının 24 Kasım Öğretmenler Günü'nde paylaşılan toplam 43.164 tweet’ten oluşmaktadır. Veriler, önceden arşivlenmiş sosyal medya içeriklerinden elde edildiği için veri toplama aracı olarak doküman analizi yöntemi kullanılmıştır.
Araştırma, karşılaştırmalı durum çalışması desenine göre yapılandırılmıştır. Analiz sürecinde hem betimsel analiz hem de içerik analizi tekniklerinden yararlanılmıştır. Araştırmacı tarafından daha önce yayınlanan makalenin veri seti ChatGPT-4o’ya yüklenerek yapay zekâ destekli analiz gerçekleştirilmiştir. Elde edilen bulgular tematik bütünlük, bağlam sadakati, kavramsal derinlik, örnek söylem eşleşmeleri açısından karşılaştırılmıştır. Bunun yanında veri setine dair ChatGPT’nin eleştirel bakış ve teorik çerçeve önerileri değerlendirilmiştir
Sonuçlar, ChatGPT’nin kavramsal çerçeve oluşturma ve genel tema üretiminde etkili olabildiğini ancak bağlamı anlama ve veriye sadık örnek üretme konusunda sınırlılıklar taşıdığını göstermektedir. Özellikle kullanıcı yönlendirmesi olmaksızın, modelin sentetik söylemler üreterek bağlam dışına çıkma riski bulunduğu tespit edilmiştir.
Bu nedenle ChatGPT, araştırmacı denetimi ve açık istemlerle desteklendiğinde, nitel analiz süreçlerinde tamamlayıcı bir araç olarak değerlendirilebilmektedir.

Keywords

ChatGPT, Yapay Zekâ Destekli Nitel Analiz, Yapay Zekâ ve Bağlam Sadakati, ChatGPT ile Tematik Kodlama, Karşılaştırmalı Durum Çalışması

References

• van Manen, M. (2023). What Does ChatGPT Mean for Qualitative Health Research? Qualitative Health Research, 33(13), 1135–1139. https://doi.org/10.1177/10497323231210816 Wachinger, J., Bärnighausen, K., Schäfer, L. N., Scott, K., & McMahon, S. A. (2024). Prompts, Pearls, Imperfections: Comparing ChatGPT and a Human Researcher in Qualitative Data Analysis. Qualitative Health Research. https://doi.org/10.1177/10497323241244669