Modeling Co-Existing Mental Health Risks in Social Media via Multi-Label Learning and LLM

Abstract

Mental health risk detection from user-generated social media text has become increasingly important as psychiatric conditions such as depression, anxiety, and suicidal ideation continue to rise. However, most existing computational studies operationalize the problem using single-label datasets, implicitly assuming mutually exclusive conditions and thereby under-modeling clinically prevalent comorbidity. To better align modeling assumptions with real-world mental health phenomena, we formulate social-media-based risk identification as a multi-label text classification problem, enabling the simultaneous prediction of co-existing risks within a single post. We construct a hybrid corpus by integrating AIMH/SWMH and the Sentiment Analysis for Mental Health dataset, and by adding neutral/positive samples from Sentiment140 to strengthen healthy-content representation. Multi-label annotations are generated via Meta Llama-3-70B-Instruct using deterministic zero-shot prompting (temperature=0); a manual audit of 1,000 randomly sampled instances yields 94% agreement with the LLM-generated labels. We then benchmark multiple transformer-based encoders under a unified multi-label training protocol and report macro/micro F1 performance, highlighting the feasibility of transformer-based multi-label learning for modeling overlapping mental health risks at scale in social media.

Keywords

• multi-label learning
• mental health risk detection
• social media
• transformers
• LLM

Çok Etiketli Öğrenme ve LLM Yöntemiyle Sosyal Medyada Birlikte Var Olan Ruh Sağlığı Risklerinin Modellenmesi

Abstract

Kullanıcı tarafından oluşturulan sosyal medya metinlerinden ruh sağlığı risklerinin tespiti, depresyon, anksiyete ve intihar düşüncesi gibi psikiyatrik durumların artmaya devam etmesiyle giderek daha önemli hale gelmiştir. Bununla birlikte, mevcut hesaplamalı çalışmaların çoğu, problemi tek etiketli veri kümeleri kullanarak ele almakta, örtük olarak birbirini dışlayan koşulları varsaymakta ve böylece klinik olarak yaygın olan eş morbiditeyi yetersiz modellemektedir. Modelleme varsayımlarını gerçek dünya ruh sağlığı olgularıyla daha iyi uyumlu hale getirmek için, sosyal medya tabanlı risk tanımlamasını, tek bir gönderi içinde birlikte var olan risklerin eş zamanlı olarak tahmin edilmesini sağlayan çok etiketli bir metin sınıflandırma problemi olarak formüle ediyoruz. AIMH/SWMH ve Ruh Sağlığı için Duygu Analizi veri kümesini entegre ederek ve sağlıklı içerik temsilini güçlendirmek için Sentiment140'tan nötr/pozitif örnekler ekleyerek hibrit bir veri kümesi oluşturuyoruz. Meta Llama-3-70B-Instruct kullanılarak, deterministik sıfır atışlı uyarı (sıcaklık=0) ile çok etiketli açıklamalar oluşturulmuştur; rastgele örneklenmiş 1.000 örneğin manuel denetimi, LLM tarafından oluşturulan etiketlerle %94 oranında uyum göstermiştir. Daha sonra, birleşik bir çok etiketli eğitim protokolü altında birden fazla transformatör tabanlı kodlayıcıyı karşılaştırarak makro/mikro F1 performansını raporladık ve sosyal medyada büyük ölçekte örtüşen ruh sağlığı risklerini modellemek için transformatör tabanlı çok etiketli öğrenmenin uygulanabilirliğini vurguladık.

Keywords

• Kelimeler: çok etiketli öğrenme
• ruh sağlığı riski tespiti
• sosyal medya
• NLP
• transformatör
• LLM

References

1. [1] World Health Organization, "Mental Health Atlas 2024", World Health Organization, Geneva, (2025).
2. [2] Canbay P., "Predicting discriminative personality profile of haters from digital texts", Knowledge-Based Systems, 2024, 287: 111460.
3. [3] Zhang T., Schoene A.M., Ji S., Ananiadou S., "Natural language processing applied to mental illness detection: A narrative review", NPJ Digital Medicine, 2022, 5(1): 46.
4. [4] Montejo-Raez A., Molina-Gonzalez M.D., Jimenez-Zafra S.M., Garcia-Cumbreras M.A., Garcia-Lopez L.J., "A survey on detecting mental disorders with natural language processing: Literature review, trends and challenges", Computer Science Review, 2024, 53: 100654.
5. [5] Platona R.I., Căiţă G.A., Voiţă-Mekeres F., Peia A.O., Enătescu R.V., "The impact of psychiatric comorbidities associated with depression: A literature review", Medicine and Pharmacy Reports, 2024, 97(2): 143.
6. [6] Ji S., Li X., Huang Z., Cambria E., "Suicidal ideation and mental disorder detection with attentive relation networks", Neural Computing and Applications, 2021, 34(13): 10309-10319.
7. [7] Ezerceli Ö., Dehkharghani R., "Mental disorder and suicidal ideation detection from social media using deep neural networks", Journal of Computational Social Science, 2024, 7(3): 2277-2307.
8. [8] Go A., Bhayani R., Huang L., "Twitter sentiment classification using distant supervision", CS224N Project Report, Stanford University, 2009, 1: 1-12.

9. [9] Ji S., Zhang T., Ansari L., Fu J., Tiwari P., Cambria E., "MentalBERT: Publicly available pretrained language models for mental healthcare", Proceedings of the Thirteenth Language Resources and Evaluation Conference, Marseille, France, 2022, 7184-7190, (2022).
10. [10] Tan Z., Li D., Wang S., Beigi A., Jiang B., Bhattacharjee A., Liu H., "Large language models for data annotation and synthesis: A survey", Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP), Miami, USA, 930-957, (2024).
11. [11] Törnberg P., "Best practices for text annotation with large language models", Sociologica, 2024, 18(2).
12. [12] Sarkar S., "Sentiment Analysis for Mental Health Dataset", Kaggle Dataset, (2023).
13. [13] He P., Gao J., Chen W., "DeBERTaV3: Improving DeBERTa using ELECTRA-style pre-training with gradient-disentangled embedding sharing", arXiv preprint, 2021.
14. [14] Liu Y., Ott M., Goyal N., Du J., Joshi M., Chen D., Stoyanov V., "RoBERTa: A robustly optimized BERT pretraining approach", arXiv preprint, 2019.
15. [15] Song K., Tan X., Qin T., Lu J., Liu T.Y., "MPNet: Masked and permuted pre-training for language understanding", Advances in Neural Information Processing Systems, 2020, 33: 16857-16867.
16. [16] Yang Z., Dai Z., Yang Y., Carbonell J., Salakhutdinov R.R., Le Q.V., "XLNet: Generalized autoregressive pretraining for language understanding", Advances in Neural Information Processing Systems, 2019, 32.
17. [17] Clark K., Luong M.T., Le Q.V., Manning C.D., "ELECTRA: Pre-training text encoders as discriminators rather than generators", arXiv preprint, 2020.