Examining the Ethical Risks of Generative AI in Cybersecurity: An Experimental Study on Ethical, Gray Area and Unethical Usage Scenarios

Abstract

Generative AI(GenAI) systems, which are among the emerging artificial intelligence technologies, have started to play an important role in the field of cyber security for both defense and attack purposes. This study aims to systematically analyze the ethical risks of GenAI in cybersecurity. In the study, firstly, a literature review on the usage areas of GenAI in cybersecurity was conducted, then ethical, gray area and unethical usage scenarios were developed and applied experiments were carried out. Each scenario was tested separately using large language models(LLM) such as OpenAI ChatGPT and DeepSeek, and metrics such as accuracy rates, false positive rates and ethical risks were analyzed. The applied results have shown that GenAI-based systems can achieve high accuracy rates in early detection of security threats, but at the same time, they can cause serious ethical issues such as individual privacy violations, misleading content production, and malicious use. The findings of the study emphasize the need for stronger policy regulations, technical limitations, and ethical frameworks to ensure the safe and ethical use of Generative AI technologies in cybersecurity. The results also provide significant contributions to the academic literature and practitioners on how GenAI systems should be managed from both defensive and offensive perspectives.

Keywords

• Generative AI
• Cybersecurity
• Ethical Risks
• Gray Area Uses
• Artificial Intelligence Security

Generative AI’nin Siber Güvenlik Alanındaki Etik Risklerinin İncelenmesi: Etik, Gri Alan ve Etik Dışı Kullanım Senaryoları Üzerine Deneysel Bir Çalışma

Abstract

Gelişen yapay zekâ teknolojileri arasında yer alan Generative AI (GenAI) sistemleri, siber güvenlik alanında hem savunma hem de saldırı amaçlı olarak önemli bir rol oynamaya başlamıştır. Bu çalışma, GenAI’nin siber güvenlik alanındaki etik risklerini sistematik bir şekilde analiz etmeyi amaçlamaktadır. Çalışmada öncelikle GenAI’nin siber güvenlikteki kullanım alanlarına yönelik literatür taraması yapılmış, ardından etik, gri alan ve etik dışı kullanım senaryoları geliştirilerek uygulamalı deneyler gerçekleştirilmiştir. OpenAI ChatGPT ve DeepSeek gibi büyük dil modelleri (LLM) kullanılarak her senaryo ayrı ayrı test edilmiş; doğruluk oranları, yanlış pozitif oranları ve etik riskler gibi metrikler analiz edilmiştir. Uygulamalı sonuçlar, GenAI tabanlı sistemlerin, güvenlik tehditlerini erken tespit etmede yüksek doğruluk oranlarına ulaşabildiğini ancak aynı zamanda bireysel gizlilik ihlalleri, yanıltıcı içerik üretimi ve kötü amaçlı kullanım gibi ciddi etik sorunlar doğurabileceğini göstermiştir. Çalışmanın bulguları, Generative AI teknolojilerinin siber güvenlikte güvenli ve etik kullanımını sağlamak için daha güçlü politika düzenlemeleri, teknik sınırlamalar ve etik çerçevelerin geliştirilmesi gerektiğini vurgulamaktadır. Elde edilen sonuçlar ayrıca, hem savunma hem de saldırı perspektiflerinden GenAI sistemlerinin nasıl yönetilmesi gerektiğine dair akademik literatüre ve uygulayıcılara önemli katkılar sunmaktadır.

Keywords

• Generative AI
• Siber Güvenlik
• Etik Riskler
• Gri Alan Kullanımları
• Yapay Zeka Güvenliği

References

1. Agrawal, G., Kaur, A., & Myneni, S, 2024. A Review of Generative Models in Generating Synthetic Attack Data for Cybersecurity. Electronics, 13(2), 322. https://doi.org/10.3390/electronics13020322 .
2. Akıllı, M., & Şimşek, M., 2024. Dijital Diplomaside Büyük Dil Modelleri: Fırsatlar ve Riskler. İnsan ve Toplum, 12(1), 1-20. https://dergipark.org.tr/tr/download/article-file/4422215Home+4Home+4Home+4.
3. Al-kfairy, M., Mustafa, D., Kshetri, N., Insiew, M., & Alfandi, O., 2024. Ethical challenges and solutions of generative AI: An interdisciplinary perspective. Informatics, 11(3), 58. https://doi.org/10.3390/informatics11030058.
4. Gupta, M., Akiri, C., Aryal, K., Parker, E., & Praharaj, L., 2023. From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy. arXiv preprint arXiv:2307.00691.arXiv+1Wikipedia+1.
5. Hagendorff, T., 2024. Mapping the ethics of generative AI: A comprehensive scoping review. Minds and Machines, 34(39). https://doi.org/10.1007/s11023-024-09694-w .
6. Humphreys, D., Koay, A., Desmond, D. et al., 2024. AI hype as a cyber security risk: the moral responsibility of implementing generative AI in business. AI Ethics 4, 791–804. https://doi.org/10.1007/s43681-024-00443-4.
7. I. Hasanov, S. Virtanen, A. Hakkala and J. Isoaho, 2024. Application of Large Language Models in Cybersecurity: A Systematic Literature Review, in IEEE Access, vol. 12, pp. 176751-176778, doi: 10.1109/ACCESS.2024.3505983.
8. IBM. 2024. Navigating the ethics of AI in cybersecurity. IBM Think. https://www.ibm.com/think/insights/navigating-ethics-ai-cybersecurityIBM - United StatesNTT Data. (2024). Security Risks of Generative AI and Countermeasures. https://www.nttdata.com/global/en/insights/focus/2024/security-risks-of-generative-ai-and-countermeasuresnttdata.com.

9. Karadeniz, S., 2025. Avrupa Birliği Yapay Zekâ Kanunu’nun Risk Grupları ve İlgililerin Yükümlülükleri. Hukuk Fakültesi Dergisi, 29(1), 273-338. https://dergipark.org.tr/tr/download/article-file/4181598Home+2Home+2Home+2.
10. Kasri, W., Himeur, Y., Alkhazaleh, H. A., Tarapiah, S., Atalla, S., Mansoor, W., & Al-Ahmad, H., 2025. From Vulnerability to Defense: The Role of Large Language Models in Enhancing Cybersecurity. Computation, 13(2), 30. https://doi.org/10.3390/computation13020030 .
11. Nadella, G. S., Addula, S. R., Yadulla, A. R., Sajja, G. S., Meesala, M., Maturi, M. H., Meduri, K., & Gonaygunta, H., 2025. Generative AI-enhanced cybersecurity framework for enterprise data privacy management. Computers, 14(2), 55. https://doi.org/10.3390/computers14020055.
12. Novelli, C. et al., 2024. Generative AI in EU law: liability, privacy, intellectual property, and cybersecurity. Comput. Law Secur. Rev. 55, 106066.
13. R. Pasupuleti, R. Vadapalli and C. Mader, 2023. Cyber Security Issues and Challenges Related to Generative AI and ChatGPT. International Conference on Social Networks Analysis, Management and Security (SNAMS), Abu Dhabi, United Arab Emirates, 2023, pp. 1-5, doi: 10.1109/SNAMS60348.2023.10375472.
14. Raman, R., Calyam, P., & Achuthan, K., 2024. ChatGPT or Bard: Who is a better Certified Ethical Hacker? Computers & Security, 140, 103804. https://doi.org/10.1016/j.cose.2024.103804.
15. S. Sai, U. Yashvardhan, V. Chamola and B. Sikdar, 2024. Generative AI for Cyber Security: Analyzing the Potential of ChatGPT, DALL-E, and Other Models for Enhancing the Security Space, in IEEE Access, vol. 12, pp. 53497-53516, 2024, doi: 10.1109/ACCESS.2024.338510.
16. Shibli, A. M., Pritom, M. M. A., & Gupta, M., 2024. AbuseGPT: Abuse of Generative AI ChatBots to Create Smishing Campaigns. arXiv preprint arXiv:2402.09728.arXiv.
17. Tabassum, A., Elmahjub, E., Padela, A. I., Zwitter, A., & Qadir, J., 2025. Generative AI and the metaverse: A scoping review of ethical and legal challenges. IEEE Open Journal of the Computer Society, 6, 348–359. https://doi.org/10.1109/OJCS.2025.3536082 .
18. Tufan, B. N., 2024. Yapay Zekâ ve Suç: Gelecek Açısından Hukuksal ve Etik Tehditler. Medeniyet Belleten, 12(1), 1-20. https://dergipark.org.tr/tr/download/article-file/4367943.
19. Turgut Bilgiç, E., 2024. Genel Veri Koruma İlkelerinin Yapay Zekâ Karşısında Uygulanabilirliği. Hukuk ve Adalet Eleştirel Hukuk Dergisi, 15(57), 273-290. https://dergipark.org.tr/en/download/article-file/3654085.
20. Usman, Y., Upadhyay, A., Gyawali, P., & Chataut, R., 2024. Is Generative AI the Next Tactical Cyber Weapon For Threat Actors? Unforeseen Implications of AI Generated Cyber Attacks. arXiv preprint arXiv:2408.12806.
21. Ümütlü, A. Y.,2025. Algoritmik Adalet: Uluslararası Hukukta Yapay Zeka Hakimliği. Selçuk Üniversitesi Hukuk Fakültesi Dergisi, 33(1), 777-815. https://dergipark.org.tr/tr/pub/suhfd/issue/91009/1637446.