Attack Behavior and Detectable Viability of Orphan Processes in Linux Systems: A Laboratory-Based Analysis

Abstract

Process management in Linux systems is a critical layer for system security and incident response. Orphan processes are often considered a natural result of operating system behavior. However, this behavior may weaken process tree visibility in attack-like execution flows. This study examines the attack behavior and detectability of orphan processes in Linux systems within a controlled laboratory environment. The experimental application was conducted on Kali Linux. A Python-based simulation was developed by using fork(), setsid(), and execv() system calls. The parent process was terminated. The final worker process was reparented under init/systemd. Thus, the PPID=1 behavior was produced. The worker process was configured to listen on a local TCP port and hold a file resource. The collected outputs were analyzed through JSON event logs, /proc/[pid]/status, ps, pstree, ss, lsof, and auditd. The findings showed that the worker process remained active after becoming orphaned. The same process listened on 127.0.0.1:18080. It also kept the /tmp/pro_orphan_resource.lock file open. Cross-view analysis produced consistent results across all observation sources. In the score-based evaluation, the anomaly score was calculated as 100/100. The results show that PPID=1 is not sufficient as a standalone indicator. Orphan process detection should combine event timelines, process trees, open sockets, file descriptors, and cross-view evidence.

Keywords

• Orphan processes
• Linux process management
• Process tree analysis
• Resource holding
• Cross-view detection

Supporting Institution

This study did not receive support from any institution or organization.

Ethical Statement

No data were collected, processed, or analyzed from human participants, institutions, or third-party sources within the scope of this study. Therefore, ethical approval was not required.

Thanks

We would like to thank Lecturer Mehmet Sarıgil for his contributions to this study.

Linux Sistemlerde Yetim Proseslerin Saldırı Davranışı ve Tespit Edilebilirliği: Laboratuvar Tabanlı Bir Analiz

Abstract

Linux sistemlerde proses yönetimi, sistem güvenliği ve olay müdahalesi açısından kritik bir katmandır. Yetim prosesler çoğu zaman işletim sisteminin doğal bir sonucu olarak görülmektedir. Ancak bu davranış, saldırı-benzeri süreçlerde süreç ağacı görünürlüğünü zayıflatabilir. Bu çalışmada, Linux sistemlerde yetim proseslerin saldırı davranışı ve tespit edilebilirliği kontrollü bir laboratuvar ortamında incelenmiştir. Deneysel uygulama Kali Linux üzerinde gerçekleştirilmiştir. Python tabanlı simülasyonda fork(), setsid() ve execv() çağrıları kullanılmıştır. Parent proses sonlandırılmıştır. Final worker proses init/systemd altında yeniden ebeveynlenmiştir. Böylece PPID=1 davranışı üretilmiştir. Worker prosesin lokal TCP portu dinlemesi ve dosya kaynağı tutması sağlanmıştır. Elde edilen çıktılar JSON olay kayıtları, /proc/[pid]/status, ps, pstree, ss, lsof ve auditd üzerinden analiz edilmiştir. Bulgular, worker prosesin yetim hâle geldikten sonra aktif kaldığını göstermiştir. Aynı prosesin 127.0.0.1:18080 adresinde port tuttuğu belirlenmiştir. Ayrıca /tmp/pro_orphan_resource.lock dosyasını açık tuttuğu doğrulanmıştır. Çapraz görünüm analizi tüm gözlem kaynaklarında tutarlı sonuç vermiştir. Skor tabanlı değerlendirmede anomali skoru 100/100 olarak hesaplanmıştır. Sonuçlar, PPID=1 bilgisinin tek başına yeterli olmadığını göstermektedir. Yetim proses tespiti için olay zaman çizelgesi, süreç ağacı, açık soketler, dosya tanımlayıcıları ve çapraz görünüm kanıtları birlikte değerlendirilmelidir.

Keywords

• Yetim prosesler
• Linux süreç yönetimi
• Süreç ağacı analizi
• Kaynak tutma
• Çapraz görünüm tespiti

Supporting Institution

Bu çalışma herhangi bir kurum veya kuruluş tarafından desteklenmemiştir.

Ethical Statement

Bu çalışma kapsamında insan katılımcılardan, kurumlardan veya üçüncü taraf kaynaklardan herhangi bir veri toplanmamış, işlenmemiş ya da analiz edilmemiştir. Bu nedenle etik kurul onayı gerekmemektedir.

Thanks

Çalışmaya katkılarından dolayı Öğr. Gör. Mehmet Sarıgil’e teşekkür ederiz.

References

1. [1] H. Kim, “A Survey of Trust Chain in Secure Embedded Systems: From Secure Boot to TEE Applications”, IEEE Access, c. 14, Nis. 2026, doi: 10.1109/ACCESS.2026.3685017.
2. [2] A. Shameli-Sendi, “Understanding Linux Kernel Vulnerabilities”, Journal of Computer Virology and Hacking Techniques, c. 17, sy 4, ss. 265-278, Ara. 2021, doi: 10.1007/S11416-021-00379-X/METRICS.
3. [3] M. Kerrisk, The Linux Programming Interface: A Linux and UNIX System Programming Handbook. No Starch Press, 2010.
4. [4] M. Krishnaveni ve R. Durairaj, “Comparing and Evaluating the Performance of Inter Process Communication Models in Linux Environment”, ss. 51-55, Eki. 2016.
5. [5] Z. Jia, S. Li, T. Yu, X. Liao, ve J. Wang, “Automatically Detecting Missing Cleanup for Ungraceful Exits”, ESEC/FSE 2019 - Proceedings of the 2019 27th ACM Joint Meeting European Software Engineering Conference and Symposium on the Foundations of Software Engineering, c. 19, ss. 751-762, Ağu. 2019, doi: 10.1145/3338906.3338938.
6. [6] M. Daghmehchi Firoozjaei, S. Samet, ve A. A. Ghorbani, “Parent Process Termination: An Adversarial Technique for Persistent Malware”, Journal of Cyber Security Technology, c. 8, sy 2, ss. 120-145, Nis. 2024, doi: 10.1080/23742917.2023.2246229.
7. [7] H. Tang, S. S. Kolahi, ve L. Thompson, “Evaluation of HTTP Flood DDoS Cyber Attack on Apache2 Web Server with Linux Ubuntu 22.04”, içinde 2023 IEEE International Conference on Computing, ICOCO 2023, Institute of Electrical and Electronics Engineers Inc., 2023, ss. 53-58. doi: 10.1109/ICOCO59262.2023.10398152.
8. [8] R. Adila, H. Studiawan, ve F. Breitinger, “Forensic Event Reconstruction with Process Mining”, IEEE Access, c. 14, ss. 18964-18985, Şub. 2026, doi: 10.1109/ACCESS.2026.3660165.

9. [9] T. Nguyen, M. Orenbach, ve A. Atamli, “Live System Call Trace Reconstruction on Linux”, Forensic Science International: Digital Investigation, c. 42, s. 301398, Tem. 2022, doi: 10.1016/J.FSIDI.2022.301398.
10. [10] D.-Y. Yeung ve Y. Ding, “Host-Based Intrusion Detection Using Dynamic and Static Behavioral Models”, Pattern Recognit., c. 36, sy 1, ss. 229-243, Oca. 2003, doi: 10.1016/S0031-3203(02)00026-2.
11. [11] P. C. Huang, C. H. Mao, ve C. M. Lai, “AegisGuard: A Context-Aware Framework for Semantic Vulnerability Detection and Risk Stratification”, IEEE Access, ss. 26538-26551, Şub. 2026, doi: 10.1109/ACCESS.2026.3663577.
12. [12] H. A., ForrestStephanie, ve SomayajiAnil, “Intrusion Detection Using Sequences of System Calls”, J. Comput. Secur., c. 6, sy 3, ss. 151-180, Ağu. 1998, doi: 10.5555/1298081.1298084.
13. [13] C. Warrender, S. Forrest, ve B. Pearlmutter, “Detecting Intrusions Using System Calls: Alternative Data Models”, içinde Proceedings of the 1999 IEEE Symposium on Security and Privacy (Cat. No.99CB36344), May. 1999, ss. 133-145. doi: 10.1109/SECPRI.1999.766910.
14. [14] F. Maggi, M. Matteucci, ve S. Zanero, “Detecting Intrusions Through System Call Sequence and Argument Analysis”, IEEE Trans. Dependable Secure Comput., c. 7, sy 4, ss. 381-395, Kas. 2010, doi: 10.1109/TDSC.2008.69.
15. [15] Y. Zhang, S. Luo, L. Pan, ve H. Zhang, “Syscall-BSEM: Behavioral Semantics Enhancement Method of System Call Sequence for High Accurate and Robust Host Intrusion Detection”, Future Generation Computer Systems, c. 125, ss. 112-126, Ara. 2021, doi: 10.1016/J.FUTURE.2021.06.030.
16. [16] G. Duan, Y. Fu, M. Cai, H. Chen, ve J. Sun, “DongTing: A Large-Scale Dataset for Anomaly Detection of the Linux Kernel”, Journal of Systems and Software, c. 203, s. 111745, Eyl. 2023, doi: 10.1016/J.JSS.2023.111745.
17. [17] F. J. Mora-Gimeno, H. Mora-Mora, B. Volckaert, ve A. Atrey, “Intrusion Detection System Based on Integrated System Calls Graph and Neural Networks”, IEEE Access, c. 9, ss. 9822-9833, 2021, doi: 10.1109/ACCESS.2021.3049249.
18. [18] V. Şahin, F. Arat, ve S. Akleylek, “Anomaly Detection with API Calls by Using Machine Learning: Systematic Literature Review”, Current Trends in Computing, c. 2, sy 1, ss. 60-85, Ağu. 2024.
19. [19] İ. Şanlialp ve M. Yıldız, “Sistem Çağrısı Verilerinde Derin Öğrenme Mimarileri Kullanılarak Anomali Tespitinin Değerlendirilmesi: Performans ve Enerji Verimliliği”, Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi, c. 29, sy 2, ss. 388-396, Ağu. 2025, doi: 10.19113/SDUFENBED.1655066.
20. [20] Z. T. Sworna, Z. Mousavi, ve M. A. Babar, “NLP Methods in Host-Based Intrusion Detection Systems: A Systematic Review and Future Directions”, Journal of Network and Computer Applications, c. 220, s. 103761, Kas. 2023, doi: 10.1016/J.JNCA.2023.103761.
21. [21] M. Mamun ve S. Buffett, “TapTree: Process-Tree Based Host Behavior Modeling and Threat Detection Framework via Sequential Pattern Mining”, içinde Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Springer Science and Business Media Deutschland GmbH, Ağu. 2022, ss. 546-565. doi: 10.1007/978-3-031-15777-6_30/SAVE-RESEARCH.
22. [22] R. Patil, S. Muneeswaran, V. Sachidananda, ve M. Gurusamy, “E-Audit: Distinguishing and Investigating Suspicious Events for APTs Attack Detection”, Journal of Systems Architecture, c. 144, s. 102988, Kas. 2023, doi: 10.1016/J.SYSARC.2023.102988.
23. [23] J. Jiang, H. Chu, ve D. Tian, “A Novel Host-Based Intrusion Detection Approach Leveraging Audit Logs”, Future Generation Computer Systems, c. 174, s. 107995, Oca. 2026, doi: 10.1016/J.FUTURE.2025.107995.
24. [24] C. Brierley, J. Pont, B. Arief, D. Barnes, ve J. Hernandez-Castro, “Persistence in Linux-Based IoT Malware”, içinde Secure IT Systems, 2021, ss. 3-19. doi: 10.1007/978-3-030-70852-8_1.
25. [25] W. Han, J. Xue, Y. Wang, F. Zhang, ve X. Gao, “APTMalInsight: Identify and Cognize APT Malware Based on System Call Information and Ontology Knowledge Framework”, Inf. Sci. (N. Y)., c. 546, ss. 633-664, Şub. 2021, doi: 10.1016/J.INS.2020.08.095.
26. [26] J. Carrillo-Mondéjar, J. L. Martínez, ve G. Suarez-Tangil, “Characterizing Linux-Based Malware: Findings and Recent Trends”, Future Generation Computer Systems, c. 110, ss. 267-281, Eyl. 2020, doi: 10.1016/J.FUTURE.2020.04.031.
27. [27] S. Eresheim, R. Luh, ve S. Schrittwieser, “The Evolution of Process Hiding Techniques in Malware - Current Threats and Possible Countermeasures”, Journal of Information Processing, c. 25, ss. 866-874, Eyl. 2017, doi: 10.2197/IPSJJIP.25.866.
28. [28] J. Stühn, J. N. Hilgert, ve M. Lambertz, “The Hidden Threat: Analysis of Linux Rootkit Techniques and Limitations of Current Detection Tools”, Digital Threats: Research and Practice, c. 5, sy 3, Eki. 2024, doi: 10.1145/3688808/ASSET/E8ABBFB0-1D34-4579-9517-C30E35FBD1AD/ASSETS/IMAGES/LARGE/DTRAP-2024-0028-F03.JPG.
29. [29] “sinanozcelikk/orphan-process”. Erişim: 16 Mayıs 2026. [Çevrimiçi]. Erişim adresi: https://github.com/sinanozcelikk/orphan-process
30. [30] H. Satılmış ve S. Akleylek, “Sistem Çağrı Dizileri Kullanarak Ana Bilgisayar Tabanlı Saldırı Tespit Sistemlerinin Geliştirilmesi”, Bilgisayar Bilimleri ve Mühendisliği Dergisi, c. 19, sy 1, ss. 67-81, Şub. 2026, doi: 10.54525/BBMD.1797760.
31. [31] P. Maciolek, P. Krol, ve J. Kozlak, “Probabilistic Anomaly Detection Based On System Calls Analysis”, Computer Science, c. 8, Oca. 2007, doi: 10.7494/csci.2007.8.3.93.
32. [32] S. Wang vd., “THREATRACE: Detecting and Tracing Host-Based Threats in Node Level Through Provenance Graph Learning”, IEEE Transactions on Information Forensics and Security, c. 17, ss. 3972-3987, 2022, doi: 10.1109/TIFS.2022.3208815.
33. [33] O. Setayeshfar, C. Adkins, M. Jones, K. H. Lee, ve P. Doshi, “GrAALF: Supporting Graphical Analysis of Audit Logs for Forensics”, Software Impacts, c. 8, s. 100068, May. 2021, doi: 10.1016/J.SIMPA.2021.100068.
34. [34] H. Satilmis, S. Akleylek, ve Z. Y. Tok, “A Systematic Literature Review on Host-Based Intrusion Detection Systems”, IEEE Access, c. 12, ss. 27237-27266, 2024, doi: 10.1109/ACCESS.2024.3367004.