Regime-Aware Deployment Validity of Flow-Based IDS

Abstract

Flow-based intrusion detection studies often report strong benchmark scores, but their relevance to future traffic remains uncertain. This paper treats IDS behavior as regime-dependent and proposes an evaluation protocol under temporal shift, family novelty, and combined shift. Flow-only, context-only, selected-context, and full-context XGBoost variants are evaluated on CICIDS2017 and UNSW-NB15 using regime composition, ablations, bootstrap confidence intervals, five-seed sensitivity for corrected family holdouts, diagnostic score distributions, precision–recall analyses, and approximate runtime. CICIDS2017 random-split performance is near perfect, whereas future and family-novel regimes differ sharply. Selected graph-derived context improves Thursday web OOD and combined shift, while full context can reduce transfer. Friday botnet distribution shift and the botnet-family holdout remain severe failures, with zero F1 and recall for several feature sets. In contrast, the record-disjoint UNSW-NB15 Generic/Exploits holdout remains strong for the flow-only model, showing that OOD difficulty is regime-dependent. The results demonstrate that high random-split performance does not establish deployment readiness; temporal evaluation can also mislead when attack-family structure is not separated, and graph-context transfer varies by feature set and operating regime.

Keywords

• Network intrusion detection
• flow-based IDS
• temporal shift
• out-of-distribution detection
• graph-based context

Akış Tabanlı Saldırı Tespit Sistemlerinin Rejime Duyarlı Dağıtım Geçerliliği

Abstract

Akış tabanlı saldırı tespit çalışmaları güçlü kıyaslama sonuçları bildirse de bu sonuçların gelecekteki trafik koşullarına aktarılabilirliği belirsizdir. Bu makale, IDS davranışını rejime bağlı ele almakta ve zamansal kayma, saldırı ailesi yeniliği ve birleşik kayma altında bir değerlendirme protokolü önermektedir. CICIDS2017 ve UNSW-NB15 üzerinde yalnızca akış, yalnızca bağlam, seçilmiş bağlam ve tam bağlam kullanan XGBoost varyantları; rejim bileşimi, ablasyonlar, yeniden örneklemeye dayalı güven aralıkları, düzeltilmiş aile-dışlama deneyleri için beş tohumlu duyarlılık analizi, skor dağılımları, kesinlik-duyarlılık eğrileri ve yaklaşık çalışma süreleriyle değerlendirilmiştir. CICIDS2017 rastgele bölme başarımı neredeyse kusursuzken, gelecek ve aile-yeni rejimler keskin biçimde ayrışmaktadır. Seçilmiş çizge tabanlı bağlam Perşembe web OOD ve birleşik kaymada başarımı artırırken tam bağlam aktarımı azaltabilmektedir. Cuma botnet dağılım kayması ve botnet ailesi dışlama ayarları, bazı özellik kümelerinde sıfır F1 ve duyarlılıkla ağır başarısızlık göstermektedir. Buna karşılık, kayıtları çakışmayan UNSW-NB15 Generic/Exploits dışlama ayrımında yalnızca akış modeli güçlü kalmış ve dağılım dışı zorluğun rejime bağlı olduğunu göstermiştir. Bulgular, yüksek rastgele bölme başarımının dağıtım hazırlığını kanıtlamadığını; saldırı ailesi yapısı ayrıştırılmadığında zamansal değerlendirmenin yanıltıcı olabildiğini ve çizge bağlamının aktarımının özellik kümesi ile çalışma rejimine göre değiştiğini göstermektedir.

Keywords

• Ağ saldırı tespiti
• akış tabanlı saldırı tespiti
• zamansal kayma
• dağılım dışı tespit
• çizge tabanlı bağlam

References

1. Denning DE. An intrusion-detection model. IEEE Trans Softw Eng. 1987;SE-13(2):222–32. doi:10.1109/TSE.1987.232894
2. Debar H, Dacier M, Wespi A. Towards a taxonomy of intrusion-detection systems. Comput Netw. 1999;31(8):805–22. doi:10.1016/S1389-1286(98)00017-6
3. Liao HJ, Lin CHR, Lin YC, Tung KY. Intrusion detection system: A comprehensive review. J Netw Comput Appl. 2013;36(1):16–24. doi:10.1016/j.jnca.2012.09.004
4. Umer MF, Sher M, Bi Y. Flow-based intrusion detection: Techniques and challenges. Comput Secur. 2017;70:238–54. doi:10.1016/j.cose.2017.05.009
5. Yang Z, Liu X, Li T, Wu D, Wang J, Zhao Y, et al. A systematic literature review of methods and datasets for anomaly-based network intrusion detection. Comput Secur. 2022;116:102675. doi:10.1016/j.cose.2022.102675
6. Moustafa N, Slay J. The evaluation of network anomaly detection systems: Statistical analysis of the UNSW-NB15 data set and the comparison with the KDD99 data set. Inf Secur J Glob Perspect. 2016;25(1–3):18–31. doi:10.1080/19393555.2015.1125974
7. Bilot T, El Madhoun N, Al Agha K, Zouaoui A. Graph neural networks for intrusion detection: A survey. IEEE Access. 2023;11:49114–39. doi:10.1109/ACCESS.2023.3275789
8. Zhong M, Lin M, Zhang C, Xu Z. A survey on graph neural networks for intrusion detection systems: Methods, trends and challenges. Comput Secur. 2024;141:103821. doi:10.1016/j.cose.2024.103821

9. Viegas EK, Santin AO, Oliveira LS. Toward a reliable anomaly-based intrusion detection in real-world environments. Comput Netw. 2017;127:200–16. doi:10.1016/j.comnet.2017.08.013
10. Habeeb MS, Babu TR. Network intrusion detection system: A survey on artificial intelligence-based techniques. Expert Syst. 2022;39(9):e13066. doi:10.1111/exsy.13066
11. Baykara M, Daş R. A novel honeypot-based security approach for real-time intrusion detection and prevention systems. J Inf Secur Appl. 2018;41:103–16. doi:10.1016/j.jisa.2018.06.004
12. Daş R, Bitikçi B. Analysis of different types of network attacks on the GNS3 platform. Sakarya Univ J Comput Inf Sci. 2020;3(3):210–30. doi:10.35377/saucis.03.03.721364
13. Silva Filho T, Song H, Perello-Nieto M, Santos-Rodriguez R, Kull M, Flach P. Classifier calibration: A survey on how to assess and improve predicted class probabilities. Mach Learn. 2023;112(9):3211–60. doi:10.1007/s10994-023-06336-7
14. Vovk V, Gammerman A, Shafer G. Algorithmic learning in a random world. New York: Springer; 2005. doi:10.1007/b106715
15. Shafer G, Vovk V. A tutorial on conformal prediction. J Mach Learn Res [Internet]. 2008;9(12):371–421. Available from: https://jmlr.org/papers/v9/shafer08a.html
16. Fontana M, Zeni G, Vantini S. Conformal prediction: A unified review of theory and new challenges. Bernoulli. 2023;29(1):1–23. doi:10.3150/21-BEJ1447
17. Moreno-Torres JG, Raeder T, Alaiz-Rodríguez R, Chawla NV, Herrera F. A unifying view on dataset shift in classification. Pattern Recognit. 2012;45(1):521–30. doi:10.1016/j.patcog.2011.06.019
18. Zhou K, Liu Z, Qiao Y, Xiang T, Loy CC. Domain generalization: A survey. IEEE Trans Pattern Anal Mach Intell. 2023;45(4):4396–415. doi:10.1109/TPAMI.2022.3195549
19. Gama J, Žliobaitė I, Bifet A, Pechenizkiy M, Bouchachia A. A survey on concept drift adaptation. ACM Comput Surv. 2014;46(4):1–37. doi:10.1145/2523813
20. Bentéjac C, Csőrgő A, Martínez-Muñoz G. A comparative analysis of gradient boosting algorithms. Artif Intell Rev. 2021;54:1937–67. doi:10.1007/s10462-020-09896-5