Machine Learning-Based Anomaly Detection on a Labelled Cyber-Crime Forensic Dataset

Abstract

Objective: Digital traces are an increasingly common form of evidence, yet the manual review of large activity logs is slow and observer-dependent. This study evaluated whether conventional supervised classification algorithms can separate suspicious from normal user activity in a structured, labelled cyber-crime forensic dataset after the removal of every identified channel of label leakage. Methods: A publicly available, synthetically generated cyber-crime forensic dataset of 7,400 activity records with 11 attributes was used. The anomaly type field, which is recorded only for suspicious records and therefore encodes the outcome, was removed from the data frame. All 1,233 suspicious records and a simple random sample of 1,235 normal records, drawn without any completeness restriction, formed a near-balanced working dataset of 2,468 records. Missing values were imputed with constants computed on the pooled data without reference to the label. After label encoding, the data were split 80/20 and 27 classification algorithms were compared at their default settings; a logistic regression reference model was additionally assessed by five-fold stratified cross-validation, its confusion matrix, and the magnitudes of its coefficients. Results: None of the algorithms performed better than random guessing in any meaningful way. The highest test-set accuracy was 0.581 (perceptron; balanced accuracy 0.569; ROC AUC 0.562), against a chance baseline of 0.462 accuracy and 0.500 balanced accuracy; only five of the 26 algorithms exceeded a balanced accuracy of 0.500, and no ROC AUC exceeded 0.562. Cross-validation of the reference model gave a mean ROC AUC of 0.503 (SD 0.049). No predictor correlated with the label beyond an absolute value of 0.05. By contrast, the same pipeline had produced accuracies up to 0.862 in the balanced design, and perfect scores in 19 of 26 algorithms in an imbalanced diagnostic run, while the leakage channels were open. Conclusion: The classification performance of approximately 86% reported for this dataset was an artefact of label leakage introduced during preprocessing, not evidence of genuine separability. After remediation, the predictors carry no detectable information about the label. The study is reported as a documented case of how leakage can fabricate convincing forensic classifiers.

Keywords

• Forensic Sciences
• Machine Learning
• Data Mining

Supporting Institution

All stages of the study were carried out in accordance with the principles of scientific research and publication ethics set out in the Declaration of Helsinki, as revised in 2000.

Ethical Statement

This study was conducted using a publicly available, synthetically generated dataset. It did not involve human participants or animal subjects, and no records containing identifying information or personal data of real individuals were used. Accordingly, ethics committee approval and informed consent were not required. All stages of the study were carried out in accordance with the principles of scientific research and publication ethics set out in the Declaration of Helsinki, as revised in 2000.

Thanks

Not applicable

Makine Öğrenmesi Tabanlı Anomali Tespiti: Etiketlenmiş Siber Suç Adli Bilişim Veri Kümesi Üzerine Bir Çalışma

Abstract

Amaç: Dijital izler giderek yaygınlaşan bir delil türü olmakla birlikte, büyük etkinlik kayıtlarının elle incelenmesi yavaş ve gözlemciye bağımlıdır. Bu çalışmada, yapılandırılmış ve etiketli bir siber suç adli veri setinde, tespit edilen tüm etiket sızıntısı kanalları kapatıldıktan sonra klasik gözetimli sınıflandırma algoritmalarının şüpheli ve normal kullanıcı etkinliklerini ayırt edip edemediği değerlendirilmiş ve sızıntının aynı analizin önceki sürümlerindeki görünür performansı ne ölçüde şişirdiği nicelenmiştir. Gereç ve Yöntem: Halka açık, sentetik olarak üretilmiş, 7.400 kayıt ve 11 nitelikten oluşan bir siber suç adli veri seti kullanıldı. Yalnızca şüpheli kayıtlarda dolu olan ve bu nedenle sonucu dolaylı olarak kodlayan anomali türü alanı, veri yüklendikten hemen sonra veri çerçevesinden çıkarıldı. Tüm 1.233 şüpheli kayıt ile, eksiksizlik koşulu uygulanmaksızın rastgele örneklenen 1.235 normal kayıt birleştirilerek 2.468 kayıtlık dengeye yakın bir çalışma veri seti oluşturuldu. Eksik değerler, etikete başvurulmaksızın tüm veri üzerinde hesaplanan sabitlerle dolduruldu. Etiket kodlamasının ardından veri %80/%20 oranında bölündü ve 27 sınıflandırma algoritması varsayılan ayarlarıyla karşılaştırıldı; lojistik regresyon referans modeli ayrıca beş katlı tabakalı çapraz doğrulama, karışıklık matrisi ve katsayı büyüklükleri ile değerlendirildi. Bulgular: Hiçbir algoritma şans düzeyini anlamlı biçimde aşmadı. En yüksek test doğruluğu 0,581 idi (perceptron; dengeli doğruluk 0,569; ROC AUC 0,562); şans düzeyini temsil eden kukla sınıflandırıcı 0,462 doğruluk ve 0,500 dengeli doğruluk verdi. 26 algoritmadan yalnızca beşi 0,500 dengeli doğruluğu aştı ve hiçbir ROC AUC değeri 0,562’yi geçmedi. Referans modelin çapraz doğrulaması 0,503 (SS 0,049) ortalama ROC AUC verdi. Hiçbir değişkenin etiketle mutlak korelasyonu 0,05’i aşmadı. Buna karşılık aynı işlem hattı, sızıntı kanalları açıkken dengeli tasarımda 0,862’ye varan doğruluk, dengesiz tanısal koşuda ise 26 algoritmadan 19’unda kusursuz skorlar üretmişti. Sonuç: Bu veri seti için daha önce bildirilen yaklaşık %86’lık sınıflandırma performansı, gerçek ayırt ediciliğin değil ön işleme sırasında oluşan etiket sızıntısının bir ürünüdür; sızıntı giderildikten sonra öznitelikler etikete ilişkin saptanabilir bilgi taşımamaktadır. Çalışma, sızıntının adli uygulamada inandırıcı görünen ancak gerçek olmayan sınıflandırıcılar üretebileceğinin belgelenmiş bir örneği sunulmaktadır.

Keywords

• Adli Bilimler
• Makine Öğrenmesi
• Veri Madenciliği

Supporting Institution

Çalışma için herhangi bir kurum, kuruluş veya kişiden finansal destek alınmamıştır.

Ethical Statement

Çalışmada, kamuya açık olarak paylaşılan ve sentetik yolla üretilmiş bir veri kümesi kullanılmıştır. Çalışma insan katılımcı veya hayvan denekler üzerinde yürütülmemiş, gerçek kişilere ait kimlik bilgisi ya da kişisel veri içeren herhangi bir kayıt kullanılmamıştır. Bu nedenle etik kurul onayı ve bilgilendirilmiş onam gerekliliği doğmamıştır. Çalışmanın tüm aşamalarında, 2000 yılında güncellenen Helsinki Bildirgesi'nde yer alan bilimsel araştırma ve yayın etiği ilkelerine bağlı kalınmıştır.

Thanks

Uygulanabilir değil

References

1. Casey E. Digital Evidence and Computer Crime: Forensic Science, Computers, and the Internet. 3rd ed. Waltham, Massachusetts: Academic Press, 2011: p.187-196.
2. Quick D, Choo KKR. Impacts of increasing volume of digital forensic data: A survey and future research challenges. Digital Investigation 2014;11(4):273-294. doi: https://doi.org/10.1016/j. diin.2014.09.002
3. Studiawan H, Sohel F, Payne C. A survey on forensic investigation of operating system logs. Digital Investigation 2019;29:1-20. doi: https://doi.org/10.1016/j.diin.2019.02.005
4. Ribeiro MT, Singh S, Guestrin C. “Why should I trust you?”: Explaining the predictions of any classifier. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco: ACM, 2016: 1135-1144. doi: https://doi.org/10.1145/2939672.2939778
5. Buczak AL, Guven E. A survey of data mining and machine learning methods for cyber security intrusion detection. IEEE Communications Surveys and Tutorials 2016;18(2):1153-1176. doi: https://doi.org/10.1109/COMST.2015.2494502
6. Chandola V, Banerjee A, Kumar V. Anomaly detection: A survey. ACM Computing Surveys 2009;41(3):1-58. doi: https://doi. org/10.1145/1541880.1541882
7. Ferrag MA, Maglaras L, Moschoyiannis S, Janicke H. Deep learning for cyber security intrusion detection: Approaches, datasets, and comparative study. Journal of Information Security and Applications 2020;50:102419. doi: https://doi.org/10.1016/j.jisa.2019.102419
8. Tavallaee M, Bagheri E, Lu W, Ghorbani AA. A detailed analysis of the KDD CUP 99 data set. In: Proceedings of the Second IEEE Symposium on Computational Intelligence for Security and Defense Applications. Ottawa: IEEE, 2009: 1-6. doi: https://doi.org/10.1109/ CISDA.2009.5356528

9. Sharafaldin I, Habibi Lashkari A, Ghorbani AA. Toward generating a new intrusion detection dataset and intrusion traffic characterization. In: Proceedings of the 4th International Conference on Information Systems Security and Privacy. Funchal: SciTePress, 2018: 108-116. doi: https://doi.org/10.5220/0006639801080116
10. Moustafa N, Slay J. UNSW-NB15: A comprehensive data set for network intrusion detection systems (UNSW-NB15 network data set). In: 2015 Military Communications and Information Systems Conference (MilCIS). Canberra: IEEE, 2015: 1-6. doi: https://doi. org/10.1109/MilCIS.2015.7348942
11. Glasser J, Lindauer B. Bridging the gap: A pragmatic approach to generating insider threat data. In: 2013 IEEE Security and Privacy Workshops. San Francisco: IEEE, 2013: 98-104. doi: https://doi. org/10.1109/SPW.2013.37
12. Chawla NV, Bowyer KW, Hall LO, Kegelmeyer WP. SMOTE: Synthetic minority over-sampling technique. Journal of Artificial Intelligence Research 2002;16:321-357. doi: https://doi.org/10.1613/ jair.953
13. He H, Garcia EA. Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering 2009;21(9):1263- 1284. doi: https://doi.org/10.1109/TKDE.2008.239
14. Kaufman S, Rosset S, Perlich C, Stitelman O. Leakage in data mining: Formulation, detection, and avoidance. ACM Transactions on Knowledge Discovery from Data 2012;6(4):1-21. doi: https://doi. org/10.1145/2382577.2382579
15. Breiman L. Random forests. Machine Learning 2001;45(1):5-32. doi: https://doi.org/10.1023/A:1010933404324
16. Breiman L. Bagging predictors. Machine Learning 1996;24(2):123-140. doi: https://doi.org/10.1007/BF00058655
17. Freund Y, Schapire RE. A decision-theoretic generalization of on- line learning and an application to boosting. Journal of Computer and System Sciences 1997;55(1):119-139. doi: https://doi.org/10.1006/ jcss.1997.1504
18. Cortes C, Vapnik V. Support-vector networks. Machine Learning 1995;20(3):273-297. doi: https://doi.org/10.1007/BF00994018
19. Ke G, Meng Q, Finley T, Wang T, Chen W, Ma W, et al. LightGBM: A highly efficient gradient boosting decision tree. In: Advances in Neural Information Processing Systems 30. Long Beach: Curran Associates, 2017: 3146-3154.
20. Chen T, Guestrin C. XGBoost: A scalable tree boosting system. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco: ACM, 2016: 785-794. doi: https://doi.org/10.1145/2939672.2939785
21. Sokolova M, Lapalme G. A systematic analysis of performance measures for classification tasks. Information Processing and Management 2009;45(4):427-437. doi: https://doi.org/10.1016/j. ipm.2009.03.002
22. Pedregosa F, Varoquaux G, Gramfort A, Michel V, Thirion B, Grisel O, et al. Scikit-learn: Machine learning in Python. Journal of Machine Learning Research 2011;12:2825-2830.
23. Varma S, Simon R. Bias in error estimation when using cross- validation for model selection. BMC Bioinformatics 2006;7:91. doi: https://doi.org/10.1186/1471-2105-7-91
24. Liu FT, Ting KM, Zhou ZH. Isolation forest. In: Proceedings of the Eighth IEEE International Conference on Data Mining. Pisa: IEEE, 2008: 413-422. doi: https://doi.org/10.1109/ICDM.2008.17
25. Saito T, Rehmsmeier M. The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLoS One 2015;10(3):e0118432. doi: https:// doi.org/10.1371/journal.pone.0118432
26. Kapoor S, Narayanan A. Leakage and the reproducibility crisis in machine-learning-based science. Patterns 2023;4(9):100804. doi: https://doi.org/10.1016/j.patter.2023.100804 281