GERÇEK ZAMANLI VERİ AKIŞLARINDA OTOMATİK ANORMALLİK TESPİTİ: FİNANSAL TEKNOLOJİLER ŞİRKETİNDE BİR UYGULAMA

Year 2024, Volume: 2 Issue: 1, 13 - 23, 30.06.2024

Dicle Aslan

Abstract

Anormallikler, normal desenlere uymayan veri örnekleridir. Kötü amaçlı yazılım, dolandırıcılık, siber saldırı, terörist faaliyetler, hatalar, sistem davranışı değişiklikleri, araç ve insan hataları gibi çeşitli nedenler anormallikler oluşturabilir. Anomali tespiti, verilerde beklenmeyen durumların veya desenlerin bulunmasını sağlayan bir tekniktir. Bu beklenmeyen durumlar veya desenler, literatürde verinin beklenen davranışına uymayan anormallikler, aykırı değerler ve beklenmeyen durumlar olarak adlandırılır. Endüstriler için kritik bir görev olan anormallik tespiti için çeşitli araştırmalar ve uygulamalar yapılmaktadır. Literatürdeki anormallik tespitiyle ilgili çalışmalar genellikle güvenlik ve hata bulma faaliyetleri için sistem oluşturmaya çalışmaktadır. Bankacılık ve finans sektöründe, sağlık, üretim, bilişim teknolojileri ve telekomünikasyon, savunma ve hükümet gibi IoT cihazlarının artması, anormallik tespiti pazarını artırabilir. Bu endüstriler düzenli olarak önemli verilerle uğraşır ve suçluların firma altyapısı üzerinde kontrol sahibi olmalarına neden olan ciddi dolandırıcılık, hırsızlık ve saldırılarına karşı savunmasız olabilirler. Anormalliği tahmin etmek için denetimli, yarı denetimli ve denetimsiz birçok öğrenme yöntemi bulunmaktadır. Geleneksel bir yöntem olarak, anormallikler sabit eşik seviyesine göre alarm verilebilir. Bu yaklaşım tatmin edici ve doğru bir sonuç sağlamayabilir. Bu kapsamda, bu çalışma, Türkiye'de ödeme sistemleri sektöründe lider olan bir firmanın işletme platformu için otomatik bir anormallik tespit sistemi oluşturma konseptini önermektedir. Python'da geliştirilen İzolasyon Ormanı algoritmasını kullanarak bu sistem sayesinde Finansal Teknolojiler şirketinde, sistemdeki anormal veriler anlık olarak tespit edilmektedir. Bu çalışmada, işletme platformunu entegre etmek için, EFT-POS cihazlarındaki bankacılık uygulamalarının silinme verilerini inceledik ve anormalliği tespit ettik. Bu tespit, Finansal Teknolojiler alanında yer alan firmanın 2023 yılının son çeyreğinde bankalar ve müşterilere hemen ulaşarak cihazlardaki bankacılık uygulamalarının %50'den fazlasının silinmesini engellemesine yardımcı oldu.

Keywords

Anormallik Tespiti, Denetimsiz Öğrenme, Finansal Teknolojiler, İzolasyon Ormanı, Ödeme Sistemleri, Topluluk Öğrenmesi

AUTOMATED ANOMALY DETECTION IN REAL-TIME DATA STREAMS: AN APPLICATION AT FINANCIAL TECHNOLOGIES COMPANY

Abstract

Abnormalities are sample in data that do not fit the normal patterns. Various reasons such as malware, fraud, cyber-attack, terrorist activities, faults, system behavior changes, instrument and human error might generate abnormalities. Anomaly detection is a technique that provides unexpected situations or patterns to be found in the data. These unexpected situations or patterns are called as anomalies, outliers and unexpected cases in the literature that do not fit to the expected behavior of the data. Diverse research and applications have been carried out for the anomaly detection which is a critical task for the industries. The studies about the anomaly detection in the literature are mostly trying to build the system for security and error finding activities. Increasing IoT devices in the banking and finance sector, healthcare, manufacturing, IT and telecom, defense and government might drive the anomaly detection market. These industries regularly deal with the important data, enabling criminals to be prone to serious fraud, theft, and attacks that give them control over the firm's infrastructure. To predict the anomaly, there are numerous learning methods as supervised, semi-supervised and unsupervised. As a traditional method, anomalies might be alarmed according to fixed threshold-level. This approach might not be having satisfied and accurate outcome. In this scope, this paper proposes a novel concept as building automated anomaly detector system for business operation platform at Financial Technologies company which is a leader in payment systems industry in Turkey by using Isolation Forest algorithm developed in Python. Thanks to this system, abnormal data in the system might be detected in real time. In this study, to integrate the business operation platform, we have firstly examined the data of deleting banking applications on the EFT-POS devices and detected the anomaly. The detection helped the company to save more than 50% of the banking applications on the devices from deletion by contacting banks and customers instantly in the last quarter of 2023.

Keywords

Anomaly Detection, Ensemble Methods, Isolation Forest, Outlier Detection, Payment Systems, Unsupervised Learning, Financial Technologies

References

• [1] Chandola, V., Banerjee, A. & Kumar, V. Anomaly Detection: A Survey. ACM Computing Surveys. 15, 1-72, 2009.
• [2] Hodge, V. J., &Austin, J. A Survey of Outlier Detection Methodologies. Artificial Intelligence Review. 13-18, 2004.
• [3] Agyemang, M., Barker, K. & Alhajj, R. A comprehensive survey of numeric and symbolic outlier mining techniques. Intelligent Data Analysis. 10, 521-538, 2006.
• [4] Markou, M. & Singh, Sameer. Novelty detection: a review-part 1: statistical approaches. Signal Processing. 83, 2481-2497, 2003.
• [5] Markou, M. & Singh, Sameer. Novelty detection: a review-part 2: neural network based approaches. Signal Processing. 83, 2499-2521, 2003.
• [6] Patcha, A. & Park, J-M. An overview of anomaly detection techniques: Existing solutions and latest technological trends. Computer Networks. 51, 3448-3470, 2007.
• [7] Hasan, M., Islam, M., Zarif, I. I., & Hashem, M. M. A. Attack and anomaly detection in IoT sensors in IoT sites using machine learning approaches. Internet of Things, 7, 1-14, 2019.
• [8] Huch, F., Golagha, M., Petrovska, A., & Krauss, A. Machine Learning-Based Run-Time Anomaly Detection in Software Systems: An Industrial Evaluation. IEEE Workshop on Machine Learning Techniques for Software Quality Evaluation (MaLTeSQuE). 13-18, 2018.
• [9] Pacheco, J. & Hariri, S. Anomaly behavior analysis for IoT sensors, 2016.
• [10] Görnitz, N. & Kloft, M. Toward Supervised Anomaly Detection. Journal of Artificial Intelligence Research. 46, 235-262, 2013.
• [11] Song, H., Jiang, Z., Men, A. & Yang, B. A hybrid semi-supervised anomaly detection model for high dimensional data. Computational Intelligence and Neuroscience. 1-9, 2017.
• [12] Khan, S., Liew, C. F., Yairi, T. & McWilliam, R. Unsupervised anomaly detection in unmanned aerial vehicles. Applied Soft Computing Journal. 83, 1-15, 2019.
• [13] Goldstein, M. & Uchida, S. A comparative evaluation of unsupervised anomaly detection algorithms for multivariate data. Plos one. 1-31, 2016.
• [14] Savran, M. F. & Müngen, A. A. Sunucuların Anomali Durumlarinin Yapay Zeka Metotları ile Tahmin Edilmesi. Journal of Computer Science. 8 (2), 57-65, 2023.
• [15] Ekici, B. & Takcı, H. Bilgisayar Ağlarında Anomali Tespiti Yaklaşımı ile Saldırı Tespiti. Afyon Kocatepe Üniversitesi Fen ve Mühendislik Bilimleri Dergisi. 22, 1016-1027, 2022.
• [16] Yarat, S. & Orman, Z. Elektrik Güç Dağıtımında Akıllı Sayaç Verileri için Anomali Tespiti ve Tahminleme. Bilgisayar Bilimleri ve Teknolojileri Dergisi. 3 (2), 72-85, 2023.
• [17] Gökdemir, A. & Çalhan, A. Deep learning and machine learning based anomaly detection in internet of things environments. Mühendislik Mimarlık Fakültesi Dergisi. 37 (4), 1945-1956, 2022.