Outlier Detection in CPI Data Using Machine Learning Algorithms

Öz

Outlier detection in data sets has become an important issue that both researchers and practitioners have focused on intensively in recent years. Detecting unusual situations and observations in data processes is very important for various reasons such as improving and strengthening the processes and obtaining more accurate results from the analyzes and predictions. Although there are statistical methods for detecting outliers, machine learning techniques are also included. The main purpose of the study is to demonstrate that machine learning models can be used in outlier detection as well as traditional methods, and that their prediction performances may differ both with statistical methods and among themselves. The indirect aims of the study are to demonstrate that all these methods can help detect outlier observations in macroeconomic time series and that the relevant periods detected as outliers can be evaluated more comprehensively in economic studies. Within the scope of the study, quarterly data of the 2003Q2-2024Q4 CPI were analyzed. According to the analysis results, statistical methods; The box plot predicted the observations during the inflationary period as outliers, while the QQ plot, histogram and z-score methods predicted the highest observations during the inflationary period as outliers. Among the machine learning methods, Local outlier factor (LOF), One-class support vector machine (OCSVM) and Connectivity-based outlier factor (COF) determined the lowest and highest inflation periods in the data set as outliers. Isolation forest (IF), Angle-based outlier detection (ABOD), Histogram-based outlier score (HBOS) and k nearest neighbor (KNN) predicted observations in the inflationary period as outliers.

Anahtar Kelimeler

• Outlier
• Outlier detection
• Machine learning

Makine Öğrenmesi Algoritmaları ile TÜFE Verilerinde Aykırı Değer Tespiti

Öz

Veri süreçlerindeki olağandışı durum ve gözlemlerin tespit edilmesi süreçlerin iyileştirilmesi, güçlendirilmesi, yapılacak olan analizlerden ve tahminlerden daha doğru sonuç alınabilmesi gibi çeşitli sebeplerden ötürü oldukça önem arz etmektedir. Bu nedenle, verilerde aykırı değerlerin belirlenmesi gerek araştırmacıların gerekse uygulamacıların son yıllarda yoğun bir şekilde üzerinde durduğu önemli bir konu haline gelmiştir. Aykırı değer gözlemlerin tespit edilmesinde istatistiksel yöntemler olmakla birlikte makine öğrenmesi teknikleri de yer almaktadır. Çalışmanın temel amacı aykırı değer tespitinde geleneksel yöntemlerin yanı sıra makine öğrenme modellerinin de kullanabileceğini ve gerek istatistiksel yöntemlerle gerekse kendi aralarında tahmin performanslarının farklı olabileceğini ortaya koymaktır. Çalışmanın dolaylı amaçları ise bütün bu yöntemlerin makroekonomik zaman serilerinde aykırı gözlemleri tespit etmede yardımcı olabileceği ve aykırı olarak tespit edilen ilgili dönemlerin iktisadi çalışmalarda daha kapsamlı değerlendirilebileceğinin ortaya konulmasıdır. Çalışma kapsamında 2003Q2-2024Q4 Tüketici Fiyat Endeksi (TÜFE) çeyreklik verileri analiz edilmiştir. Analiz sonuçlarına göre istatistiksel yöntemlerden; Kutu grafiği enflasyonist dönemin yaşandığı gözlemleri, QQ grafiği, histogram ve z-score yöntemleri enflasyonist dönemdeki en yüksek değere sahip gözlemleri aykırı olarak tahmin etmiştir. Makine öğrenme yöntemlerinden, Yerel aykırı değer faktörü (Local outlier factor-LOF), Tek-sınıf destek vektör makineleri (One-class support vector machine-OCSVM) ve Bağlantıya dayalı aykırı değer faktörü (Connectivity-based outlier factor- COF) veri setindeki en düşük ve en yüksek enflasyon dönemlerini aykırı değer olarak belirlemiştir. İzolasyon ormanı (Isolation forest-IF), Açıya dayalı aykırı değer tespiti (Angle-based outlier detection-ABOD), Histograma dayalı aykırı değer skoru (Histogram-based outlier score-HBOS) ve en yakın komşu (k-nearest neighbor-KNN) gibi yöntemler ise enflasyonist dönemdeki gözlemleri aykırı değer olarak tahmin etmiştir.

Anahtar Kelimeler

• Aykırı değer
• Aykırı değer tespiti
• Makine öğrenmesi

Kaynakça

1. Aggarwal, C.C., 2017. Outlier Analysis, Second Edition, Springer.
2. Blázquez-García, A., Conde, A., Mori, U., & Lozano, J. A. (2021). A review on outlier/anomaly detection in time series data. ACM Computing Surveys.
3. Breunig, M.M., Kriegel, H., Ng, R.T., Sander, J., 2000. LOF: Identifying density-based local outliers. ACM SIGMOD Conference
4. Chan, W.-S., 1998. Outlier analysis of annual retail price inflation: A cross-country study. Journal of Actuarial Practice, 5(2), 90.
5. Fox, A. J. (1972/2018). Outliers in time series. Journal of the Royal Statistical Society: Series B (Methodological), 34(3), 350–363. https://doi.org/10.1111/j.2517-6161.1972.tb00915.x
6. Garg, A., Zhang, W., Samaran, J., Savitha, R., & Foo, C. S. (2022). An evaluation of anomaly detection and diagnosis in multivariate time series. IEEE Transactions on Neural Networks and Learning Systems.
7. Goldstein, M., Dengel, A., 2012. Histogram-based outlier score (HBOS): A fast unsupervised anomaly detection algorithm.
8. Goldstein, M., & Uchida, S. (2016). A comparative evaluation of unsupervised anomaly detection algorithms for multivariate data. PLoS ONE, 11(4), e0152173. https://doi.org/10.1371/journal.pone.0152173

9. Grubbs, F.E., 1969. Procedures for detecting outlying observations in samples. Technometrics, 11(1), 1–21. https://doi.org/10.1080/00401706.1969.10490657
10. Gür, Y. E., & Eşidir, K. A. (2025). Makine öğrenimi yöntemleri ile bireylerin kronik hastalık durumlarının sınıflandırılması: Türkiye İstatistik Kurumu’nun 2023 Gelir ve Yaşam Koşulları Araştırması üzerine bir uygulama. Journal of Intelligent Systems: Theory and Applications, 8(1), 1–24. https://doi.org/10.38016/jista.1444481
11. Hawkins, D., 1980. Identification of Outliers. Chapman and Hall.
12. He, Z., Xu, X., Deng, S., 2003. Discovering cluster-based local outliers. Pattern Recognition Letters, 24(9-10), 1641-1650. https://doi.org/10.1016/S0167-8655(03)00003-5
13. Kolbaşı, A., Ünsal, A., 2021. A comparison of the outlier detecting methods: An application on Turkish foreign trade data. Journal of Mathematical Sciences, 5, 213–234.
14. Kriegel, H.P., Schubert, M., Zimek, A., 2008. Angle-based outlier detection in high-dimensional data. Proceedings of the 14th ACM KDD International Conference on Knowledge Discovery and Data Mining, pp. 444-452. https://doi.org/10.1145/1401890.1401946
15. Li, G., & Jung, J. J. (2023). Deep learning for anomaly detection in multivariate time series: Approaches, applications, and challenges. Information Fusion.
16. Liu, F.T., Ting, K.M., Zhou, Z.H., 2008. Isolation forest. ICDM'08, Eighth IEEE International Conference on Data Mining, Pisa, Italy, pp. 413-422. https://doi.org/10.1109/ICDM.2008.17
17. Ma, M., Han, L., & Zhou, C. (2023). BTAD: A binary transformer deep neural network model for anomaly detection in multivariate time series data. Advanced Engineering Informatics.
18. Müller, A.C., Guido, S., 2017. Introduction to Machine Learning with Python, O’Reilly.
19. Peña, D., & Yohai, V. J. (2023). A review of outlier detection and robust estimation methods for high-dimensional time series data. Econometrics and Statistics. https://doi.org/10.1016/j.ecosta.2023.100644
20. Ramaswamy, S., Rastogi, R., Shim, K., 2000. Efficient algorithms for mining outliers from large data sets. ACM SIGMOD Conference
21. Rousseeuw, P.J., Van Driessen, K., 1999. A fast algorithm for the minimum covariance determinant estimator. Technometrics, 41(3), 212.
22. Schölkopf, B., Platt, J., Shawe-Taylor, J., Smola, A., Williamson, R., 2001. Estimating support of a high-dimensional distribution. Neural Computation, 13, 1443-1471. https://doi.org/10.1162/089976601750264965
23. Schmidl, S., Wenig, P., & Papenbrock, T. (2022). Anomaly detection in time series: A comprehensive evaluation. Proceedings of the VLDB Endowment, 15(8), 1779–1797. https://doi.org/10.14778/3538598.3538602
24. Srivastava, D., & Bhambhu, L. (2023). Anomaly detection and time series analysis. In Proceedings of the 2023 International Conference on Intelligent Computing and Applications Technologies (ICICAT). IEEE. https://doi.org/10.1109/ICICAT57735.2023.10263680
25. Tang, J., Chen, Z., Fu, A.W., Cheung, D.W., 2002. Enhancing effectiveness of outlier detections for low-density patterns. Pacific-Asia Conference on Knowledge Discovery and Data Mining
26. TCMB, https://evds2.tcmb.gov.tr/index.php?/evds/serieMarket
27. Torkul, O., Kor, E., & Şişci, M. (2024). Tedarik zincirinde hibrit talep tahmin modeli önerisi: Çelik sektörü uygulaması. Journal of Intelligent Systems: Theory and Applications, 7(2), 66–80. https://doi.org/10.38016/jista.1427938
28. Twumasi-Ankrah, S., Appiah, S., Arthur, D., Pels, W., Afriyie, J., Nartey, D., 2021. Comparison of outlier detection techniques in non-stationary time series data. Global Journal of Pure and Applied Sciences, 27(1), 55–60. https://doi.org/10.4314/gjpas.v27i1.7
29. Utami, D., Huda, N., Imro'ah, N., 2024. ARIMA time series modeling with the addition of intervention and outlier factors on inflation rate in Indonesia. JTAM (Jurnal Teori dan Aplikasi Matematika, 8(1), 256. https://doi.org/10.31764/jtam.v8i1.17487
30. Zeng, F., Chen, M., Qian, C., Wang, Y., Zhou, Y., & Tang, W. (2023). Multivariate time series anomaly detection with adversarial transformer architecture in the Internet of Things. Future Generation Computer Systems.