Makine Öğreniminde Tahmin Güvenilirliğini Artırmak için Stratejik Sınıflandırma Birleştirme

Öz

Yazılım güvenilirliğini sağlamak, yazılım geliştirme yaşam döngüsünde temel bir gerekliliktir, çünkü potansiyel arızaların erken tespiti bakım maliyetlerini önemli ölçüde azaltır. Literatürde, geliştiricilere çok yönlü bir araç seti sağlayan matematiksel temelli çeşitli sınıflandırma teknikleri belgelenmiştir. Bunlar arasında Lojistik Regresyon, Rastgele Orman, Ekstra Ağaç Sınıflandırması, Gauss Naif Bayes, XGB Sınıflandırıcı, LGBM Sınıflandırıcı, CatBoost Sınıflandırıcı ve Oy Veren Sınıflandırıcı bulunmaktadır. Bu araştırma, Cyclomatic Complexity ve Halstead Volume gibi kod metriklerine dayalı olarak yazılım güvenilirliğini tahmin etmek için en uygun sınıflandırma yöntemini belirlemeyi amaçlamaktadır. Bu nedenle, araştırma, alıntılanan tekniklerden en etkili sınıflandırma yaklaşımını belirlemek amacıyla analizinde ilgili veri kümelerini ve grafikleri kullanacaktır. Çalışma, Lojistik Regresyon, Rastgele Orman, XGBoost ve Oylama Sınıflandırıcı dahil olmak üzere çeşitli modelleri değerlendirmektedir. Sonuçlar, ensemble yöntemlerinin güvenilirlik düzeylerini belirlemede üstün performans sağladığını göstermektedir. Temel amacı, elde edilen veri modelinin tehlikeye karşı bağışık olmasını sağlamaktır. Matematiksel sınıflandırma türleri konusunda birçok seçenek mevcuttur. Literatürde belirtildiği gibi, bunlar daha önce listelenen örnekleri içerir, ancak bunlarla sınırlı değildir.

Anahtar Kelimeler

• guvenli̇ kȯdlama
• veri̇ kȯdlama
• sınıflandırma yöntemleri
• karşılaştırmalı analiz
• karar verme
• fayda değerlendirmesi
• güvenli̇ yazılım geliştirme

Comparative Analysis of Ensemble Learning Methods for Software Reliability Prediction

Öz

Ensuring software reliability is a fundamental requirement in the software development lifecycle, as early detection of potential failures significantly reduces maintenance costs. The literature documents several mathematically based classification techniques that provide developers with a versatile toolkit. Among these are Logistic Regression, Random Forest, Extra Tree Classification, Gaussian Naive Bayes, XGB Classifier, LGBM Classifier, CatBoost Classifier, and Voter Classifier. The present research aims to identify which classification method is most suitable for predicting software reliability based on code metrics such as Cyclomatic Complexity and Halstead Volume. Therefore, the research will use relevant datasets and graphics in its analysis with the goal of identifying the most effective classification approach from the techniques cited. The study evaluates various models including Logistic Regression, Random Forest, XGBoost, and Voting Classifier. The results demonstrate that ensemble methods provide superior performance in identifying reliability levels. Its primary purpose is to ensure the resulting data pattern is immune to compromise. Many options are available when it comes to mathematical classification types. As indicated in the literature, these include, but are not limited to, the examples previously listed.

Anahtar Kelimeler

• secure code
• data coding
• classification methods
• comparative analysis
• decision-making
• utility assessment
• secure software development

Kaynakça

1. Albert A., Anderson JA. On the existence of maximum likelihood estimates in logistic regression models. Biometrika 1984; 71(1): 1-10.
2. Androutsopoulos I., Koutsias J., Chandrinos KV., Paliouras G., Spyropoulos CD. A comparison of event models for naive Bayes anti-spam e-mail filtering. Expert Systems with Applications 2000; 27(1): 1-8.
3. Breiman L. Bagging predictors. Kluwer Academic Publishers 1996.
4. Breiman L. Random forests. Machine Learning 2001; 45(1): 5-32.
5. Chen T., Guestrin C. XGBoost: A scalable tree boosting system. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining 2016; 785-794.
6. Cutler DR., Edwards TC., Beard KH., Cutler A., Hess KT., Gibson J., Lawler JJ. Random forests for classification in ecology. Ecology 2007; 88(11): 2783-2792.
7. Gail M., Simon R. Testing for qualitative interactions between treatment effects and patient subsets. Biometrics 1985; 41(2): 361-372.
8. Geurts P., Ernst D., Wehenkel L. Extremely randomized trees. Machine Learning 2006; 63(1): 3-42.

9. Hawkins DM. The problem of overfitting. Journal of Chemical Information and Computer Sciences 2004; 44(1): 1-12.
10. Kuncheva LI. Combining pattern classifiers: Methods and algorithms. John Wiley & Sons 2004.
11. Lewis DD. Naive (Bayes) at forty: The independence assumption in information retrieval. In: Machine Learning: ECML-98. Springer 1998; 4-15.
12. Liaw A., Wiener M. Breiman and Cutler’s random forests for classification and regression (R package version 4.6–14). Journal of Statistical Software 2018; 89(4): 1-29.
13. Louppe G. Understanding random forests: From theory to practice (Doctoral dissertation). Université de Liège 2014.
14. McCullagh P., Nelder JA. Generalized linear models. 2nd ed. Chapman and Hall/CRC 1989.
15. Ng AY., Jordan MI. On discriminative vs. generative classifiers: A comparison of logistic regression and naive Bayes. In: Advances in Neural Information Processing Systems 2002; 841-848.
16. Olson RS., La Cava W., Orzechowski P., Urbanowicz RJ., Moore JH. Understanding the impact of machine learning and statistical algorithm features on the performance and interpretability of predictive models. BioData Mining 2017; 10(1): 1-21.
17. Polikar R. Ensemble based systems in decision making. IEEE Circuits and Systems Magazine 2006; 6(3): 21-45.
18. Prasad AM., Iverson LR., Liaw A. Newer classification and regression tree techniques: Bagging and random forests for ecological prediction. Ecosystems 2006; 9(2): 181-199.
19. Prokhorenkova L., Gusev G., Vorobev A., Dorogush AV., Gulin A. Benchmarking tree boosting algorithms: A new way to measure and compare. Journal of Machine Learning Research 2018; 19: 1-56.
20. Prokhorenkova L., Gusev G., Vorobev A., Dorogush AV., Gulin A. CatBoost: Unbiased boosting with categorical features. In: NeurIPS 2018 Workshop on Challenges and Opportunities for AI in Financial Services. Reliability prediction for machine learning. Kaggle 2024.
21. Rish I. A gentle introduction to the Gaussian naive Bayes classifier. IBM Research Technical Report 2001.
22. Ruta D., Gabrys B. The comparative effectiveness of voting and meta-learning when training on noisy data. International Journal of Computational Intelligence and Applications 2006; 6(1): 47-63.
23. Shajihan N. Classification of stages of diabetic retinopathy using deep learning [Master’s thesis].