C4.5 Decision Tree Pruning Using Genetic Algorithm
Abstract
Karar ağaçları sınıflandırma ve değer tahmini amacıyla kullanılan makina öğrenme algoritmalarından biridir. Karar ağaçlarını oluşturmak amacıyla birçok yaklaşım önerilmiştir. Bu yaklaşımlardan biri olan C4.5 karar ağaçları metodu birçok alanda sıklıkla kullanılmaktadır. Ağaç yapısını kurmada kullanılacak veri setinin nitelik sayısının fazla olması, ağaç yapısında gereksiz dallar ve düğüm noktalarına sebep olmaktadır. Bunun sonucunda gereksiz oluşturulan dallar ve düğüm noktaları aşırı öğrenmeye, aşırı öğrenme ise sınıflandırma başarı oranını olumsuz yönde etkilemektedir. Bu çalışmada aşırı öğrenmenin etkilerini azaltmak için yeni bir budama algoritması önerilmiştir. WEKA ortamında çalıştırılan C4.5 algoritmasının Güven Faktörü Confidence Factor genetik algoritma ile optimize edilerek başarılı sonuçlar elde edilmiştir
Keywords
References
- J. R. Quinlan, C4.5: Programs for Machine Learning: Morgan Kaufmann, 1993.
- J. R. Quinlan, “Induction of decision trees,” Machine Learning, vol. 1, pp. 81-106, 1986.
- Breiman L, Friedman J, Olshen R, Stone C (1984) Classification and regression trees. Wadsworth International, Belmont.
- Niblett T, Bratko I (1986) Learning decision rules in noisy domains. In: Proceedings of expert systems’86. Cambridge University Press, New York, pp 25–34.
- J. R. Quinlan, “Simplifying decision trees,” Int. J. Hum.- Comput. Stud, vol. 51, pp. 497-510, 1999.
- Jie Chen, Xizhao Wang, Junhai Zhai, “Pruning Decision Tree Using Genetic Algorithms” International Conference on Artificial Intelligence and Computational Intelligence, 2019, pp 244–248.
- Esposito F, Malerba D, Semeraro G (1997) A comparative analysis of methods for pruning decision trees. IEEE Trans Pattern Anal Mach Intell 19(5):476–491.
- T. Kavzaoğlu, İ. Çölkesen, “Karar Ağaçları İle Uydu Görüntülerinin Sınıflandırılması: Kocaeli Örneği”,Harita Teknolojileri Elektronik Dergisi , vol. 2, no:1, pp. 36-45, 2010.
- Quinlan J.R., 1987, “Simplifying decision trees”, International Journal of Man-Machine Studies, 27, 221- 234.
- I.B. Aydilek, A. Arslan, A hybrid method for imputation of missing values using optimized fuzzy c-means with support vector regression and a genetic algorithm, Information Sciences 233 (2013) 25–35.