Control of Model Complexity

Abstract

Model complexity is one of the most important criteria for the success of models. In this study, the prominent approaches to controlling model complexity have been examined under headings. These are Occam’s razor, Popper’s falsifiability, and the statistical learning theory. Occam’s razor and Popper’s falsifiability in the control of model complexity, yes they provide a philosophical approach and they are also accepted. However, they do not provide a mathematical formulation on how to control model complexity. However, the statistical learning theory (aka VC theory) approach to the subject is not only at a philosophical level, but also introduces a new principle of risk minimization (structural risk minimization, YRM) by adding the VC coefficient to the empirical risk minimization (ARM) principle used in the models developed so far. . As a result, the VC theory developed by Vapnik and Chervonenkis as a control model, with its proven mathematical background and highly successful results, can be a good source of inspiration for model developers as the most consistent and reliable approach to the control of model complexity in today’s framework.

Keywords

• Model Complexity
• Occam’s Razor
• Popper’s Falsifiability
• Statistical Learning Theory

Model Karmaşıklığının Kontrolü

Abstract

Model karmaşıklığı, modellerin başarısındaki en önemli ölçütlerden birisidir. Bu çalışmada bugüne dek model karmaşıklığının kontrolünde öne çıkan yaklaşımlar başlıklar halinde incelenmiştir. Bunlar Occam’ın usturası, Popper’ın yanlışlanabilirliği ve istatiksel öğrenme teorisidir. Occam’ın usturası ve Popper’ın yanlışlanabilirliği model karmaşıklığının kontrolünde, evet bir felsefi yaklaşım sağlamaktadırlar ve kabul de görmektedirler. Fakat model karmaşıklığının nasıl kontrol edileceği konusunda matematiksel bir formülasyon sağlamamaktadırlar. Fakat istatiksel öğrenme teorisi (diğer adıyla, VC teorisi) konuya yaklaşımı yalnızca felsefi bir düzeyde kalmamakta, aynı zamanda şimdiye dek geliştirilen modellerde kullanılan ampirik risk minimizasyonu (ARM) ilkesine VC katsayısını ilave ederek yeni bir risk minimizasyonu (yapısal risk minimizasyonu, YRM) ilkesi getirmektedir. Sonuç olarak Vapnik ve Chervonenkis tarafından geliştirilen VC teorisi bir kontrol modeli olarak, ispatlanmış matematiksel arka planı ve oldukça başarılı olan sonuçları itibariyle, model karmaşıklığının kontrolü konusunda, günümüz çerçevesinde, en tutarlı ve güvenilir bir yaklaşım olarak, model geliştiriciler için iyi bir ilham kaynağı olabilir.

Keywords

• Model Karmaşıklığı
• Occam’ın Usturası
• Popper’ın Yanlışlanabilirliği
• İstatiksel Öğrenme Teorisi

References

1. Burges, C.J.C. (1998). “A Tutorial On Support Vector Machines For Pattern Recognition”, Data Mining and Knowledge Discovery, 2(2), pp. 121-167.
2. Cherkassky, V. and Mulier, F. (2007). Lerning From Data: Consepts, Theory and Methods. John Wiley & Sons, Inc., New Jersey.
3. Corfield, D. and Schölkopf, B. and Vapnik, V. (1995). “Popper, Falsification And The VC-Dimension”, Max Planck Institute for Biological Cybernetics, 145, pp. 1-4.
4. Cortes, C. and Vapnik, V. (1995). “Support vector networks,” Machine Learning, 20, pp. 273–297.
5. Duda, R. O. and Hart, P. E. and Stork, D.G. (2000). Pattern Classification. 2. Edition, John Wiley & Sons, Canada.
6. Çetin, E. (2016). Yapay Zekâ Uygulamaları. 3. Baskı, Seçkin Yayıncılık, Ankara.
7. Emir, Ş. (2013). “Yapay Sinir Ağları ve Destek Vektör Makineleri Yöntemlerinin Sınıflandırma Performanslarının Karşılaştırılması: Borsa Endeks Yönünün Tahmini Üzerine Bir Uygulama”, Doktora Tezi, İstanbul Üniversitesi.
8. Kelleher, J. D. and Namee, B. M. and D’arcy, A. (2015). Fundamentals Of Machine Learning For Predicitive Data Analytics, Algorithms, Worked Examples, And Case Studies. 1. Edition, MIT Press, America.

9. Kühne, T. (2005). “What is a model?”, Dagstuhl Seminar Proceedings, 04101 Online: http://drops.dagstuhl.de/opus/volltexte/2005/23 14/04/2020.
10. Öztemel, E. (2012). Yapay Sinir Ağları. Papatya Yayıncılık, İstanbul.
11. Rasmussen, C. And Zoubin G. (2020). “Occam·s Razor”, Online: http://mlg.eng.cam.ac.uk/zoubin/papers/occam.pdf, 14/04/2020.
12. TDK, Genel Türkçe Sözlük, Online: https://sozluk.gov.tr/?kelime=, 11/11/2019.
13. Vapnik V. N. (1999). “An Overview of Statistical Learning Theory”, IEEE Transactions On Neural Networks, 10(5).
14. Wikipedia, Çevrimiçi: https://tr.wikipedia.org/wiki/Mant%C4%B1ksal_pozitivizm, 07/04/2020.
15. Wikipedia, Çevrimiçi: https://tr.wikipedia.org/wiki/Karl_Popper, 14/04/2020.