Sınıflandırıcı Performanslarının Gauss Karışım Modeline Uygulanan Beklenti-Maksimizasyon Algoritmasına Göre Analiz Edilmesi

Abstract

Maksimum olabilirlik, karışım modeli, bayes sonucu ve maksimum entropi gibi parametric yoğunluk kestirimleri dağılımın çeşidi bilindiğinde veya tahmin edilebilir olduğunda sıklıkla kullanılmaktadır. Beklenti maksimizasyonu veya değişken adım öğrenme algoritması dağılım parametrelerinin maksimum olabilirliğini elde etmenin en başarılı yollarıdır. Bu makalede, üç farklı dağılım içeren çok boyutlu Gauss karışım modeline EM algoritmasının uygulanması amaçlanmıştır. Bu çalışmada istatistiksel dağılım, Gauss dağılımından elde edilmiştir ve her dağılım için ortalama ve kovaryans matrisi olan parametreler tahmin süreci için kullanılmıştır. Orijinal özellik vektörleri ve onların tahminleri benzerlik açısından karşılaştırılmış aynı zamanda elde edilen sonuçlar sunulmuş ve detaylı bir şekilde tartışılmıştır. Ek olarak, çatallı veri kümesi için her bir dağılım belirtilmiştir. Son olarak, Bayes, k-NN ve diskriminant sınıflandırma metotları GMM’ ye uygulanmış ve bu metotların performansları analiz edilmiştir.

Keywords

• Bayes Sınflandırması
• Yoğunluk Tahmini
• EM Algoritması
• GMM
• k-NN
• LDA

Analyzing Classifier Performances Based on Implemented Expectation-Maximization Algorithm to Gaussian Mixture Model

Abstract

Parametric density estimations i.e., maximum likelihood, mixture model, bayesian inference, maximum entropy are frequently used when type of distribution is known or predictable. Expectation-Maximization (EM) or a variable step learning algorithm are most successful ways for obtaining maximum likelihoods of distribution parameters. In this paper, we aim to present implementation of the EM algorithm to multidimensional Gaussian mixture model (GMM) that includes three different distributions. In this study, the statistical distribution is obtained from Gaussian distribution and parameters which are mean and covariance matrices for each distributions are used for estimation process. Original feature vectors and their estimates are compared in term of similarity as well as obtained results are presented and discussed in details. In addition, each distribution for bifurcated dataset is indicated. Finally, Bayesian, k-NN and Discriminant classifier methods are implemented to GMM and the performance of these methods are analyzed.

Keywords

• Bayesian Classfication
• Density estimation
• EM Algorithm
• GMM
• k-NN
• LDA

References

1. Duda R. O., Hart P.E., and Stork D.G. (2012). Pattern classification. John Wiley & Sons.
2. Mahantesh K., Manjunath Aradhya V.N., and Naveena C. (2014). An impact of PCA-mixture models and different similarity distance measure techniques to identify latent image features for object categorization. Advances in Signal Processing and Intelligent Recognition Systems, Springer International Publishing, 371-378.
3. Qin, Yichen Q., and Carey E. P. (2013). Maximum Lq-Likelihood Estimation via the Expectation-Maximization Algorithm: A Robust Estimation of Mixture Models. Journal of the American Statistical Association, 914-928.
4. Fernández-Michelli J. I., et al. (2016). Unsupervised classification algorithm based on EM method for polarimetric SAR images. ISPRS Journal of Photogrammetry and Remote Sensing, 117, 56-65.
5. Theodoridis S., et al. (2010). Introduction to pattern recognition: a matlab approach. Academic Press.
6. Nguyen H. D., McLachlan G.J. (2015). Maximum likelihood estimation of Gaussian mixture models without matrix operations. Advances in Data Analysis and Classification, 9(4), 371-394.
7. Bowei Y., Mingzhang Y., and Purnamrita S. (2017). Statistical Convergence Analysis of Gradient EM on General Gaussian Mixture Models. arXiv preprint arXiv:1705.08530.
8. Fanglin G., et al. (2016). An expectation-maximization algorithm for blind separation of noisy mixtures using Gaussian mixture model. Circuits, Systems, and Signal Processing, 1-30.

9. Li-Yu H., et al. (2016). The distance function effect on k-nearest neighbor classification for medical datasets. SpringerPlus 5.1 1304.