Comparison of the Effects of Different Dimensional Reduction Algorithms on the Training Performance of Anfis (Adaptive Neuro-Fuzzy Inference System) Model

Year 2017, Volume: 38 Issue: 4, 716 - 730, 08.12.2017

Ahmet Gürkan Yüksek Halil Arslan Oğuz Kaynar Emre Delibaş Abdulkadir Şeker

https://doi.org/10.17776/csj.347653

Abstract

Adaptive Neuro-Fuzzy Inference Systems (ANFIS)
is a hybrid artificial neural network (intelligence) approach that utilizes the
ability of artificial neural networks to learn, generalize, paralyze and to
derive fuzzy logic. The development of models with large numbers of input
variables with ANFIS is not very convenient for applications. Dimension
reduction methods are proposed as a solution to this problem. Dimensional
Reduction is the method used to represent the data in a lower dimensional
space. The reduction of the numbers of the input variables using different size
reduction methods and the creation of the optimal solution of the probing with
the ANFIS model constitute the framework of this work. In this study, we
compared the results produced by different dimension reduction methods and
investigated which method is more acceptable for ANFIS training.

Keywords

ANFIS, Dimensionality Reduction, Deep Learning, Autoencoder

Farklı Boyut İndirgeme Yöntemlerinin, Anfis Modelinin Eğitim Performansı Üzerindeki Etkilerinin Karşılaştırılması

Abstract

Uyarlamalı Sinirsel Bulanık Çıkarım Sistemleri-ANFIS (Adaptive
Neuro-Fuzzy Inference Systems-ANFIS), yapay sinir ağları modellerinin
öğrenebilme, genelleme ve paralel hesap yapabilme yetenekleri ile bulanık
mantığın çıkarsama yeteneğini kullanan hibrit bir yapay sinir ağı (zekâ)
yaklaşımıdır. Giriş değişkenlerinin sayıları fazla olan modellerin ANFIS ile
geliştirilmesi uygulamalarda çok elverişli değildir. Boyut indirgeme yöntemleri
ise bu soruna bir çözüm yolu olarak önerilmektedir. Boyut indirgeme, verilerin
daha düşük boyutlu bir uzayda temsil edilmesi için kullanılan yöntemdir. Farklı
boyut indirgeme yöntemleri kullanılarak giriş değişkenlerinin sayılarının
indirgenmesi ve ANFIS modeli ile probleme ait en uygun çözümün oluşturulması bu
çalışmanın çatısını oluşturmaktadır. Bu çalışmada, farklı boyut indirgeme
yöntemlerinin ürettiği sonuçlar karşılaştırılarak ANFIS’in eğitimi için hangi
yöntemin kullanılmasının daha kabul edilebilir olduğu araştırılmıştır. 

Keywords

ANFIS, Boyut İndirgeme, Derin Öğrenme, Oto Kodlayıcı

References

• [1]. Houari R., Bounceur A.,. Kechadi M-T., A.- Tari K., ve Euler R., “Dimensionality reduction in data mining: A Copula approach”, Expert Syst. Appl., v. 64, pp. 247–260, 2016.
• [2]. Burges C. J. C., “Dimension Reduction: A Guided Tour”, Found. Trends® Mach. Learn., v. 2, 4, pp. 275–365, Ağu. 2010.
• [3]. Tzeng D.-Y. ve. Berns R. S., “A review of principal component analysis and its applications to color technology”, Color Res. Appl., v. 30, 2, pp. 84-98, Nis. 2005.
• [4]. Sorzano C. O. S., Vargas J., ve Montano A. P., “A survey of dimensionality reduction techniques”, ArXiv14032877 Cs Q-Bio Stat, 2014.
• [5]. Van Der Maaten L., Postma E., ve Van den Herik J., “Dimensionality reduction: a comparative”, J Mach Learn Res, v. 10, pp. 66-71, 2009.
• [6]. Ali Godshi, “Dimensionality Reduction A Short Tutorial”, 2006. [Online]. Available at: http://www.stat.washington.edu/courses/stat539/spring14/Resources/tutorial_nonlin-dim-red.pdf. [Retrieved: 12-Feb-2017].
• [7]. Jang J. S. R., “ANFIS: adaptive-network-based fuzzy inference system”, IEEE Trans. Syst. Man Cybern., v. 23, 3, pp. 665-685, 1993.
• [8]. Cybenko G., “Approximation by superpositions of a sigmoidal function”, Math. Control Signals Syst., v. 2, 4, pp. 303-314, 1989.
• [9]. Hornik K., Stinchcombe M., ve White H., “Multilayer feedforward networks are universal approximators”, Neural Netw., v. 2, 5, pp. 359-366, 1989.
• [10]. Hornik K., “Approximation capabilities of multilayer feedforward networks”, Neural Netw., v. 4, 2, pp. 251–257, 1991.
• [11]. Jang J. S. R., Sun C. T., ve Mizutani E., “Neuro-fuzzy and soft computing, a computational approach to learning and machine intelligence”, MyScienceWork, 1997.
• [12]. Wark K., ve Warner C. F., “Air pollution: its origin and control”, 1981.
• [13]. Prasad K., Gorai A. K., ve Goyal P., “Development of ANFIS models for air quality forecasting and input optimization for reducing the computational cost and time”, Atmos. Environ., v. 128, pp. 246-262, 2016.
• [14]. Khoshnevisan B., Rafiee S., Omid M., ve Mousazadeh H., “Development of an intelligent system based on ANFIS for predicting wheat grain yield on the basis of energy inputs”, Inf. Procepp. Agric., v. 1, sayı 1, pp. 14-22, 2014.
• [15]. Yuksek A. G., Karaboga D.,“Hava kirliliği tahmininde çoklu regresyon analizi ve yapay sinir ağları yönteminin karşılaştırılması - Sayfa 264 - Ulusal Tez ve Araştırma Merkezi - Akademik Tezler ve Araştırmalar”. [Online]. Available at: http://ulusaltezmerkezi.com/hava-kirliligi-tahmininde-coklu-regresyon-analizi-ve-yapay-sinir-aglari-yonteminin-karsilastirilmasi/264/. [Retrieved: 04-Apr-2017].
• [16]. Tsoukalas L. H., ve Uhrig R. E., Fuzzy and Neural Approaches in Engineering, 1st baskı. New York, NY, USA: John Wiley & Sons, Inc., 1996.
• [17]. Hu X., “DB-HReduction: A data preprocessing algorithm for data mining applications”, Appl. Math. Lett., v. 16, sayı 6, pp. 889-895, 2003.
• [18]. Sattler K. U., ve Schallehn E., “A data preparation framework based on a multidatabase language”, içinde Proceedings 2001 International Database Engineering and Applications Symposium, 2001, pp. 219-228.
• [19]. Yuksek A. G., Tüzemen E. Ş., Arslan H., ve Elagöz S., “Anfıs Kullanılarak Zno İnce Filmin Yansıtma Özelliklerinin Modellenmesi Ve Regresyon Analizi İle Sonuçlarının Karşılaştırılması”, 2. Ulusal Yönetim Bilişim Sistemleri Kongresi. [Online]. Available At: Http://Docplayer.Biz.Tr/755252-2-Ulusal-Yonetim-bilisim-sistemleri-kongresi.html. [Retrieved: 20-Feb-2017].
• [20]. “Çi̇mento Hammadde ve Üreti̇m Süreci̇nde Esnek Hesaplama - Documents”, Documents.tips. [Online]. Available at: http://documents.tips/documents/cimento-hammadde-ve-ueretim-suerecinde-esnek-hesaplama.html. [Retrieved: 06-Apr-2017].
• [21]. Sadık Önal, “Mn/n-GaAs schottky diyotunun hidrostatik basınç altında elektriksel karakterizasyonu”, Gazi Osman Paşa Üniversitesi Yüksek Lisans Tez, 2007.
• [22]. Jolliffe I., “Principal Component Analysis”, in Wiley StatsRef: Statistics Reference Online, John Wiley & Sons, Ltd, 2014.
• [23]. Yıldız K., Çamurcu Y., ve Doğan B., “Veri Madenciliğinde Temel Bileşenler Analizi ve Negatifsiz Matris Çarpanlarına Ayırma Tekniklerinin Karşılaştırmalı Analizi”, Akad. Bilişim, 2010.
• [24]. Maćkiewicz A., ve Ratajczak W., “Principal components analysis (PCA)”, Comput. Geosci., v. 19, pp. 303-342, 1993.
• [25]. Ali Sait Albayrak, Uygulamalı Çok Değişkenli İstatistik Teknikleri. Asil Yayın Dağıtım, 2006.
• [26]. McLachlan G., Discriminant Analysis and Statistical Pattern Recognition. John Wiley & Sons, 2004.
• [27]. Li Y., Kittler J., ve Matas J., “Effective Implementation of Linear Discriminant Analysis for Face Recognition and Verification”, in Computer Analysis of Images and Patterns, 1999, pp. 234-242.
• [28]. Yang J., Ye H., ve Zhang D., “A new LDA-KL combined method for feature extraction and its generalisation”, Pattern Anal. Appl., v. 7,1, pp. 40-50, 2004.
• [29]. Fisher R. A., “The Use of Multiple Measurements in Taxonomic Problems”, Ann. Eugen., v. 7, 2, pp. 179-188, 1936.
• [30]. Tenenbaum J. B., de Silva V., ve Langford J. C., “A Global Geometric Framework for Nonlinear Dimensionality Reduction”, Science, v. 290, 5500, pp. 2319–2323, 2000.
• [31]. Dijkstra E. W., “A note on two problems in connexion with graphs”, Numer. Math., v. 1, 1, pp. 269-271, 1959.
• [32]. Floyd R. W., “Algorithm 97: Shortest Path”, Commun ACM, v. 5, 6, s. 345-, 1962.
• [33]. Niskanen M., ve Silven O., “Comparison of dimensionality reduction methods for wood surface inspection”, 2003, v. 5132, pp. 178-188.
• [34]. Lim I. S., Ciechomski P. de H., S. Sarni S., ve D. Thalmann, “Planar arrangement of high-dimensional biomedical data sets by isomap coordinates”, içinde 16th IEEE Symposium Computer-Based Medical Systems, 2003. Proceedings., 2003, pp. 50-55.
• [35]. Raytchev B., Yoda I., ve Sakaue K., “Head pose estimation by nonlinear manifold learning”, içinde Proceedings of the 17th International Conference on Pattern Recognition, 2004. ICPR 2004., 2004, v. 4, s. 462-466 Vol.4.
• [36]. Roweis S. T. ve Saul L. K., “Nonlinear Dimensionality Reduction by Locally Linear Embedding”, Science, v. 290, 5500, pp. 2323-2326, 2000.
• [37]. Kokiopoulou E. ve Saad Y., “Orthogonal Neighborhood Preserving Projections: A Projection-Based Dimensionality Reduction Technique”, IEEE Trans. Pattern Anal. Mach. Intell., v. 29, 12, pp. 2143–2156, 2007.
• [38]. Chang H., Yeung D.-Y, ve Xiong Y., “Super-resolution through neighbor embedding”, içinde Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004., 2004, v. 1, pp. I-I.
• [39]. Duraiswami R., ve Raykar V. C., “The manifolds of spatial hearing”, içinde Proceedings. (ICASSP ’05). IEEE International Conference on Acoustics, Speech, and Signal Processing, 2005., 2005, v. 3, s. iii/285-iii/288 Vol. 3.
• [40]. Sammon J. W., “A Nonlinear Mapping for Data Structure Analysis”, IEEE Trans. Comput., v. C-18, 5, pp. 401-409, 1969.
• [41]. Badino L., Canevari C., Fadiga L., ve Metta G., “An auto-encoder based approach to unsupervised learning of subword units”, içinde 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2014, pp. 7634-7638.
• [42]. Kaynar O., Görmez Y., Ve Işık Y. E., “Oto Kodlayıcı Tabanlı Derin Öğrenme Makinaları İle Spam Tespiti” 3. Intenational Management Information Systems
• [43]. A. Ng, “Sparse autoencoder”, CS294A Lect. Notes, v. 72, 2011, pp. 1-19, 2011.