İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ

Ömer Alçin; Abdulkadir Şengür; Melih İnce

doi:10.17341/gummfd.91022

İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ

Öz

Son zamanlarda, Aşırı Öğrenme Makinaları (AÖM) makine öğrenmesi alanında ilgi duyulan bir konu haline gelmiştir. AÖM Tek Gizli Katmanlı İleri Beslemeli (TGKİB) ağlar için önerilmiş yeni bir öğrenme algoritmasıdır. AÖM modeli iyi genelleme performansı, aşırı hızlı öğrenme yeteneği ve düşük işlem karmaşıklığı gibi avantajlara sahiptir. Bu avantajlarının yanı sıra, AÖM bazı dezavantajlara sahiptir. Öncelikle, çıkış ağırlıklarının hesaplanmasında en küçük kareler minimizasyonu kullanıldığından aşırı örtüşme ile karşı karşıyadır. Bir diğer sakınca ise AÖM’nin doğruluğunun gizli katman nöron sayısına bağlı olmasıdır. Bu olumsuzluk geniş ölçekli problemlerde daha kötü bir hal almaktadır. Çalışmamızda, bu olumsuzlukları gidermek için seyrek tabanlı bir AÖM modeli önerildi. Seyrek tabanlı AÖM modelinde, çıkış ağırlıklarının seyrek temsilini hesaplamak için yinelemeli fırsatçı takip algoritması tabanlı İleri-Geri Takip (İGT) algoritması kullanılmıştır. İGT-AÖM olarak adlandırılan yöntem normal AÖM ile karşılaştırıldığında aşırı örtüşmeyen (ezberlemeyen) ağ yapısı, düşük hesap karmaşıklığı ve gizli katman nöronlarının kabul edilebilir bir sayıda olması gibi üstünlüklere sahiptir. Yaygın kullanılan sınıflandırma problemleri üzerine yapılan deneysel çalışmalar ışığında İGT-AÖM yöntemi dikkate değer üstünlükler göstermektedir. Ayrıca başarımın etkinliğini vurgulamak için çalışmanın devamında normal AÖM ve en küçük açısal regresyon (Least angle regression, LARS), en küçük mutlak daralma ve seçme operatörü (Least absolute shrinkage and selection operator, LASSO) ve Elastic Net gibi düzenlenmiş AÖM’ler ile önerilen metodun karşılaştırılması yapılmıştır.

Anahtar Kelimeler

AÖM, düzenlenmiş AÖM, seyreklik, ileri-geri takip, TGKİB.

Kaynakça

Huang, G.-B., Zhu, Q.-Y. ve Siew, C.-K., “Extreme learning machine: theory and applications”, Neurocomputing, Cilt 70, No 1, 489-501, 2006.
Luo, M., and Zhang, K. “A hybrid approach combining extreme learning machine and sparse representation for image classification”, Engineering Applications of Artificial Intelligence, Cilt 27, 228-235, 2014.
Ertugrul, O. F., Tagluk, M. E., Kaya, Y. ve Tekin, R. “EMG signal classification by extreme learning machine”, Signal Processing and Communications Applications Conference (SIU’13), Girne-KKTC, 24-24 Nisan 2013.
Miche, Y., Van Heeswijk, M., Bas, P., Simula, O. ve Lendasse, A., “TROP-ELM: a double-regularized ELM using LARS and Tikhonov regularization”, Neurocomputing, Cilt 74, No 16, 2413-2421, 2011.
Deng, W., Zheng, Q. ve Chen, L., “Regularized Extreme Learning Machine”, Computational Intelligence and Data Mining (CIDM'09), Nashville, TN, USA, 389-395, March 30-April 2 2009.
Martínez-Martínez, J. M., Escandell-Montero, P., Soria-Olivas, E., Martín-Guerrero, J. D., Magdalena-Benedito, R. ve Gómez-Sanchis, J., “Regularized extreme learning machine for regression problems”, Neurocomputing, Cilt 74, No 17, 3716-3721, 2011.
Luo, J., Vong, C. M. ve Wong, P. K., “Sparse Bayesian Extreme Learning Machine for Multi-classification”, Neural Networks and Learning Systems, Cilt 25, No 4, 836-843, 2014.
Banerjee, K. S., “Generalized inverse of matrices and its applications”, Technometrics, Cilt 15, No 1, 197-197, 1973.

Bishop, C. M., Pattern recognition and machine learning, Springer, New York, A.B.D., 2006.
Huang, G. B., Li, M. B., Chen, L. ve Siew, C. K., “Incremental extreme learning machine with fully complex hidden nodes”, Neurocomputing, Cilt 71, No 4, 576-583, 2008.
Huang, G. -B., Zhou, H., Ding, X. ve Zhang, R., “Extreme learning machine for regression and multiclass classification”, Systems, Man, and Cybernetics, Part B: Cybernetics, Cilt 42, No 2, 513-529, 2012.
Li, G., Wen, C., Li, Z. G., Zhang, A., Yang, F. ve Mao, K., “Model-Based Online Learning with Kernels”, Neural Networks and Learning Systems, Cilt 24, No 3, 356-369, 2013.
Kivinen, J., Smola, A. J. ve Williamson, R. C., “Online learning with kernels”, Signal Processing, Cilt 52, No 8, 2165-2176, 2004.
Miche, Y., Sorjamaa, A., Bas, P., Simula, O., Jutten, C. ve Lendasse, A., “OP-ELM: optimally pruned extreme learning machine”, Neural Networks, Cilt 21, No 1, 158-162, 2010.
Alcin, O. F., Sengur, A., Qian, J. ve Ince, M. C., “OMP-ELM: Orthogonal Matching Pursuit-Based Extreme Learning Machine for Regression”,Journal of Intelligent Systems, Cilt 24, No 1, 135-143, 2015.
Karahanoglu, N. B. ve Erdogan, H., “Compressed sensing signal recovery via forward–backward pursuit”, Digital Signal Processing, Cilt 23, No 5, 1539-1548, 2013.
Karahanoglu, N. B. ve Erdogan, H., “Optimal forward-backward pursuit for the sparse signal recovery problem”, Signal Processing and Communications Applications Conference (SIU’13), Girne-KKTC, 24-26 Nisan 2013.
Tropp, J. A. ve Wright, S. J., “Computational methods for sparse solution of linear inverse problems”, Proceedings of the IEEE, Cilt 98, No 6, 948-958, 2010.
Alcin, O. F., Sengur, A., Ghofrani, S. ve Ince, M. C., “GA-SELM: Greedy algorithms for sparse extreme learning machine”, Measurement, Cilt 55, 126-132, 2014.
Needell, D., Topics in Compressed Sensing, PhD Dissertation, Univ. of California, Davis, Mathematics, 2009.
Karakus, C. ve Gurbuz, A. C., “Comparison of iterative sparse recovery algorithms”, Signal Processing and Communications Applications (SIU’11), Antalya-Türkiye, 20-22 Nisan 2011.
Temlyakov, V.N., “Greedy Algorithms and M-Term Approximation with Regard to Redundant Dictionaries”, Journal of Approximation Theory, Cilt 98, No 1, 117–145 1999.
Tropp, J. A., “Greed is good: Algorithmic results for sparse approximation”, Information Theory, Cilt 50, No 10, 2231-2242, 2004.
Frank, A. ve Asuncion, A., UCI machine learning repository, [http://archive.ics.uci. edu/ml], 2011.
Vlachos, P., StatLib Dataset Archive Carnegie Mellon University, [http://lib.stat.cmu.edu/ datasets], 2005
Li, J. ve Liu, H., Kent ridge bio-medical data set repository, Inst. for Infocomm Research. [http:// sdmc.lit.org.sg/GEDatasets/Datasets.html], 2002.
MATLAB version 7.10.0. Natick, Massachusetts: The MathWorks Inc., 2010.

Ayrıntılar

Birincil Dil

Türkçe

Konular

-

Bölüm

-

Yazarlar

Ömer Alçin Bu kişi benim

Abdulkadir Şengür

Melih İnce

Yayımlanma Tarihi

31 Mart 2015

Gönderilme Tarihi

31 Mart 2015

Kabul Tarihi

-

Yayımlandığı Sayı

Yıl 2015 Cilt: 30 Sayı: 1

DOI

https://doi.org/10.17341/gummfd.91022

IZ

https://izlik.org/JA72CZ95RN

Kaynak Göster

RIS / Bibtex

APA

Alçin, Ö., Şengür, A., & İnce, M. (2015). İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 30(1). https://doi.org/10.17341/gummfd.91022

AMA

1.Alçin Ö, Şengür A, İnce M. İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ. GUMMFD. 2015;30(1). doi:10.17341/gummfd.91022

Chicago

Alçin, Ömer, Abdulkadir Şengür, ve Melih İnce. 2015. “İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 30 (1). https://doi.org/10.17341/gummfd.91022.

EndNote

Alçin Ö, Şengür A, İnce M (01 Mart 2015) İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 30 1

IEEE

[1]Ö. Alçin, A. Şengür, ve M. İnce, “İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ”, GUMMFD, c. 30, sy 1, Mar. 2015, doi: 10.17341/gummfd.91022.

ISNAD

Alçin, Ömer - Şengür, Abdulkadir - İnce, Melih. “İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 30/1 (01 Mart 2015). https://doi.org/10.17341/gummfd.91022.

JAMA

1.Alçin Ö, Şengür A, İnce M. İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ. GUMMFD. 2015;30. doi:10.17341/gummfd.91022.

MLA

Alçin, Ömer, vd. “İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, c. 30, sy 1, Mart 2015, doi:10.17341/gummfd.91022.

Vancouver

1.Ömer Alçin, Abdulkadir Şengür, Melih İnce. İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ. GUMMFD. 01 Mart 2015;30(1). doi:10.17341/gummfd.91022

Cited By

Shearlet dönüşüm ve yeni geometrik özellikler kullanılarak aşırı öğrenme makinesine dayalı bitki tanıma sistemi

Gazi Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi

https://doi.org/10.17341/gazimmfd.423674

GPU Programlamada CUDA Platformu Kullanılan Paralel Görüntü İşleme Çalışmalarının İncelenmesi

Journal of Polytechnic

https://doi.org/10.2339/politeknik.563767