Öz
When the large data sets are modeling with Artificial Neural Networks, the training set is divided into mini-batches to parallelize training phase. In this way, training time is reduced. In this study, the effect of the mini-batch training was investigated when it applied to small data sets. In our experiments, 4 different learning algorithms over 11 datasets were used. It is shown that the mini-batch training is more successful than the full batch training with 3 learning algorithm.
Anahtar Kelimeler
Artificial Neural Network Batch Learning Mini-batch Learning Stochastic Learning Machine Learning Optimization Artificial Intelligence
Kaynakça
- LeCun Y., Bottou, L., Orr, G. ve Muller, K., 1998. “Efficient BackProp”, in Orr, G. and Muller K. (Eds), Neural Networks: Tricks of the trade, Springer.
- Wilson, D.R., Martinez, T.R., 2003, "The general inefficiency of batch training for gradient descent learning", Neural Networks, 16 (2003) 1429–1451, Elsevier.
- Dekel, O., Bachrach, R.G., Shamir, O., Xiao, L., 2012, "Optimal Distributed Online Prediction Using Mini-Batches", Journal of Machine Learning Research, 13 (2012) 165- 202.
- Gimpel, K., Das, D., Smith, N.A., 2010, "Distributed Asynchronous Online Learning for Natural Language Processing", CoNLL '10 Proceedings of the Fourteenth Conference on Computational Natural Language Learning, 213-222.
- Zhao, K., Huang, L., 2013, "Minibatch and Parallelization for Online Large Margin Structured Learning", Proceedings of NAACL- HLT 2013, 370–379.
- Cotter, A., Shamir, O., Srebro, N., ve Sridharan, K., 2011, "Better Mini-Batch Algorithms via Accelerated Gradient Methods", Advances in Neural Information Processing Systems (NIPS).
- Mİller, M.F., 1993, "A scaled conjugate gradient algorithm for fast supervised learning", NEURAL NETWORKS, 6(4), 525-533.
- Boyd, S., Vandenberghe, L., 2004, Convex Optimization, Cambridge University Press.
- Fletcher, R., 1987, Practical methods of optimization, New York: John Wiley & Sons.
- Igel, C., Hüsken, M., 2003, "Empirical evaluation of the improved Rprop learning algorithm", Neurocomputing, 50(C), 105-123.
- http://wangwzhao.googlepages.com/
- Blake, C.L., Merz, C.J., 1998, UCI Repository of www.ics.uci.edu/~mlearn/MLRepository.html Databases -
Öz
Yapay sinir ağları ile büyük veri kümeleri modellenirken eğitimi paralelleştirmek için, eğitim kümesi ağa toptan yerine parçalara ayrılarak verilir. Bu sayede eğitim süresi azaltılır. Bu çalışmada parçalı eğitimin küçük veri kümelerine uygulandığındaki etkisi incelenmiştir. 4 farklı eğitim algoritması ve 11 veri kümesi üzerinde yapılan testlerde, 3 eğitim algoritması için parçalı eğitimin, toptan eğitimden daha başarılı olduğunu görülmüştür.
Anahtar Kelimeler
Yapay Sinir Ağları Toptan Öğrenme Parçalı Öğrenme Tekil Öğrenme Makine Öğrenmesi Optimizasyon Yapay Zeka
Kaynakça
- LeCun Y., Bottou, L., Orr, G. ve Muller, K., 1998. “Efficient BackProp”, in Orr, G. and Muller K. (Eds), Neural Networks: Tricks of the trade, Springer.
- Wilson, D.R., Martinez, T.R., 2003, "The general inefficiency of batch training for gradient descent learning", Neural Networks, 16 (2003) 1429–1451, Elsevier.
- Dekel, O., Bachrach, R.G., Shamir, O., Xiao, L., 2012, "Optimal Distributed Online Prediction Using Mini-Batches", Journal of Machine Learning Research, 13 (2012) 165- 202.
- Gimpel, K., Das, D., Smith, N.A., 2010, "Distributed Asynchronous Online Learning for Natural Language Processing", CoNLL '10 Proceedings of the Fourteenth Conference on Computational Natural Language Learning, 213-222.
- Zhao, K., Huang, L., 2013, "Minibatch and Parallelization for Online Large Margin Structured Learning", Proceedings of NAACL- HLT 2013, 370–379.
- Cotter, A., Shamir, O., Srebro, N., ve Sridharan, K., 2011, "Better Mini-Batch Algorithms via Accelerated Gradient Methods", Advances in Neural Information Processing Systems (NIPS).
- Mİller, M.F., 1993, "A scaled conjugate gradient algorithm for fast supervised learning", NEURAL NETWORKS, 6(4), 525-533.
- Boyd, S., Vandenberghe, L., 2004, Convex Optimization, Cambridge University Press.
- Fletcher, R., 1987, Practical methods of optimization, New York: John Wiley & Sons.
- Igel, C., Hüsken, M., 2003, "Empirical evaluation of the improved Rprop learning algorithm", Neurocomputing, 50(C), 105-123.
- http://wangwzhao.googlepages.com/
- Blake, C.L., Merz, C.J., 1998, UCI Repository of www.ics.uci.edu/~mlearn/MLRepository.html Databases -
Ayrıntılar
| Diğer ID | JA37NE75AG |
|---|---|
| Yazarlar | |
| Yayımlanma Tarihi | 24 Haziran 2016 |
| Yayımlandığı Sayı | Yıl 2015 Cilt: 8 Sayı: 1 |
Kaynak Göster
https://i.creativecommons.org/l/by-nc/4.0Makale Kabulü | |
Çevrimiçi makale yüklemesi yapmak için kullanıcı kayıt/girişini kullanınız. Dergiye gönderilen makalelerin kabul süreci şu aşamalardan oluşmaktadır: 1. Gönderilen her makale ilk aşamada en az iki hakeme gönderilmektedir. 2. Hakem ataması, dergi editörleri tarafından yapılmaktadır. Derginin hakem havuzunda yaklaşık 200 hakem bulunmaktadır ve bu hakemler ilgi alanlarına göre sınıflandırılmıştır. Her hakeme ilgilendiği konuda makale gönderilmektedir. Hakem seçimi menfaat çatışmasına neden olmayacak biçimde yapılmaktadır. 3. Hakemlere gönderilen makalelerde yazar adları kapatılmaktadır. 4. Hakemlere bir makalenin nasıl değerlendirileceği açıklanmaktadır ve aşağıda görülen değerlendirme formunu doldurmaları istenmektedir. 5. İki hakemin olumlu görüş bildirdiği makaleler editörler tarafından benzerlik incelemesinden geçirilir. Makalelerdeki benzerliğin %25’ten küçük olması beklenir. 6. Tüm aşamaları geçmiş olan bir bildiri dil ve sunuş açısından editör tarafından incelenir ve gerekli düzeltme ve iyileştirmeler yapılır. Gerekirse yazarlara durum bildirilir.
|
