Investigation of the Effect of Hyperparameter Selection on Classification Performance in EfficientNet-B3 Architecture Trained Using Skin Cancer Images

Öz

In this study, a study was conducted with the HAM10000 dataset containing skin lesions to see the performance of architectures such as EfficienNetB3, which uses deep learning techniques to detect skin cancer. In this study, applications were made in deep learning to see the effect of the learning rate or learning rate on architectures using convolutional neural networks used in image classification. These applications were made to see the effect of the learning rate, the size and diversity of the data set, and the number of images used in training, as well as the increased number of images, on both the success in classification and the time taken for training. EfficientNetB3 was used as the architecture and HAM1000 dataset, which is open access on the Kaggle platform, was used as the dataset. At the end of the study, without using as many augmented images as possible and with 600 images of each disease class, a learning rate of 0.002 and epoch 15 instead of 10, the highest accuracy performance of 0.8234 was achieved in the fifth application.

Anahtar Kelimeler

• Convolutional neural network (CNN)
• learning rate
• deep learning
• HAM10000
• skin cancer

Cilt Kanseri Görüntüleri Kullanılarak Eğitilen EfficientNet-B3 Mimarisinde Hiperparametre Seçiminin Sınıflandırma Performansına Etkisinin İncelenmesi

Öz

Bu çalışmada cilt kanserini tespit etmek için derin öğrenme tekniklerini kullanan EfficienNetB3 gibi mimarilerin performanslarını görmek için cilt lezyonlarını içeren HAM10000 veri seti ile çalışma yapılmıştır. Bu çalışmada derin öğrenmede, öğrenme oranının görüntü sınıflandırmada kullanılan evrişimli sinir ağlarını kullanan mimariler üzerindeki etkisini görmek için uygulamalar yapılmıştır. Bu uygulamalar öğrenme oranının, veri setinin büyüklüğü ve çeşitliliği ve eğitimde kullanılan görüntü sayıları ile birlikte artırılmış görüntü sayılarının hem sınıflandırmadaki başarıya hem de eğitim için geçen süreye etkisini görmek amacıyla yapılmıştır. Mimari olarak EfficientNetB3 ve veri seti olarak ta Kaggle platformunda açık erişimi olan HAM10000 veri seti kullanılmıştır. Çalışmanın sonunda, mümkün olduğu kadar artırılmış görüntü kullanmadan ve her bir hastalık sınıfına ait 600 görüntü olacak şekilde, 0,002 öğrenme oranı ve 10 yerine epoch 15 alınarak beşinci uygulamada en yüksek 0.8234 doğruluk performansı elde edilmiştir.

Anahtar Kelimeler

• Evrişimli sinir ağı (ESA)
• öğrenme oranı
• derin öğrenme
• HAM10000
• cit kanseri

Kaynakça

1. Elgamal, M. Automatic skin cancer images classification, International Journal of Advanced Computer Science and Applications, 2013, vol. 4, no. 3 pp:287-294.
2. Dildar M, Akram S, İrfan M, Khan HU, Ramzan M, Mahmood AR, Alsaiari SA, Saeed AHM, Alraddadi MO, Mahnashi MH. Cilt Kanseri Tespiti: Derin Öğrenme Tekniklerini Kullanan Bir İnceleme. Uluslararası Çevre Araştırmaları ve Halk Sağlığı Dergisi . 2021; 18(10):5479. https://doi.org/10.3390/ijerph18105479
3. Key Statistics for Melanoma Skin Cancer. Am. Cancer Soc. Available online: https://www.cancer.org/content/dam/CRC/PDF/Public/8823.00.pdf (Erişim Tarihi: 15 November 2023)
4. Khan MQ et al., Classification of Melanoma and Nevus in Digital Images for Diagnosis of Skin Cancer, in IEEE Access, 2019, vol. 7, pp. 90132-90144, doi: 10.1109
5. Seyyarer, E., Ayata, F., Uçkan, T., Karci, A., Derin öğrenmede kullanılan optimizasyon algoritmalarının uygulanması ve kıyaslanması, Anatolian Journal of Computer Sciences, 2020, Volume 5 No 2 pp:90-98
6. Shete, A. S., Rane, A. S., Gaikwad, P. S., & Patil, M. H, Detection of skin cancer using cnn algorithm. International Journal,2021, 6(5), pp:215-218.
7. Kasinathan G, Jayakumar S, Gandomi AH, Ramachandran M, Fong SJ, and Patan R. Automated 3-D lung tumor detection and classification by an active contour model and CNN classifier. Expert Systems with Applications,Nov. 2019, vol. 134. Elsevier BV, pp. 112–119, doi: 10.1016/j.eswa.2019.05.041.
8. Çarkacı, N. Derin öğrenme Uygulamalarında en Sık Kullanılan Hiper-Parametreler, Medium. Available at: https://medium.com/deep-learning-turkiye/derin-ogrenme-uygulamalarinda-en-sik-kullanilan-hiper-parametreler-ece8e9125c4 (Erişim Tarihi: 24 November 2023).

9. Rakhecha, A. Understanding learning rate, Medium. Available at: https://towardsdatascience.com/https-medium-com-dashingaditya-rakhecha-understanding-learning-rate-dd5da26bb6de (Erişim Tarihi: 22 Nowember 2023).
10. Çarkacı N. Derin öğrenme Uygulamalarında Hiper parametre seçim yöntemleri, Medium, https://medium.com/deep-learning-turkiye/derin-ogrenme-uygulamalarinda-model-dogrulama-ve-hiper-parametre-secim-yontemleri-823812d95f3 (Erişim Tarihi : 15 November 2023).
11. Deledalle, C, MLIP - chapter 3 - introduction to deep learning PPT. Available at: https://www.slideshare.net/CharlesDeledalle/mlip-chapter-3-introduction-to-deep-learning (Erişim Tarihi: 28 November 2023).
12. Brownlee, J. Understand the impact of learning rate on neural network performance, MachineLearningMastery.com. Available at: https://machinelearningmastery.com/understand-the-dynamics-of-learning-rate-on-deep-learning-neural-networks/ (Erişim Tarihi: 05 November 2023).
13. Kızrak, A. Keras ile Derin Ogrenmeye Giris. GitHub. Available at: https://github.com/ayyucekizrak/Keras_ile_Derin_Ogrenmeye_Giris/blob/master/B%C3%B6l%C3%BCm4/Optimizasyon_Y%C3%B6ntemlerinin_Kar%C5%9F%C4%B1la%C5%9Ft%C4%B1rmas%C4%B1.ipynb (Erişim Tarihi: 20 November 2023).
14. Karar A, Shaikh ZA, Khan AA, Laghari AA. Multiclass skin cancer classification using EfficientNets – a first step towards preventing skin cancer, Neuroscience Informatics, Dec. 2022,vol. 2, no. 4. Elsevier BV, p. 100034, doi: 10.1016/j.neuri.2021.100034.
15. Yıldız, O. Derin öğrenme yöntemleriyle dermoskopi görüntülerinden melanom tespiti: Kapsamlı bir çalışma. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 2019, 34.4: 2241-2260.
16. Ergün, E. Kılıç, K. Derin öğrenme ile artırılmış görüntü seti üzerinden cilt kanseri tespiti. Black Sea Journal of Engineering and Science, 2021, 4(4). pp 192-200.
17. Pham TC, Tran GS, Nghiem TP, Doucet A, Luong CM, Hoang VD. Cilt Kanserinin Sınıflandırılmasına Yönelik Karşılaştırmalı Bir Çalışma, 2019 Uluslararası Sistem Bilimi ve Mühendisliği Konferansı (ICSSE) , 2019,Dong Hoi, Vietnam, s. 267-272, doi: 10.1109/ICSSE.2019.8823124.