Evaluation of Hyper Parameter Optimization Effect on Nuclei Segmentation with U-Net

Abstract

Interpreting medical images and obtaining important data about the patient and the disease is very costly in terms of time and effort. Thanks to the analysis of medical images with artificial intelligence methods, disease detection, classification and automating these is reduced the workload of experts. In this study, the process of automating the detection of the nuclei in medical images obtained from the 2018 Data Science Bowl data set is carried out. 2018 Data Science Bowl consists of medical images put together for a competition to automate nuclei detection. This data set includes 670 training images and their mask images and 65 test images. Since there are no mask images belonging to the test images, the study is carried out by separating 10% of the training images as validation data. In the study, it is aimed to achieve the highest accuracy and the lowest error rate by using U-Net Convolutional Neural Network to automate nuclei detection. Since it is aimed to increase the accuracy rate in nuclei detection and to minimize the error rate, the experimental studies are divided into two parts. Firstly, the hyper parameters determined by the trainer have been run with Adam optimization, and in the second part, hyper parameter optimization is performed to optimize the results. Grid Search method is preferred for hyper parameter optimization. In the first stage of experimental studies, the accuracy rate obtained for verification data was found to be 0.9675. After the hyper parameter optimization, the best two results for the validation data were found as 0.9698 and 0.9739, respectively. Finally, the hyper parameters determined for the ratio of 0.9739 that gives the best result are also tested for Stochastic Gradient Descent, RMSProp and AdaDelta optimization methods. Thus, the comparison of optimization methods is also made and it was determined that the optimization method that gave the best results is Adam optimization.

Keywords

• Medical Image Segmentation
• Nuclei Detection Automation
• Hyper Parameter Optimization
• Grid Search

U-Net ile Çekirdek Segmentasyonunda Hiper Parametre Optimizasyonu Etkisinin Değerlendirilmesi

Öz

Tıbbi görüntülerin yorumlanarak hasta ve hastalık hakkında önemli veriler elde edilmesi zaman ve emek açısından oldukça maliyetlidir. Tıbbi görüntülerin yapay zekâ yöntemleri ile analiz edilmesi sayesinde hastalık tespitinin yapılması, sınıflandırılması ve bunların otomatikleştirilmesi uzmanların iş yükünü azaltmaktadır. Bu çalışmada, Data Science Bowl 2018 veri setinden elde edilen tıbbi görüntülerdeki çekirdeklerin tespitinin otomatikleştirilmesi yapılmaktadır. Data Science Bowl 2018, çekirdek tespitinin otomatikleştirilmesi amacıyla bir yarışma için bir araya getirilmiş tıbbi görüntülerden oluşmaktadır. Bu veri seti içerisinde 670 adet eğitim görüntüsü ve bunlara ait maske görüntüleri ile 65 adet test görüntüsü yer almaktadır. Test görüntülerine ait maske görüntüleri olmadığı için çalışma, eğitim görüntülerinin %10’unun doğrulama verisi olarak ayrılarak bu veriler üzerinden yapılmaktadır. Çalışmada, çekirdek tespitinin otomatikleştirilmesinde U-Net Evrişimli Sinir Ağı kullanılıp en yüksek doğruluk ve en düşük hata oranının elde edilmesi amaçlanmıştır. Çekirdek tespitindeki doğruluk oranının arttırılması ve hata oranının minimize edilmesi amaçlandığı için, yapılan deneysel çalışmalar iki bölüme ayrılmaktadır. İlk olarak Adam optimizasyonu ve belirli hiper parametreler kullanılmakta, ikinci bölümde ise sonuçların en iyilenmesi için hiper parametre optimizasyonu yapılmaktadır. Hiper parametre optimizasyonu için Izgara Arama yöntemi tercih edilmiştir. Deneysel çalışmaların ilk aşamasında doğrulama verileri için elde edilen doğruluk oranı 0.9675 olarak bulunmuştur. Hiper parametre optimizasyonu yapıldıktan sonra ise doğrulama verileri için en iyi iki sonuç sırası ile 0.9698 ve 0.9739 olarak bulunmuştur. Son olarak, en iyi sonucu veren 0.9739 oranı için belirlenen hiper parametreler Stokastik Gradyan İniş, RMSProp ve AdaDelta optimizasyon yöntemleri için de denenmiştir. Bu sayede optimizasyon yöntemlerin kıyaslaması da yapılmış ve en iyi sonucu veren optimizasyon yönteminin Adam optimizasyonu olduğu belirlenmiştir.

Anahtar Kelimeler

• Tıbbi Görüntü Segmentasyonu
• Çekirdek Tespiti Otomasyonu
• U-Net, Hiper Parametre Optimizasyonu
• Izgara Arama

Kaynakça

1. Alom, M. Z., Yakopcic, C., Taha, T. M., & Asari, V. K. (2018). Nuclei segmentation with recurrent residual convolutional neural networks-based U-Net (R2U-Net). In NAECON 2018-IEEE National Aerospace and Electronics Conference (pp. 228-233). IEEE.
2. Atli, İ., & Gedık, O. S. (2019). VESUNETDeep: A Fully Convolutional Deep Learning Architecture for Automated Vessel Segmentation. In 2019 27th Signal Processing and Communications Applications Conference (SIU) (pp. 1-4). IEEE.
3. Bergstra, J., & Bengio, Y. (2012). Random search for hyper-parameter optimization. The Journal of Machine Learning Research, 13(1), 281-305.
4. Bottou, L. (2010). Large-scale machine learning with stochastic gradient descent. In Proceedings of COMPSTAT'2010 (pp. 177-186). Physica-Verlag HD.
5. Chidester, B., Ton, T. V., Tran, M. T., Ma, J., & Do, M. N. (2019). Enhanced rotation-equivariant U-Net for nuclear segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (pp. 0-0).
6. Ciresan et al, “Deep neural networks segment neuronal membranes in electron microscopy images,” in NIPS, 2012, pp. 2852–2860.
7. Data Science Bowl 2018 Veri Seti. https://www.kaggle.com/c/data-science-bowl-2018 (Erişim Tarihi: 05.06.2020)
8. Derin Öğrenmede Kullanılan Hiper Parametreler. https://medium.com/deep-learning-turkiye/derin-ogrenme-uygulamalarinda-en-sik-kullanilan-hiper-parametreler-ece8e9125c4 (Erişim Tarihi: 05.06.2020)

9. Fuat, T. Ü. R. K., Murat, L. Ü. Y., & BARIŞÇI, N. (2019). Böbrek Tümör Segmentasyonu İçin Unet ve Unet-ResNet Modellerinin Karşılaştırılması. In 2019 3rd International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT) (pp. 1-5). IEEE.
10. Gonzalez, R. C., Woods, R. E., Telatar, Z., Tora, H., Arı, F., Kalaycıoğlu, E., & Somyürek, H. I. (2014). Sayısal görüntü işleme: Üçüncü baskıdan çeviri. Ankara: Palme Yayıncılık.
11. Gülay, E., & Semra, İ. Ç. E. R. (2020). Evaluation of Lung Size in Patients with Pneumonia and Healthy Individuals. Avrupa Bilim ve Teknoloji Dergisi, 304-309.
12. Gülcü, A., & Zeki, K. U. Ş. (2019). Konvolüsyonel sinir ağlarında hiper-parametre optimizasyonu yöntemlerinin incelenmesi. Gazi Üniversitesi Fen Bilimleri Dergisi Part C: Tasarım ve Teknoloji, 7(2), 503-522.
13. Hinton, G., Srivastava, N., & Swersky, K. (2012). Neural networks for machine learning lecture 6a overview of mini-batch gradient descent. Cited on, 14(8).
14. Hyperopt Hiper Optimizasyon Modülü. https://github.com/hyperopt/hyperopt (Erişim Tarihi: 04.06.2020)
15. Keras-Tuner Hiper Optimizasyon Modülü. https://github.com/keras-team/keras-tuner (Erişim Tarihi: 04.06.2020)
16. Kingma, D. P., & Ba, J. (2014). Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980.
17. Naylor, P., Laé, M., Reyal, F., & Walter, T. (2017). Nuclei segmentation in histopathology images using deep neural networks. In 2017 IEEE 14th international symposium on biomedical imaging (ISBI 2017) (pp. 933-936). IEEE.
18. Optuna Hiper Optimizasyon Modülü. https://optuna.org/ (Erişim Tarihi: 04.06.2020)
19. ÖZİÇ, M. Ü., & ÖZŞEN, S. (2020). Üç Boyutlu T1 Ağırlıklı Manyetik Rezonans Görüntülerinde Ön İşleme Yöntemleri. Avrupa Bilim ve Teknoloji Dergisi, (19), 227-240.
20. Punn, N. S., & Agarwal, S. (2020). Inception U-Net Architecture for Semantic Segmentation to Identify Nuclei in Microscopy Cell Images. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 16(1), 1-15.
21. Ronneberger, O., Fischer, P., & Brox, T. (2015). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham. https://arxiv.org/abs/1505.04597
22. Scikit-Learn Optimizasyon Yöntemi. https://pypi.org/project/scikit-optimize/ (Erişim Tarihi: 04.06.2020)
23. Sherpa Hiper Optimizasyon Modülü. https://parameter-sherpa.readthedocs.io/en/latest/ (Erişim Tarihi: 04.06.2020)
24. Şişeci, M., Metlek, S., & Cetişli, B. (2014). Alt-Bloklar Tekniği ve Kümeleme Yöntemleri ile Görüntü Bölütlemenin Hızlandırılması. Journal of the Faculty of Engineering & Architecture of Gazi University, 29(4).
25. Talos Hiper Optimizasyon Modülü. https://github.com/autonomio/talos/issues/451 (Erişim Tarihi: 04.06.2020)
26. Tensorflow Kütüphanesi. https://www.tensorflow.org/ (Erişim Tarihi: 04.06.2020)
27. Tune Hiper Optimizasyon Modülü. https://docs.ray.io/en/latest/tune.html (Erişim Tarihi: 04.06.2020)
28. Turan, S., & Bilgin, G. (2019, April). Semantic nuclei segmentation with deep learning on breast pathology images. In 2019 Scientific Meeting on Electrical-Electronics & Biomedical Engineering and Computer Science (EBBT) (pp. 1-4). IEEE.
29. Veta, M., Van Diest, P. J., Kornegoor, R., Huisman, A., Viergever, M. A., & Pluim, J. P. (2013). Automatic nuclei segmentation in H&E stained breast cancer histopathology images. PloS one, 8(7), e70221.
30. Vuola, A. O., Akram, S. U., & Kannala, J. (2019). Mask-RCNN and U-net ensembled for nuclei segmentation. In 2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019) (pp. 208-212). IEEE.
31. Wang, P., Hu, X., Li, Y., Liu, Q., & Zhu, X. (2016). Automatic cell nuclei segmentation and classification of breast cancer histopathology images. Signal Processing, 122, 1-13.
32. Zeiler, M. D. (2012). ADADELTA: An Adaptive Learning Rate Method. Retrieved from http://arxiv.org/abs/1212.5701
33. Zeng, Z., Xie, W., Zhang, Y., & Lu, Y. (2019). RIC-Unet: An improved neural network based on Unet for nuclei segmentation in histology images. Ieee Access, 7, 21420-21428.