A Hybrid Deep Learning Approach for Diagnosis of Covid-19 from X-Ray Images

Abstract

The Covid-19 epidemic brought life to a standstill all over the world and took thousands of lives. The most important element in combating the epidemic is early diagnosis. It is possible to reduce the rate of transmission and mortality by quarantining the infected person with early diagnosis. Today, PCR (Polymerase Chain Reaction) tests and lung X-Ray images are used in the diagnosis of Covid-19. The purpose of this study is to develop a diagnostic methodology based on X-Ray images in order to assist experts in diagnosing Covid-19. In the first stage of the methodology, features are extracted from the dataset consisting of X-Ray images by using a pre-trained SqueezeNet architecture. In the second stage, nearest component analysis (NCA) is applied to the extracted feature set, and noisy ones are eliminated from this feature set. In the final stage, Covid-19 detection is performed on the noise-free feature set with support vector machines. The performance analysis of the proposed methodology is made by comparing it with a variety of deep pre-trained architectures on 5 different datasets. It is obtained from the results that the proposed methodology achieves more successful results than the others.

Keywords

• Deep Learning
• SqueezeNet
• Covid-19
• NCA

X-Ray Görüntülerinden Covid-19 Tespiti için Hibrit Bir Derin Öğrenme Yaklaşımı

Öz

Covid-19 salgını tüm dünyada hayatı durma noktasına getirdi ve binlerce can aldı. Salgın ile mücadelede en önemli unsur erken teşhistir. Erken teşhisle enfekte olan kişi karantinaya alınarak bulaş hızı ve ölüm oranı düşürülebilir. Günümüzde Covid-19’un teşhisinde PCR (Polymerase Chain Reaction- Polimeraz Zincir Reaksiyonu) testlerinden ve akciğer X-Ray görüntülerinden faydalanılmaktadır. Bu çalışmada Covid-19 teşhisinde uzmanlara yardımcı olabilmek amacıyla X-Ray görüntülerinden bir teşhis metodolojisi tasarlanmıştır. Metodolojinin ilk aşamasında ön eğitimli SqueezeNet mimarisi ile X-Ray görüntülerinden oluşan veri setinden öznitelikler çıkarılır. İkinci aşamada çıkarılan özniteliklere en yakın bileşen analizi (neighborhood component analysis (NCA)) uygulanarak mevcut öznitelik setinden gürültülü olanlar elimine edilir. Son aşamada ise, destek vektör makineleri ile gürültüden arındırılmış öznitelik seti üzerinde Covid-19 tespiti gerçekleştirilir. Önerilen metodolojinin performans analizi 5 farklı veri seti üzerinde birden çok derin öğrenme mimarileri ile karşılaştırılarak yapılmıştır. Elde edilen sonuçlar incelendiğinde önerilen metodolojinin daha başarılı sonuçlar aldığı görülmüştür.

Anahtar Kelimeler

• Derin Öğrenme
• SqueezeNet
• Covid-19
• NCA

Kaynakça

1. Ardakani, A. A., Kanafi, A. R., Acharya, U. R., Khadem, N. ve Mohammadi, A. (2020). Application of deep learning technique to manage Covid-19 in routine clinical practice using CT images: Results of 10 convolutional neural networks. Computers in Biology and Medicine, 121(103795), 1-9. doi: https://doi.org/10.1016/j.compbiomed.2020.103795
2. Ayhan, S. ve Erdoğmuş, Ş. (2014). Destek vektör makineleriyle sınıflandırma problemlerinin çözümü için çekirdek fonksiyonu seçimi. Eskişehir Osmangazi Üniversitesi İktisadi ve İdari Bilimler Dergisi, 9(1), 175-201. https://dergipark.org.tr/tr/pub/oguiibf/issue/5712/76473
3. Bozkurt, F. (2021). Derin öğrenme tekniklerini kullanarak akciğer X-ray görüntülerinden Covid-19 tespiti. Avrupa Bilim ve Teknoloji Dergisi, (24), 149-156. doi: 10.31590/ejosat.898385
4. Chowdhury, M. E., Rahman, T., Khandakar, A., Mazhar, R., Kadir, M. A., Mahbub, Z. B., Islam, K. R., Khan, M. S., Al- Emadi, N., Reaz, M. R ve Islam, T. I (2020). Can AI help in screening viral and Covid-19 pneumonia?. IEEE Access,8, 132665-132676. doi: 10.1109/ACCESS.2020.3010287.
5. Cortes, C. ve Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3), 273-297. doi: http://dx.doi.org/10.1007/BF00994018
6. Covid chestxray dataset. Github. Erişim Tarihi: 7 Ağustos 2022, https://github.com/ieee8023/covid-chestxray-dataset
7. Covid-19 detection X-ray dataset. Kaggle. Erişim Tarihi: 7 Ağustos 2022, https://www.kaggle.com/datasets/darshan1504/covid19-detection-xray-dataset
8. Covid-19 radiography database. Kaggle. Erişim Tarihi: 7 Ağustos 2022, https://www.kaggle.com/datasets/tawsifurrahman/covid19-radiography-database

9. Covid-19. T.C. Sağlık Bakanlığı. Erişim Tarihi: 10 Ekim 2022, https://covid19.saglik.gov.tr
10. Covid X-ray dataset. Kaggle. Erişim Tarihi: 7 Ağustos 2022, https://www.kaggle.com/datasets/ahemateja19bec1025/covid-xray-dataset
11. Curated chest X-ray image dataset for Covid-19. Kaggle. Erişim Tarihi: 7 Ağustos 2022, https://www.kaggle.com/datasets/unaissait/curated-chest-xray-image-dataset-for-covid19
12. Demir, F. B. ve Yılmaz, E. (2021). X-ray görüntülerinden Covid-19 tespiti için derin öğrenme temelli bir yaklaşım. Avrupa Bilim ve Teknoloji Dergisi, 32, 627-632. doi: 10.31590/ejosat.1039522
13. Eryılmaz, F. ve Karacan, H. (2021). Akciğer X-ray görüntülerinden Covid-19 tespitinde hafif ve geleneksel evrişimsel sinir ağ mimarilerinin karşılaştırılması. Düzce Üniversitesi Bilim ve Teknoloji Dergisi, 9(6), 26-39. doi: 10.29130/dubited.1011829
14. Goldberger, J., Hinton, G. E., Roweis, S. Ve Salakhutdinov, R. R. (2004). Neighbourhood components analysis. Advances in Neural Information Processing Systems 17 (NIPS).
15. Hancer, E. New filter approaches for feature selection using differential evolution and fuzzy rough set theory. Neural Comput & Applic, 32, 2929–2944 (2020). https://doi.org/10.1007/s00521-020-04744-7
16. Hançer, E., Xue, B., Karaboğa, D., & Zhang, M. (2015). A binary ABC algorithm based on advanced similarity scheme for feature selection. Applied Soft Computing, 36, 334-348. https://doi.org/10.1016/j.asoc.2015.07.023
17. He, K., Zhang, X., Ren, S. ve Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 770-778. doi: 10.1109/CVPR.2016.90 770-778.
18. Iandola, F. N., Han, S., Moskewicz, M. W., Ashraf, K., Dally, W. J. ve Keutzer, K. (2016). SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and < 0.5 MB model size. arXiv preprint arXiv:1602.07360.
19. Ismael, A. M. ve Şengür, A. (2021). Deep learning approaches for Covid-19 detection based on chest X-ray images. Expert Systems with Applications, 164 (114054). doi: 10.1016/j.eswa.2020.114054
20. İsmailoğlu, F. (2021). Metrik öğrenmesi kullanarak çeşitli kanser dokularına ait mikro dizi gen verilerinin sınıflandırılması. Düzce Üniversitesi Bilim ve Teknoloji Dergisi, 9 (5), 1739-1753. doi: 10.29130/dubited.886353
21. Minaee, S., Kafieh, R., Sonka, M., Yazdani, S. ve Jamalipour Soufi, G. (2020). Deep-Covid: Predicting Covid-19 from chest X-ray images using deep transfer learning. Medical image analysis, 65 (101794). doi: https://doi.org/10.1016/j.media.2020.101794
22. Öter, G. (2023). X-ray görüntülerinden covıd-19 tespiti için derin öğrenme tabanlı modellerin geliştirilmesi (Yayın Nu. 790127) [Yüksek lisans tezi, Burdur Mehmet Akif Ersoy Üniversitesi].
23. Özcan, T. (2020). A deep learning framework for coronavirus disease (COVID-19) Detection in X-Ray Images. Research Square. doi:10.21203/rs.3.rs-26500/v1.
24. Özcan T. (2021). A new composite approach for Covid-19 detection in X-ray images using deep features. Applied Soft Computing, 111, 107669. doi: https://doi.org/10.1016/j.asoc.2021.107669
25. Özyurt, F. (2019). Uzaktan Algılama Görüntülerinin Evrişimsel Sinir Ağları ve Komşuluk Bileşen Analizi Tabanlı Özniteliklerinin Sınıflandırılması. Afyon Kocatepe Üniversitesi Fen ve Mühendislik Bilimleri Dergisi, 19 (3), 669-675. doi: 10.35414/akufemubid.558311
26. Polat, H. ve Özerdem, M. S. (2021). Derin transfer öğrenimi yaklaşımı ile kamusal alanda medikal maske kullanımının otomatik kontrolü. Türk Doğa ve Fen Dergisi, 10 (2), 191-198. doi: 10.46810/tdfd.948098
27. Rahman, T., Chowdhury, M. E., Khandakar, A., Islam, K. R., Islam, K. F., Mahbub, Z. B., M.A., Kadir ve Kashem, S. (2020). Transfer learning with deep convolutional neural network (CNN) for pneumonia detection using chest X-ray. Applied Sciences, 10(9), 3233. doi: https://doi.org/10.3390/app10093233
28. Sandler, M., Howard, A., Zhu, M., Zhmoginov, A. ve Chen, L. C. (2018). Mobilenetv2: Inverted residuals and linear bottlenecks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, USA, 4510- 4520. doi: 10.1109/CVPR.2018.00474.
29. Simonyan, K. ve Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409, 1556, 1-14.
30. Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., Erhan, D., Vanhoucke, V. ve Rabinovich, A. (2015). Going deeper with convolutions. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, 1-9. doi: 10.1109/CVPR.2015.7298594
31. Toğaçar, M., Ergen, B. ve Sertkaya, M. E. (2019). Zatürre hastalığının derin öğrenme modeli ile tespiti. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 31 (1), 223-230. https://dergipark.org.tr/tr/pub/fumbd/issue/43638/498364
32. Tuncer, T., & Ertam, F. (2020). Neighborhood component analysis and reliefF based survival recognition methods for Hepatocellular carcinoma. Physica A: Statistical Mechanics and its Applications, 540, 123143. 10.1016/j.physa.2019.123143.
33. Yang, W., Wang, K. ve Zuo, W. (2012). Neighborhood component feature selection for high-dimensional data. Journal of Computers, 7(1), 161-168.