Classification of X-Ray chest images by vision transformers and covid-19 detection

Abstract

The COVID-19 virus, which caused the declaration of a worldwide pandemic in 2019, caused serious health problems and even death due to the rapid progression of the disease. Hence, early diagnosis of the disease has been of great importance to prevent the emergence of these adverse conditions. Medical imaging methods, such as X-Ray chest images, Computed Tomography (CT), etc. have played an important role in the detection. Deep learning methods have proven their superior image analysis ability. In this study, it is proposed to use the Vision Transformer (VIT), which has recently been popular in computer vision applications, for Covid-19 detection using X-ray chest images. The effectiveness of the VIT architecture is compared with a popular Convolutional Neural Network architecture, Resnet50 through various criteria, as well as VGG16 and InceptionV3 architectures, which were recorded to be successful in multi-class datasets of COVID-19. As a result of the experiments, it has been observed that the VIT architecture outperforms the Resnet50 and VGG16 architectures trained with the transfer learning method, and it has been observed that it achieves head-to-head results with InceptionV3, and it has been concluded that it can be used as an alternative decision support system for COVID-19 detection.

Keywords

• COVID-19
• Vision Transformers
• Deep Learning
• CNN
• Transfer Learning

X-RAY GÖĞÜS GÖRÜNTÜLERİNİN GÖRÜNTÜ DÖNÜŞTÜRÜCÜLER İLE SINIFLANDIRILMASI VE COVİD-19 TESPİTİ

Abstract

2019 yılında dünya çapında pandemi ilan edilmesine sebep olan COVİD-19 virüsü, bulaştığı bazı kişilerde hastalığın çok hızlı ilerlemesi sebebi ile çok ciddi sağlık problemlerine, hatta ölümlere neden olmuştur. Hastalığın hızlı teşhisi bu olumsuz durumların ortaya çıkmasını engellemek için büyük önem arz etmiştir. X-Ray göğüs görüntüleri, Bilgisayarlı Tomografi (BT) vb. gibi tıbbi görüntüleme yöntemleri covid-19 un tespit edilmesinde önemli rol oynamıştır. Derin öğrenme yöntemleri, insan faktörünü ve insandan kaynaklı hata payını minimuma indirerek üstün görüntü analizi yeteneğini kanıtlamıştır. Bu çalışmada, son dönemlerde bilgisayarlı görü uygulamalarında öne çıkan görüntü dönüştürücülerin (Vision Transformers, VIT) X-ray göğüs görüntüleri üzerinde Covid-19 tespiti için kullanılması önerilmiştir. Önerilen sistemin eğitim ve test performansı literatürde yaygın kullanılan bir Konvolüsyonel Sinir Ağı, Resnet50, ile ayrıntılı olarak karşılaştırılarak analiz edilmiştir. Ayrıca VİT mimarisinin etkinliği doğruluk, kesinlik, hassasiyet ve F1 skoru kriterleri aracılığı ile Resnet50’nin yanı sıra COVİD-19’un çok sınıflı veri kümelerinde başarı gösterdiği kaydedilen VGG16 ve InceptionV3 mimarileri ile de karşılaştırılmıştır. Deneyler sonucunda VİT mimarisinin öğrenme aktarımı yöntemi ile eğitilen Resnet50 ve VGG16 mimarilerinden daha iyi performans gösterdiği ve InceptionV3 ile başa baş sonuçlar elde ettiği gözlemlenmiş ve COVİD-19 tespitinde alternatif bir karar destek sistemi olarak kullanılabileceği tespit edilmiştir.

Keywords

• Covid-19
• Görüntü Dönüştürücü
• Derin Öğrenme
• CNN
• Aktarım Öğrenme

References

1. 1. Amyar, A., Modzelewski, R., Li, H., ve Ruan, S. (2020) Multi-task deep learning based CT imaging analysis for COVID-19 pneumonia: Classification and segmentation, Computers in Biology and Medicine, 126, 104037.
2. 2. Ardakani, A. A., Kanafi, A. R., Acharya, U. R., Khadem, N., ve Mohammadi, A. (2020) Application of deep learning technique to manage COVID-19 in routine clinical practice using CT images: Results of 10 convolutional neural networks, Computers In Biology And Medicine, 121, 103795.
3. 3. Bercovich, E. ve Javitt, M.C. (2018) Medical Imaging: From Roentgen to the Digital Revolution, and Beyond, Rambam Maimonides Medical Journal, 9(4):e0034. https://doi.org/10.5041/RMMJ.10355
4. 4. Bozkurt, F., ve Yağanoğlu, M. (2021) Derin Evrişimli Sinir Ağları Kullanarak Akciğer X-Ray Görüntülerinden COVID-19 Tespiti, Veri Bilimi , 4(2), 1-8.
5. 5. Calderon-Ramirez, S., Yang, S., Moemeni, A., Colreavy-Donnelly, S., Elizondo, D. A., Oala, L., ... ve Molina-Cabello, M. A. (2021) Improving uncertainty estimation with semi-supervised deep learning for covid-19 detection using chest x-ray images, IEEE Access, 9,85442-85454. doi:10.1109/ACCESS.2021.3085418
6. 6. Demir, F.B., ve Yılmaz, E. (2021) X-Ray Görüntülerinden COVID-19 Tespiti için Derin Öğrenme Temelli Bir Yaklaşım, Avrupa Bilim ve Teknoloji Dergisi, (32), 627-632. doi: 10.31590/ejosat.1039522
7. 7. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., ... ve Houlsby, N. (2020) An image is worth 16x16 words: Transformers for image recognition at scale, ArXiv Preprint, arXiv:2010.11929.
8. 8. Güngör, S., Kaya,M. ve Alhajj, R. (2021) Görüntülerinden Covid-19 Tespiti İçin Derin Öğrenmeye Dayalı Bir Yöntem, Computer Science, Special: 391-399.

9. 9. He, K., Zhang, X., Ren, S., ve Sun, J. (2016) Deep residual learning for image recognition, In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).
10. 10. Heidari, M., Mirniaharikandehei, S., Khuzani, A. Z., Danala, G., Qiu, Y., ve Zheng, B. (2020) Improving the performance of CNN to predict the likelihood of COVID-19 using chest X-ray images with preprocessing algorithms, International journal of medical informatics, 144, 104284. https://doi.org/10.1016/j.ijmedinf.2020.104284.
11. 11. https://kaggle.com/tawsifurrahman/covid19-radiography-database, Erişim Tarihi: 04.11.2021, Konu: COVID-19 Radyografi veri tabanı.
12. 12. https://www.kaggle.com/datasets/cf77495622971312010dd5934ee91f07ccbcfdea8e2f7778977ea8485c1914df, Erişim Tarihi: 04.11.2021, Konu: COVID-QU-Ex veri tabanı.
13. 13. https://github.com/ieee8023/covid-chestxray-dataset, Erişim Tarihi: 05.11.2021, Konu: Cohen J.P. Covid-chestxray-dataset veri tabanı.
14. 14. Jacofsky, D., Jacofsky, E.M. ve Jacofsky, M. (2020) Understanding antibody testing for COVID-19, J Arthroplasty, 35(7S):S74-S81, doi: 10.1016/j.arth.2020.04.055, PMID: 32389405; PMCID: PMC7184973.
15. 15. Karaman, O. (2021). Boosting performance of transfer learning model for diagnosis of COVID-19 from computer tomography scans, Süleyman Demirel Üniversitesi Fen Edebiyat Fakültesi Fen Dergisi, 16(1), 35-45. https://doi.org/10.29233/sdufeffd.830351
16. 16. Ko, H., Chung, H., Kang, W. S., Kim, K. W., Shin, Y., Kang, S. J., ... ve Lee, J. (2020) COVID-19 pneumonia diagnosis using a simple 2D deep learning framework with a single chest CT image: model development and validation, Journal of Medical Internet Research, 22(6), e19569.
17. 17. Korkmaz, A. ve Atilla, B, Ü. (2021) Derin Öğrenme Teknikleriyle Akciğer Röntgeninden Covid-19 Tespiti, Artificial Intelligence Studies,4(1), 1-13. https://doi.org/10.30855/AIS.2021.01.
18. 18. Kumar, S., Mishra, S., ve Singh, S. K. (2021) Deep transfer Learning-based COVID-19 prediction using chest X-rays, Journal of Health Management, 23(4), 730-746. doi:10.1177/09720634211050425
19. 19. Li, J., Wang, Y., Wang, S., Wang, J., Liu, J., Jin, Q., ve Sun, L. (2021) Multiscale attention guided network for COVID-19 diagnosis using chest X-ray images, IEEE Journal of Biomedical and Health Informatics, 25(5), 1336-1346.
20. 20. Narin, A., Kaya, C., ve Pamuk, Z. (2021) Automatic detection of coronavirus disease (covid-19) using x-ray images and deep convolutional neural networks, Pattern Analysis and Applications, 24(3), 1207-1220.
21. 21. Özbay, E., ve Özbay, F. A. (2021) Derin Öğrenme ve Sınıflandırma Yaklaşımları ile BT görüntülerinden Covid-19 Tespiti, Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi, 12(2), 211-219.
22. 22. Tahamtan, A. ve Ardebili, A. (2020) Real-time RT-PCR in COVID-19 detection: issues affecting the results, Expert Review Of Molecular Diagnostics Journal, 20(5):453-454. doi:10.1080/14737159.2020.1757437
23. 23. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... ve Polosukhin, I. (2017) Attention is all you need, Advances in Neural Information Processing Systems, 30.
24. 24. YILMAZ, A. (2021) Çok kanallı CNN mimarisi ile X-Ray görüntülerinden COVID-19 tanısı, Gazi Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi, 36(4), 1761–1774. https://doi.org/10.17341/gazimmfd.746883