Araştırma Makalesi
BibTex RIS Kaynak Göster

Classification of X-Ray chest images by vision transformers and covid-19 detection

Yıl 2023, , 349 - 364, 31.08.2023
https://doi.org/10.17482/uumfd.1179180

Öz

The COVID-19 virus, which caused the declaration of a worldwide pandemic in 2019, caused serious health problems and even death due to the rapid progression of the disease. Hence, early diagnosis of the disease has been of great importance to prevent the emergence of these adverse conditions. Medical imaging methods, such as X-Ray chest images, Computed Tomography (CT), etc. have played an important role in the detection. Deep learning methods have proven their superior image analysis ability. In this study, it is proposed to use the Vision Transformer (VIT), which has recently been popular in computer vision applications, for Covid-19 detection using X-ray chest images. The effectiveness of the VIT architecture is compared with a popular Convolutional Neural Network architecture, Resnet50 through various criteria, as well as VGG16 and InceptionV3 architectures, which were recorded to be successful in multi-class datasets of COVID-19. As a result of the experiments, it has been observed that the VIT architecture outperforms the Resnet50 and VGG16 architectures trained with the transfer learning method, and it has been observed that it achieves head-to-head results with InceptionV3, and it has been concluded that it can be used as an alternative decision support system for COVID-19 detection.

Kaynakça

  • 1. Amyar, A., Modzelewski, R., Li, H., ve Ruan, S. (2020) Multi-task deep learning based CT imaging analysis for COVID-19 pneumonia: Classification and segmentation, Computers in Biology and Medicine, 126, 104037.
  • 2. Ardakani, A. A., Kanafi, A. R., Acharya, U. R., Khadem, N., ve Mohammadi, A. (2020) Application of deep learning technique to manage COVID-19 in routine clinical practice using CT images: Results of 10 convolutional neural networks, Computers In Biology And Medicine, 121, 103795.
  • 3. Bercovich, E. ve Javitt, M.C. (2018) Medical Imaging: From Roentgen to the Digital Revolution, and Beyond, Rambam Maimonides Medical Journal, 9(4):e0034. https://doi.org/10.5041/RMMJ.10355
  • 4. Bozkurt, F., ve Yağanoğlu, M. (2021) Derin Evrişimli Sinir Ağları Kullanarak Akciğer X-Ray Görüntülerinden COVID-19 Tespiti, Veri Bilimi , 4(2), 1-8.
  • 5. Calderon-Ramirez, S., Yang, S., Moemeni, A., Colreavy-Donnelly, S., Elizondo, D. A., Oala, L., ... ve Molina-Cabello, M. A. (2021) Improving uncertainty estimation with semi-supervised deep learning for covid-19 detection using chest x-ray images, IEEE Access, 9,85442-85454. doi:10.1109/ACCESS.2021.3085418
  • 6. Demir, F.B., ve Yılmaz, E. (2021) X-Ray Görüntülerinden COVID-19 Tespiti için Derin Öğrenme Temelli Bir Yaklaşım, Avrupa Bilim ve Teknoloji Dergisi, (32), 627-632. doi: 10.31590/ejosat.1039522
  • 7. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., ... ve Houlsby, N. (2020) An image is worth 16x16 words: Transformers for image recognition at scale, ArXiv Preprint, arXiv:2010.11929.
  • 8. Güngör, S., Kaya,M. ve Alhajj, R. (2021) Görüntülerinden Covid-19 Tespiti İçin Derin Öğrenmeye Dayalı Bir Yöntem, Computer Science, Special: 391-399.
  • 9. He, K., Zhang, X., Ren, S., ve Sun, J. (2016) Deep residual learning for image recognition, In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).
  • 10. Heidari, M., Mirniaharikandehei, S., Khuzani, A. Z., Danala, G., Qiu, Y., ve Zheng, B. (2020) Improving the performance of CNN to predict the likelihood of COVID-19 using chest X-ray images with preprocessing algorithms, International journal of medical informatics, 144, 104284. https://doi.org/10.1016/j.ijmedinf.2020.104284.
  • 11. https://kaggle.com/tawsifurrahman/covid19-radiography-database, Erişim Tarihi: 04.11.2021, Konu: COVID-19 Radyografi veri tabanı.
  • 12. https://www.kaggle.com/datasets/cf77495622971312010dd5934ee91f07ccbcfdea8e2f7778977ea8485c1914df, Erişim Tarihi: 04.11.2021, Konu: COVID-QU-Ex veri tabanı.
  • 13. https://github.com/ieee8023/covid-chestxray-dataset, Erişim Tarihi: 05.11.2021, Konu: Cohen J.P. Covid-chestxray-dataset veri tabanı.
  • 14. Jacofsky, D., Jacofsky, E.M. ve Jacofsky, M. (2020) Understanding antibody testing for COVID-19, J Arthroplasty, 35(7S):S74-S81, doi: 10.1016/j.arth.2020.04.055, PMID: 32389405; PMCID: PMC7184973.
  • 15. Karaman, O. (2021). Boosting performance of transfer learning model for diagnosis of COVID-19 from computer tomography scans, Süleyman Demirel Üniversitesi Fen Edebiyat Fakültesi Fen Dergisi, 16(1), 35-45. https://doi.org/10.29233/sdufeffd.830351
  • 16. Ko, H., Chung, H., Kang, W. S., Kim, K. W., Shin, Y., Kang, S. J., ... ve Lee, J. (2020) COVID-19 pneumonia diagnosis using a simple 2D deep learning framework with a single chest CT image: model development and validation, Journal of Medical Internet Research, 22(6), e19569.
  • 17. Korkmaz, A. ve Atilla, B, Ü. (2021) Derin Öğrenme Teknikleriyle Akciğer Röntgeninden Covid-19 Tespiti, Artificial Intelligence Studies,4(1), 1-13. https://doi.org/10.30855/AIS.2021.01.
  • 18. Kumar, S., Mishra, S., ve Singh, S. K. (2021) Deep transfer Learning-based COVID-19 prediction using chest X-rays, Journal of Health Management, 23(4), 730-746. doi:10.1177/09720634211050425
  • 19. Li, J., Wang, Y., Wang, S., Wang, J., Liu, J., Jin, Q., ve Sun, L. (2021) Multiscale attention guided network for COVID-19 diagnosis using chest X-ray images, IEEE Journal of Biomedical and Health Informatics, 25(5), 1336-1346.
  • 20. Narin, A., Kaya, C., ve Pamuk, Z. (2021) Automatic detection of coronavirus disease (covid-19) using x-ray images and deep convolutional neural networks, Pattern Analysis and Applications, 24(3), 1207-1220.
  • 21. Özbay, E., ve Özbay, F. A. (2021) Derin Öğrenme ve Sınıflandırma Yaklaşımları ile BT görüntülerinden Covid-19 Tespiti, Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi, 12(2), 211-219.
  • 22. Tahamtan, A. ve Ardebili, A. (2020) Real-time RT-PCR in COVID-19 detection: issues affecting the results, Expert Review Of Molecular Diagnostics Journal, 20(5):453-454. doi:10.1080/14737159.2020.1757437
  • 23. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... ve Polosukhin, I. (2017) Attention is all you need, Advances in Neural Information Processing Systems, 30.
  • 24. YILMAZ, A. (2021) Çok kanallı CNN mimarisi ile X-Ray görüntülerinden COVID-19 tanısı, Gazi Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi, 36(4), 1761–1774. https://doi.org/10.17341/gazimmfd.746883

X-RAY GÖĞÜS GÖRÜNTÜLERİNİN GÖRÜNTÜ DÖNÜŞTÜRÜCÜLER İLE SINIFLANDIRILMASI VE COVİD-19 TESPİTİ

Yıl 2023, , 349 - 364, 31.08.2023
https://doi.org/10.17482/uumfd.1179180

Öz

2019 yılında dünya çapında pandemi ilan edilmesine sebep olan COVİD-19 virüsü, bulaştığı bazı kişilerde hastalığın çok hızlı ilerlemesi sebebi ile çok ciddi sağlık problemlerine, hatta ölümlere neden olmuştur. Hastalığın hızlı teşhisi bu olumsuz durumların ortaya çıkmasını engellemek için büyük önem arz etmiştir. X-Ray göğüs görüntüleri, Bilgisayarlı Tomografi (BT) vb. gibi tıbbi görüntüleme yöntemleri covid-19 un tespit edilmesinde önemli rol oynamıştır. Derin öğrenme yöntemleri, insan faktörünü ve insandan kaynaklı hata payını minimuma indirerek üstün görüntü analizi yeteneğini kanıtlamıştır. Bu çalışmada, son dönemlerde bilgisayarlı görü uygulamalarında öne çıkan görüntü dönüştürücülerin (Vision Transformers, VIT) X-ray göğüs görüntüleri üzerinde Covid-19 tespiti için kullanılması önerilmiştir. Önerilen sistemin eğitim ve test performansı literatürde yaygın kullanılan bir Konvolüsyonel Sinir Ağı, Resnet50, ile ayrıntılı olarak karşılaştırılarak analiz edilmiştir. Ayrıca VİT mimarisinin etkinliği doğruluk, kesinlik, hassasiyet ve F1 skoru kriterleri aracılığı ile Resnet50’nin yanı sıra COVİD-19’un çok sınıflı veri kümelerinde başarı gösterdiği kaydedilen VGG16 ve InceptionV3 mimarileri ile de karşılaştırılmıştır. Deneyler sonucunda VİT mimarisinin öğrenme aktarımı yöntemi ile eğitilen Resnet50 ve VGG16 mimarilerinden daha iyi performans gösterdiği ve InceptionV3 ile başa baş sonuçlar elde ettiği gözlemlenmiş ve COVİD-19 tespitinde alternatif bir karar destek sistemi olarak kullanılabileceği tespit edilmiştir.

Kaynakça

  • 1. Amyar, A., Modzelewski, R., Li, H., ve Ruan, S. (2020) Multi-task deep learning based CT imaging analysis for COVID-19 pneumonia: Classification and segmentation, Computers in Biology and Medicine, 126, 104037.
  • 2. Ardakani, A. A., Kanafi, A. R., Acharya, U. R., Khadem, N., ve Mohammadi, A. (2020) Application of deep learning technique to manage COVID-19 in routine clinical practice using CT images: Results of 10 convolutional neural networks, Computers In Biology And Medicine, 121, 103795.
  • 3. Bercovich, E. ve Javitt, M.C. (2018) Medical Imaging: From Roentgen to the Digital Revolution, and Beyond, Rambam Maimonides Medical Journal, 9(4):e0034. https://doi.org/10.5041/RMMJ.10355
  • 4. Bozkurt, F., ve Yağanoğlu, M. (2021) Derin Evrişimli Sinir Ağları Kullanarak Akciğer X-Ray Görüntülerinden COVID-19 Tespiti, Veri Bilimi , 4(2), 1-8.
  • 5. Calderon-Ramirez, S., Yang, S., Moemeni, A., Colreavy-Donnelly, S., Elizondo, D. A., Oala, L., ... ve Molina-Cabello, M. A. (2021) Improving uncertainty estimation with semi-supervised deep learning for covid-19 detection using chest x-ray images, IEEE Access, 9,85442-85454. doi:10.1109/ACCESS.2021.3085418
  • 6. Demir, F.B., ve Yılmaz, E. (2021) X-Ray Görüntülerinden COVID-19 Tespiti için Derin Öğrenme Temelli Bir Yaklaşım, Avrupa Bilim ve Teknoloji Dergisi, (32), 627-632. doi: 10.31590/ejosat.1039522
  • 7. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., ... ve Houlsby, N. (2020) An image is worth 16x16 words: Transformers for image recognition at scale, ArXiv Preprint, arXiv:2010.11929.
  • 8. Güngör, S., Kaya,M. ve Alhajj, R. (2021) Görüntülerinden Covid-19 Tespiti İçin Derin Öğrenmeye Dayalı Bir Yöntem, Computer Science, Special: 391-399.
  • 9. He, K., Zhang, X., Ren, S., ve Sun, J. (2016) Deep residual learning for image recognition, In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).
  • 10. Heidari, M., Mirniaharikandehei, S., Khuzani, A. Z., Danala, G., Qiu, Y., ve Zheng, B. (2020) Improving the performance of CNN to predict the likelihood of COVID-19 using chest X-ray images with preprocessing algorithms, International journal of medical informatics, 144, 104284. https://doi.org/10.1016/j.ijmedinf.2020.104284.
  • 11. https://kaggle.com/tawsifurrahman/covid19-radiography-database, Erişim Tarihi: 04.11.2021, Konu: COVID-19 Radyografi veri tabanı.
  • 12. https://www.kaggle.com/datasets/cf77495622971312010dd5934ee91f07ccbcfdea8e2f7778977ea8485c1914df, Erişim Tarihi: 04.11.2021, Konu: COVID-QU-Ex veri tabanı.
  • 13. https://github.com/ieee8023/covid-chestxray-dataset, Erişim Tarihi: 05.11.2021, Konu: Cohen J.P. Covid-chestxray-dataset veri tabanı.
  • 14. Jacofsky, D., Jacofsky, E.M. ve Jacofsky, M. (2020) Understanding antibody testing for COVID-19, J Arthroplasty, 35(7S):S74-S81, doi: 10.1016/j.arth.2020.04.055, PMID: 32389405; PMCID: PMC7184973.
  • 15. Karaman, O. (2021). Boosting performance of transfer learning model for diagnosis of COVID-19 from computer tomography scans, Süleyman Demirel Üniversitesi Fen Edebiyat Fakültesi Fen Dergisi, 16(1), 35-45. https://doi.org/10.29233/sdufeffd.830351
  • 16. Ko, H., Chung, H., Kang, W. S., Kim, K. W., Shin, Y., Kang, S. J., ... ve Lee, J. (2020) COVID-19 pneumonia diagnosis using a simple 2D deep learning framework with a single chest CT image: model development and validation, Journal of Medical Internet Research, 22(6), e19569.
  • 17. Korkmaz, A. ve Atilla, B, Ü. (2021) Derin Öğrenme Teknikleriyle Akciğer Röntgeninden Covid-19 Tespiti, Artificial Intelligence Studies,4(1), 1-13. https://doi.org/10.30855/AIS.2021.01.
  • 18. Kumar, S., Mishra, S., ve Singh, S. K. (2021) Deep transfer Learning-based COVID-19 prediction using chest X-rays, Journal of Health Management, 23(4), 730-746. doi:10.1177/09720634211050425
  • 19. Li, J., Wang, Y., Wang, S., Wang, J., Liu, J., Jin, Q., ve Sun, L. (2021) Multiscale attention guided network for COVID-19 diagnosis using chest X-ray images, IEEE Journal of Biomedical and Health Informatics, 25(5), 1336-1346.
  • 20. Narin, A., Kaya, C., ve Pamuk, Z. (2021) Automatic detection of coronavirus disease (covid-19) using x-ray images and deep convolutional neural networks, Pattern Analysis and Applications, 24(3), 1207-1220.
  • 21. Özbay, E., ve Özbay, F. A. (2021) Derin Öğrenme ve Sınıflandırma Yaklaşımları ile BT görüntülerinden Covid-19 Tespiti, Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi, 12(2), 211-219.
  • 22. Tahamtan, A. ve Ardebili, A. (2020) Real-time RT-PCR in COVID-19 detection: issues affecting the results, Expert Review Of Molecular Diagnostics Journal, 20(5):453-454. doi:10.1080/14737159.2020.1757437
  • 23. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... ve Polosukhin, I. (2017) Attention is all you need, Advances in Neural Information Processing Systems, 30.
  • 24. YILMAZ, A. (2021) Çok kanallı CNN mimarisi ile X-Ray görüntülerinden COVID-19 tanısı, Gazi Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi, 36(4), 1761–1774. https://doi.org/10.17341/gazimmfd.746883
Toplam 24 adet kaynakça vardır.

Ayrıntılar

Birincil Dil Türkçe
Konular Yapay Zeka
Bölüm Araştırma Makaleleri
Yazarlar

Dilek Civil 0000-0002-2370-8218

Ozge Oztimur Karadag 0000-0001-7053-5383

Erken Görünüm Tarihi 18 Ağustos 2023
Yayımlanma Tarihi 31 Ağustos 2023
Gönderilme Tarihi 23 Eylül 2022
Kabul Tarihi 27 Mayıs 2023
Yayımlandığı Sayı Yıl 2023

Kaynak Göster

APA Civil, D., & Oztimur Karadag, O. (2023). X-RAY GÖĞÜS GÖRÜNTÜLERİNİN GÖRÜNTÜ DÖNÜŞTÜRÜCÜLER İLE SINIFLANDIRILMASI VE COVİD-19 TESPİTİ. Uludağ Üniversitesi Mühendislik Fakültesi Dergisi, 28(2), 349-364. https://doi.org/10.17482/uumfd.1179180
AMA Civil D, Oztimur Karadag O. X-RAY GÖĞÜS GÖRÜNTÜLERİNİN GÖRÜNTÜ DÖNÜŞTÜRÜCÜLER İLE SINIFLANDIRILMASI VE COVİD-19 TESPİTİ. UUJFE. Ağustos 2023;28(2):349-364. doi:10.17482/uumfd.1179180
Chicago Civil, Dilek, ve Ozge Oztimur Karadag. “X-RAY GÖĞÜS GÖRÜNTÜLERİNİN GÖRÜNTÜ DÖNÜŞTÜRÜCÜLER İLE SINIFLANDIRILMASI VE COVİD-19 TESPİTİ”. Uludağ Üniversitesi Mühendislik Fakültesi Dergisi 28, sy. 2 (Ağustos 2023): 349-64. https://doi.org/10.17482/uumfd.1179180.
EndNote Civil D, Oztimur Karadag O (01 Ağustos 2023) X-RAY GÖĞÜS GÖRÜNTÜLERİNİN GÖRÜNTÜ DÖNÜŞTÜRÜCÜLER İLE SINIFLANDIRILMASI VE COVİD-19 TESPİTİ. Uludağ Üniversitesi Mühendislik Fakültesi Dergisi 28 2 349–364.
IEEE D. Civil ve O. Oztimur Karadag, “X-RAY GÖĞÜS GÖRÜNTÜLERİNİN GÖRÜNTÜ DÖNÜŞTÜRÜCÜLER İLE SINIFLANDIRILMASI VE COVİD-19 TESPİTİ”, UUJFE, c. 28, sy. 2, ss. 349–364, 2023, doi: 10.17482/uumfd.1179180.
ISNAD Civil, Dilek - Oztimur Karadag, Ozge. “X-RAY GÖĞÜS GÖRÜNTÜLERİNİN GÖRÜNTÜ DÖNÜŞTÜRÜCÜLER İLE SINIFLANDIRILMASI VE COVİD-19 TESPİTİ”. Uludağ Üniversitesi Mühendislik Fakültesi Dergisi 28/2 (Ağustos 2023), 349-364. https://doi.org/10.17482/uumfd.1179180.
JAMA Civil D, Oztimur Karadag O. X-RAY GÖĞÜS GÖRÜNTÜLERİNİN GÖRÜNTÜ DÖNÜŞTÜRÜCÜLER İLE SINIFLANDIRILMASI VE COVİD-19 TESPİTİ. UUJFE. 2023;28:349–364.
MLA Civil, Dilek ve Ozge Oztimur Karadag. “X-RAY GÖĞÜS GÖRÜNTÜLERİNİN GÖRÜNTÜ DÖNÜŞTÜRÜCÜLER İLE SINIFLANDIRILMASI VE COVİD-19 TESPİTİ”. Uludağ Üniversitesi Mühendislik Fakültesi Dergisi, c. 28, sy. 2, 2023, ss. 349-64, doi:10.17482/uumfd.1179180.
Vancouver Civil D, Oztimur Karadag O. X-RAY GÖĞÜS GÖRÜNTÜLERİNİN GÖRÜNTÜ DÖNÜŞTÜRÜCÜLER İLE SINIFLANDIRILMASI VE COVİD-19 TESPİTİ. UUJFE. 2023;28(2):349-64.

DUYURU:

30.03.2021- Nisan 2021 (26/1) sayımızdan itibaren TR-Dizin yeni kuralları gereği, dergimizde basılacak makalelerde, ilk gönderim aşamasında Telif Hakkı Formu yanısıra, Çıkar Çatışması Bildirim Formu ve Yazar Katkısı Bildirim Formu da tüm yazarlarca imzalanarak gönderilmelidir. Yayınlanacak makalelerde de makale metni içinde "Çıkar Çatışması" ve "Yazar Katkısı" bölümleri yer alacaktır. İlk gönderim aşamasında doldurulması gereken yeni formlara "Yazım Kuralları" ve "Makale Gönderim Süreci" sayfalarımızdan ulaşılabilir. (Değerlendirme süreci bu tarihten önce tamamlanıp basımı bekleyen makalelerin yanısıra değerlendirme süreci devam eden makaleler için, yazarlar tarafından ilgili formlar doldurularak sisteme yüklenmelidir).  Makale şablonları da, bu değişiklik doğrultusunda güncellenmiştir. Tüm yazarlarımıza önemle duyurulur.

Bursa Uludağ Üniversitesi, Mühendislik Fakültesi Dekanlığı, Görükle Kampüsü, Nilüfer, 16059 Bursa. Tel: (224) 294 1907, Faks: (224) 294 1903, e-posta: mmfd@uludag.edu.tr