U-net Mimarileri ile Glioma Tümör Segmentasyonu Üzerine Bir Literatür Çalışması

Öz

Evrişimli sinir ağı yöntemlerinden biri olan U-net, sınırlı miktarda eğitim verisi kullanarak görüntüleri hassas bir şekilde bölümlere ayırabilen, tıbbi görüntü analizi için geliştirilmiş bir görüntü bölümleme tekniğidir. Basit, esnek ve genişletilebilir bir yapıda olup yüksek kalitede piksel düzeyinde bölütleme sonuçları sunmaktadır. Bu özellikleri sayesinde, tıbbi görüntüleme toplulukları içerisinde çok yüksek bir fayda sağlamakta ve tıbbi görüntüleme bölütleme görevleri için U-net ve varyasyonları yaygın bir şekilde kullanılmaktadır. Tomografi (CT) taramaları, Manyetik rezonans (MR) taramaları, X ışınları ve Mikroskopiye kadar büyük ana görüntü modalitelerinde U-net başarılı sonuçlar vermektedir. Ayrıca, U-net büyük ölçüde bölütleme görevlerinde kullanılsada, diğer uygulamalarda da U-net kullanımının örnekleri bulunmaktadır. U-net'in tıp ve diğer alanlarda kullanım potansiyeli her geçen gün artmaktadır. Mimari olarak U-net ve çeşitlerinin kullanıldığı tıbbi alandaki çalışmalar incelendiğinde en çok çalışılan alan beyin, en çok çalışılan görüntüleme yöntemi ise MR olarak karşımıza çıkmaktadır. MR tekniğinde, güçlü bir manyetik alan ortamında radyofrekans dalgaları aracılığıyla görüntü oluşturulmaktadır. Radyasyon içermeyen ve hastaya herhangi bir ilaç verilmeyen MR tekniği, yumuşak dokuların görüntülemesinde kullanılmaktadır. MR Görüntüleme, vücudun anatomisini ve fizyolojisini araştırmak, kas ve eklem hastalıkları ve anormalliği içeren patolojileri, tümörleri, iltihaplanma ve inme gibi nörolojik durumları, kalp ve kan damarlarındaki anormallikleri tespit etmek için radyolojide sıkça kullanılmaktadır. Yetişkinlerde beyinde en çok rastlanan, kansere sebep olan ve ölüm oranı fazla tümör çeşiti glial tümörlerdir. Glial tümörlerden biri olan gliomlar erişkinlerde primer beyin tümörlerinin %75’ini oluşturur. Güvenilir bölütleme algoritmaları hekimlere doku ve yapıları nicel olarak inceleme imkânı vererek beyin ile ilgili hastalıkları teşhis ve analiz etmede yardımcı olabilmektedir. Ancak beyin dokularının iç içe ve karışık şekli, türdeş olmayan yoğunluk dağılımı, belirsiz sınırları, gürültülü yapısı ve komşu beyin dokuları arasındaki düşük zıtlık sebebiyle beyin dokularının bölütlenmesi çok zorlayıcı bir görevdir. Söz konusu glial tümörler olduğunda aktif ve nekrotik (ölü) bölümler barındıran tümörün çok türlü yapısından dolayı bölütleme işlemi daha da karmaşıklaşmaktadır. Tüm glial tümörlerde ölü ve aktif bölümler arasında belirgin bir sınır olmamakta ve tümörlerin bazılarında nekrotik bölümler varolmaktayken bir kısmında bulunmaması da bölütlemeyi güçleştirmektedir. Literatürde U-net mimarileri, bahsedilen zorlukların üstesinden gelerek başarılı bir şekilde beyin glioma tümörlerinin segmentasyonununda kullanılmıştır. Bu incelemede son yıllarda U-net mimarileri kullanılarak beyin MR görüntüleri üzerinde BRATS veri setleri glioma tümör segmentasyonu yapan çeşitli çalışmalar derlenmiş ve bunlar hakkında karşılaştırmalı bilgiler sunulmuştur.

Anahtar Kelimeler

• U-net
• Glioma Tümör
• Bölütleme

A Literature Study on Glioma Tumor Segmentation with U-net Architectures

Abstract

U-net, one of the convolutional neural network methods, is an image segmentation technique developed for medical image analysis that can precisely segment images using a limited amount of training data. It has a simple, flexible and expandable structure and offers high quality pixel-level segmentation results. Thanks to these features, it provides a very high benefit in medical imaging communities, and the U-net and its variations are widely used for medical imaging segmentation tasks. U-net gives successful results in major main image modalities such as Tomography (CT) scans, Magnetic resonance (MR) scans, X-rays and Microscopy. Also, although the U-net is largely used in segmentation tasks, there are examples of using U-net in other applications as well. The potential of U-net's use in medicine and other fields is increasing day by day. When examining the studies in the medical field where U-net and its varieties are used architecturally, the most studied area is the brain, and the most studied imaging method is MR. In the MRI technique, images are created by radiofrequency waves in a strong magnetic field environment. The MR technique, which does not contain radiation and does not give any medication to the patient, is used in the imaging of soft tissues. MRI is widely used in radiology to investigate the anatomy and physiology of the body, to detect pathologies including muscle and joint diseases and abnormalities, tumors, neurological conditions such as inflammation and stroke, and abnormalities in the heart and blood vessels. Glial tumors are the most common type of tumors in the brain that cause cancer and have a high mortality rate. Gliomas, one of the glial tumors, constitute 75% of primary brain tumors in adults. Reliable segmentation algorithms can help physicians to diagnose and analyze brain-related diseases by allowing them to quantitatively examine tissues and structures. However, the segmentation of the brain tissues is a very challenging task due to the intertwined and mixed shape of the brain tissues, the heterogeneous density distribution, the vague boundaries, the noisy nature, and the low contrast between neighboring brain tissues. When it comes to glial tumors, the segmentation process becomes more complicated due to the multifarious nature of the tumor, which contains active and necrotic (dead) parts. In all glial tumors, there is no distinct boundary between dead and active parts, and some tumors have necrotic parts, while some of them do not exist, making segmentation difficult. In the literature, U-net architectures have been successfully used in the segmentation of brain glioma tumors, overcoming the mentioned difficulties. In this review, various studies using U-net architectures on BRATS datasets for glioma tumor segmentation on brain MRI images were compiled in recent years and comparative information about them was presented.

Keywords

• U-net
• Glioma Tumor
• Segmentation

Kaynakça

1. Aboelenein, N. M., Songhao, P., Koubaa, A., Noor, A. ve Afifi, A. (2020). HTTU-Net: Hybrid Two Track U-Net for automatic brain tumor segmentation. IEEE Access, 8, 101406–101415.
2. Ahmad, P., Jin, H., Qamar, S., Zheng, R. ve Saeed, A. (2021). RD 2 A: densely connected residual networks using ASPP for brain tumor segmentation. Multimedia Tools and Applications, 1–26.
3. Awasthi, N., Pardasani, R. ve Gupta, S. (2021). Multi-Threshold Attention U-Net (MTAU) based Model for Multimodal Brain Tumor Segmentation in MRI scans. arXiv preprint arXiv:2101.12404.
4. Bakas, S., Akbari, H., Sotiras, A., Bilello, M., Rozycki, M., Kirby, J. S., … Davatzikos, C. (2017). Advancing the cancer genome atlas glioma MRI collections with expert segmentation labels and radiomic features. Scientific data, 4(1), 1–13.
5. Bakas, S., Reyes, M., Jakab, A., Bauer, S., Rempfler, M., Crimi, A., … others. (2018). Identifying the best machine learning algorithms for brain tumor segmentation, progression assessment, and overall survival prediction in the BRATS challenge. arXiv preprint arXiv:1811.02629.
6. Chen, S., Ding, C. ve Liu, M. (2019). Dual-force Convolutional Neural Networks for Accurate Brain Tumor Segmentation. Pattern Recognition, 88, 90–100.
7. Chen, W., Liu, B., Peng, S., Sun, J. ve Qiao, X. (2018). S3D-UNet: Separable 3D U-Net for Brain Tumor Segmentation. International MICCAI Brainlesion Workshop içinde (ss. 358–368).
8. Chihati, S. ve Gaceb, D. (2020). A Review of Recent Progress in Deep Learning-based Methods for MRI Brain Tumor Segmentation. 2020 11th International Conference on Information and Communication Systems, ICICS 2020 içinde (ss. 149–154). Institute of Electrical and Electronics Engineers Inc.

9. Colman, J., Zhang, L., Duan, W. ve Ye, X. (2020). DR-Unet104 for Multimodal MRI brain tumor segmentation. arXiv preprint arXiv:2011.02840.
10. Ghaffari, M., Sowmya, A. ve Oliver, R. (2019). Automated brain tumor segmentation using multimodal brain scans: a survey based on models submitted to the BraTS 2012--2018 challenges. IEEE reviews in biomedical engineering, 13, 156–168.
11. Havaei, M., Davy, A., Warde-Farley, D., Biard, A., Courville, A., Bengio, Y., … Larochelle, H. (2017). Brain tumor segmentation with deep neural networks. Medical image analysis, 35, 18–31.
12. Henry, T., Carre, A., Lerousseau, M., Estienne, T., Robert, C., Paragios, N. ve Deutsch, E. (2020). Brain tumor segmentation with self-ensembled, deeply-supervised 3D U-net neural networks: a BraTS 2020 challenge solution.
13. Hu, Y. ve Xia, Y. (2017). 3D Deep Neural Network-based Brain Tumor Segmentation Using Multimodality Magnetic Resonance Sequences. International MICCAI Brainlesion Workshop, 423–434.
14. Isensee, F., Kickingereder, P., Wick, W., Bendszus, M. ve Maier-Hein, K. H. (2018). No new-net. International MICCAI Brainlesion Workshop içinde (ss. 234–244).
15. Kim, G. (2017). Brain Tumor Segmentation Using Deep Fully Convolutional Neural Networks. International MICCAI Brainlesion Workshop içinde (ss. 344–357). Springer, Cham.
16. Kong, X., Sun, G., Wu, Q., Liu, J. ve Lin, F. (2018). Hybrid Pyramid U-net Model for Brain Tumor Segmentation. International conference on intelligent information processing içinde (ss. 346–355).
17. Lin, M., Momin, S., Zhou, B., Tang, K., Lei, Y., Curran, W. J., … Yang, X. (2021). Fully automated segmentation of brain tumor from multiparametric MRI using 3D context u-net with deep supervision. Medical Imaging 2021: Computer-Aided Diagnosis içinde (C. 11597, s. 115971I).
18. Liu, H., Shen, X., Shang, F., Ge, F. ve Wang, F. (2019). CU-Net: Cascaded U-Net with Loss Weighted Sampling for Brain Tumor Segmentation. Multimodal Brain Image Analysis and Mathematical Foundations of Computational Anatomy içinde (ss. 102–111). Springer, Cham.
19. Liu, L., Cheng, J., Quan, Q., Wu, F.-X., Wang, Y.-P. ve Wang, J. (2020). A survey on U-shaped networks in medical image segmentations. Neurocomputing, 409, 244–258.
20. Louis, D. N., Perry, A., Reifenberger, G., Von Deimling, A., Figarella-Branger, D., Cavenee, W. K., … Ellison, D. W. (2016). The 2016 World Health Organization classification of tumors of the central nervous system: a summary. Acta neuropathologica, 131(6), 803–820.
21. Mathews, C. ve Mohamed, A. (2020). Review of Automatic Segmentation of MRI Based Brain Tumour using U-Net Architecture. 2020 Fourth International Conference on Inventive Systems and Control (ICISC) içinde (ss. 46–50).
22. Menze, B. H., Jakab, A., Bauer, S., Kalpathy-Cramer, J., Farahani, K., Kirby, J., … others. (2014). The Multimodal Brain Tumor Image Segmentation Benchmark (BRATS). IEEE transactions on medical imaging, 34(10), 1993–2024.
23. Nadeem, M. W., Ghamdi, M. A. Al, Hussain, M., Khan, M. A., Khan, K. M., Almotiri, S. H. ve Butt, S. A. (2020). Brain tumor analysis empowered with deep learning: A review, taxonomy, and future challenges. Brain sciences, 10(2), 118.
24. Qamar, S., Ahmad, P. ve Shen, L. (2020). HI-Net: Hyperdense Inception 3D UNet for Brain Tumor Segmentation. arXiv preprint arXiv:2012.06760.
25. Rafi, A., Ali, J., Akram, T., Fiaz, K., Shahid, A. R., Raza, B. ve Madni, T. M. (2020). U-Net Based Glioblastoma Segmentation with Patient’s Overall Survival Prediction. International Symposium on Intelligent Computing Systems içinde (ss. 22–32).
26. Rajput, S. ve Raval, M. S. (2020). A Review on End-To-End Methods for Brain Tumor Segmentation and Overall Survival Prediction. arXiv preprint arXiv:2006.01632.
27. Ronneberger, O., Fischer, P. ve Brox, T. (2015). U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical image computing and computer-assisted intervention içinde (ss. 234–241).
28. Shreyas, V. ve Pankajakshan, V. (2017). A Deep Learning Architecture for Brain Tumor Segmentation in MRI Images. 2017 IEEE 19th International Workshop on Multimedia Signal Processing(MMSP) içinde (ss. 1–6). Institute of Electrical and Electronics Engineers Inc.
29. Siddique, N., Sidike, P., Elkin, C. ve Devabhaktuni, V. (2020). U-Net and its variants for medical image segmentation: theory and applications. arXiv preprint arXiv:2011.01118.
30. Tan, L., Ma, W., Xia, J. ve Sarker, S. (2021). Multimodal Magnetic Resonance Image Brain Tumor Segmentation Based on ACU-Net Network. IEEE Access, 9, 14608–14618.
31. Tüzün, E., Hanağası, F., Sabancı, P. A., Demir, G. A. ve Yazıcı, J. (y.y.). NÖRO-ONKOLOJİ. 23 Mayıs 2021 tarihinde http://www.itfnoroloji.org/onkoloji/onkoloji.htm adresinden erişildi.
32. Wang, F., Jiang, R., Zheng, L., Meng, C. ve Biswal, B. (2019). 3d u-net based brain tumor segmentation and survival days prediction. International MICCAI Brainlesion Workshop içinde (ss. 131–141).
33. Yang, T., Zhou, Y., Li, L. ve Zhu, C. (2020). DCU-Net: Multi-scale U-Net for brain tumor segmentation. Journal of X-Ray Science and Technology, (Preprint), 1–18.
34. Zhang, J., Lv, X., Zhang, H. ve Liu, B. (2020). AResU-Net: Attention Residual U-Net for Brain Tumor Segmentation. Symmetry, 12(5), 721.