An Evidential Mask Transformer for Left Atrium Segmentation

Year 2024, Volume: 39 Issue: 3, 639 - 646, 03.10.2024

Fatmatülzehra Uslu

https://doi.org/10.21605/cukurovaumfd.1560046

Abstract

The segmentation of the left atrium (LA) is required to calculate the clinical parameters of the LA, to identify diseases related to its remodeling. Generally, convolutional networks have been used for this task. However, their performance may be limited as a result of the use of local convolution operations for feature extraction. Also, such models usually need extra steps to provide uncertainty maps such as multiple forward passes for Monte Carlo dropouts or training multiple models for ensemble learning. To address these issues, we adapt mask transformers for LA segmentation which effectively use both local and global information, and train them with evidential learning to generate uncertainty maps from the learned Dirichlet distribution, with a single forward pass. We validated our approach on the STACOM 2013 dataset and found that our method can produce better segmentation performance than baseline models, and can identify locations our model’s responses are not trustable.

Keywords

Mask transformer, Image segmentation, Uncertainty, MRI images, Evidential learning

Kanıtsal Maske Dönüştürücü Model ile Sol Kulakçık Bölütlemesi

Abstract

Sol kulakçığın yeniden şekillenmesine sebep olan hastalıklarının tanısının konulabilmesi için, sol kulakçığın bölütlenmesi gerekmektedir. Bu amaçla, genel olarak, konvolusyenel ağlar kullanılmaktadır. Fakat bu modellerin performansı, yerel hesaplama yapmaları nedeniyle düşük olabilir. Belirsizlik haritaları üretebilmeleri için, Monte Karlo dropout ya da çoklu model eğitimi (ensemble) gibi yaklaşımlara ihtiyaç duyulur. Bu problemleri gidermek için, yerel ve global bilgiyi bir arada kullanan, maske dönüştürücü modelleri, sol kulakçık bölütlenmesi için adapte ettik. Belirsizlik haritalarını elde etmek için de bu modeller, kanıtsal öğrenme ile eğitildi. Böylece, öğrenilen Dirichlet dağılımı kullanılarak, tek adımda belirsizlik haritaları elde edilebildi. Öne sürülen yaklaşım, STACOM 2013 veri setinde test edildi ve karşılaştırılan modellerden daha başarılı performans gösterdiği gözlemlendi. Üretilen belirsizlik haritalarının, modelin kararsız olduğu yerlerde yüksek belirsizlik gösterdiği gözlemlendi.

Keywords

Maske dönüştürücü, Görüntü bölütleme, Belirsizlik, Manyetik rezonans görüntüleri, Kanıtsal öğrenme

References

• 1. Uslu, F., Varela, M., Boniface, G., Mahenthran, T., Chubb, H., Bharath, A.A., 2021. LA-Net: a multi-task deep network for the segmentation of the left atrium. IEEE Transactions on Medical Imaging, 41(2), 456-464
• 2. Uslu, F., Bharath, A.A., 2023. TMS-Net: a segmentation network coupled with a run-time quality control method for robust cardiac image segmentation. Computers in Biology and Medicine, 152, 106422.
• 3. Uslu, F., 2023. GSM-Net: a global sequence modelling network for the segmentation of short axis CINE MRI images. Computerized Medical Imaging and Graphics, 102266.
• 4. Gawlikowski, J., Tassi, C.R.N., Ali, M., Lee, J., Humt, M., Feng, J., Zhu, X.X., 2023. A survey of uncertainty in deep neural networks. Artificial Intelligence Review, 56(Suppl 1), 1513-1589.
• 5. Sensoy, M., Kaplan, L., Kandemir, M., 2018. Evidential deep learning to quantify classification uncertainty. Advances in Neural Information Processing Systems, 31.
• 6. Li, H., Nan, Y., Del Ser, J., Yang, G., 2023. Region-based evidential deep learning to quantify uncertainty and improve robustness of brain tumor segmentation. Neural Computing and Applications, 35(30), 22071-22085.
• 7. Huang, L., Ruan, S., Decazes, P., Denœux, T., 2022. Lymphoma segmentation from 3D PET-CT images using a deep evidential network. International Journal of Approximate Reasoning, 149, 39-60.
• 8. Yager, R.R., Liu, L.(Eds.), 2008. Classic works of the dempster-shafer theory of belief functions. Springer, 219).
• 9. Cheng, B., Schwing, A., Kirillov, A., 2021. Per-pixel classification is not all you need for semantic segmentation. Advances in Neural Information Processing Systems, 34, 17864-17875.
• 10. Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., Zagoruyko, S., 2020. End-to-end object detection with transformers. In European Conference on Computer Vision (213-229). Cham: Springer International Publishing.
• 11. Yu, Q., Wang, H., Qiao, S., Collins, M., Zhu, Y., Adam, H., Chen, L.C., 2022. K-means mask transformer. In European Conference on Computer Vision (288-307). Cham: Springer Nature Switzerland.
• 12. Tobon-Gomez, C., Geers, A.J., Peters, J., Jürgen W., Karen, P., Rashed, K., et al., 2015. Left atrial segmentation challenge 2013: MRI testing. Figshare. Dataset.
• 13. Zhang, Z., Liu, Q., Wang, Y., 2018. Road extraction by deep residual u-net. IEEE Geoscience and Remote Sensing Letters, 15(5), 749-753.
• 14. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Polosukhin, I., 2017. Attention is all you need. Advances in Neural Information Processing Systems, 30.