Kan Yayma Görüntülerinin Mask R-CNN Tabanlı Segmentasyonu ve Sınıflandırılması

Abstract

Mikroskobik görüntülerin analizi, sağlık alanında hastalık teşhisinde yararlı bilgiler veren güvenilir bir labaratuvar yöntemidir. Kan hastalıklarının teşhisinde, ileri teknolojili cihazlar önemli bilgiler verseler de kesin tanı için mikroskobik kan yayma incelemesine ihtiyaç duyulmaktadır. Günümüzde, mikroskop birçok laboratuvarda teknisyenler tarafından kullanılmakta ve hücrelerdeki anomaliler (hücredeki bozukluklar, parazitler, düşük veya fazla hücre sayısı vb.) tespit edilmektedir. Uzmanların tespit ettiği anomaliler hastalıkların teşhisinde önemli bilgiler sunmaktadır. Mikroskobik görüntülerin analizi uzman için zaman alan ve hataya açık bir prosedürdür. Bu nedenle, bu çalışmada uzman tarafından uygulanan incelemeyi hızlandıran ve otomatik hücre tespit edebilen bir yöntem önerilmiştir. Temel kan hücrelerinin segmentasyonu ve sınıflandırılması üzerinde durulmuştur. Veri seti olarak PBC veri seti kan yayması görüntüleri kullanılmıştır. Sistemin geliştirilmesinde bölge-tabanlı evrişimsel sinir ağı olan Mask R-CNN mimarisi kullanılmıştır. Mask R-CNN için farklı omurga yapıları kullanılmış ve değerlendirilmiştir. Görüntülerden elde edilen kan hücrelerinin segmentasyonu, Mask R-CNN algoritmasında bulunan örnek bölütleme özelliği sayesinde farklı renklendirmeler yolu ile tespit edilmiş, hata oranları yapılan testler sonucunda en aza indirgenmiştir. Çalışmada sekiz sınıf tespitinde odaklanılmıştır ancak çalışma daha fazla sınıflar ile zenginleştirilerek ve farklı açılardan elde edilen kan hücresi görüntüleri kullanılarak geliştirilebilir ve daha iyi bölütleme yapılabilir.

Keywords

• Derin Öğrenme
• Segmentasyon
• Sınıflandırma
• Kan Hücresi

Mask R-CNN Based Segmentation and Classification of Blood Smear Images

Abstract

Analysis of microscopic images is a reliable laboratory method that provides useful information in the diagnosis of disease in the health field. Although advanced technology devices provide important information in the diagnosis of blood diseases, microscopic blood smear examination is needed for definitive diagnosis. Today, the microscope is used by technicians in many laboratories and anomalies in cells (defects in the cell, parasites, low or excess cell count, etc.) are detected. The anomalies detected by the experts provide important information in the diagnosis of diseases. Analysis of microscopic images is a time-consuming and error-prone procedure for the expert. Therefore, in this study, a method that accelerates the examination performed by the expert and that can detect cells automatically is proposed. Segmentation and classification of basic blood cells are emphasized. PBC (Peripheral Blood Cell) dataset blood smear images were used as data set. Mask R-CNN architecture, which is a region-based convolutional neural network, was used in the development of the system. Different backbone structures were used and evaluated for Mask R-CNN. The segmentation of blood cells obtained from the images was determined by different colorings thanks to the sample segmentation feature in the Mask R-CNN algorithm, and the error rates were minimized as a result of the tests. The study focused on detecting eight classes, but the study could be improved by enriching it with more classes and using blood cell images from different angles and better segmentation.

Keywords

• Deep Learning
• Segmentation
• Classification
• Blood Cell

References

1. Referans1 Basic Biology , Blood cells (2015).
2. Referans2 F.Uçar, “Deep Learning Approach to Cell Classification in Human Peripheral Blood”, 2020 5th International Conference on Computer Science and Engineering (UBMK), 9-11 Sept. 2020.
3. Referans3 E. Gavas, K. Olpadkar, “Deep CNNs for Peripheral Blood Cell Classification”, MIDL, 18 Oct 2021.
4. Referans4 F.Long, J. Peng, W. Song , X. Xia, J. Sang, “BloodCaps: A capsule network based model for the multiclassification of human peripheral blood cells”, Computer Methods and Programs in Biomedicine 202 (2021) 105972, 1 February 2021.
5. Referans5 R. A. Bagido, M. Alzahrani, M. Arif, “White Blood Cell Types Classification Using Deep Learning Models”, IJCSNS International Journal of Computer Science and Network Security, VOL.21 No.9, September 2021.
6. Referans6 Ferhat Şükrü Rende, Gültekin Bütün, Şamil Karahan,“Derin Öğrenme Algoritmalarında Model Testleri: Derin Testler”, Bilişim Teknolojileri Enstitüsü, TÜBİTAK BİLGEM, Gebze, Kocaeli.
7. Referans7 W. Abdulla, "Splash of Color: Instance Segmentation with Mask R-CNN and TensorFlow," Matterport Engineering Techblog, Mar 20, 2018. [Format]. Available: https://engineering.matterport.com. [Accessed: 26.06.2022].
8. Referans8 K. He, G. Gkioxari, P. Dollár , R. Girshick, “Mask R-CNN”, ”, in Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2014, p. 2380-750.

9. Referans9 R. Shaoqing, K. He, R. Girshick and J. Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol:39/6, pp 1137-1149, June 2017.
10. Referans10 He K. Zhang X. Ren S. & Sun J. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778. 2016. Referans11 Almryad, A. S. S. (2020). Identification Of Butterfly Species Using Machine Learning And Image Processing Techniques (Doctoral Dissertation).
11. Referans12 He, K., Zhang, X., Ren, S., Sun, J. (2015). Deep residual learning for image recognition. CoRR, abs/1512.03385.
12. Referans13 F. Doğan, İ. Türkoğlu,”Derin Öğrenme Modelleri ve Uygulama Alanlarına İlişkin Bir Derleme”, DÜMF Mühendislik Dergisi 10:2 (2019) : 409-445.
13. Referans14 Simonyan, K. and Zisserman, A. (2015) Very Deep Convolutional Networks for Large-Scale Image Recognition. The 3rd International Conference on Learning Representations (ICLR2015). https://arxiv.org/abs/1409.1556.
14. Referans15 Xie, S. Girshick, R., Dollar, P., Tu, Z., & He, K., ”Aggregated Residual Transformations for Deep Neural Network”, 11 April 2017.
15. Referans16 Huang, G., Liu, Z., Maaten, L. v. d., & Weinberger, K. Q. (2017, 21-26 July 2017). Densely Connected Convolutional Networks. Paper presented at the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
16. Referans17 Acevedo, Andrea; Merino, Anna; Alferez, Santiago; Molina, Ángel; Boldú, Laura; Rodellar, José (2020), “A dataset for microscopic peripheral blood cell images for development of automatic recognition systems”, Mendeley Data, V1, doi: 10.17632/snkd93bnjr.1
17. Referans18 P. Skalski, " Make Sense," 2019. Available: https://github.com/SkalskiP/make-sense/. [Accessed: 20.05.2022].
18. Referans19 Gulli A, Pal S. Deep learning with Keras. Packt Publishing Ltd; 2017.
19. Referans20 Mart´ın Abadi , et al. TensorFlow: Large-scale machine learning on heterogeneous systems, 2015. Software available from tensorflow.org.
20. Referans21 F. Uçar, “Deep Learning Approach to Cell Classification in Human Peripheral Blood”,(UBMK’20) 5th Int. Conf. on Comp. Sci. And Eng. – 383.
21. Referans22 A. Acevedo, S. Alferez, A. Merino, L. Puigvi, and J. Rodellar, “Recognition of peripheral blood cell images using convolutional neural networks” Comput. Methods Programs Biomed., vol. 180, p.105020, oct 2019.
22. Referans23 P.P. Banik, R. Saha, and K. D. Kim, “Fused Convolutional Neural Netwok for White Blood Cell Image Classification” in 1 st Int. Conf. Artif. Intell. Inf. Commun. ICAIIC 2019. Institute of Electirical and Electronics Engineers Inc., mar 2019, pp.238-240.
23. Referans24 C. Di Ruberto, A. Loddo, and L.Putzu, “Detection of red and White blood cells from microskobic blood images using a region proposal approach,” Comput. Biol. Med., vol. 116, p. 103530, jan 2010.