Detection and Classification of Leucocyte Types in Histological Blood Tissue Images Using Deep Learning Approach

Abstract

The identification of leucocyte, also named white blood cells, types in histological blood tissue images is significant because it enables an opportunity for the diagnosis of various hematological diseases. In this study, for the diagnosis of lymphoma cancer, a hematologic disorder, we presented automatic detection and classification model using a deep learning approach. Faster R-CNN, which is a kind of region-based Convolutional Neural Network (CNN) model, achieves satisfactory performance on object detection and classification problems. To dispose of the feature extraction process in image-based applications, we offer a ResNet50 modified Faster R-CNN model for the detection and classification of leucocyte types which are lymphocyte, monocyte, basophil, eosinophil, and neutrophil in histological blood tissue images. In parallel with this purpose, a novel Faster R-CNN object detection model was designed by modifying ResNet50 model and the locations of leucocytes in the image were determined and classified. The efficiency of the proposed model was tested on a novel histological dataset including blood tissue images. The number of lymphocytes in the blood tissue is used as an evaluation criterion in the diagnosis of lymphoma cancer. Therefore, this study sets an example for clinical studies. According to the proposed model, firstly, the blood tissue images are normalized, and the implicit features are extracted by using the trainable convolution kernel. Then, for the reduction of the extracted implicit features, the maximum pooling is applied. After that, Region Proposal Networks (RPNs) are used to generate high-quality region proposals, which are used by Faster R-CNN for detection. Finally, the softmax classifier and regression layer are carried out to categorize the leucocyte types and estimate the boundary boxes of the test samples, respectively. Experimental results show the successful performance and the generalization capability of novel Faster R-CNN for the detection and classification of leucocyte types. This model demonstrates the potential to be deployed as a diagnostic tool for clinical studies because the method has been tested on a real-world histological data set.

Keywords

• Artificial intelligence
• Blood tissue
• Classification
• CNN
• Detection
• Faster R-CNN
• Leucocyte types
• Lymphoma cancer

Project Number

2017-OYP-047

Derin Öğrenme Yaklaşımı ile Histolojik Kan Doku Görüntülerinde Lökosit Türlerinin Tespiti ve Sınıflandırılması

Abstract

Histolojik kan dokusu görüntülerinde beyaz kan hücreleri olarak da bilinen lökosit türlerinin belirlenmesi, çeşitli hematolojik hastalıkların teşhisine olanak sağlaması açısından önemlidir. Bu çalışmada, hematolojik bir bozukluk olan lenfoma kanserinin teşhisi için derin öğrenme yaklaşımı kullanarak otomatik tespit ve sınıflandırma modeli sunulmuştur. Bir tür bölge tabanlı Konvolüsyonel Sinir Ağı (KSA) modeli olan Faster R-CNN nesne tespiti ve sınıflandırma problemlerinde tatmin edici performans elde etmektedir. Görüntü tabanlı uygulamalarda özellik çıkarma sürecini ortadan kaldırmak için, lenfosit, monosit, bazofil, eozinofil ve nötrofil olan lökosit türlerinin tespiti ve sınıflandırılması için ResNet50 ile modifiye edilmiş Faster R-CNN modeli önerilmiştir. Bu amaçla, ResNet50 modeli modifiye edilerek yeni bir Faster R-CNN nesne tespit modeli tasarlanmış ve görüntüdeki lökositlerin yerleri belirlenerek sınıflandırılmıştır. Önerilen modelin etkinliği, kan dokusu görüntülerini içeren yeni bir histolojik veri seti üzerinde test edilmiştir. Kan dokusundaki lenfosit sayısı, lenfoma kanseri tanısında değerlendirme kriteri olarak kullanılmaktadır. Bu nedenle bu çalışma klinik çalışmalara örnek teşkil etmektedir. Önerilen modele göre, öncelikle kan dokusu görüntüleri normalize edilir ve eğitilebilir konvolüsyon çekirdeği kullanılarak örtük özellikler çıkarılır. Ardından, örtük unsurların boyutlarının azaltılması için maksimum havuzlama uygulanır. Bundan sonra, Bölge Teklif Ağları (BTA'ler), tespit için Faster R-CNN tarafından kullanılan, yüksek kaliteli bölge önerileri oluşturmak için kullanılır. Son olarak, softmax sınıflandırıcı ve regresyon katmanı, sırasıyla lökosit türlerini kategorize etmek ve test örneklerinin sınır kutularını tahmin etmek için kullanılır. Deneysel sonuçlar lökosit türlerinin tespiti ve sınıflandırılması için yeni Faster R-CNN'nin başarılı performansını ve genelleştirme yeteneğini göstermektedir. Bu model klinik çalışmalar için bir teşhis aracı olarak kullanılma potansiyelini göstermektedir çünkü yöntem gerçek dünya histolojik veri setinde test edilmiştir.

Keywords

• Yapay zekâ
• Kan doku
• Sınıflandırma
• CNN
• Tespit
• Faster R-CNN
• Lökosit türleri
• Lenfoma kanseri

Supporting Institution

Selçuk Üniversitesi ve Öğretim Üyesi Yetiştirme Programı Koordinatörlüğü

Project Number

2017-OYP-047

Thanks

Bu çalışma Selçuk Üniversitesi ve Öğretim Üyesi Yetiştirme Programı Koordinatörlüğü tarafından 2017- OYP- 047 numaralı proje kapsamında desteklenmiştir.

References

1. Anita, & Yadav, A. (2021). An Intelligent Model for the Detection of White Blood Cells using Artificial Intelligence. Computer Methods and Programs in Biomedicine, 199, 105893. doi:https://doi.org/10.1016/j.cmpb.2020.105893
2. Di Ruberto, C., Loddo, A., & Putzu, L. (2020). Detection of red and white blood cells from microscopic blood images using a region proposal approach. Computers in Biology and Medicine, 116, 103530. doi:https://doi.org/10.1016/j.compbiomed.2019.103530
3. Girshick, R. (2015, 7-13 Dec. 2015). Fast R-CNN. Paper presented at the 2015 IEEE International Conference on Computer Vision (ICCV).
4. Girshick, R., Donahue, J., Darrell, T., & Malik, J. (2014, 23-28 June 2014). Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation. Paper presented at the 2014 IEEE Conference on Computer Vision and Pattern Recognition.
5. Gupta, D., Arora, J., Agrawal, U., Khanna, A., & de Albuquerque, V. H. C. (2019). Optimized Binary Bat algorithm for classification of white blood cells. Measurement, 143, 180-190. doi:https://doi.org/10.1016/j.measurement.2019.01.002
6. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep Residual Learning for Image Recognition.
7. Hegde, R. B., Prasad, K., Hebbar, H., & Singh, B. M. K. (2019). Comparison of traditional image processing and deep learning approaches for classification of white blood cells in peripheral blood smear images. Biocybernetics and Biomedical Engineering, 39(2), 382-392. doi:https://doi.org/10.1016/j.bbe.2019.01.005
8. Krizhevsky, A., Sutskever, I., & Hinton, G. (2012). ImageNet Classification with Deep Convolutional Neural Networks. Neural Information Processing Systems, 25. doi:10.1145/3065386

9. López-Puigdollers, D., Javier Traver, V., & Pla, F. (2019). Recognizing white blood cells with local image descriptors. Expert Systems with Applications, 115, 695-708. doi:https://doi.org/10.1016/j.eswa.2018.08.029
10. Nazlibilek, S., Karacor, D., Ercan, T., Sazli, M. H., Kalender, O., & Ege, Y. (2014). Automatic segmentation, counting, size determination and classification of white blood cells. Measurement, 55, 58-65. doi:https://doi.org/10.1016/j.measurement.2014.04.008
11. Patil, A. M., Patil, M. D., & Birajdar, G. K. (2020). White Blood Cells Image Classification Using Deep Learning with Canonical Correlation Analysis. IRBM. doi:https://doi.org/10.1016/j.irbm.2020.08.005
12. Ren, S., He, K., Girshick, R., & Sun, J. (2015). Faster r-cnn: Towards real-time object detection with region proposal networks. arXiv preprint arXiv:1506.01497.
13. Shahin, A. I., Guo, Y., Amin, K. M., & Sharawi, A. A. (2019). White blood cells identification system based on convolutional deep neural learning networks. Computer Methods and Programs in Biomedicine, 168, 69-80. doi:https://doi.org/10.1016/j.cmpb.2017.11.015
14. Simonyan, K., & Zisserman, A. (2014). Very Deep Convolutional Networks for Large-Scale Image Recognition. arXiv 1409.1556.
15. Wang, Q., Chang, L., Zhou, M., Li, Q., Liu, H., & Guo, F. (2016). A spectral and morphologic method for white blood cell classification. Optics & Laser Technology, 84, 144-148. doi:https://doi.org/10.1016/j.optlastec.2016.05.013