Investigation of The Performance of Yolov5 Models In The Detection and Classification of Shoulder Implants Using X-Ray Images

Öz

Total Shoulder Arthroplasty (TSA) is a surgical procedure in which the damaged part of the shoulder is replaced with a prosthetic implant in patients with pain and restriction of movement due to damage to the shoulder joint. If prosthetic implants wear out or become damaged over time, prosthesis manufacturer and model information is needed, but this information can often be unclear due to deficiencies in medical records. Therefore, there is a need for automated systems to provide prosthesis information quickly and accurately, reducing reliance on specialists. In this study, an automatic system is proposed for the detection and classification of shoulder implant manufacturers using X-ray images. In the system, implant head region detection and classification processes were performed using YOLOv5n, YOLOv5s, YOLOv5m, and YOLOv5l models and the results obtained were compared. The class weighting technique was also used, where some classes are better represented than others due to data imbalance. It was found that this technique significantly improves the classification performance of the model. As a result of the comparison, it was observed that the YOLOv5l model with class weighting showed the highest performance in mAP@0.5, mAP@0.5:0.95, precision, sensitivity, and F-measure values, and these values were obtained as 98.3, 85.9, 97.0%, 95.7% and 96.3% respectively. The proposed YOLOv5l model offers a low-cost and high-performance solution compared to other hybrid machine learning approaches in the literature. Thus, the effectiveness of YOLOv5 models as a valuable tool in the detection and classification of shoulder implants has been demonstrated. Furthermore, the proposed system is expected to provide efficient and reliable analysis processes and reduce the workload for radiologists and surgeons.

Anahtar Kelimeler

• Deep Learning
• Total Shoulder Arthroplasty
• X-ray
• YOLOv5

X-Işını Görüntüleri Kullanılarak Omuz İmplantlarının Tespiti ve Sınıflandırılmasında YOLOv5 Modellerinin Performanslarının İncelenmesi

Öz

Total Omuz Artroplastisi (TOA), omuz eklemindeki hasara bağlı ağrı ve hareket kısıtlanması yaşayan hastalarda omuzun hasar görmüş kısmının protez implant ile değiştirildiği cerrahi işlemdir. Zamanla protez implantların aşınması veya zarar görmesi durumunda, protez üreticisi ve model bilgisine ihtiyaç duyulur, ancak tıbbi kayıtlardaki eksiklikler nedeniyle bu bilgiler genellikle belirsiz olabilmektedir. Bu nedenle, uzman kişiye bağımlılığı azaltarak hızlı ve doğru bir şekilde protez bilgilerini sağlayacak otomatik sistemlere ihtiyaç duyulmaktadır. Bu çalışmada, omuz implantı üreticilerinin X-ışını görüntüleri kullanılarak tespiti ve sınıflandırılması için otomatik bir sistem önerilmiştir. Sistemde YOLOv5n, YOLOv5s, YOLOv5m ve YOLOv5l modelleri kullanılarak implant baş bölgesi tespiti ve sınıflandırma işlemleri gerçekleştirilmiş ve elde edilen sonuçlar karşılaştırılmıştır. Veri dengesizliği nedeniyle bazı sınıfların diğerlerinden daha iyi temsil edildiği sınıf ağırlıklandırma tekniği de kullanılmıştır. Bu tekniğin modelin sınıflandırma performansını önemli ölçüde artırdığı tespit edilmiştir. Karşılaştırma sonucunda sınıf ağırlıklandırmalı YOLOv5l modelinin mAP@0.5, mAP@0.5:0.95, kesinlik, duyarlılık ve F1-ölçütü değerlerinde en yüksek performansı gösterdiği görülmüştür ve bu değerler sırasıyla 98.3, 85.9, %97.0, %95.7 ve %96.3 olarak elde edilmiştir. Önerilen YOLOv5l modeli, literatürdeki diğer hibrit makine öğrenmesi yaklaşımlarına göre düşük maliyetli ve yüksek performanslı bir çözüm sunmaktadır. Bu sayede, YOLOv5 modellerinin omuz implantlarının tespit ve sınıflandırmasında değerli bir araç olarak etkinliği gösterilmiştir. Ayrıca, önerilen sistem sayesinde radyologlar ve cerrahlar için verimli ve güvenilir analiz süreçleri sunulması ve iş yükünün azaltılması beklenmektedir.

Anahtar Kelimeler

• Derin Öğrenme
• Total Omuz Artroplastisi
• X-ray
• YOLOv5

Kaynakça

1. [1] Cofield, R. H., 1984. Total shoulder arthroplasty with the Neer prosthesis. JBJS, Cilt. 66(6), s. 899-906. DOI: 10.2106/00004623-198466060-00010.
2. [2] Sanchez-Sotelo, J., 2011. Total shoulder arthroplasty. The Open Orthopaedics Journal, Cilt. 5, s. 106. DOI: 10.2174/1874325001105010106.
3. [3] Sukjamsri, C., 2015. The effect of implant misalignment on shoulder replacement outcomes. Doctoral dissertation, Imperial College London. DOI: 10.25560/28581.
4. [4] Sivari, E., Güzel, M. S., Bostanci, E., Mishra, A., 2022. A novel hybrid machine learning-based system to classify shoulder implant manufacturers. Healthcare, Cilt. 10(3), s. 580. DOI: 10.3390/healthcare10030580.
5. [5] Sahoo, D. P., Rout, M., Mallick, P. K., Samanta, S. R., 2022. Comparative analysis of medical images using transfer learning based deep learning models. International Conference on Advancements in Smart, Secure and Intelligent Computing (ASSIC), s. 1-8.
6. [6] Sistaninejhad, B., Rasi, H., Nayeri, P., 2023. A review paper about deep learning for medical image analysis. Computational and Mathematical Methods in Medicine, Cilt. 2023.
7. [7] Urban, G., Porhemmat, S., Stark, M., Feeley, B., Okada, K., Baldi, P., 2020. Classifying shoulder implants in X-ray images using deep learning. Computational and Structural Biotechnology Journal, Cilt. 18, s. 967-972. DOI: 10.1016/j.csbj.2020.04.005.
8. [8] Yi, P. H., Kim, T. K., Wei, J., Li, X., Hager, G. D., Sair, H. I., Fritz, J., 2020. Automated detection and classification of shoulder arthroplasty models using deep learning. Skeletal Radiology, Cilt. 49, s. 1623-1632. DOI: 10.1007/s00256-020-03463-3.

9. [9] Yılmaz, A., 2021. Shoulder implant manufacturer detection by using deep learning: Proposed channel selection layer. Coatings, Cilt. 11(3), p. 346. DOI: 10.3390/coatings11030346.
10. [10] Sultan, H., Owais, M., Park, C., Mahmood, T., Haider, A., Park, K.R., 2021. Artificial intelligence-based recognition of different types of shoulder implants in X-ray scans based on dense residual ensemble-network for personalized medicine. Journal of Personalized Medicine, Cilt. 11, p. 482.
11. [11] Efeoğlu, E., Gürkan, T. U. N. A., 2021. Radyografi görüntüleri ve sınıflandırma algoritmaları kullanılarak omuz protezlerinin üreticilerinin belirlenmesi. Kırklareli Üniversitesi Mühendislik ve Fen Bilimleri Dergisi, Cilt. 7(1), s. 57-73. DOI: 10.34186/klujes.906660.
12. [12] Karaci, A., 2022. Detection and classification of shoulder implants from X-ray images: YOLO and pretrained convolution neural network-based approach. Journal of Faculty of Engineering and Architecture of Gazi University, Cilt. 37, s. 283-294. DOI: 10.17341/gazimmfd.888202.
13. [13] Deng, J., Dong, W., Socher, R., Li, L. J., Li, K., Fei-Fei, L., 2009. Imagenet: A large-scale hierarchical image database. IEEE Conference on Computer Vision and Pattern Recognition, s. 248-255. DOI: 10.1109/CVPR.2009.5206848.
14. [14] Zoph, B., Vasudevan, V., Shlens, J., Le, Q. V., 2018. Learning transferable architectures for scalable image recognition. IEEE Conference on Computer Vision and Pattern Recognition, s. 8697-8710. DOI: 10.1109/CVPR.2018.00907.
15. [15] Sahin, O., Ozer, S., 2022. YOLODrone+: Improved YOLO Architecture for Object Detection in UAV Images. IEEE Signal Processing and Communications Applications Conference (SIU), s. 1-4. DOI: 10.1109/SIU55565.2022.9864746.
16. [16] Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., Berg, A. C., 2016. SSD: Single shot multibox detector. ECCV 2016, Cilt. 14, s. 21-37. DOI: 10.1007/978-3-319-46448-0_2.
17. [17] Redmon, J., Divvala, S., Girshick, R., Farhadi, A., 2016. You only look once: Unified, real-time object detection. IEEE Conference on Computer Vision and Pattern Recognition, s. 779-788.
18. [18] Jintasuttisak, T., Edirisinghe, E., Elbattay, A., 2022. Deep neural network based date palm tree detection in drone imagery. Computers and Electronics in Agriculture, Cilt. 192, p. 106560. DOI: 10.1016/j.compag.2021.106560.
19. [19] Girshick, R., Donahue, J., Darrell, T., Malik, J., 2014. Rich feature hierarchies for accurate object detection and semantic segmentation. IEEE Conference on Computer Vision and Pattern Recognition, s. 580-587.
20. [20] Girshick, R. (2015). Fast r-cnn. In Proceedings of the IEEE international conference on computer vision (s. 1440-1448).
21. [21] Ren, S., He, K., Girshick, R., Sun, J., 2015. Faster R-CNN: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems, Cilt. 28.
22. [22] Redmon, J., Farhadi, A., 2017. YOLO9000: better, faster, stronger. IEEE Conference on Computer Vision and Pattern Recognition, s. 7263-7271.
23. [23] Redmon, J., Farhadi, A., 2018. YOLOv3: An incremental improvement. arXiv preprint arXiv:1804.02767.
24. [24] Bochkovskiy, A., Wang, C. Y., Liao, H. Y. M., 2020. YOLOv4: Optimal speed and accuracy of object detection. arXiv preprint arXiv:2004.10934.
25. [25] Nelson, J., Solawetz, J., 2020. YOLOv5 is here: State-of-the-art object detection at 140 fps. Roboflow.
26. [26] Wang, C. Y., Liao, H. Y. M., Wu, Y. H., Chen, P. Y., Hsieh, J. W., Yeh, I. H., 2020. CSPNet: A new backbone that can enhance learning capability of CNN. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, s. 390-391.
27. [27] Liu, S., Qi, L., Qin, H., Shi, J., Jia, J., 2018. Path aggregation network for instance segmentation. IEEE Conference on Computer Vision and Pattern Recognition, s. 8759-8768.
28. [28] Lin, T. Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Zitnick, C. L., 2014. Microsoft COCO: Common objects in context. ECCV 2014, Cilt. 13, s. 740-755. DOI: 10.1007/978-3-319-10602-1_48.