Detection of Knee Osteoarthritis with Thermal Image Processing

Abstract

Infrared thermography (IRT) is a diagnostic tool that provides local and global information about normal and abnormal sensory and nervous systems, inflammation or trauma. In addition to being known as a degenerative joint disease, knee osteoarthritis (OA) is the result of typical wear and tear and progressive loss of articular cartilage. In this study, it is planned to make the early diagnosis of the disease by making use of the image processing models (Convolutional neural networks, Support Vector Machines and VGG-16 architecture) of the images obtained with the thermal camera by taking advantage of the temperature feature of the OA disease. It is aimed to find the method that can predict the disease with the highest accuracy by applying these methods to the images obtained by thermography. In addition, it aims to help the doctor in the early diagnosis of the disease by designing an interface graphic with the method that gives the highest accuracy rate. A total of 998 images were obtained from different people with a thermal camera. Of these images, 284 are images of the patient and 714 of them are images of the control group. While the color difference in the images taken with the thermal camera cannot detect whether there is Osteoarthritis disease on its own, it provides the opportunity to detect this disease with the help of the above-mentioned methods. Among the applied methods, the best classification result was obtained with the convolutional neural network method with 90% accuracy. The results show that deep learning methods are quite successful in classifying thermal images. The images taken were processed in the SPSS version 25 statistical package program and were evaluated as significant at the p < 0.05 level in all statistical analyses.

Keywords

• Thermography
• Convolutional Neural Networks
• Support Vector Machines
• VGG-16
• Osteoarthritis.

Termal Görüntü İşleme İle Diz Osteoartritinin Tespit Edilmesi

Öz

Infrared termografi (IRT), normal ve anormal duyu ve sinir sistemleri, iltihaplanma ya da travma hakkında yerel ve küresel olarak bilgi sağlayan bir tanı aracıdır. Diz osteoartriti (OA), dejeneratif eklem hastalığı olarak da bilinmesine ek olarak tipik bir aşınma, yıpranma ve ilerleyici eklem kıkırdağı kaybının sonucu olmaktadır. Bu çalışmada, OA hastalığının sıcaklık özelliğinden faydalanarak termal kamera ile elde edilen görüntüleri görüntü işleme modelleri (Evrişimsel sinir ağları, Destek Vektör Makineleri ve VGG-16 mimarisi)’inden yararlanarak hastalığın erken teşhisinin yapılması planlanmaktadır. Termografi ile elde edilen görüntülere, söz konusu yöntemler uygulanarak hastalığı en yüksek doğrulukta tahmin edebilen yöntemi bulmak amaçlanmaktadır. Ayrıca en yüksek doğruluk oranını veren yöntem ile arayüz grafiği tasarlayarak hastalığı erken teşhis sürecinde doktora yardımcı olabilmeyi amaçlamaktadır. Toplam 998 görüntü termal kamera ile farklı kişilerden elde edilmiştir. Bu görüntülerin 284’ü hasta, 714’ü ise kontrol grubuna ait görüntülerdir. Termal kamera ile alınan görüntülerdeki renk farklılığı, Osteoartrit hastalığının bulunup bulunmadığını tek başına tespit edemezken yukarıda anılan yöntemler yardımıyla bu hastalığı tespit etme imkânı sağlamaktadır. Uygulanmış olan yöntemler arasında en iyi sınıflandırma sonucu %90 doğruluk oranı ile evrişimsel sinir ağları yöntemi ile elde edilmiştir. Elde edilen sonuçlar derin öğrenme yöntemlerinin termal görüntülerin sınıflandırılmasında oldukça başarılı olduğunu göstermektedir. Alınan görüntüler SPSS version 25 istatistik paket programında işlenmiş olup tüm istatistiksel analizlerde p < 0.05 düzeyinde anlamlı olarak değerlendirilmiştir.

Anahtar Kelimeler

• Termografi
• Evrişimsel Sinir Ağları
• Destek Vektör Makineleri
• VGG-16
• Osteoartriti.

Kaynakça

1. Lecun, Y., Bottou, L., Bengio , Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. in Proceedings of the IEEE, vol. 86, no. 11, 2278-2324.
2. Anonymous. (2021, Mart 10). instrumentsgroup. 05 16, 2021 tarihinde instrumentsgroup Web Sitesi: http://www.instrumentsgroup.com.za/index_files/Flir/Learn/Elec.Mech_Diagnostics.pdf adresinden alındı
3. Bijlsma, J. W., Berenbaum, F., & Lafeber, F. P. (2011). Osteoarthritis: an update with relevance for clinical practice. The Lancet, 377(9783), 2115-2126.
4. Erdem, E., & Aydın, T. (2021). Detection of Pneumonia with a Novel CNN-based Approach. Sakarya University Journal of Computer and Information Sciences, 4(1), 26-34.
5. Felson, D. T., Zhang, Y., Hannan, M. .., Naimark, ,. a., Weissman, B., Aliabadi, P., & Levy, D. (1995). The incidence and natural history of knee osteoarthritis in the elderly. Arthritis & Rheumatism, 1500-1505.
6. Krizhevsky , A., Sutskever, I., & Hinton, G. (2012). Derin evrişimli sinir ağları ile Imagenet sınıflandırması. Sinirsel bilgi işleme sistemlerindeki gelişmeler , 25, 1097-1105.
7. Lawrence, R. C., Felson, D. T., Helmick, C. G., Arnold, L. M., Choi, H., & Deyo, R. A. (2008). Estimates of the prevalence of arthritis and other rheumatic conditions in the United States. Part II. Arthritis & Rheum 58(1), 26-35.
8. Öztürk, Ş., Özkaya, U., Akdemir, B., & Seyfi, L. (2017). Soft Tissue Sacromas Segmentation using Optimized Otsu Thresholding Algorithms. Int J Eng Technol Manag Appl Sci, 5, 49-54.