Calculation of Spirometry Results with Mobile Infrastructures and Detection of Lung Diseases from Breathing, Phonation and Cough Sounds

Abstract

This study aims to calculate forced vital capacity with mobile infrastructures and determine FEV and FVC values from the resulting decibel difference, and to detect lung diseases by establishing a relationship with breathing, phonation and cough sound data with the help of artificial neural networks using sound feature vectors. In our study, a mobile method was developed to calculate the power difference in decibels in determining forced vital capacity and to develop an algorithm that uses these values by developing artificial intelligence to detect diseases such as asthma. To obtain spirometric results, the ambient noise in decibels was determined before each test. In our study, the new noise resulting from strong expiration was calculated in decibels. The FEV value was concluded by calculating the net power difference (Breathing Calibration-Environment Calibration) and taking the result as LOGe. Our study includes a mathematical adaptation and symptom detection model that we created by interpreting the power differences that occur after forced vital breathing in decibels of the spirometry values that the artificial intelligence we developed will benefit from. Additionally, a new dataset created from two different datasets was used: The MFCC (Mel Frequency Cepstral Coefficients) Mel frequency cepstral coefficients of each sound in this new data set were extracted and converted into spectrogram graphics in png format. The sounds converted into picture format were classified with Convolutional Neural Networks (CNN) network, one of the deep learning algorithms. In this study, FEV and FVC values after intense vital breathing were calculated with the developed mathematical formula, enabling our artificial intelligence to diagnose lung-related diseases. We also concluded that these values obtained with mobile infrastructures could be evaluated in terms of some diseases with preliminary evaluation by adhering to the classical medical literature.

Keywords

• Expiration
• MFCC
• Artificial intelligence
• Forced vital capacity

Mobil Alt Yapılar ile Spirometri Sonuçlarının Hesaplanması ve Nefes, Fonasyon, Öksürük Seslerinden Akciğer Hastalıklarının Tespiti

Abstract

Amaç: Bu çalışmada, zorlu vital kapasitesinin mobil alt yapılar ile hesaplanarak FEV ve FVC değerlerinin oluşan desibel farkından tespit edilmesi ve ses öznitelik vektörleri kullanılarak yapay sinir ağları yardımı ile nefes, fonasyon ve öksürük ses verileri ile ilişki kurularak akciğer hastalıklarının tespit edilmesi amaçlanmıştır. Ayrıca zorlu ekspirasyon volümü hesabının mobil cihazlar üzerinden yapılmasını sağlayacak yeni bir yöntem geliştirmek hedeflenmiştir. Gereç ve Yöntem: Çalışmamızda zorlu vital kapasitesinin tespitinde desibel türünden güç farkını hesaplamak ve astım gibi hastalıkları tespit edecek bir yapay zeka geliştirerek bu değerlerden faydalanan bir algoritma geliştirmek üzere mobil bir yöntem geliştirilmiştir. Spirometrik sonuçları elde edebilmek için öncelikle ortamın desibel türünden gürültüsü her test önce belirlenmiştir. Daha sonra aynı spirometri cihazlarında olduğu gibi güçlü ekpirasyon sonucu oluşan yeni gürültü desibel türünden hesaplanmıştır. FEV değeri net güç farkının (Nefes Kalibrasyonu-Ortam Kalibrasyonu) hesaplanarak çıkan sonucun Loge alınması ile sonuçlandırılmıştır. Sesten hastalık teşhisinin temel olarak bir sınıflandırma problemi olduğundan akciğer hastalıklarının sınıflandırması örüntü tanıma problemi olarak ele alınmıştır. Bir örüntü tanıma işlevi olarak otomatik akciğer hastalıklarını sınıflandırma çalışmamız üç alt bileşen içermektedir; Bunlar özniteliklerin belirlenerek elde edilmesi ve öznitelik seçiminin yapılması ve Sınıflandırıcılar olarak açıklanabilir. Bulgular: Çalışmamızda geliştirdiğimiz yapay zekanın yararlanacağı spirometri değerlerinin zorlu vital solunum sonrası oluşan güç farklılıklarını desibel cinsinden anlamlandırarak oluşturduğumuz matematiksel bir uyumlama ve semptom sezgileme modeli yer almaktadır. Ayrıca iki farklı veri kümesinden oluşturulan yeni bir veri kümesi kullanılmış olup; bu yeni veri kümesi içerisindeki her bir sesin, MFCC (Mel Frequency Cepstral Coefficients) Mel frekansı kepstral katsayıları çıkarılan ve png formatında spectrogram grafiklerine dönüştürülmüştür. Resim formatına dönüştürülmüş sesler, derin öğrenme algoritmalarından Convolutional Neural Networks (CNN) ağı ile sınıflandırılmıştır. Bunun sonucunda ise CNN ağı ile oldukça yüksek bir başarım elde edilmiştir. Sprirometri değerleri içerisinde yer alan FEV ve FVC değerleri için korelasyon katsayısı ve regresyon katsayısı yüksek uyumludur. Sonuç: Bu çalışmada, güçlü vital solunum sonrası FEV ve FVC değerleri geliştirilen matematiksel formülle hesaplanarak yapay zekamızın akciğer kaynaklı hastalıkların teşhisinde kullanabilecek şekilde yararlanması sağlanmıştır. Resme dönüştürülmüş her bir ses, öznitelik çıkarma ve yapay zekanın alt kollarından biri olan derin öğrenme algoritmaları içinde yer alan Evrişimli Sinir Ağı (CNN) kullanılarak analiz edilmiştir. Bu algoritmanın seçiminde benzer kullanım alanlarına sahip çalışmalar değerlendirilmiştir. Geliştirdiğimiz sistem sonucunda %99,60’lık bir başarım elde edilmiştir. Bu başarım, oluşturulan sistemin yüksek bir başarıyla çalıştığını göstermektedir.

Keywords

• MFCC
• Yapay Zekâ
• Zorlu Vital Kapasite
• Ekspirasyon

Ethical Statement

Bu çalışma Medipol Üniversitesi’nden alınan 01.06.2022 tarih ve E-10840098-772.02-3121 sayılı izni ile gerçekleştirilmiştir.

References

1. Allen, S.M., Hunt, B. and Green, M. (1985). Fall in vital capacity with posture. British Journal of Disease and Chest, 79, 267-71.
2. Ankara Üniversitesi, Solunum Sistemi Fizyolojisi Açık Ders web sitesi, https://acikders.ankara.edu.tr/pluginfile.php/97998/mod_resource/content/0/Solunum-Fiz_AU-Acik-Ders.pdf Son Erişim 26.02.2023.
3. Chauhan S.N. Audio Data Analysis Using Deep Learning with Python web sites. https://www.kdnuggets.com/2020/02/audio-data-analysis-deep-learning-python- part-1.html./ Son Erişim Tarihi: 27.09.2023.
4. Cotes, J.E., Chinn, D.J. and Miller, M.R. (2006). Lung Function: Physiology, Measurement and Application in Medicine. 6th edn., Blackwell Publishing, Oxford, pp.p.567-569.
5. Desibel açıklama sayfası, Wikipedia web sitesi, https://tr.wikipedia.org/wiki/Desibel Wikipedia web sitesi. Son Erişim: 27.09.2023.
6. Dinç, B., Titiz, T., A. and Keskin, H. (2018). Lobektomi olgularında uyguladığımız tek akciğer ventilasyonunun değerlendirilmesi. Akdeniz Tıp Dergisi, 2, 130-136.
7. Durmaz A.O. Ses Öznitelik Çıkarımı, Medium Web Sitesi, https://medium.com/ datarunner/librosa-9729c09ecf7a. Son Erişim: 27.09.2023.
8. Gavriely, N. (1995). Breath Sounds Methodology. CRC Press, Boca Raton.

9. Güngör, N. (2022). Kardı̇yak rehabı̇lı̇tasyonda değerlendı̇rme: Geleneksel derleme. Sağlık Bilimleri ve Yaşam Dergisi, 6(2), 14-27.
10. Kurtipek, Ö. Asit-Baz Dengesi ve Kan Gazlarının Değerlendirilmesi, https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwj5x4T18Kz9AhVhSvEDHYVnD2YQFnoECA8QAQ&url=https%3A%2F%2Fmed.gazi.edu.tr%2Fposts%2Fdownload%3Fid%3D20757&usg=AOvVaw3rVYye5ck15OZMW_B9RxNr. Son Erişim 27.09.2023.
11. Kocer, G. Yakındoğu Üniversitesi, Solunum Sistemi Fizyolojisi Web Sitesi, http://docs.neu.edu.tr/staff/gunnur.kocer/Solunum%20Sistemi%20Fizyolojisi_3.pdf Son Erişim 27.09.2023.
12. Milling, M., Pokorny, F.B., Bartl, K.D. and Schuller, B.W. (2021). Is speech the new blood? Recent progress in aı-based disease detection from audio in a nutshell. Insights in Health Informatics, 4, 886615.
13. Narkhede, S. Understanding Confusion Matrix. Web Sitesi, https://towardsdatascience.com/understanding-confusion-matrix-a9ad42dcfd62 / Son Erişim Tarihi: 27.09.2023.
14. Rubikscode Web Sitesi, https://rubikscode.net/2018/02/26/introduction-to-convolutional-neural-networks/ Son Erişim Tarihi: 27.09.2023.
15. Piirila, P. (1992). Changes in crackle characteristics during the clinical course of pneumonia. Chest, 102(1), 176-183.
16. Piirila, P., Sovijarvi, A., Kaisla, T., Rajala, H.M. ve Katila, T. (1991). Crackles in patients with fibrosing alveolitis, bronchiectasis, COPD, and heart failure. Chest, 99(5), 1076-1083.
17. Sankur, B., Kâhya, Y.P., Guler, CE and Engin, T. (1994). Comparison of AR-based algorithms for respiratory sounds classification. Computers in Biology and Medicine, 24, 67-76.
18. Solunum Sistemi, Wikipedia web sitesi, https://tr.wikipedia.org/wiki/Solunum_sistemi Son Erişim 27.09.2023. Tulić, M.K. and Hamid, Q. (2006). New insights into the pathophysiology of the small airways in asthma. Clinical Chest Medicine, 27, 41-52.
19. Ulubay, G., Dilektaşlı, A.G., Börekçi, Ş., Yıldız, Ö., Kıyan, E., Gemicioğlu, B., Saryal, S. (2019). Turkish thoracic society consensus report: Interpretation of spirometry. Turk Thorac Journal, 20(1), 69-89.