Termal Kamera Görüntülerinin Çoklu Sınıflandırılması için Derin Öğrenme Tabanlı Tekniklerin Performans Karşılaştırılması
Öz
Termal kameralar, cisimlerin sıcaklık farklılıklarını kızılötesi ışın değerlerine bağlı olarak renklendirdiği görüntüleme sistemleridir. Günümüzde başta savunma sanayi olmak üzere sağlık, ziraat, inşaat gibi birçok farklı alanda termal kameralar kullanılmaktadır. Özellikle savunma sanayi alanında kullanılan bu kameralardan elde edilen görüntüler, çeşitli nesnelerin ve canlıların tespiti için büyük önem arz etmektedir. Bu çalışmada termal kamera görüntülerinin sınıflandırması için derin öğrenme tabanlı tekniklerin kapsamlı bir karşılaştırması sunulmaktadır. Çalışmada 7 farklı Evrişimli Sinir Ağları mimarisi ile görüntülerin özellikleri çıkarılmış, 5 farklı sınıflandırma yöntemi ile sınıflandırılması sağlanmıştır. Performans değerlendirmesi için dengesiz çok sınıflı veri kümelerinin sınıflandırılmasına uygun metrikler olan dengeli doğruluk, makro ve mikro ortalama duyarlılık, makro ve mikro ortalama kesinlik, makro ve mikro ortalama F ölçütü metrik değerleri kullanılmıştır. Ayrıca tüm yapıların ayrı ayrı eğitim ve test süreleri karşılaştırılmıştır. Çalışmada en yüksek doğruluk değeri %95.24 ile Resnet101+Softmax ve Resnet50+DVM mimarilerinde elde edilmiştir. Sınıfların eşit ağırlıklı alındığı dengeli doğruluk değerinde ise en yüksek %95,17 ile Resnet101+Softmax mimarisinden elde edilmiştir. Resnet101+Softmax mimarisinde makro ortalamalı kesinlik 0.9579, makro ortalamalı F ölçütü 0.9543 ve mikro ortalamalı F ölçütü 0.9524 değerleri elde edilmiştir. Bu çalışma, küçük ve dengesiz termal görüntüler üzerinde, önceden eğitilmiş ESA ağlarının özellik çıkarımı ile makine öğrenimi sınıflandırıcılarının kullanımının, tamamen eğitilmiş ağlarla elde edilen performansa benzer sonuçlar sağlanabileceğini göstermiştir
Anahtar Kelimeler
Kaynakça
- Aslan S. Mühendislik uygulamalarında termal kamera kullanımı. Yüksek lisans tezi. Hatay: İskenderun Teknik Üniversitesi; 2016.
- Cho Y, Bianchi-Berthouze N, Marquardt N, Julier SJ. Deep thermal imaging. In: Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, New York, NY, USA; 2018. p. 1–13. doi: 10.1145/3173574.3173576.
- Al-Obaidy F, Yazdani F, Mohammadi FA. Fault detection using thermal image based on soft computing methods: Comparative study. Microelectronics Reliability 2017;71:56–64. doi: 10.1016/j.microrel.2017.02.013.
- Sarawade AA, Charniya NN. Detection of faulty integrated circuits in PCB with thermal image processing. In: 2019 International Conference on Nascent Technologies in Engineering (ICNTE), IEEE; 2019. p. 1–6. doi: 10.1109/ICNTE44896.2019.8946061.
- Jiang A, Noguchi R, Ahamed T. Tree trunk recognition in orchard autonomous operations under different light conditions using a thermal camera and Faster R-CNN. Sensors 2022;22(5). doi: 10.3390/s22052065.
- Memari M, Shekaramiz M, Masoum MAS, Seibi AC. Data fusion and ensemble learning for advanced anomaly detection using multi-spectral RGB and thermal imaging of small wind turbine blades. Energies (Basel) 2024;17(3). doi: 10.3390/en17030673.
- Roslidar R, et al. A review on recent progress in thermal imaging and deep learning approaches for breast cancer detection. IEEE Access 2020;8:116176–116194. doi: 10.1109/ACCESS.2020.3004056.
- Bauer J, Mazurkiewicz J. Neural network and optical correlators for infrared imaging based face recognition. In: 5th International Conference on Intelligent Systems Design and Applications (ISDA’05), IEEE; 2005. p. 234–238. doi: 10.1109/ISDA.2005.70.
- Yoshitomi Y, Miyawaki N, Tomita S, Kimura S. Facial expression recognition using thermal image processing and neural network. In: Proceedings 6th IEEE International Workshop on Robot and Human Communication (RO-MAN’97 SENDAI), IEEE; p. 380–385. doi: 10.1109/ROMAN.1997.647016.
- Koukiou G, Anastassopoulos V. Drunk person identification using thermal infrared images. International Journal of Electronic Security and Digital Forensics 2012;4(4). doi: 10.1504/IJESDF.2012.049747.