Enhancement of Low Resolution Thermal Face Image Resolution Using Deep Learning

Abstract

Thermal imaging is an imaging system based on invisible infrared energy (heat) and the general structure of the image is determined by colors and shapes formed according to infrared energy. Although it is generally used for security purposes, it is open to use in a wide variety of sectors. Especially in recent years, thermal imaging systems have found a wide range of use in the medical field. Thermal imaging is an imaging system that is difficult to design and expensive. Therefore, interest in super resolution applications in the field of thermal imaging to increase the resolution of thermal images has increased considerably in recent years. Here, developments in the field of deep learning have accelerated these studies and increased the success. In this study, super resolution application was carried out on RGB thermal images of human faces by using adversarial generating networks. In this study, the images obtained from the Variocam HD thermal camera were used as high resolution images, while the images obtained from the Flir One Pro thermal camera were used as low resolution images. For this project, 5 pairs of thermal images (high resolution-low resolution) belonging to 12 people were used. Of these images, 45 are separated as double image training data set, and 15 double images as test data set. Batch normalization layers were used in both the generative network and the discriminator network part in order to avoid the problem of gradient disappearance during the training of the generative adversarial network and to provide faster training of the network. Since residual blocks facilitate the training difficulties of very deep networks and increase the success performance, a skip connection has been applied in the generator network similar to ResNet. The success performance of the results obtained as a result of training the network was evaluated using the image quality metrics PSNR (peak signal to noise ratio) and SSIM (structural similarity index measure). As a result, an increase of approximately 1.5dB in PSNR values and an increase of approximately 6% in SSIM values were observed compared to bicubic interpolation. In future studies, an alternative solution to high cost thermal camera systems can be offered as a result of training the deep network by using more data and by simulating the color tones of images obtained from two different cameras.

Keywords

• Thermal imaging
• Deep learning
• Super resolution

Düşük Çözünürlüklü Termal Yüz Görüntü Çözünürlüğünün Derin Öğrenme İle Artırılması

Öz

Termal görüntüleme, gözle görülmeyen kızılötesi enerjiyi (ısıyı) esas alan ve görüntünün genel yapısını kızılötesi enerjiye göre oluşmuş renkler ve şekillerin belirlediği görüntüleme sistemidir. Genelde güvenlik amaçlı kullanılmakla birlikte çok çeşitli sektörlerin de kullanımına açıktır. Özellikle son yıllarda termal görüntüleme sistemleri medikal alanda da oldukça geniş bir kullanım alanı bulmaktadır. Termal görüntüleme, tasarımı zor ve maliyeti yüksek bir görüntüleme sistemidir. Bundan dolayı termal görüntülerin çözünürlüğünün artırılması için termal görüntüleme alanındaki süper çözünürlük uygulamalarına ilgi son yıllarda oldukça artmıştır. Burada derin öğrenme alanındaki gelişmeler bu çalışmaları hızlandırmış ve başarıyı artırmıştır. Bu çalışmada da insan yüzlerine ait RGB termal görüntüler üzerinde çekişmeli üretici ağlar kullanılarak süper çözünürlük uygulaması gerçekleştirilmiştir. Bu çalışmada Variocam HD termal kameradan elde edilen görüntüler yüksek çözünürlüklü, Flir One Pro termal kameradan elde edilen görüntüler ise düşük çözünürlüklü görüntüler olarak kullanılmıştır. Bu proje için 12 kişiye ait 5’ er adet termal görüntü çifti(yüksekçözünürlüklü-düşük çözünürlüklü) kullanılmıştır. Bu görüntülerden 45’ er çift görüntü eğitim veri seti olarak, 15’ er çift görüntü ise test veri seti olarak ayrılmıştır. Çekişmeli üretici ağın eğitilmesi sırasında gradyanın yok olması probleminin önüne geçmek ve ağın daha hızlı eğitilmesini sağlamak amacıyla hem üretici ağ hem de ayırt edici ağ kısmında batch normalizasyon katmanları kullanılmıştır. Artık (residual) bloklar çok derin ağların eğitim zorluklarını kolaylaştırarak başarı performansını artırdığı için üretici ağında, ResNet’ e benzer şekilde atlamalı bağlantı (skip connection) uygulanmıştır. Ağın eğitilmesi sonucunda elde edilen sonuçların başarı performansı PSNR (tepe sinyal gürültü oranı) ve SSIM (yapısal benzerlik indeksi ölçümü) görüntü kalite metrikleri kullanılarak değerlendirilmiştir. Sonuç olarak bikübik interpolasyona kıyasla PSNR değerlerinde yaklaşık 1,5dB’lik bir artış ve SSIM değerlerinde yaklaşık % 6’lık bir artış gözlemlenmiştir. İlerde yapılacak çalışmalarda, derin ağın daha fazla veri kullanılarak ve iki farklı kameradan elde edilen görüntülerin renk tonları birbirine benzetilerek eğitilmesi sonucunda yüksek maliyetli termal kamera sistemlerine bir alternatif çözüm sunulabilecektir.

Anahtar Kelimeler

• Termal görüntüleme
• Derin öğrenme
• Süper çözünürlük

References

1. Dong, C., Loy, C. C., He, K. ve Tang, X.(2016). Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38, 295-307, doi: 10.1109/TPAMI.2015.2439281.
2. Dong W., Fu F., Shi G., Cao X., Wu J., Li G. ve Li X.(2016). Hyperspectral image super-resolution via non-negative structured sparse representation. IEEE Transactions on Image Processing, 25 (5), 2337-2352.
3. Glasner D., Bagon S. ve Irani M.(2009). Super-resolution from a single image. In Computer Vision, IEEE 12th International Conference on , 349-356. Gu, Y. vd.(2020). MedSRGAN: medical images super-resolution using generative adversarial networks. Multimed Tools App.l
4. Guei, A. ve Akhloufi, M.(2018). Deep learning enhancement of infrared face images using generative adversarial networks. Applied Optics, 57 (18), 98.
5. Ioffe, S. ve Szegedy, C.(2015). Batch normalization: accelerating deep network training by reducing internal covariate shift. Proceedings of The 32nd International Conference on Machine Learning (ICML),448–456.
6. Javaid, H., Babar, T.K., Rasool, A. ve Saghir, R.U.(2013). Video colour variation detection and motion magnification to observe subtle changes, M.Sc.Thesis, Blekinge Institute of Technology, Faisalabad, Pakistan, 57.
7. Johnson, J., Alahi, A. ve Li, F.(2016). Perceptual losses for real-time style transfer and super resolution. In European Conference on Computer Vision (ECCV), 694–711. Springer.
8. Ledig, C. vd.(2017). Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, 105-114, doi: 10.1109/CVPR.2017.19.

9. Nguyen K., Fookes C., Sridharan S. ve Denman S.(2013). Feature-domain super-resolution for iris recognition, Computer Vision and Image Understanding, 117 (10), 1526-1535.
10. Singh K., Gupta A. ve Kapoor R.(2015). Fingerprint image super-resolution via ridge orientation-based clustered coupled sparse dictionaries. Journal of Electronic Imaging, 24 (4), 043015.
11. Toyran, M.(2008). Düşük çözünürlüklü görüntülerden süper çözünürlüklü görüntü oluşturma. (Yüksek lisans tezi), Fen Bilimleri Enstitüsü, İstanbul. Yue, L., Shen, H., Li, J., Yuan, Q., Zhang, H. ve Zhang, L.(2018), Image super-resolution:the techniques, applications, and future. Signal Processing, 128,389-408.
12. Zhang, X., Li, C., Meng, Q., Liu,S., Zhang, Y. ve Wang, J.(2018). Infrared image super resolution by combining compressive sensing and deep learning. Sensors (Basel), 18 (8), 2587.