Sentinel-2 Uydu Görüntüleri için Evrişimli Otokodlayıcı Sinir Ağı ile Süper Çözünürlük Yaklaşımı

Year 2023, , 231 - 241, 28.09.2023

Ahmet Ertuğrul Arık , Reha Paşaoğlu , Nuri Emrahaoğlu

https://doi.org/10.48123/rsgis.1254716

Abstract

Makalede, uydu görüntülerinin çözünürlüğünü arttırmak için SEN-2_CAENET adında evrişimli otokodlayıcı temelli yeni bir süper çözünürlük derin öğrenme modeli sunulmaktadır. Yapay sinir ağları, son yıllarda uydu görüntülerinde uzamsal çözünürlük artırma konusunda önemli bir rol oynamaktadır. Özellikle, genelleştirilebilir yapay sinir ağları, verilen girdi verilerine benzer ama tamamen farklı girdi verilerine uygulandığında da doğru çıktı verileri elde edilebilir. Bu özellik, yapay sinir ağlarının uzamsal çözünürlük artırma işlemlerinde etkin bir şekilde kullanılmasını sağlar. Makalede, Sentinel-2 uydu görüntüleri için kullanılan bir otokodlayıcı temelli derin sinir ağı modelinin nasıl uzamsal çözünürlük artırma işlemlerinde kullanılabileceği açıklanmaktadır. Bu model, kullanılan veriler ve eğitim yöntemleri ile görüntülerin detaylarının daha iyi görülebilmesini ve bu sayede görüntülerin daha etkili bir şekilde analiz edilebilmesini mümkün kılmaktadır. Testlerimizde, Sentinel-2 uydu görüntüleri üzerinde uyguladığımız SEN-2_CAENET modelinin performansını PSNR, MSE ve SSIM metrikleri kullanarak ölçtük. Elde ettiğimiz bulgular, SEN-2_CAENET'in literatürde önemli bir konuma sahip olan SRCNN sinir ağından daha yüksek başarı oranlarına ulaştığını göstermiştir.

Keywords

Yapay sinir ağları, Otokodlayıcılar, Görüntü işleme, Süper çözünürlük Uzaktan algılama

Super Resolution Approach with Convolutional Autoencoder Neural Network for Sentinel-2 Satellite Imagery

Abstract

In the article, a new super resolution deep learning model based on convolutional autoencoder named SEN-2_CAENET is presented to increase the resolution of satellite images. Artificial neural networks have been playing an important role in increasing the resolution of satellite images in recent years. In particular, when generalizable neural networks are applied to similar but completely different input data, accurate output data can be obtained. This feature enables artificial neural networks to be used effectively in resolution enhancement processes. The article explains how an autoencoder-based model used for Sentinel-2 satellite images can be used for resolution enhancement. This model makes it possible to see the details of the images better with the data and training methods used, and thus to analyze the images more effectively. In the tests applied to Sentinel-2 satellite images, SEN-2_CAENET, which we created in PSNR, MSE and SSIM metrics, received more successful results than the SRCNN neural network, which has an important place in the literature.

Keywords

Artificial neural network, Autoencoders, Super resolution, Image processing, Remote sensing

References

• Cengiz, A., & Avcı, D. (2021). Uydu imgelerine derin öğrenme tabanlı süper çözünürlük yöntemlerinin uygulanması. Afyon Kocatepe University Journal of Sciences and Engineering, 21(5), 1069-1077.
• Chen, S., & Guo, W. (2023). Auto-encoders in deep learning—a review with new perspectives. Mathematics, 11(8), 1777. doi: 10.3390/math11081777.
• Dong, C., Loy, C. C., He, K., & Tang, X. (2015). Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(2), 295-307.
• Dong, C., Loy, C. C., & Tang, X. (2016). Accelerating the Super-Resolution Convolutional Neural Network. In B. Leibe, J. Matas, N. Sebe, M. Welling (Eds.), Computer Vision – ECCV 2016 (pp. 391-407). Springer.
• Dong, R., Mou, L., Zhang, L., Fu, H., & Zhu, X. X. (2022). Real-world remote sensing image super-resolution via a practical degradation model and a kernel-aware network. ISPRS Journal of Photogrammetry and Remote Sensing, 191, 155-170.
• ESA. (2023a, Eylül). MultiSpectral Instrument (MSI) Overview. Retrieved from https://sentinels.copernicus.eu/web/ sentinel/technical-guides/sentinel-2-msi/msi-instrument.
• ESA. (2023b, Eylül). Science Toolbox Exploitation Platform. Retrieved from https://step.esa.int/main/download/snap-download/.
• Galar, M., Sesma, R., Ayala, C., Albizua, L., & Aranda, C. (2020). Super-resolution of Sentinel-2 images using convolutional neural networks and real ground truth data. Remote Sensing, 12(18), 2941. doi: 10.3390/RS12182941.
• Lanaras, C., Bioucas-Dias, J., Galliani, S., Baltsavias, E., & Schindler, K. (2018). Super-resolution of Sentinel-2 images: Learning a globally applicable deep neural network. ISPRS Journal of Photogrammetry and Remote Sensing, 146, 305-319.
• Leite, N. M. N., Pereira, E. T., Gurjão, E. C., & Veloso, L. R. (2018, December). Deep convolutional autoencoder for EEG noise filtering. In IEEE International Conference on Bioinformatics and Biomedicine, 2018. Proceedings. (pp.2605-2612). IEEE.
• Liu, H., Fu, Z., Han, J., Shao, L., & Liu, H. (2018). Single satellite imagery simultaneous super-resolution and colorization using multi-task deep neural networks. Journal of Visual Communication and Image Representation, 53, 20-30.
• Liu, L., Jiang, Q., Jin, X., Feng, J., Wang, R., Liao, H., Lee, S. J., & Yao, S. (2022). CASR-Net: A color-aware super-resolution network for panchromatic image. Engineering Applications of Artificial Intelligence, 114, 105084. doi: 10.1016/j.engappai.2022.105084.
• Liu, Z., Lian, T., Farrell, J., & Wandell, B. A. (2020). Neural network generalization: The impact of camera parameters. IEEE Access, 8, 10443-10454.
• Pineda, F., Ayma, V., & Beltran, C. (2020). A generative adversarial network approach for super-resolution of sentinel-2 satellite images. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences - ISPRS Archives, 43(B1), 9-14. doi:10.5194/isprs-archives-XLIII-B1-2020-9-2020.
• Salgueiro Romero, L., Marcello, J., & Vilaplana, V. (2020). Super-resolution of sentinel-2 imagery using generative adversarial networks. Remote Sensing, 12(15), 2424. doi: 10.3390/RS12152424.
• Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., ... & Rabinovich, A. (2015, June). Going deeper with convolutions. In Conference On Computer Vision And Pattern Recognition, 2015. Proceedings. (pp. 1-9). IEEE.
• Turhan, C. G., & Bilge, H. Ş. (2019). Çekişmeli üretici ağ ile ölçeklenebilir görüntü oluşturma ve süper çözünürlük. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 35(2), 953-966.
• Wang, P., Bayram, B., & Sertel, E. (2022). A comprehensive review on deep learning based remote sensing image super-resolution methods. Earth-Science Reviews, 232, 104110. doi: 10.1016/j.earscirev.2022.104110.
• Yang, W., Zhang, X., Tian, Y., Wang, W., Xue, J. H., & Liao, Q. (2019). Deep learning for single image super-resolution: A brief review. IEEE Transactions on Multimedia, 21(12), 3106-3121.
• Zabalza, M., & Bernardini, A. (2022). Super-resolution of sentinel-2 images using a spectral attention mechanism. Remote Sensing, 14(12), 2890. doi: 10.3390/rs14122890.
• Zeng, K., Yu, J., Wang, R., Li, C., & Tao, D. (2015). Coupled deep autoencoder for single image super-resolution. IEEE Transactions on Cybernetics, 46(10), 27-37.