Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması

Hüseyin Fırat; Davut Hanbay

doi:10.17341/gazimmfd.977688

Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması

Öz

Hiperspektral görüntüler (HG), iki uzamsal ve bir spektral boyuta sahip 3 boyutlu (3B) görüntü küpleridir. Derin öğrenme yöntemlerinin gelişimi, HG sınıflandırmada önemli bir etki oluşturmuştur. Özellikle evrişimsel sinir ağı (ESA) tabanlı yöntemler bu alanda daha fazla ilgi görmektedir. Bu çalışmada, HG sınıflandırma problemi için ESA’nın başarılı örnekleri arasında olan LeNet5, AlexNet, VGG16, GoogleNet ve ResNet50 derin öğrenme mimarilerinden yararlanıyoruz. Bu mimarileri kullanırken 3B ESA tabanlı hibrit bir yaklaşım kullanmaktayız. Çünkü, 3B ESA kullanılarak, spektral-uzamsal özellikler eş zamanlı olarak çıkarılmaktadır. Bu durumda elde edilen spektral-uzamsal tabanlı derin öğrenme mimarisi ile HG’lerin sınıflandırma doğruluğu arttırılmaktadır. Bununla birlikte, önerilen modelde, HG'lerden optimal bant çıkarımı için bir ön işleme tekniği olarak temel bileşen analizi (TBA) kullanılmaktadır. TBA uygulandıktan sonra komşuluk çıkarımı ile 3B küpler elde edilmekte ve derin öğrenme mimarilerinin girişine verilmektedir. 3B ESA tabanlı derin öğrenme mimarilerinin sınıflandırma performanslarını karşılaştırmak için Indian pines, Salinas, Botswana ve HyRANK-Loukia verisetleri kullanılmıştır. Gerçekleştirilen uygulamalar sonucunda, en iyi sınıflandırma doğruluğu Indian pines verisetinde VGG16, Botswana verisetinde ResNet50, HyRANK-Loukia verisetinde VGG16, Salinas verisetinde LeNet5 ve VGG16 mimarileri ile elde edilmiştir.

Anahtar Kelimeler

Kaynakça

1. Z. Meng, L. Li, X. Tang, Z. Feng, L. Jiao, and M. Liang, Multipath residual network for spectral-spatial hyperspectral image classification, Remote Sens., 11(16), 1–19, 2019.
2. J. Jia, Y. Wang, J. Chen, R. Guo, R. Shu, and J. Wang, Status and application of advanced airborne hyperspectral imaging technology: A review, Infrared Phys. Technol., 104, 103115, 2020.
3. A. Mohan and V. Meenakshi Sundaram, V3O2: hybrid deep learning model for hyperspectral image classification using vanilla-3D and octave-2D convolution, J. Real-Time Image Process., 2020.
4. B. Gowtham, I. A. Kumar, T. S. Reddy, J. Harikiran, and B. S. Chandana, Hyperspectral Image Analysis using Principal Component Analysis and Siamese Network, Turkish J. Comput. Math. Educ., 12(7), 1191–1198, 2021.
5. A. Mohan and M. Venkatesan, HybridCNN based hyperspectral image classification using multiscale spatiospectral features, Infrared Phys. Technol., 108, 2020.
6. J. S. Ham, Y. Chen, M. M. Crawford, and J. Ghosh, Investigation of the random forest framework for classification of hyperspectral data, IEEE Trans. Geosci. Remote Sens., 43(3), 492–501, 2005.
7. F. Melgani and L. Bruzzone, Classification of Hyperspectral Remote Sensing Images With Support Vector Machines, IEEE Trans. Geosci. Remote Sens., 42, 1778–1790, 2004.
8. J. Li, J. M. Bioucas-Dias, and A. Plaza, Semisupervised hyperspectral image segmentation using multinomial logistic regression with active learning, IEEE Trans. Geosci. Remote Sens., 48(11), 4085–4098, 2010.

9. J. A. Palmason, J. A. Benediktsson, and J. R. Sveinsson, Classification of hyperspectral data from urban areas based on extended morphological profiles, IEEE Trans. Geosci. Remote Sens., 43(3), 480–491, 2005.
10. G. Camps-Valls and L. Bruzzone, Kernel-based methods for hyperspectral image classification, IEEE Trans. Geosci. Remote Sens., 43(6), 1351–1362, 2005.
11. L. Fang, S. Li, W. Duan, J. Ren, and J. A. Benediktsson, Classification of Hyperspectral Images by Exploiting Spectral-Spatial Information of Superpixel via Multiple Kernels, IEEE Trans. Geosci. Remote Sens., 53(12), 6663–6674, 2015.
12. L. Fang, S. Li, X. Kang, and J. A. Benediktsson, Spectral-spatial hyperspectral image classification via multiscale adaptive sparse representation, IEEE Trans. Geosci. Remote Sens., 52(12), 7738–7749, 2014.
13. M. Fauvel, J. Chanussot, and J. A. Benediktsson, A spatial-spectral kernel-based approach for the classification of remote-sensing images, Pattern Recognit., 45(1), 381–392, 2012.
14. X. Yang, Y. Ye, X. Li, R. Y. K. Lau, X. Zhang, and X. Huang, Hyperspectral image classification with deep learning models, IEEE Trans. Geosci. Remote Sens., 56(9), 5408–5423, 2018.
15. H. Data et al., Deep Learning-Based Classification of Hyperspectral Data, IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., 7, 1–14, 2015.
16. S. K. Roy, G. Krishna, S. R. Dubey, and B. B. Chaudhuri, HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification, arXiv, 17(2), 277–281, 2019.
17. H. C. Mingyi He, Bo Li, Multi-scale 3D deep convolutional neural network for hyperspectral image classification, 2017 IEEE International Conference on Image Processing, Beijing-China, 3904–3908, 17-20 September, 2017.
18. L. Song, W.; Li, S.; Fang, Hyperspectral Image Classification with Deep Feature Fusion Network, IEEE Trans. Geosci. Remote Sens., 99, 3173–3184, 2018.
19. Z. Ge, G. Cao, X. Li, and P. Fu, Hyperspectral Image Classification Method Based on 2D-3D CNN and Multibranch Feature Fusion, IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., 13, 5776–5788, 2020.
20. Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, Gradient-based learning applied to document recognition, Proc. IEEE, 86(11), 2278–2323, 1998.
21. A. Krizhevsky, I. Sutskever, and G. E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, in International Conference on Neural Information Processing Systems, 1097–1105, 2012.
22. C. Szegedy et al., Going deeper with convolutions, 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston-USA, 1–9, 7-12 June, 2015.
23. K. He, X. Zhang, S. Ren, and J. Sun, Deep residual learning for image recognition, 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas-USA, 770-778, 26 June-01 July, 2016.
24. H. Firat, Classification of Hyperspectral Images Using 3D CNN Based ResNet50, 29th Signal Processing and Communications Applications Conference, Istanbul-Turkey, 6–9, 9-11 June, 2021.
25. L. H. Shehab, O. M. Fahmy, S. M. Gasser, and M. S. El-Mahallawy, An efficient brain tumor image segmentation based on deep residual networks (ResNets), J. King Saud Univ. - Eng. Sci., 1–9, 2020.
26. K. Simonyan and A. Zisserman, Very deep convolutional networks for large-scale image recognition, 3rd International Conference on Learning Representations, San Diego-USA, 1–14, 7-9 May, 2015.
27. P. Dou and C. Zeng, Hyperspectral image classification using feature relations map learning, Remote Sens., 12(18), 2020.

Ayrıntılar

Birincil Dil

Türkçe

Konular

Mühendislik

Bölüm

Araştırma Makalesi

Yazarlar

Hüseyin Fırat ^*
0000-0002-1257-8518
Türkiye

Davut Hanbay
0000-0003-2271-7865
Türkiye

Yayımlanma Tarihi

21 Haziran 2022

Gönderilme Tarihi

2 Ağustos 2021

Kabul Tarihi

16 Şubat 2022

Yayımlandığı Sayı

Yıl 2023 Cilt: 38 Sayı: 1

DOI

https://doi.org/10.17341/gazimmfd.977688

IZ

https://izlik.org/JA42LW94PR

Kaynak Göster

RIS / Bibtex

APA

Fırat, H., & Hanbay, D. (2022). Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38(1), 521-534. https://doi.org/10.17341/gazimmfd.977688

AMA

1.Fırat H, Hanbay D. Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. GUMMFD. 2022;38(1):521-534. doi:10.17341/gazimmfd.977688

Chicago

Fırat, Hüseyin, ve Davut Hanbay. 2022. “Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 38 (1): 521-34. https://doi.org/10.17341/gazimmfd.977688.

EndNote

Fırat H, Hanbay D (01 Haziran 2022) Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 38 1 521–534.

IEEE

[1]H. Fırat ve D. Hanbay, “Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması”, GUMMFD, c. 38, sy 1, ss. 521–534, Haz. 2022, doi: 10.17341/gazimmfd.977688.

ISNAD

Fırat, Hüseyin - Hanbay, Davut. “Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 38/1 (01 Haziran 2022): 521-534. https://doi.org/10.17341/gazimmfd.977688.

JAMA

1.Fırat H, Hanbay D. Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. GUMMFD. 2022;38:521–534.

MLA

Fırat, Hüseyin, ve Davut Hanbay. “Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, c. 38, sy 1, Haziran 2022, ss. 521-34, doi:10.17341/gazimmfd.977688.

Vancouver

1.Hüseyin Fırat, Davut Hanbay. Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. GUMMFD. 01 Haziran 2022;38(1):521-34. doi:10.17341/gazimmfd.977688

Cited By

Multipath feature fusion for hyperspectral image classification based on hybrid 3D/2D CNN and squeeze-excitation network

Earth Science Informatics

https://doi.org/10.1007/s12145-022-00929-x

Hyperspectral image classification method based on squeeze-and-excitation networks, depthwise separable convolution and multibranch feature fusion

Earth Science Informatics

https://doi.org/10.1007/s12145-023-00982-0

Deep learning-based classification of mature and immature lavender plants using UAV orthophotos and a hybrid CNN approach

Earth Science Informatics

https://doi.org/10.1007/s12145-023-01200-7

A hybrid approach consisting of 3D depthwise separable convolution and depthwise squeeze-and-excitation network for hyperspectral image classification

Earth Science Informatics

https://doi.org/10.1007/s12145-024-01469-2

Automatic identification of dental implant brands with deep learning algorithms

Dentomaxillofacial Radiology

https://doi.org/10.1093/dmfr/twaf054