Research Article
BibTex RIS Cite

4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı

Year 2022, Volume: 37 Issue: 1, 439 - 454, 10.11.2021
https://doi.org/10.17341/gazimmfd.901291

Abstract

Hiperspektral görüntüler, uzaktan algılama uygulamalarında yaygın olarak kullanılan bitişik bant görüntüleridir. Derin öğrenme hiperspektral görüntü sınıflandırmasını iyileştirmek için kullanılan etkili bir yöntemdir. Evrişimli sinir ağları ise hiperspektral görüntü sınıflandırma alanında başarıyla kullanılan derin öğrenme yöntemlerinden biridir. Spektral, uzamsal veya spektral uzamsal alanlardan hiperspektral görüntülerin daha soyut özelliklerini öğrenebilen otomatik yaklaşımlar sağlamaktadır. Hiperspektral görüntülerin yüksek boyutsallığı hesaplama karmaşıklığını arttırmaktadır. Bu nedenle, geliştirilen evrişimli sinir ağ modellerinin çoğu, bir ön işleme adımı olarak boyut indirgeme gerçekleştirmektedir. Hiperspektral görüntü sınıflandırmasındaki diğer bir problem ise, doğru sonuçlar elde etmek için hem uzamsal hem de spektral özelliklerin dikkate alınması gerekliliğidir. Çünkü, hiperspektral görüntü sınıflandırma performansı büyük ölçüde hem spektral hem de uzamsal bilgilere bağlıdır. Bu çalışmada, hiperspektral görüntü sınıflandırması için yeni bir 3B evrişimli sinir ağı modeli önerilmiştir. Önerilen yöntem, hiperspektral görüntülerdeki spektral-uzamsal özellikleri eşzamanlı olarak çıkarmak için basit ve etkili bir yöntem sağlamaktadır. Ağ, giriş verileri olarak 3B hiperspektral küpü kullanmaktadır. Hiperspektral küpteki boyutsal fazlalığı gidermek için temel bileşen analizi ile boyut indirgeme yapılmaktadır. Daha sonra komşuluk çıkarımı kullanılarak, spektral uzamsal özellikler etkin bir şekilde çıkarılmaktadır. Önerilen yöntem indian pines, pavia üniversitesi, salinas ve kennedy uzay merkezi veri setleri ile test edilmiştir. Deneysel çalışmalar sonucunda, indian pines için %99,93, pavia üniversitesi için %99,99, salinas için %100 ve kennedy uzay merkezi için ise %99,81 genel doğruluk sonuçları elde edilmiştir. Sonuçlar, 7 farklı derin öğrenme tabanlı yöntemle karşılaştırılmıştır. Deneysel sonuçlardan, 4CF-Net yöntemimizin daha iyi performans gösterdiği görülmektedir.

References

  • 1. Dou P. and Zeng C., Hyperspectral image classification using feature relations map learning, Remote Sens., 12(18), 2020.
  • 2. Jia J., Wang Y., Chen J., Guo R., Shu R., and Wang J., Status and application of advanced airborne hyperspectral imaging technology: A review, Infrared Phys. Technol., 104, 103-115, 2020.
  • 3. Sun H., Ren J., Zhao H., Yan Y., Zabalza J., and Marshall S., Superpixel based feature specific sparse representation for spectral-spatial classification of hyperspectral images, Remote Sens., 11(5), 2019.
  • 4. Audebert N., Le Saux B., and Lefèvre S., Deep learning for classification of hyperspectral data: A comparative review, arXiv, 2019.
  • 5. Yang D. and Bao W., Group Lasso-Based Band Selection for Hyperspectral Image Classification, IEEE Geosci. Remote Sens. Lett., 14(12), 2438–2442, 2017.
  • 6. Kang X., Duan P., and Li S., Hyperspectral image visualization with edge-preserving filtering and principal component analysis, Inf. Fusion, 57, 130–143, 2020.
  • 7. Xu H., Zhang H., He W., and Zhang L., Superpixel-based spatial-spectral dimension reduction for hyperspectral imagery classification, Neurocomputing, 360, 138–150, 2019.
  • 8. Hanbay K., Hyperspectral image classification using convolutional neural network and two-dimensional complex Gabor transform, Journal of the Faculty of Engineering and Architecture of Gazi University, 35(1), 443–456, 2020.
  • 9. Ahmad M. et al., Spatial prior fuzziness pool-based interactive classification of hyperspectral images, Remote Sens., 11(9), 1–19, 2019.
  • 10. Wang Y., Yu W., and Fang Z., Multiple Kernel-based SVM classification of hyperspectral images by combining spectral, spatial, and semantic information, Remote Sens., 12(1), 2020.
  • 11. Alcolea A., Paoletti M. E., Haut J. M., Resano J., and Plaza A., Inference in supervised spectral classifiers for on-board hyperspectral imaging: An overview, Remote Sens., 12(3), 1–29, 2020.
  • 12. Li Y., Zhang H., and Shen Q., Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network, Remote Sens., 9(1), 2017.
  • 13. Ahmad M., Khan A. M., Mazzara M., Distefano S., Ali M., and Sarfraz M.S., A Fast and Compact 3-D CNN for Hyperspectral Image Classification, IEEE Geosci. Remote Sens. Lett., 1–5, 2020.
  • 14. Mohan A. and Venkatesan M., HybridCNN based hyperspectral image classification using multiscale spatiospectral features, Infrared Phys. Technol., 108, 2020.
  • 15. Zhao C., Wan X., Zhao G., Cui B., Liu W., and Qi B., Spectral-Spatial Classification of Hyperspectral Imagery Based on Stacked Sparse Autoencoder and Random Forest, Eur. J. Remote Sens., 50(1), 47–63, 2017.
  • 16. ChenY., Lin Z., Zhao X., Wang G., and Gu Y., Deep learning-based classification of hyperspectral data, IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., 7(6),2094–2107, 2014.
  • 17. Mughees A. and Tao L., Efficient deep auto-encoder learning for the classification of hyperspectral images, 2016 International Conference on Virtual Reality and Visualization, ICVRV 2016, Hangzhou-China, 44–51, 24-26 September, 2016.
  • 18. Ma X., Geng J., and Wang H., Hyperspectral image classification via contextual deep learning, Eurasip J. Image Video Process., 2015(1), 2015.
  • 19. Chen Y., Zhao X., and Jia X., Spectral-Spatial Classification of Hyperspectral Data Based on Deep Belief Network, IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., 8(6), 2381–2392, 2015.
  • 20. Li J., Xi B., Li Y., Du Q., and Wang K., Hyperspectral classification based on texture feature enhancement and deep belief networks, Remote Sens., 10(3), 2018.
  • 21. Chen C. et al., Hyperspectral classification based on spectral–spatial convolutional neural networks, Eng. Appl. Artif. Intell., 68, 165–171, 2018.
  • 22. Roy S. K., Krishna G., Dubey S. R., and Chaudhuri B. B., HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification, arXiv, 17(2), 277–281, 2019.
  • 23. Zhong Z., Li J., Luo Z., and Chapman M., Spectral-Spatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework, IEEE Trans. Geosci. Remote Sens., 56(2), 847–858, 2018.
  • 24. Song L., Li W., Fang S., Hyperspectral Image Classification with Deep Feature Fusion Network, IEEE Trans. Geosci. Remote Sens., 99, 3173–3184, 2018.
  • 25. Meng Z., Li L., Tang X., Feng Z., Jiao L., and Liang M., Multipath residual network for spectral-spatial hyperspectral image classification, Remote Sens., 11(16),1–19, 2019.
  • 26. Mu C., Guo Z., and Liu Y., A multi-scale and multi-level spectral-spatial feature fusion network for hyperspectral image classification, Remote Sens., 12(1), 2020.
  • 27. Paoletti M. E., Haut J. M., Plaza J., and Plaza A., A new deep convolutional neural network for fast hyperspectral image classification, ISPRS J. Photogramm. Remote Sens., 145, 120–147, 2018.
  • 28. Li S., Song W., Fang L., Chen Y., Ghamisi P., and Benediktsson J. A., Deep Learning for Hyperspectral Image Classification: An Overview, arXiv, 57(9), 6690–6709, 2019.
  • 29. Huang L. and Chen Y., Dual-Path Siamese CNN for Hyperspectral Image Classification With Limited Training Samples, IEEE Geosci. Remote Sens. Lett., 18(3), 1–5, 2020.
  • 30. Chen P., Jiang Y., Li H., Jia C., Ghamisi X., Deep feature extraction and classification of hyperspectral images based on convolutional neural networks, IEEE Trans. Geosci. Remote Sens., 54(10), 6232–6251, 2016.
  • 31. Zhang Y., Jiang X., Wang X., and Cai Z., Spectral-spatial hyperspectral image classification with superpixel pattern and extreme learning machine, Remote Sens., 11(17), 2019.
  • 32. Appice A. and Malerba D., Segmentation-aided classification of hyperspectral data using spatial dependency of spectral bands, ISPRS J. Photogramm. Remote Sens., 147, 215–231, 2019.
  • 33. Uddin M. P., Al Mamun M., and Hossain M. A., PCA-based Feature Reduction for Hyperspectral Remote Sensing Image Classification, IETE Tech. Rev. (Institution Electron. Telecommun. Eng. India), 1–21, 2020.
  • 34. Grupo De Inteligencia Computacional (GIC), Hyperspectral Remote Sensing Scenes, http://www.ehu.eus/ccwintco/index.php/Hyperspectral_Remote_Sensing_Scenes. Erişim tarihi Mart 17, 2021.
Year 2022, Volume: 37 Issue: 1, 439 - 454, 10.11.2021
https://doi.org/10.17341/gazimmfd.901291

Abstract

References

  • 1. Dou P. and Zeng C., Hyperspectral image classification using feature relations map learning, Remote Sens., 12(18), 2020.
  • 2. Jia J., Wang Y., Chen J., Guo R., Shu R., and Wang J., Status and application of advanced airborne hyperspectral imaging technology: A review, Infrared Phys. Technol., 104, 103-115, 2020.
  • 3. Sun H., Ren J., Zhao H., Yan Y., Zabalza J., and Marshall S., Superpixel based feature specific sparse representation for spectral-spatial classification of hyperspectral images, Remote Sens., 11(5), 2019.
  • 4. Audebert N., Le Saux B., and Lefèvre S., Deep learning for classification of hyperspectral data: A comparative review, arXiv, 2019.
  • 5. Yang D. and Bao W., Group Lasso-Based Band Selection for Hyperspectral Image Classification, IEEE Geosci. Remote Sens. Lett., 14(12), 2438–2442, 2017.
  • 6. Kang X., Duan P., and Li S., Hyperspectral image visualization with edge-preserving filtering and principal component analysis, Inf. Fusion, 57, 130–143, 2020.
  • 7. Xu H., Zhang H., He W., and Zhang L., Superpixel-based spatial-spectral dimension reduction for hyperspectral imagery classification, Neurocomputing, 360, 138–150, 2019.
  • 8. Hanbay K., Hyperspectral image classification using convolutional neural network and two-dimensional complex Gabor transform, Journal of the Faculty of Engineering and Architecture of Gazi University, 35(1), 443–456, 2020.
  • 9. Ahmad M. et al., Spatial prior fuzziness pool-based interactive classification of hyperspectral images, Remote Sens., 11(9), 1–19, 2019.
  • 10. Wang Y., Yu W., and Fang Z., Multiple Kernel-based SVM classification of hyperspectral images by combining spectral, spatial, and semantic information, Remote Sens., 12(1), 2020.
  • 11. Alcolea A., Paoletti M. E., Haut J. M., Resano J., and Plaza A., Inference in supervised spectral classifiers for on-board hyperspectral imaging: An overview, Remote Sens., 12(3), 1–29, 2020.
  • 12. Li Y., Zhang H., and Shen Q., Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network, Remote Sens., 9(1), 2017.
  • 13. Ahmad M., Khan A. M., Mazzara M., Distefano S., Ali M., and Sarfraz M.S., A Fast and Compact 3-D CNN for Hyperspectral Image Classification, IEEE Geosci. Remote Sens. Lett., 1–5, 2020.
  • 14. Mohan A. and Venkatesan M., HybridCNN based hyperspectral image classification using multiscale spatiospectral features, Infrared Phys. Technol., 108, 2020.
  • 15. Zhao C., Wan X., Zhao G., Cui B., Liu W., and Qi B., Spectral-Spatial Classification of Hyperspectral Imagery Based on Stacked Sparse Autoencoder and Random Forest, Eur. J. Remote Sens., 50(1), 47–63, 2017.
  • 16. ChenY., Lin Z., Zhao X., Wang G., and Gu Y., Deep learning-based classification of hyperspectral data, IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., 7(6),2094–2107, 2014.
  • 17. Mughees A. and Tao L., Efficient deep auto-encoder learning for the classification of hyperspectral images, 2016 International Conference on Virtual Reality and Visualization, ICVRV 2016, Hangzhou-China, 44–51, 24-26 September, 2016.
  • 18. Ma X., Geng J., and Wang H., Hyperspectral image classification via contextual deep learning, Eurasip J. Image Video Process., 2015(1), 2015.
  • 19. Chen Y., Zhao X., and Jia X., Spectral-Spatial Classification of Hyperspectral Data Based on Deep Belief Network, IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., 8(6), 2381–2392, 2015.
  • 20. Li J., Xi B., Li Y., Du Q., and Wang K., Hyperspectral classification based on texture feature enhancement and deep belief networks, Remote Sens., 10(3), 2018.
  • 21. Chen C. et al., Hyperspectral classification based on spectral–spatial convolutional neural networks, Eng. Appl. Artif. Intell., 68, 165–171, 2018.
  • 22. Roy S. K., Krishna G., Dubey S. R., and Chaudhuri B. B., HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification, arXiv, 17(2), 277–281, 2019.
  • 23. Zhong Z., Li J., Luo Z., and Chapman M., Spectral-Spatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework, IEEE Trans. Geosci. Remote Sens., 56(2), 847–858, 2018.
  • 24. Song L., Li W., Fang S., Hyperspectral Image Classification with Deep Feature Fusion Network, IEEE Trans. Geosci. Remote Sens., 99, 3173–3184, 2018.
  • 25. Meng Z., Li L., Tang X., Feng Z., Jiao L., and Liang M., Multipath residual network for spectral-spatial hyperspectral image classification, Remote Sens., 11(16),1–19, 2019.
  • 26. Mu C., Guo Z., and Liu Y., A multi-scale and multi-level spectral-spatial feature fusion network for hyperspectral image classification, Remote Sens., 12(1), 2020.
  • 27. Paoletti M. E., Haut J. M., Plaza J., and Plaza A., A new deep convolutional neural network for fast hyperspectral image classification, ISPRS J. Photogramm. Remote Sens., 145, 120–147, 2018.
  • 28. Li S., Song W., Fang L., Chen Y., Ghamisi P., and Benediktsson J. A., Deep Learning for Hyperspectral Image Classification: An Overview, arXiv, 57(9), 6690–6709, 2019.
  • 29. Huang L. and Chen Y., Dual-Path Siamese CNN for Hyperspectral Image Classification With Limited Training Samples, IEEE Geosci. Remote Sens. Lett., 18(3), 1–5, 2020.
  • 30. Chen P., Jiang Y., Li H., Jia C., Ghamisi X., Deep feature extraction and classification of hyperspectral images based on convolutional neural networks, IEEE Trans. Geosci. Remote Sens., 54(10), 6232–6251, 2016.
  • 31. Zhang Y., Jiang X., Wang X., and Cai Z., Spectral-spatial hyperspectral image classification with superpixel pattern and extreme learning machine, Remote Sens., 11(17), 2019.
  • 32. Appice A. and Malerba D., Segmentation-aided classification of hyperspectral data using spatial dependency of spectral bands, ISPRS J. Photogramm. Remote Sens., 147, 215–231, 2019.
  • 33. Uddin M. P., Al Mamun M., and Hossain M. A., PCA-based Feature Reduction for Hyperspectral Remote Sensing Image Classification, IETE Tech. Rev. (Institution Electron. Telecommun. Eng. India), 1–21, 2020.
  • 34. Grupo De Inteligencia Computacional (GIC), Hyperspectral Remote Sensing Scenes, http://www.ehu.eus/ccwintco/index.php/Hyperspectral_Remote_Sensing_Scenes. Erişim tarihi Mart 17, 2021.
There are 34 citations in total.

Details

Primary Language Turkish
Subjects Engineering
Journal Section Makaleler
Authors

Hüseyin Fırat 0000-0002-1257-8518

Davut Hanbay 0000-0003-2271-7865

Publication Date November 10, 2021
Submission Date March 22, 2021
Acceptance Date June 18, 2021
Published in Issue Year 2022 Volume: 37 Issue: 1

Cite

APA Fırat, H., & Hanbay, D. (2021). 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 37(1), 439-454. https://doi.org/10.17341/gazimmfd.901291
AMA Fırat H, Hanbay D. 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. GUMMFD. November 2021;37(1):439-454. doi:10.17341/gazimmfd.901291
Chicago Fırat, Hüseyin, and Davut Hanbay. “4CF-Net: Hiperspektral Uzaktan algılama görüntülerinin Spektral Uzamsal sınıflandırılması için Yeni 3B evrişimli Sinir ağı”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 37, no. 1 (November 2021): 439-54. https://doi.org/10.17341/gazimmfd.901291.
EndNote Fırat H, Hanbay D (November 1, 2021) 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 37 1 439–454.
IEEE H. Fırat and D. Hanbay, “4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı”, GUMMFD, vol. 37, no. 1, pp. 439–454, 2021, doi: 10.17341/gazimmfd.901291.
ISNAD Fırat, Hüseyin - Hanbay, Davut. “4CF-Net: Hiperspektral Uzaktan algılama görüntülerinin Spektral Uzamsal sınıflandırılması için Yeni 3B evrişimli Sinir ağı”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 37/1 (November 2021), 439-454. https://doi.org/10.17341/gazimmfd.901291.
JAMA Fırat H, Hanbay D. 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. GUMMFD. 2021;37:439–454.
MLA Fırat, Hüseyin and Davut Hanbay. “4CF-Net: Hiperspektral Uzaktan algılama görüntülerinin Spektral Uzamsal sınıflandırılması için Yeni 3B evrişimli Sinir ağı”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, vol. 37, no. 1, 2021, pp. 439-54, doi:10.17341/gazimmfd.901291.
Vancouver Fırat H, Hanbay D. 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. GUMMFD. 2021;37(1):439-54.

Cited By