Spektral ayrıştırma ve komşu piksel ilişkisi temelli hiperspektral ve multispektral görüntülerin kaynaştırılması

Yıl 2023, Cilt: 38 Sayı: 4, 2385 - 2396, 12.04.2023

Davut Çeşmeci

https://doi.org/10.17341/gazimmfd.915691

Öz

Hiperspektral (HS) görüntüler yüksek spektral çözünürlüğe sahip oldukları halde, teknolojik kısıtlamalardan dolayı uzamsal çözünürlükleri düşüktür. Sınıflandırma başarımının arttırılması veya daha detaylı içerik elde edilmesi gibi gereksinimlerin karşılanabilmesi için bu tip görüntülerin yüksek spektral çözünürlük yanında yüksek uzamsal çözünürlüğe de sahip olmaları faydalıdır. Bu nedenle, HS görüntülerin Multispektral (MS) görüntüler ile kaynaştırılması son yıllarda popülerliğini koruyan bir konu olarak çalışılmaktadır. Literatürde Matris Ayrıştırması (MA) temelli görüntü kaynaştırmasında, komşu piksellerin etkisini dikkate alan bir çalışma ile karşılaşılmamıştır. Bu nedenle, bu çalışmada spektral ayrıştırma ve uzamsal komşuluk etkisini dikkate alan yeni bir kaynaştırma yaklaşımı önerilmektedir. Öncelikle, spektral ayrıştırma kullanılarak hiperspektral görüntüden son eleman ve katışım oranları çıkarılmaktadır. Çıkarılan son elemalar, multispektral görüntü algılayıcısının spektral yanıtı kullanılarak multispektral spektral çözünürlüğüne taşınmaktadır. Daha sonra, multispektral görüntüdeki her bir piksel için, son elemanlar ile komşuluk piksellerinin katışım oranları kestirilmektedir. Son olarak, multispektral görüntüden kestirilen katışım haritası ile hiperspektral görüntünün son elemanları ve komşuluk pikselleri kullanılarak hem uzamsal hem de spektral çözünürlüğü yüksek görüntü elde edilmektedir. Önerilen kaynaştırma yöntemi gerçek hiperspektral görüntüler üzerinde test edilmiştir ve deneysel çalışmalar literatürdeki çalışmalara göre başarımının daha yüksek olduğunu göstermektedir.

Anahtar Kelimeler

Görüntü kaynaştırma, hiperspektral, multispektral, spektral ayrıştırma, komşuluk pikselleri

Kaynakça

• Hanbay, K., Hyperspectral image classification using convolutional neural network and twodimensional complex Gabor transform, J. Fac. Eng. Archit. Gazi Univ., vol. 35, no. 1, pp. 443–456, 2020.
• 2. Souza Jr, C., Firestone, L., Silva, L. M., Roberts, D. Mapping forest degradation in the Eastern Amazon from SPOT 4 through spectral mixture models, Remote Sens. Environment, vol. 87, no. 4, pp. 494–506, 2003.
• 3. Licciardi, G. A., Villa, A., Khan, M. M., Chanussot, J., Image fusion and spectral unmixing of hyperspectral images for spatial improvement of classification maps, in Proc. IEEE Int. Conf. Geosci. Remote Sens. (IGARSS), pp. 7290–729, 2012.
• 4. Simoes, M., Bioucas Dias, J., Almeida, L., Chanussot, J., A convex formulation for hyperspectral image superresolution via subspace-based regularization, IEEE Trans. Geosci. and Remote Sens., 2015.
• 5. Wei, Q., Bioucas Dias, J. M., Dobigeon, N., Tourneret, J.-Y., Hyperspectral and multispectral image fusion based on a sparse representation, IEEE Trans. Geosci. and Remote Sens., vol. 53, no. 7, pp. 3658– 3668, Sept. 2015.
• 6. Liu, J. G. Smoothing Filter-based Intensity Modulation: A spectral preserve image fusion technique for improving spatial details, International Journal of Remote Sensing, vol. 21, no. 18, pp. 3461–3472, Jan. 2000.
• 7. Laben, C. A., Brower, B. V., Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening, Patent US 6 011 875 A, 2000.
• 8. Yokoya, N., Yairi, T., Iwasaki, A., Coupled nonnegative matrix factorization unmixing for hyperspectral and multispectral data fusion, IEEE Trans. Geosci. Remote Sens., vol. 50, no. 2, pp. 528–537, Feb. 2012.
• 9. Li, S., Dian, R., Fang, L., Bioucas-Dias, J. M., Fusing hyperspectral and multispectral images via coupled sparse tensor factorization, IEEE Transactions on Image Processing, vol. 27, no. 8, pp. 4118–4130, 2018.
• 10. Eismann, M. T., Resolution enhancement of hyperspectral imagery using maximum a posteriori estimation with a stochastic mixing model, Ph.D. dissertation, Univ. Daton, Dayton, OH, May 2004.
• 11. Thomas, C., Ranchin, T., Wald, L., Chanussot, J., Synthesis of multispectral images to high spatial resolution: a critical review of fusion methods based on remote sensing physics, IEEE Trans. Geosci. And Remote Sens., vol. 46, no. 5, pp. 1301–1312, May 2008.
• 12. Yokoya, N., Grohnfeldt, C., Chanussot, J., Hyperspectral and Multispectral Data Fusion: A comparative review of the recent literature, IEEE Geoscience and Remote Sensing, vol. 5, Issue. 2, pp. 20-56, June. 2017.
• 13. Aiazzi, B., Alparone, L., Baronti, S., Garzelli, A., Selva, M., MTFtailored multiscale fusion of high-resolution MS and Pan imagery, Photogramm. Eng. Remote Sens., vol. 72, no. 5, pp. 591–596, May 2006.
• 14. Selva, M., Aiazzi, B., Butera, F., Chiarantini, L., Baronti, S., Hypersharpening: A first approach on SIM-GA data, IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens., vol. 8, no. 6, pp. 3008–3024, Jun. 2015.
• 15. Liao, W., Huang, X., Coillie, F., Gautama, S., Pizurica, A., Philips, W. Liu, H., Zhu, T., Shimoni, M., Moser, G. and Tuia, D., Processing of multiresolution thermal hyperspectral and digital color data: Outcome of the 2014 IEEE GRSS data fusion contest, IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens., Volume: 8, Issue: 6, June 2015.
• 16. Wei, Q., Dobigeon, N., Tourneret, J.-Y., Fast fusion of multi-band images based on solving a Sylvester equation, IEEE Trans. Image Process., vol. 24, no. 11, pp. 4109–4121, Nov. 2015.
• 17. Akhtar, N., Shafait, F., Mian, A., Sparse spatio-spectral representation for hyperspectral image super-resolution, in Proc. ECCV, pp. 63–78, 2014.
• 18. Lanaras, C., Baltsavias, E., Schindler, K., Hyperspectral superresolution by coupled spectral unmixing, in Proc. IEEE ICCV, pp. 3586–3594, Dec. 2015.
• 19. Alparone, L., Wald, L., Chanussot, J., Thomas, C., Gamba, P., Bruce, L. M., Comparison of pan sharpening algorithms: Outcome of the 2006 GRS-S data fusion contest, IEEE Trans. Geosci. Remote Sens., vol. 45, no. 10, pp. 3012-3021, Oct. 2007.
• 20. Du, Q., Younan, N., King, R., Shah, V., On the performance evaluation of pan-sharpening techniques, IEEE Geosci. Remote Sens. Lett., vol. 4, no. 4, pp. 518-522, Oct. 2007.
• 21. Chang, C.-I , Du, Q., Estimation of number of spectrally distinct signal sources in hyperspectral imagery, IEEE Trans. on Geoscience and Remote Sensing, vol. 42, no. 3, pp. 608-619, March 2004.
• 22. Bioucas-Dias , J., Nascimento, J., Hyperspectral subspace identification, in IEEE Transactions on Geoscience and Remote Sensing, vol. 46., no. 8, pp 2435-2445, 2005.
• 23. Nascimento, J., Bioucas-Dias, J., Vertex component analysis: a fast algorithm to unmix hyperspectral data, in IEEE Transactions on Geoscience and Remote Sensing, vol. 43., no. 8, pp 898-910, 2005.
• 24. Heinz, D., Chang, C.-I., Fully constrained least squares linear mixture analysis for material quantification in hyperspectral imagery, IEEE Trans. on Geoscience and Remote Sensing, vol. 39, no. 3, pp. 529-545, March 2001.
• 25. He, K., Sun, J., Tang, X., Guided image filtering, IEEE Trans. Patt. Anal. Mach. Intell., vol. 35, no. 6, pp. 1397–1409, 2013.
• 26. Wald, L., Ranchin, T., Mangolini, M., Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting image, IEEE Trans. Geosci. and Remote Sens., vol. 43, pp. 1391–1402, 2005.
• 27. Roberta, H. Y., Goetz, A. F. H., Boardman, J. W., Discrimination Among Semi-Arid Landscape Endmembers Using the Spectral Angle Mapper (SAM) Algorithm, Summaries of the 4 th JPL Airborne Earth Science Workshop, JPL Publication 92-41, pp.147-149, 1992.
• 28. Wald, L., Data Fusion : Definitions and Architectures - Fusion of images of different spatial resolutions. Les Presses de l’Ecole des Mines, 2002
• 29. Eskicioglu, A. M., Fisher, P. S., Image quality measures and their performance, IEEE Trans. Communications, vol. 43, pp. 2959-2965, Dec. 1995.
• 30. Garzelli, A., Nencini, F., Hypercomplex quality assessment of multi/hyperspectral images, IEEE Geosci. Remote Sens. Lett., vol. 6, no. 4, pp. 662–665, Oct. 2009.
• 31. Çatalbaş, M. C., Gülten, A., A novel super-resolution approach for computed tomography images by inverse distance weighting method, J. Fac. Eng. Archit. Gazi Univ., vol. 33, no. 2, pp. 671–684, 2018.
• 32. Licciardi, G. A., Veganzones, M. A., Simoes, M., Bioucas, J., Chanussot, J., Super-resolution of hyperspectral images using local spectral unmixing, in Proc. IEEE Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing (WHISPERS), 2014.
• 33. Mei, S., He, M., Wang, Z., Feng, D., Spatial Purity Based Endmember Extraction for Spectral Mixture Analysis, IEEE Transactions on Geoscience and Remote Sensing, vol.48, pp. 3434-3445, 2010