Classification of multispectral images using Random Forest algorithm

Abstract

Random Forest RF algorithm is known to be one of the most efficient classification methods. Due to its inherent interdisciplinary nature, it draws researchers from different backgrounds. This study aims at investigating the performance of RF algorithm using multispectral satellite images having different spatial resolutions and scene characteristics. The satellite images used include Ikonos and QuickBird images with four multispectral bands. Ikonos image taken in 2003 covers mainly urban area, whereas QuickBird images acquired in 2005 and 2008 covers both urban and rural areas, respectively. QuickBird image taken in 2005 also contains noisy patterns over Black Sea due to waves resulting from windy weather. To evaluate the performance of RF, the classification results are compared with the results obtained from Gentle AdaBoost GAB , Support Vector Machine SVM and Maximum Likelihood Classification MLC algorithms. Preliminary results indicate that RF gives higher classification accuracies than other methods. For Ikonos image over urban area, the results show that RF algorithm gives 10% higher classification accuracy than SVM, whereas GAB algorithm has the lowest classification accuracy 14 % lower than RF . For QuickBird image taken in 2008 of rural area, RF gives the best result compared to the others. Also, for QuickBird image containing noisy pattern, RF has around 11% higher overall accuracy than SVM.

Keywords

• Image classification,Random forest algorithm,Accuracy assessment,Land use

Rastgele Orman algoritması kullanılarak çok bantlı görüntülerin sınıflandırılması

Abstract

Rastgele Orman RO algoritması en başarılı sınıflandırma yöntemlerinden biri olarak bilinir. Doğası gereği çok farklı disiplinlere hitap etmesinden dolayı, RO farklı alanlarda çalışan araştırmacıların dikkatini çekmektedir. Bu çalışma, farklı konumsal çözünürlüğe ve karakteristiğe sahip çok bantlı uydu görüntüleri kullanarak RO algoritmasının performansını incelemeyi amaçlamaktadır. Kullanılan uydu görüntüleri dört bantlı Ikonos ve QuickBird görüntüleridir. 2005 ve 2008 yıllarında elde edilen QuickBird görüntüleri sırasıyla hem kentsel hem de kırsal alanları kapsarken, 2003 yılında alınan Ikonos görüntüsü, özellikle kentsel alanı içermektedir. Ayrıca, 2005 yılında alınan QuickBird görüntüsü rüzgarlı havanın yol açtığı dalgalar nedeniyle Karadeniz üzerinde gürültülü örüntüler içermektedir. RO’nun performansını değerlendirmek için sınıflandırma sonuçları, Gentle AdaBoost GAB , En Çok Benzerlik EÇB ve Destek Vektör Makineleri DVM algoritmalarından elde edilen sonuçlarla karşılaştırılmıştır. Elde edilen sonuçlar RO’nun diğer yöntemlerden daha yüksek sınıflandırma doğruluğu verdiğini göstermektedir. Kentsel alan üzerinde çekilen Ikonos görüntüsüne ait sonuçlar, RO algoritmasının, DVM’ den %10 daha yüksek sınıflandırma doğruluğu verdiğini, GAB algoritmasının ise en düşük sınıflandırma doğruluğuna sahip olduğunu RO’dan %14 daha düşük göstermektedir. Kırsal alan üzerinde alınan QuickBird görüntüsüne 2008 yılında alınan ait sonuçlar diğer yöntemlerden elde edilen sonuçlarla karşılaştırıldığında RO’nun daha iyi sonuç verdiği görülmüştür. Gürültüye benzer örüntüler içeren QuickBird görüntüsü için de RO’nun, DVM’den yaklaşık %11 daha yüksek sınıflandırma doğruluğu verdiği gözlenmiştir

Keywords

• Görüntü sınıflandırma,Rastgele orman algoritması,Doğruluk analizi,Arazi kullanımı

References

1. Aisen B., (2006), A comparison of multi class SVM methods, http://courses.media.mit.edu/2006fall/mas622j/Projects/aisenproject/index.html [Erişim 20 Eylül 2012].
2. Akar Ö., Güngör O., Akar A., (2010), Rastgele orman sınıflandırıcısı ile arazi kullanım alanlarının belirlenmesi, III. Uzaktan Algılama ve Coğrafi Bilgi Sistemleri Sempozyumu, 11-13 Ekim 2010, Gebze, Kocaeli, Bildiriler Kitabı, 142-152.
3. Archer K.J., (2008).Emprical characterization of random forest variable ımportance measure, computational statistical data analysis, Computational Statistics & Data Analysis, 52(4), 2249-2260.
4. Breiman L.,Cutler A., (2005), Random forest, http://www.stat. berkeley.edu/~breiman/RandomForests/cc_home.htm, [Erişim 12 Temmuz 2011].
5. Breiman L., (2002), Manual on setting up, using, and understanding random forests V3.1, http://oz.berkeley.edu/users/breiman/ Using_random_forests_V3.1.pdf, [Erişim 20 Eylül 2011].
6. Breiman L., (2001), Random forests,machine learning, 2001 Kluwer Academic Publishers, 45(1), 5-32.
7. Dronova I.,Gong P., Wang L., (2011), Object-based analysis and change detection of major wetland cover types and their classification uncertainty during the low water period at Poyang Lake, China, Remote Sensing of Environment, 115(12), 3220-3236.
8. ENVI, (2005), ENVI’s User Guide, http://geol.hu/data/online_help/ ApplyingMaximumLikelihoodClassification.html, [Erişim 20 Eylül 2011].

9. Gao J.,(2009), Digital analysis of remotely sensed imagery, The Mc Graw-Hill Companies, USA.
10. Gislason P.O.,Benediktsson J.A., Sveinsson J.R., (2006), Random forest for land cover classification, Pattern Recognition Letters, 27, 294-300.
11. Gislason P.O.,Benediktsson J.A, Sveinsson J.R., (2004), Random forest classification of multi-source remote sensing and geographic data, IEEE International Geoscienceand Remote Sensing Symposium IGARSS ‘04Proceedings, 2,1049 – 1052.
12. Horning N., (2010), RandomForests : An algorithm for image classification and generation of continuous fields data sets, International Conference on Geoinformatics for Spatial Infrastructure Development in Earth and Allied Sciences (GISIDEAS) 2010, 9-11 December, Hanoi,Vietnam,wgrass.media. osaka-cu.ac.jp/gisideas10/viewpaper.php?id=342, [Erişim 15 Eylül 2011].
13. Jay S., Lawrence R., Repasky K., Keith C., (2009), Invasive species mapping using low cost hyper spectral imagery, ASPRS 2009 Annual Conference,March 9-13, Baltimore, Maryland.
14. Kaban Z., Diri B., (2008), Genre and author detection in turkish texts using artificial immunere cognition systems, IEEE 16th Signal Processing, Communication and Applications Conference, 20-22 April 2008, http://ieeexplore.ieee.org/stamp/ stamp.jsp?tp=&arnumber=4632548, [Erişim 06 Ekim 2011].
15. Kavzoğlu T.,Çölkesen İ., (2010), Destek vektör makineleri ile uydu görüntülerinin sınıflandırılmasında kernel fonksiyonlarının etkilerinin incelenmesi, Harita Dergisi, 144.
16. Liaw A.,Wiener M., (2002), Classification and regression by random forest, R News, 2(3).
17. Lillesand T. M.,Kiefer R. W. And Chipman J. W., (2004), Remote Sensing and Image Interpretation, Wiley, United States of America, 804 ss.
18. Matinfar H.R.,Sarmadian F., AlaviPanah S.K., Heck R.J., (2007), Comparisons of object-oriented and pixel-based classification of land use/land cover types based on lansadsat7, etm+ spectral bands (case study: arid region of Iran), American-Eurasian J. Agric. &Environ. Sci., 2 (4), 448-456.
19. Pal M., (2005), Random forest classifier for remote sensing classification, International Journal Of Remote Sensing, 26(1), 217-222.
20. Pal M., (2003),Random forest for land cover classification, IEEE International Geoscienceand Remote Sensing Symposium, IGARSS ‘03Proceedings,6, 3510-3512.
21. Prasad A.M.,Iverson L.R.,Liaw A., (2006), Newer classification and regression tree techniques: Bagging and random forests for ecological prediction, Ecosystems, 9,181-199.
22. Waske B.,Braun M., (2009), Classifier ensembles for land cover mapping using multi temporal SAR imagery, ISPRS Journal of Photogrammetryand Remote Sensing, 64, 450-457.
23. Waske B.,Heinzel V., Braun M., Menz G., (2007), Random forests for classifying multi-temporal sar data, Proc. ‘Envisat Symposium 2007’, 23–27 April 2007, Montreux, Switzerland, http://envisat.esa.int/envisatsymposium/proceedings/ sessions/3D3/461589wa.pdf, [Erişim 11 Ağustos 2011].
24. Watts J.D., Lawrence R.L., (2008), Merging random forest classification with an object-oriented approach for analysis of agricultural lands, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XXXVII(B7).
25. Watts J. D.,Powell S. L., Lawrence R. L., Hilker T., (2011), Improved classification of conservation tillage adoption using high temporal and synthetic satellite imagery, Remote Sensing of Environment 115, 66–75.
26. Yavuz H. S, Çevikalp H., (2008), A new distance measure for hierarchical clustering, IEEE 16th Signal Processing, Communication and Applications Conference,20-22 April 2008, Aydin, ss.1-4.