SHIP DETECTION IN SATELLITE IMAGES WITH MASK R-CNN

Abstract

The recent breakthrough in the field of deep learning has led to significant progress in the detection of ships in remote sensing images. In particular, convolutional neural networks (CNN), an approach developed for object detection and classification, has been successfully and widely used for ship detection. In addition, the improved quality of satellite imagery has made it possible to detect and distinguish ships and even smaller objects from this data. In this study, Mask R-CNN, a region-based convolutional neural network model, is used to detect ships in optical satellite images. The main objective of the study is to investigate the performance and limitations of the model in detecting ships in satellite images. For this purpose, 1838 satellite images with a spatial resolution of 1 meter of the areas where ships are densely populated were downloaded and data sets were created by labelling the ships in the content with masks through a GIS software. The results show that the proposed method is capable of successfully detecting ships even in challenging contexts, but there are some limitations in the model in its current form. In particular, the model is inaccurate in detecting ships located close to each other.

Keywords

• Deep Learning
• Mask R-CNN
• Satellite Images
• Ship Detection

Supporting Institution

Eskişehir Teknik Üniversitesi BAP Commission

Project Number

1707F461

Ethical Statement

The authors declare no conflict of interest.

Thanks

The authors would like to thank Eskisehir Technical University for the support of this study (Project No: 1707F461).

MASK R-CNN İLE UYDU GÖRÜNTÜLERİNDE GEMİ TESPİTİ

Abstract

Derin öğrenme alanında son yıllarda gerçekleşen atılımın katkısıyla uzaktan algılama görüntülerinde gemi tespiti konusunda önemli ilerlemeler kaydedilmiştir. Özellikle, nesne tespiti ve sınıflandırması için geliştirilen yaklaşımlardan olan konvolüsyonel sinir ağları (CNN) gemi tespiti için de başarılı ve yaygın bir şekilde kullanılır hale gelmiştir. Bunun yanında, uydu görüntülerinin niteliklerinin gelişmesi bu verilerden gemilerin ve hatta daha küçük nesnelerin algılanıp ayırt edilebilmesinin önünü açmıştır. Bu çalışmada, optik uydu görüntülerindeki gemileri tespit etmek üzere bölge-tabanlı konvolüsyonel sinir ağı modellerinden biri olan Mask R-CNN yöntemi kullanılmıştır. Çalışmadaki temel amaç, kullanılan modelin uydu görüntülerindeki gemi tespit performansını ve sınırlarını incelemektir. Bunun için, gemilerin yoğun olarak bulunduğu alanların 1 metre mekânsal çözünürlüğe sahip 1838 adet uydu görüntüsü indirilmiş ve içerikteki gemiler bir GIS yazılımı aracılığıyla maskelerle etiketlenerek veri setleri oluşturulmuştur. Elde edilen sonuçlar, önerilen yöntemin zorlu içeriklerde bile gemileri başarıyla tespit etme kabiliyetinde olduğunu fakat mevcut haliyle modelde bazı kısıtlamalar bulunduğunu göstermiştir. Model özellikle birbirine yakın konumlanmış gemilerin tespitinde yanılgıya düşmektedir.

Keywords

• Derin Öğrenme
• Gemi Tespiti
• Mask R-CNN
• Uydu Görüntüleri

Supporting Institution

Eskişehir Teknik Üniversitesi BAP Komisyonu

Project Number

1707F461

Ethical Statement

Yazarlar herhangi bir çıkar çatışması beyan etmemektedirler.

Thanks

Yazarlar, bu çalışmaya verdiği destek için Eskişehir Teknik Üniversitesi'ne teşekkür eder (Proje No: 1707F461).

References

1. Gao, L., He, Y., Sun, X., Jia, X., & Zhang, B. (2019). Incorporating Negative Sample Training for Ship Detection Based on Deep Learning. Sensors.
2. Han, J., Zhang, D., Cheng, G., Guo, L., & Ren, J. (2015). Object Detection in Optical Remote Sensing Images Based on Weakly Supervised Learning And High-Level Feature Learning. Geosci. Remote Sens., 3325-3337.
3. He, K., Gkioxari, G., Dollár, P., & Girshick, R. (2017). Mask r-cnn. In Proceedings of the IEEE international Conference on Computer Vision (pp. 2961-2969).
4. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep Residual Learning For Image Recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).
5. Huang, S., & Huang, W. Z. (2016). A New SAR Image Segmentation Algorithm for the Detection of Target and Shadow Regions. Scientific Reports.
6. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet Classification With Deep Convolutional Neural Networks. Advances in neural information processing systems, 25.
7. Lee, J., Bang, J., & Yang, S. (2017). Object Detection With Sliding Window in ImagesIncluding Multiple Similar Objects. 2017 International Conference on Information and Communication Technology Convergence (ICTC). Jeju, South Korea: IEEE.
8. Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., & Berg, A. C. (2016). Ssd: Single Shot Multibox Detector. In Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11–14, 2016, Proceedings, Part I 14 (pp. 21-37). Springer International Publishing.

9. Liu, Y. C., Kuang, Z., & Li, G. (2017). Ship Detection and Classification on Optical Remote Sensing Images Using Deep Learning. ITM Web of Conferences 12. ITM.
10. Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You Only Look Once: Unified, Real-Time Object Detection. In Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition (pp. 779-788).
11. Ren, S., He, K., Girshick, R., & Sun, J. (2015). Faster r-cnn: Towards Real-Time Object Detection with Region Proposal Networks. Advances in neural information processing systems, 28.
12. Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., ... & Rabinovich, A. (2015). Going Deeper With Convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1-9).
13. Waleed, A. (2017). Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow. GitHub repository.
14. Yang, X., Sun, H., Fu, K., Yang, J., Sun, X., Yan, M., & Guo, Z. (2018). Automatic Ship Detection In Remote Sensing Images from Google Earth of Complex Scenes Based on Multiscale Rotation Dense Feature Pyramid Networks. Remote sensing, 10(1), 132.
15. Xia, Y., Wan, S., & Yue, L. (2011, August). A Novel Algorithm for Ship Detection Based on Dynamic Fusion Model of Multi-Feature And Support Vector Machine. In 2011 Sixth International Conference on Image and Graphics (pp. 521-526). IEEE.