Foreground-Aware Region of Interest Cropping and CBAM Attention for Excavator Segmentation in UAV Imagery

Abstract

In disaster situations like earthquakes, excavators have a crucial part to play in the rapid clearing of rubble, which is critical for conducting search and rescue efforts. Effective tracking and localization of excavators can be achieved through accurate monitoring of their presence and distribution in disaster-hit regions, enabling better coordination and resource management. This study presents a deep learning-based approach for the segmentation of excavators in high-resolution Unmanned Aerial Vehicle (UAV) imagery, addressing challenges related to small object representation and complex backgrounds. Specifically, our proposed approach involves using a foreground-aware region of interest cropping mechanism to ensure that there are sufficient excavator pixels in the training dataset, and a convolutional block attention module to improve feature refinement by taking into account channel-wise and spatial relationships between features. The proposed network utilizes a U-Net architecture based on ResNet-34. Experimental evaluations on UAV imagery reveal that the proposed approach achieved an IoU of 0.663, mIoU of 0.830, Dice score of 0.798, Precision of 0.856, Recall of 0.747 and geometric mean (G-Mean) of 0.863. These results demonstrate a notable improvement over the baseline model (U-Net with a ResNet-34 backbone), with the IoU increasing from 0.509 to 0.663 and the Dice score improving from 0.675 to 0.798.

Keywords

• Excavator
• deep learning
• segmentation
• UAV
• ResNet

İHA Görüntülerinde Ekskavatör Segmentasyonu için Ön Plan Farkındalıklı İlgi Bölgesi Kırpma ve CBAM Dikkat Mekanizması

Abstract

Deprem gibi afet durumlarında, ekskavatörler enkazın hızlı bir şekilde temizlenmesinde hayati bir rol oynar; bu da arama ve kurtarma çalışmalarının yürütülmesi açısından kritik öneme sahiptir. Ekskavatörlerin varlığı ve afet bölgelerindeki dağılımının doğru bir şekilde izlenmesi sayesinde, ekskavatörlerin etkili bir şekilde takip edilmesi ve konumlarının belirlenmesi sağlanabilir; bu da daha iyi koordinasyon ve kaynak yönetimi imkânı sunar. Bu makale, yüksek çözünürlüklü İnsansız Hava Aracı (İHA) görüntülerinde ekskavatörlerin segmentasyonu için derin öğrenme tabanlı bir yaklaşım sunmakta ve küçük nesnelerin temsil edilmesi ve karmaşık arka planlarla ilgili zorlukları ele almaktadır. Özellikle, önerdiğimiz yaklaşım, eğitim veri setinde yeterli sayıda ekskavatör pikseli olmasını sağlamak için ön plana duyarlı ilgi alanı kırpma mekanizmasının ve özellikler arasındaki kanal bazlı ve uzamsal ilişkileri dikkate alarak özellik iyileştirmesini geliştirmek için bir evrişimli blok dikkat modülünün kullanılmasını içerir. Önerilen ağ, ResNet-34'e dayalı bir U-Net mimarisini kullanır. İHA görüntüleri üzerinde yapılan deneysel değerlendirmelerde önerilen yaklaşım, 0.663 IoU, 0.830 mIoU, 0.798 Dice katsayısı, 0.856 Kesinlik, 0.747 Duyarlılık, 0.863 G-Mean değerleri elde etmiştir. Bu sonuçlar, temel model olarak kullanılan ResNet-34 omurgalı U-Net mimarisine kıyasla belirgin bir performans artışı sağlamaktadır; IoU değeri 0.509'dan 0.663’e, Dice katsayısı ise 0.675’ten 0.798'e yükselmiştir. Elde edilen bu iyileştirmeler, önerilen yöntemin segmentasyon başarımını artırdığını ortaya koymaktadır.

Keywords

• Ekskavatör
• derin öğrenme
• bölütleme
• İHA
• ResNet

References

1. Zhu X.X., Tuia D., Mou L., Xia G.S., Zhang L., Xu F., Fraundorfer F. Deep learning in remote sensing: A comprehensive review and list of resources. IEEE Geosci Remote Sens Mag 2017; 5(4): 8–36.
2. Xia G.S., Bai X., Ding J., Zhu Z., Belongie S., Luo J., Zhang L. DOTA: A large-scale dataset for object detection in aerial images. Proc IEEE Conf Comput Vis Pattern Recognit 2018; 3974–3983.
3. Fang W., Ding L., Luo H., Love P.E.D. Falls from heights: A computer vision-based approach for safety harness detection. Autom Constr 2018; 91: 53–61.
4. Li Q, Sun M, Dong L, Gao X, Wang Z, Zhang H. HCD-Mask: A multi-task model for small object detection and instance segmentation in high-resolution UAV images. 2022 IEEE International Conference on Industrial Technology (ICIT); 22–25 August 2022; Shanghai, China. pp. 1–8.
5. Yu A, Quan Y, Yu R, Guo W, Wang X, Hong D, Zhang H, Chen J ve diğerleri. Deep Learning Methods for Semantic Segmentation in Remote Sensing with Small Data: A Survey. Remote Sens 2023; 15(20): 4987.
6. Qiu Z, Gong T, Cong R, Zhao Y, Bai H. UESDNet: UAV Visual Multitask Perception Via Expert-Guided Prior With Mutual Optimization of Segmentation and Detection. IEEE J Sel Top Appl Earth Obs Remote Sens 2026; 19: 3157–3174.
7. Meng L., Peng Z., Zhou J., Zhang J., Lu Z., Baumann A., Du Y. Real-time detection of ground objects based on unmanned aerial vehicle remote sensing with deep learning: Application in excavator detection for pipeline safety. Remote Sens 2020; 12(1): 182.
8. Zhang S., Zhang L. Construction site safety monitoring and excavator activity analysis system. Constr Robot 2022; 6(2): 151–161.

9. Hua T., Lang B., Sun J., Lin G., Wang J., Daping L., Wang X. Excavator identification method based on computer vision technology in nighttime scenes. Eng Constr Archit Manag 2025; 1–22.
10. Kim I.S., Latif K., Kim J., Sharafat A., Lee D.E., Seo J. Vision-based activity classification of excavators by bidirectional LSTM. Appl Sci 2022; 13(1): 272.
11. Fang W., Ding L., Zhong B., Love P.E.D., Luo H. Automated detection of workers and heavy equipment on construction sites: A convolutional neural network approach. Adv Eng Inform 2018; 37: 139–149.
12. Spasev V., Dimitrovski I., Chorbev I., Kitanovski I. Semantic segmentation of unmanned aerial vehicle remote sensing images using SegFormer. Int Conf Intell Syst Pattern Recognit; 2024 June; 108–122.
13. Lyu Y., Vosselman G., Xia G.S., Yilmaz A., Yang M.Y. UAVid: A semantic segmentation dataset for UAV imagery. ISPRS J Photogramm Remote Sens 2020; 165: 108–119.
14. Li X., Li Y., Ai J., Shu Z., Xia J., Xia Y. Semantic segmentation of UAV remote sensing images based on edge feature fusing and multi-level upsampling integrated with Deeplabv3+. PLoS One 2023; 18(1): e0279097.
15. Li R., Zheng S., Zhang C., Duan C., Wang L., Atkinson P.M. ABCNet: Attentive bilateral contextual network for efficient semantic segmentation of fine-resolution remotely sensed imagery. ISPRS J Photogramm Remote Sens 2021; 181: 84–98.
16. Girisha S., Verma U., Pai M.M., Pai R.M. Uvid-net: Enhanced semantic segmentation of UAV aerial videos by embedding temporal information. IEEE J Sel Top Appl Earth Obs Remote Sens 2021; 14: 4115–4127.
17. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition. Proc IEEE Conf Comput Vis Pattern Recognit 2016; 770–77.
18. Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI); 5–9 October 2015; Munich, Germany. pp. 234–241.
19. Shrivastava A., Gupta A., Girshick R. Training region-based object detectors with online hard example mining. Proc IEEE Conf Comput Vis Pattern Recognit 2016; 761–769.
20. Woo S., Park J., Lee J.Y., Kweon I.S. CBAM: Convolutional Block Attention Module. Proc Eur Conf Comput Vis 2018; 3–19.