Superpixel-Based Image Analysis for Stripping Detection in Asphalt Mixtures with ANN and U-Net Models

Abstract

The reliable detection of stripping in asphalt mixtures is a critical challenge for pavement performance evaluation, as conventional physical tests rely heavily on subjective observation and lack reproducibility. This study proposes an image-based quantitative method that integrates geometric standardization, superpixel segmentation, and feature extraction to enhance the objectivity of stripping assessment. Petri dish images were first standardized through square cropping and bicubic resampling to ensure comparability across samples. Superpixels were then generated, and multiple spatial, geometric, photometric, and texture-based features were extracted, including distance-to-center, compactness, local color similarity, and global color deviation. Automatic background labeling was achieved through a color-based masking approach validated by visual inspection. The extracted feature set was subsequently employed for supervised classification using artificial neural networks (ANNs), with model performance evaluated against reference segmentations. The results demonstrate that the proposed method achieves high classification accuracy, with robust generalization across multiple sample sets. In particular, ANN-based predictions exhibited superior discriminative capability in distinguishing stripped from coated aggregate regions, outperforming U-Net segmentation under identical input conditions. The findings highlight that incorporating contextual descriptors, such as black pixel ratio and blue-background masking, significantly improves classification robustness in low-contrast and noisy regions. Overall, the proposed framework provides a reproducible and efficient alternative to conventional stripping tests, enabling reliable quantitative evaluation of asphalt mixture performance. This study contributes to the advancement of automated image analysis methods in pavement engineering and establishes a foundation for broader integration of computer vision into asphalt durability assessment.

Keywords

• Stripping detection
• Image analysis
• Superpixel segmentation
• Artificial neural networks

Süperpiksel Tabanlı Görüntü Analizi ile Yapay Sinir Ağları ve U-Net Modelleri Kullanılarak Asfalt Karışımlarında Soyulma Tespiti

Öz

Asfalt karışımlarında soyulmanın güvenilir bir şekilde tespiti, kaplama performansının değerlendirilmesinde kritik bir zorluktur. Geleneksel fiziksel testler büyük ölçüde gözlemsel değerlendirmelere dayanmakta ve tekrarlanabilirlikten yoksundur. Bu çalışmada, soyulma değerlendirmesinin nesnelliğini artırmak amacıyla geometrik standardizasyon, süperpiksel segmentasyonu ve özellik çıkarımını bütünleştiren görüntü tabanlı nicel bir yöntem önerilmektedir. Öncelikle Petri kabı görüntüleri, örnekler arasında karşılaştırılabilirliği sağlamak için kare kırpma ve bikübik yeniden örnekleme yöntemleriyle standartlaştırılmıştır. Daha sonra süperpiksel bölgeleri oluşturulmuş ve merkeze uzaklık, sıkılık, yerel renk benzerliği ve küresel renk sapması gibi mekânsal, geometrik, fotometrik ve doku tabanlı birçok özellik çıkarılmıştır. Arka plan etiketlemesi, görsel inceleme ile doğrulanan renk tabanlı maskeleme yaklaşımı ile otomatik olarak gerçekleştirilmiştir. Elde edilen özellik seti, denetimli sınıflandırmada yapay sinir ağları (YSA) kullanılarak değerlendirilmiş ve model başarımı referans segmentasyonlarla karşılaştırılmıştır. Sonuçlar, önerilen yöntemin yüksek sınıflandırma doğruluğu sağladığını ve farklı örnek setlerinde güçlü bir genelleme kabiliyeti sunduğunu göstermektedir. Özellikle YSA tabanlı tahminler, kaplanmış ve soyulmuş agrega bölgelerini ayırt etmede üstün performans göstermiş ve aynı koşullarda U-Net segmentasyonunu geride bırakmıştır. Ayrıca siyah piksel oranı ve mavi arka plan maskelemesi gibi bağlamsal tanımlayıcıların entegrasyonu, düşük kontrastlı ve gürültülü bölgelerde sınıflandırma dayanıklılığını anlamlı ölçüde artırmıştır. Genel olarak önerilen çerçeve, geleneksel soyulma testlerine karşı tekrarlanabilir ve verimli bir alternatif sunmakta, asfalt karışımlarının performansının güvenilir bir şekilde nicel olarak değerlendirilmesine imkân tanımaktadır. Bu çalışma, kaplama mühendisliğinde otomatik görüntü analiz yöntemlerinin gelişimine katkı sağlamakta ve bilgisayarlı görü uygulamalarının asfalt dayanıklılık değerlendirmelerine entegrasyonu için bir temel oluşturmaktadır.

Anahtar Kelimeler

• Soyulma tespiti
• Görüntü analizi
• Süperpiksel segmentasyonu
• Yapay sinir ağları

Kaynakça

1. Cao R. J., Zhao Y. L., Gao Y., Huang X. M., Zhang L. L., Effects of flow rates and layer thicknesses for aggregate conveying process on the prediction accuracy of aggregate gradation by image segmentation based on machine vision. Construction and Building Materials 222, 566-578, 2019.
2. Cui P. D., Wu S. P., Xiao Y., Wang F., Wang F. S., Quantitative evaluation of active based adhesion in Aggregate-Asphalt by digital image analysis. Journal of Adhesion Science and Technology 33(14), 1544-1557, 2019.
3. Gürer C., Karaşahin M., Sathi Kaplama Agregalarının Adezyon Özelliklerinin Araştırılması. Yapı Teknolojileri Elektronik Dergisi 10(2), 1-11, 2016.
4. Huang H. H., Luo J. Y., Tutumluer E., Hart J. M., Stolba A. J., Automated Segmentation and Morphological Analyses of Stockpile Aggregate Images using Deep Convolutional Neural Networks. Transportation Research Record 2674(10), 285-298, 2020.
5. Huang T., Liu G. Q., Evaluation for coarse aggregate distribution of asphalt mixtures based on the two-dimensional digital image analysis. Construction and Building Materials 450, 138716, 2024.
6. Kamani M., Ajalloeian R., Investigation of the changes in aggregate morphology during different aggregate abrasion/degradation tests using image analysis. Construction and Building Materials 314, 125614, 2022.
7. Li H. J., Asbjörnsson G., Lindqvist M., Image Process of Rock Size Distribution Using DexiNed-Based Neural Network. Minerals 11(7), 736, 2021.
8. Li M., Wang J., Guo Z. B., Chen J. C., Zhao Z. D., Ren J. L., Evaluation of the Adhesion between Aggregate and Asphalt Binder Based on Image Processing Techniques Considering Aggregate Characteristics. Materials 16(14), 5097, 2023.

9. Mechria H., Hassine K., Gouider M. S., Effect of Denoising on Performance of Deep Convolutional Neural Network for Mammogram Images Classification. Procedia Computer Science 207, 2345-2352, 2022.
10. Öner J., Seramik Atıklarıyla Hazırlanan Asfalt Karışımların Soyulmaya Karşı Dayanımının Belirlenmesi. Afyon Kocatepe Üniversitesi Fen ve Mühendislik Bilimleri Dergisi, 20(3), 498-505, 2020.
11. Peng Y. J., Ying L. P., Kamel M. M. A., Wang Y., Mesoscale fracture analysis of recycled aggregate concrete based on digital image processing technique. Structural Concrete, 22, E33-E47, 2020.
12. Reddy G. S., Abdallah I. N., Nazarian S., Contributions of aggregate mineralogical and morphological parameters to aggregate frictional performance. Construction and Building Materials 478, 141413, 2025.
13. Reyes-Ortiz O. J., Mejia M., Useche-Castelblanco J. S., Digital image analysis applied in asphalt mixtures for sieve size curve reconstruction and aggregate distribution homogeneity. International Journal of Pavement Research and Technology 14(3), 288-298, 2021.
14. Salemi M., Wang H., Image-aided random aggregate packing for computational modeling of asphalt concrete microstructure. Construction and Building Materials 177, 467-476, 2018.
15. Sinecen M., Makinaci M., Classification of Aggregates Using Basic Shape Parameters Through Neural Networks. Pamukkale University Journal of Engineering Sciences-Pamukkale Universitesi Muhendislik Bilimleri Dergisi 16(2), 149-153, 2010.
16. Sinecen M., Makinaci M., Topal A., Aggregate Classification by Using 3D Image Analysis Technique. Gazi University Journal of Science 24(4), 773-780, 2011.
17. Théodon L., Coufort-Saudejaud C., Hamieh A., Debayle J., Morphological characterization of compact aggregates using image analysis and a geometrical stochastic 3D model, Paper presented at the IEEE 13th International Conference on Pattern Recognition Systems (ICPRS), Guayaquil, ECUADOR, July 04-07, 2023.
18. Wang H. N., Wang C. H., Bu Y., You Z. P., Yang X., Oeser M., Correlate aggregate angularity characteristics to the skid resistance of asphalt pavement based on image analysis technology. Construction and Building Materials 242, 118150, 2020.
19. Wang L. B., Lane D. S., Lu Y., Druta C., Portable Image Analysis System for Characterizing Aggregate Morphology. Transportation Research Record 2104(1), 3-11, 2009.
20. Xiao R., Polaczyk P., Huang B. S., Measuring moisture damage of asphalt mixtures: The development of a new modified boiling test based on color image processing. Measurement 190, 110699, 2022.
21. Xing C., Xu H. N., Tan Y. Q., Liu X. Y., Ye Q., Mesostructured property of aggregate disruption in asphalt mixture based on digital image processing method. Construction and Building Materials 200, 781-789, 2019.
22. Yan R., Liao J. D., Wu X. Y., Xie C. J., Xia L., Research on Classification Method of Sand and Gravel Aggregate Based on Convolutional Neural Network. Laser & Optoelectronics Progress 58(20), 2021.
23. Zong S. L., Zhou G. Z., Li M., Wang X. Z., Deep learning-based on-line image analysis for continuous industrial crystallization processes. Particuology 74, 173-183, 2023.