Akıllı Şehirler için Özellik Çıkarımı ve Makine Öğrenmesi Tabanlı Asfalt Durum İzleme Yaklaşımı

Öz

Karayolu taşımacılığı günümüzde sıklıkla kullanılan bir taşımacılık yöntemi olup, araçların daha güvenlikli bir yolculuk yapabilmesi amacıyla sürekli gelişim göstermektedir. Karayollarında kullanılan temel kaplama malzemesi asfalttır. Asfalt malzemesi ise özellikle başta zaman olmak üzere, yoğun trafik kullanımına bağlı olarak deforme olabilmekte ve yıpranmaktadır. Bu ve benzeri durumların önüne geçebilmek amacıyla, bu çalışmada sağlam ve arızalı asfalt görüntülerinin otomatik tespiti ve sınıflandırılması gerçekleştirilmiştir. Bu amaçla bir karayolu aracına monte edilen kamera aracılığıyla toplam 3912 adet asfalt görüntüsü toplanmıştır. Öncelikle bu görüntülere ortalama havuzlama yöntemi uygulanmış ve görüntüler bir ön işlemeye tabi tutulmuştur. Bu algoritma ile görüntülerde boyut azaltma işlemi yapılmıştır. Ön işleme adımından sonra yönlendirilmiş gradyan histogramı (HOG) yöntemi kullanılarak görüntülerden özellik çıkarımı yapılmıştır. Bu işlemden sonra Ki-Kare yöntemi ile özellik seçimi uygulanmış ve en ağırlıklı öz nitelikler elde edilmiştir. Son olarak elde edilen bu özellikler destek vektör makinleri (SVM) yöntemi kullanılarak sınıflandırılmış ve elde edilen sonuçlar performans yönünden değerlendirilmiştir. Performans metrikleri olarak doğruluk, kesinlik, duyarlılık, geometrik ortalama ve f-skor değerleri hesaplanmıştır. Önerilen yöntem sonucunda %96.5 oranında bir doğruluk elde edilmiştir. Çalışma kapsamında elde edilen yöntemin uygulanmasıyla asfalt kaplama malzemesinin insan müdahalesine gerek kalmadan izlenebilmesi sağlanmıştır. Sürekli kontrolün oldukça zor olduğu bu işlemde makine öğrenmesi tabanlı otomatik arıza tespit yöntemi geliştirilmiştir. Bu sayede bakım, onarım giderlerinin azaltılması ve daha güvenli bir sürüş deneyimi yaşanması hedeflenmiştir. Elde edilen sonuçlar, literatürde yer alan çalışmalar ile karşılaştırıldığında yöntemin başarılı olduğu görülmektedir.

Anahtar Kelimeler

• Asfalt Durum İzleme
• Arıza Tespiti
• HOG Özellik Çıkarımı
• SVM Sınıflandırma

Feature Extraction and Machine Learning Based Pavement Condition Monitoring Approach for Smart Cities

Abstract

Road transport is a transportation method that is frequently used today, and it is constantly evolving in order for vehicles to travel more safely. The basic coating material used on highways is asphalt. Asphalt material can deform and wear out due to heavy traffic use, especially over time This study aims to detect deformed and worn asphalt with image processing method and classify it as healty or faulty. For this purpose, a total of 3912 asphalt images were collected through a camera mounted on a road vehicle. First of all, the average pooling method was applied to these images and the images were subjected to a pre-processing. With this algorithm, size reduction was performed on the images. After the pre-processing step, feature extraction from the images was made using the Histogram of Oriented Gradients (HOG) method. After this process, feature selection was applied with the Chi-Square method and the most weighted attributes were obtained. Finally, these features were classified using Support Vector Machines (SVM) method and the results obtained were evaluated in terms of performance. Accuracy, precision, recall, geometric mean and f-score values were calculated as performance metrics. As a result of the proposed method, an accuracy of 96.5% was obtained. By applying the method tested within the scope of the study, it has been revealed that the wearing of the asphalt coating material can be understood without human intervention. Machine learning based automatic fault detection method has been developed in this process where continuous control is very difficult. In this way, it has contributed to the reduction of asphalt maintenance and repair costs for a safer driving experience. The results obtained were discussed in the light of the literature and the success of the method is supported by the literature.

Keywords

• Asphalt condition monitoring
• fault detection
• HOG feature selection
• SVM classification

References

1. Alpaslan, N., Talu, M. F., Gül, M., & Yiğitcan, B. (2012). Hog Tabanlı YSA Kullanılarak Yağlı Karaciğer Tedavisindeki İlaç Etkinliklerinin Hesaplanması.
2. Baygin, M. (2019). Classification of Text Documents based on Naive Bayes using N-Gram Features. 2018 International Conference on Artificial Intelligence and Data Processing, IDAP 2018. https://doi.org/10.1109/IDAP.2018.8620853
3. Baygin, N., Baygin, M., & Karakose, M. (2019). A SVM-PSO Classifier for Robot Motion in Environment with Obstacles. 2019 International Conference on Artificial Intelligence and Data Processing Symposium, IDAP 2019. https://doi.org/10.1109/IDAP.2019.8875921
4. Bello-Salau, H., Aibinu, A. M., Onwuka, E. N., Dukiya, J. J., Onumanyi, A. J., & Ighagbon, A. O. (2016). Development of a laboratory model for automated road defect detection. Journal of Telecommunication, Electronic and Computer Engineering, 8(9), 97–101.
5. Cheng, J., Xiong, W., Chen, W., Gu, Y., & Li, Y. (2019). Pixel-level Crack Detection using U-Net. IEEE Region 10 Annual International Conference, Proceedings/TENCON, 2018-October(October), 462–466. https://doi.org/10.1109/TENCON.2018.8650059
6. Chia, M. Y., Huang, Y. F., & Koo, C. H. (2020). Support vector machine enhanced empirical reference evapotranspiration estimation with limited meteorological parameters. 175(April).
7. Fan, Z., Li, C., Chen, Y., Mascio, P. Di, Chen, X., Zhu, G., & Loprencipe, G. (2020). Ensemble of Deep Convolutional Neural Networks and Measurement. 1–14.
8. Gopalakrishnan, K., Khaitan, S. K., Choudhary, A., & Agrawal, A. (2017). Deep Convolutional Neural Networks with transfer learning for computer vision-based data-driven pavement distress detection. Construction and Building Materials, 157, 322–330. https://doi.org/10.1016/j.conbuildmat.2017.09.110

9. Jahanshahi, M. R., Jazizadeh, F., Masri, S. F., & Becerik-Gerber, B. (2013). Unsupervised Approach for Autonomous Pavement-Defect Detection and Quantification Using an Inexpensive Depth Sensor. Journal of Computing in Civil Engineering, 27(6), 743–754. https://doi.org/10.1061/(asce)cp.1943-5487.0000245
10. Karakaya, F., Altun, H., & Çavuşlu, A. (2009). Gerçek Zamanlı Nesne Tanıma Uygulamaları için HOG Algoritmasının FPGA Tabanlı Gömülü Sistem Uyarlaması. 508–511.
11. Kawano, M., Mikami, K., Yokoyama, S., Yonezawa, T., & Nakazawa, J. (2017). Road marking blur detection with drive recorder. Proceedings - 2017 IEEE International Conference on Big Data, Big Data 2017, 2018-January, 4092–4097. https://doi.org/10.1109/BigData.2017.8258427
12. Li, B., Wang, K. C. P., Zhang, A., Yang, E., Wang, G., Li, B., Wang, K. C. P., Zhang, A., & Yang, E. (2020). Automatic classification of pavement crack using deep convolutional neural network. 8436. https://doi.org/10.1080/10298436.2018.1485917
13. Majidifard, H., Adu-Gyamfi, Y., & Buttlar, W. G. (2020). Deep machine learning approach to develop a new asphalt pavement condition index. Construction and Building Materials, 247, 118513. https://doi.org/10.1016/j.conbuildmat.2020.118513
14. Majidifard, H., Jin, P., Adu-Gyamfi, Y., & Buttlar, W. G. (2020). Pavement Image Datasets: A New Benchmark Dataset to Classify and Densify Pavement Distresses. Transportation Research Record, 2674(2), 328–339. https://doi.org/10.1177/0361198120907283
15. Mandal, V., Uong, L., & Adu-Gyamfi, Y. (2019). Automated Road Crack Detection Using Deep Convolutional Neural Networks. Proceedings - 2018 IEEE International Conference on Big Data, Big Data 2018, 5212–5215. https://doi.org/10.1109/BigData.2018.8622327
16. Nguyen, T. S., Begot, S., Duculty, F., & Avila, M. (2011). Free-Form Anisotropy: A New Method for Crack Detection on Pavement Surface Images. 1, 1069–1072.
17. Shahnazari, H., Tutunchian, M. A., Mashayekhi, M., & Amini, A. A. (2012). Application of Soft Computing for Prediction of Pavement Condition Index. December, 1495–1506. https://doi.org/10.1061/(ASCE)TE
18. Shi, Y., Cui, L., Qi, Z., Meng, F., & Chen, Z. (2016). Automatic Road Crack Detection Using Random Structured Forests. IEEE Transactions on Intelligent Transportation Systems, 17(12), 1–12.
19. Some, L. (2016). Automatic image-based road crack detection methods. Liene Some Kth Royal Institute of Technology School of Architecture and the Built Environment.
20. Xu, W., & Tang, Z. (2013). PAVEMENT CRACK DETECTION BASED ON SALIENCY AND STATISTICAL FEATURES School of Computer Science and Engineering , Nanjing University of Science and Technology , China. 4093–4097.
21. Yaman, O., Yetis, H., & Karakose, M. (2020). Band Reducing Based SVM Classification Method in Hyperspectral Image Processing. Zooming Innovation in Consumer Technologies Conference (ZINC), 21–25.
22. Yazıcı, B., Yaslı, F., Gürleyik, H. Y., & Turgut, U. O. (2015). Veri Madenciliğinde Özellik Seçim Tekniklerinin Bankacılık Verisine Uygulanması Üzerine Araştırma ve Karşılaştırmalı Uygulama. 9. Ulusal Yazılım Mühendisliği Sempozyumu (UYMS-15), 72–83.
23. Zalama, E., Jaime, G., & Medina, R. (2014). Road Crack Detection Using Visual Features Extracted by Gabor Filters. 29, 342–358. https://doi.org/10.1111/mice.12042
24. Zhang, D., Li, Q., Chen, Y., Cao, M., He, L., & Zhang, B. (2017). An efficient and reliable coarse-to-fine approach for asphalt pavement crack detection. Image and Vision Computing, 57, 130–146. https://doi.org/10.1016/j.imavis.2016.11.018