Üç Aşamalı Derin Öğrenme Tabanlı Otomatik Araç Plakası Algılama ve Tanıma Sistemi

Yıl 2024, Cilt: 14 Sayı: 3, 12 - 20, 25.11.2024

Emre Yücel , Yalçın İşler , Yakup Kutlu

Öz

Araç plakalarının otomatik olarak algılanması ve tanımlanması sistemleri araçlarla girilebilen ve güvenlik gerektiren ücretli otopark girişleri, otoban gişeleri, mobese kameraları, site ve alış-veriş merkezi girişleri gibi yerlerde vazgeçilmez hale gelmiştir. Araç sayısının hızlı artışı nedeniyle, araç plakalarının hızlı ve doğru tespit edilmesini gerektirmektedir. Öte yandan görüntüleme cihazına araçların ve plakaların farklı açı ve boyutlarda gelmesi nedeniyle araç plakasının otomatik tanınmasında problem yaşanmaktadır. Bu çalışmada You Only Look Once (bu yaygın İngilizce tanımına uygun yaygın kısaltması olan YOLO) ve evrişimsel sinir ağı (ESA) derin öğrenme modelleri ile araç plakasının algılanması, araç plakası üzerindeki karakterlerin yerlerinin tespit edilmesi ve bu karakterlerin sınıflandırılarak plakanın tanınması için üç aşamalı bir sistem tasarlanmıştır. Plakaların bulunması ve plaka üzerindeki karakterlerin ayrıştırılması aşamalarında kullanılan iki ayrı YOLO modelinin her ikisinde de %100 başarı elde edilmiştir. Plaka üzerindeki karakterlerin sınıflandırılması ile plaka tanıma aşamasında kullanılan ayrı bir ESA modelinde ise %94.9 başarı oranı elde edilmiştir. Literatürle kıyaslandığında, ilk iki aşamada elde edilen sonuçların diğer çalışmalardan daha yüksek olduğu ve son aşamada ise yaklaşık olarak benzer başarı elde edildiği görülmüştür.

Anahtar Kelimeler

ESA, derin öğrenme, otomatik araç plakası algılama, YOLO, otomatik araç plakası tanıma

Autonomous Vehicle License Plate Detection and Identification System Based on Three-Stage Deep Learning

Öz

Autonomous detection and identification of vehicle license plates have become indispensable in places that can be entered by vehicles and require security, such as paid parking exits, highway toll kiosks, mobile security cameras, site and shopping centre entrances. Due to the rapid increase in the number of vehicles, it is necessary to detect vehicle license plates quickly and accurately. On the other hand, the main problem in automatic recognition of vehicle license plates is that vehicles and license plates come to the imaging device at different angles and sizes. In this study, a three-stage system was designed to detect the license plate using You Only Look Once (YOLO) and Convolutional Neural Network (CNN) deep learning models, to locate the characters on the license plate, and to classify these characters and identify the license plate. 100% success was achieved in both stages of finding the license plates and separating the characters on the license plate using two distinct YOLO models. A success rate of 94.9% was achieved in the license plate recognition phase by classifying the characters on the license plate using a separate CNN model. When compared with the literature, the first two stages achieved higher accuracies than the other studies and the last stage resulted in similar accuracy.

Anahtar Kelimeler

YOLO, CNN, deep learning, automatic vehicle plate detection, automatic vehicle plate recognition

Kaynakça

• Anagnostopoulos, CNE., Anagnostopoulos, IE., Loumos, V., Kayafas, E. 2006. A license plate-recognition algorithm for intelligent transportation system applications. IEEE Trans. Intell. Transp. Syst., 7(3):377-392. Doi: 10.1109/TITS.2006.880641
• Arısoy, MÖ., Dikmen, Ü. 2014. Manyetik belirti haritalarının histogram eşitleme yöntemi kullanılarak iyileştirilmesi. Yerbilimleri, 35(2):141-168. Doi: https://doi.org/10.17824/huyuamd.23614
• Bayram, F. 2020. Derin öğrenme tabanlı otomatik plaka tanıma. Politeknik Dergisi, 23(4):955-960. Doi: 10.2339/politeknik.515830
• Bilgin, A. 2021. YOLO (You Only Look Once) mimarisi nedir? https://aylablgn.medium.com/yolo-you-only-look-once-mimarisi-nedir-754d0bc6a6ba. Yayın tarihi 30 Nisan 2021. Son erişim tarihi 16 Mayıs 2024.
• Bingöl, O., Kuşcu, Ö. 2008. Bilgisayar tabanlı araç plaka tanıma sistemi. Bilişim Teknolojileri Dergisi, 1(3): 1-5. Url: https://dergipark.org.tr/tr/pub/gazibtd/issue/6614/87879
• Chollet, F. 2018. Deep Learning with Python. 2. baskı, Manning Yayınevi.
• Çağıl, G., Yıldırım, B. 2020. Bir montaj parçasının derin öğrenme ve görüntü işleme ile tespiti. Zeki Sistemler Teori ve Uygulamaları Dergisi, 3(2):31-37. Doi: 10.38016/jista.710144
• Çay, T., Ölmez, E., Er, O. 2023. Bölgesel tabanlı evrişimli sinir ağı ile araç plaka tanıma. Düzce Üniversitesi Bilim ve Teknoloji Dergisi, 11(1):10-20. Doi: 10.29130/dubited.1058850
• Çelik, U., Oral, M., 2003. Motorlu araçlar için plaka tanıma sistemi. Elektrik Elektronik- Bilgisayar Mühendisliği 10. Ulusal Kongre ve Fuarı, İstanbul, 17-21 Eylül, s. 499-502.
• Du, S., Ibrahim, M., Shehata, M., Badawy, W. 2017. Automatic license plate recognition (ALPR): A state-of-the-art review. IEEE Trans. Circuits Syst. Video Technol., 23(2):311-325. Doi: 10.1109/TCSVT.2012.2203741
• Gonzalez, RC., Woods, RE. 2007. Digital Image Processing. 3. baskı, ISBN: 978-0131687288, Prentice Hall International.
• Guo, JM., Liu, YF. 2008. License plate localization and character segmentation with feedback self-learning and hybrid binarization techniques. IEEE Trans. Veh. Technol., 57(3):1417-1424. Doi: 10.1109/TVT.2007.909284
• İşler, Y. 2009. A detailed analysis of the effects of various combinations of heart rate variability indices in congestive heart failure. Doktora tezi, Dokuz Eylül Üniversitesi, Fen Bilimleri Enstitüsü, Elektrik-Elektronik Mühendisliği Anabilim Dalı, İzmir, s. 166.
• Jelal. 2021. License plate digits classification dataset. https://www.kaggle.com/aladdinss/license-plate-digits-classification-dataset Yayın tarihi 5 Haziran 2021. Erişim tarihi 29 Aralık 2023.
• Laroca, R., Severo, E., Zanlorensi, LA., Oliveira, LS., Gonçalves, GR., Schwartz, WR., Menotti, D. 2018. A robust real-time automatic license plate recognition based on the YOLO detector. nternational Joint Conference on Neural Networks (IJCNN), Rio de Janeiro, Brazil, 1-10. Doi: 10.1109/IJCNN.2018.8489629.
• Larxel. 2020. Car license plate detection dataset. https://www.kaggle.com/andrewmvd/car-plate-detection. Yayın tarihi 1 Haziran 2020. Son erişim tarihi 29 Aralık 2023.
• Li, B., Tian, B., Li, Y., Wen, D. 2013. Component-based license plate detection using conditional random field model. IEEE Trans. Intell. Transp. Syst., 14(4):1690-1699. Doi: 10.1109/TITS.2013.2267054
• Li, H., Wang, P., Shen, C. 2018. Toward end-to-end car license plate detection and recognition with deep neural networks. IEEE Trans. Intell. Transp. Syst., 20(3):1126-1136. Doi: 10.1109/TITS.2018.2847291
• Narin, A., İşler, Y. 2021. Detection of new coronavirus disease from chest x-ray images using pre-trained convolutional neural networks. Journal of the Faculty of Engineering and Architecture of Gazi University, 36(4):2095-2107. Doi: 10.17341/gazimmfd.827921
• Özbay, S., Erçelebi, E. 2005. Automatic vehicle identification by plate recognition. World Acad. Eng. Technol., 9(41):222-225. Doi: 10.5281/zenodo.1331865
• Panahi, R., Gholampour, I. 2016. Accurate detection and recognition of dirty vehicle plate numbers for high-speed applications. IEEE Trans. Intell. Transp. Syst., 18(4):767-779. Doi: 10.1109/TITS.2016.2586520
• Rafique, MA., Pedrycz, W., Jeon, M. 2018. Vehicle license plate detection using region-based convolutional neural networks. Soft Comput., 22(19):6429-6440. Doi: 10.1007/s00500-017-2696-2
• Redmon, J., Divvala, S., Girshick, R., Farhadi, A. 2016. You only look once: Unified, real-time object detection. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 779-788. Doi: 10.1109/CVPR.2016.91
• Shashidhar, R., Manjunath, AS., Kumar, RS., Roopa, M., Puneeth, SB. 2021. Vehicle number plate detection and recognition using YOLO-V3 and OCR method. 2021 IEEE International Conference on Mobile Networks and Wireless Communications (ICMNWC), 1-5, Tumkur, Karnataka, India. Doi: 10.1109/ICMNWC52512.2021.9688407
• Shinde, S., Kothari, A., Gupta, V. 2018. YOLO based human action recognition and localization. Procedia Comput. Sci., 133:831-838. Doi: 10.1016/j.procs.2018.07.112
• Sürücü, M., İşler, Y., Perc, M., Kara, R. 2021. Convolutional neural networks predict the onset of paroxysmal atrial fibrillation: Theory and applications. Chaos, 31(11):34881615. Doi: 10.1063/5.0069272
• Sürücü, M. 2022a. Predicting capacity change in li-ion batteries using regression models. J. Intell. Syst. Appl., 5(2):120-125. Doi: 10.54856/jiswa.202212229
• Sürücü, M. 2022b. Improvement of CNN network parameters in turkish music emotion recognition. J. Intell. Syst. Appl., 5(2):126-131. Doi: 10.54856/jiswa.202212230
• Telatar, Z., Çamaşırcıoğlu, E. 2007. Plate detection and recognition by using colour information and ANN. 2007 IEEE 15th Signal Processing and Communications Applications, Eskisehir, Turkey, 1-4. Doi: 10.1109/SIU.2007.4298583.
• TÜİK. 2024. Motorlu Kara Taşıtları (Nisan 2024). 53456 nolu yayın. https://data.tuik.gov.tr/Bulten/Index?p=Motorlu-Kara-Tasitlari-Nisan-2024-53456 Yayın tarihi 1 Mayıs 2024. Son erişim tarihi 27 Temmuz 2024.
• Yuan, Y., Zou, W., Zhao, Y., Wang, X., Hu, X., Komodakis, N. 2016. A robust and efficient approach to license plate detection. IEEE Trans. Image Process., 26(3):1102-1114. Doi: 10.1109/TIP.2016.2631901
• Zhou, W., Li, H., Lu, Y., Tian, Q. 2012. Principal visual word discovery for automatic license plate detection. IEEE Trans. Image Process., 21(9):4269-4279. Doi: 10.1109/TIP.2012.2199506
• Zhuang, J., Hou, S., Wang, Z., Zha, ZJ. 2018. Towards human-level license plate recognition. Proceedings of the European Conference on Computer Vision (ECCV), 306-321. Doi: 10.1007/978-3-030-01219-9_19