Smart Technologies in Driver Safety: Approaches to Reducing Human Errors with Sensor-Based Systems and Image Processing

Öz

This study aims to develop an innovative system designed to enhance driver safety. A significant portion of traffic accidents is caused by human error, and technological solutions aimed at mitigating these errors are of critical importance. For this purpose, a multi-component safety system has been designed, incorporating modules such as driver attention monitoring, traffic sign recognition, blood and vomit detection, heart rate monitoring, and alcohol detection. One of the system’s core components is a blink detection model developed to analyze the driver's attention status. This model is capable of real-time analysis. For the traffic sign recognition system, a Convolutional Neural Network (CNN)-based model was trained, achieving a test accuracy of 94%. Additionally, a custom-labeled dataset was created for blood and vomit detection. The CNN model trained on this dataset achieved a test accuracy of 93.75% for blood detection and 91.4% for vomit detection. The heart rate monitoring module continuously tracks the driver’s pulse, enabling the detection of sudden health issues. Optical pulse sensors integrated into the steering wheel were used as the sensor technology. In the alcohol detection system, data from MQ-3 gas sensors and pulse sensors were combined to determine whether the driver is under the influence of alcohol. Through the integration of these components, the proposed system offers an innovative solution to reduce traffic accidents by enhancing driver safety.

Anahtar Kelimeler

• Convolutional Neural Network
• traffic sign recognition
• image processing
• pulse sensors
• alcohol detection
• driver attention monitoring

Destekleyen Kurum

TÜBİTAK, ANT ARGE

Teşekkür

We would like to thank Gürkan Çelik for his help throughout the study and Melih Yıldız for his contribution to the labeling of the blood/vomit dataset.

Akıllı Sürüş Güvenliği Sistemi (ASGÜS): İnsan Hatalarını Azaltmak için Sensör Tabanlı Sistemler ve Görüntü İşleme Yöntemlerinin Entegrasyonu

Öz

Bu çalışma, sürücü güvenliğini artırmayı amaçlayan yenilikçi bir sistemin geliştirilmesini hedeflemektedir. Trafik kazalarının büyük bir kısmı insan hatalarından kaynaklanmaktadır ve bu hataların azaltılmasına yönelik teknolojik çözümler hayati önem taşımaktadır. Bu amaçla, sürücü dikkat izleme, trafik işareti tanıma, kan ve kusmuk tespit sistemi, nabız izleme ve alkol tespiti gibi çok bileşenli bir güvenlik sistemi tasarlanmıştır. Sistemin temel bileşenlerinden biri, sürücünün dikkat durumunu analiz etmek için geliştirilen göz kırpma tespit modelidir. Bu model, gerçek zamanlı analiz yapabilmektedir. Trafik işareti tanıma sistemi için Evrişimsel Sinir Ağı (ESA) tabanlı bir model eğitilmiş ve modelin test doğruluk oranı %94 olarak hesaplanmıştır. Ayrıca, kan ve kusmuk tespiti için oluşturulan özel veri seti etiketlenerek ESA modeli ile eğitilmiş ve test doğruluk oranı kan tespiti için %93.75, kusmuk tespiti için %91.4 olarak elde edilmiştir. Nabız izleme sistemi, sürücünün kalp atışını anbean takip ederek ani sağlık sorunlarının tespit edilmesine olanak sağlamaktadır. Sensör teknolojisi olarak direksiyon simidine entegre edilen optik nabız sensörleri kullanılmıştır. Alkol tespit sisteminde ise MQ-3 gaz sensörleri ve nabız sensörlerinden gelen veriler birleştirilerek sürücünün alkol etkisi altında olup olmadığı belirlenmiştir. Bu bileşenlerin entegrasyonu sayesinde geliştirilen sistem, sürücü güvenliğini artırarak trafik kazalarının azaltılmasına yönelik yenilikçi bir çözüm sunmaktadır.

Anahtar Kelimeler

• Evrişimsel Sinir Ağı
• trafik işareti tanıma
• görüntü işleme
• nabız sensörleri
• alkol tespiti
• sürücü dikkat izleme

Destekleyen Kurum

TÜBİTAK, ANT ARGE

Teşekkür

Çalışma boyunca yardımlarını esirgemeyen Gürkan Çelik’e ve kan/kusmuk veri setinin etiketlenmesinde emeği geçen Melih Yıldız’a teşekkür ederiz.

Kaynakça

1. [1] World Health Organization, Global Status Report on Road Safety 2018. Geneva, Switzerland: World Health Organization, 2019.
2. [2] F. Kaplanhan, "An examination on the economic costs of traffic accidents in Turkey," The Journal of International Civilization Studies, vol. 6, no. 2, 2021.
3. [3] S. Chen, M. Kuhn, K. Prettner, and D. E. Bloom, "The global macroeconomic burden of road injuries: estimates and projections for 166 countries," The Lancet Planetary Health, vol. 3, no. 9, pp. e390–e398, 2019.
4. [4] Ü. Çodur, Sis kaynaklı trafik kazalarının azaltılmasında görüntü işleme teknikleri, Yüksek Lisans Tezi, Fen Bilimleri Enstitüsü, Erzurum Teknik Üniversitesi, Erzurum, 2019.
5. [5] L. Hamiti and A. Krasniqi, “The impact of technology on the prevention of road traffic accidents,” Pakistan Journal of Life & Social Sciences, vol. 22, no. 2, p. 22318, 2024, doi: 10.57239/PJLSS-2024-22.2.001584.
6. [6] A. El Khatib, C. Ou, and F. Karray, "Driver inattention detection in the context of next-generation autonomous vehicles design: A survey," IEEE Trans. Intell. Transp. Syst., vol. 21, no. 11, pp. 4483–4496, 2020, doi: 10.1109/TITS.2019.2940874.
7. [7] M. Q. Khan and S. Lee, "A comprehensive survey of driving monitoring and assistance systems," Sensors, vol. 19, art. no. 2574, 2019, doi: 10.3390/s19112574.
8. [8] A. Soultana, F. Benabbou, N. Sael, and S. Ouahabi, "A systematic literature review of driver inattention monitoring systems for smart cars," Int. J. Interact. Mob. Technol, vol. 16, no. 16, pp. 160–189, 2022, doi: 10.3991/ijim.v16i16.33075.

9. [9] Cipia, [Online]. Available: https://cipia.com/. [Erişim: Kasım. 5, 2024].
10. [10] Sorax Teknoloji, [Online]. Available: https://www.soraxteknoloji.com/en/iot-2/. [Erişim: Kasım. 5, 2024].
11. [11] Car Magazine, “Mercedes launches Attention Assist,” [Online]. Available: http://www.carmagazine.co.uk/News/Search-Results/Industry-News/Mercedeslaunches-Attention-Assist/. [Erişim: Ekim. 1, 2024].
12. [12] Ford Media, [Online]. Available: http://technology.fordmedia.eu/. [Erişim: Ekim. 1, 2024].
13. [13] A. Kashevnik, R. Shchedrin, C. Kaiser, and A. Stocker, "Driver distraction detection methods: A literature review and framework," IEEE Access, vol. 9, pp. 60063–60076, 2021, doi: 10.1109/ACCESS.2021.3073599.
14. [14] Volvo Cars, “Driver alert and attention assist systems,” [Online]. Available: https://www.volvocars.com/tr/support/car/s60/article/f1df148bc7f01a62c0a81f6f0b6b960e_59b320dbc7f05c55c0a81f6f1d425d1f_1b124e7d95b6d7b9c0a8015139b2bb2b. [Erişim: Ekim. 2, 2024].
15. [15] T. N. Abu-Jamie and S. S. Abu-Naser, "Classification of Sign-Language Using Deep Learning – A Comparison between Inception and Xception Models," Int. J. Acad. Eng. Res. (IJAER), vol. 6, no. 8, pp. 9–19, 2022.
16. [16] GTSRB-German Traffic Sign Recognition Benchmark, [Online]. Available: https://www.kaggle.com/datasets/meowmeowmeowmeowmeow/gtsrb-german-traffic-sign/. [Erişim: Kasım. 5, 2024].
17. [17] F. Özgür, N. Arıkan, and Ö. Öztimur Karadağ, "Comparison of a deep learning and a hybrid model for classification of an unbalanced urgent cases dataset for human faces," presented at UBMK 2024, Antalya, Türkiye, 2024.
18. [18] F. Wang and J. Su, "Based on the improved YOLOV3 small target detection algorithm," in Proc. 2021 IEEE 4th Adv. Inf. Manage., Communicates, Electron. Autom. Control Conf. (IMCEC), Chongqing, China, 2021, pp. 2155–2159, doi: 10.1109/IMCEC51613.2021.9482076.
19. [19] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, "Gradient-based learning applied to document recognition," Proc. IEEE, vol. 86, no. 11, pp. 2278–2324, 1998.
20. [20] A. R. Raipurkar and M. B. Chandak, "Driver Eye Blink Rate Detection and Alert System," International Journal of Innovative Technology and Exploring Engineering, vol. 9, no. 4, pp. 489–492, Feb. 2020, doi: 10.35940/ijitee.D1207.029420.
21. [21] O. O. Alabi, O. A. Adeaga, S. A. Ajagbe, E. O. Adekunle, and M. O. Adigun, "Design and implementation of an alcohol detection driver system," Int. J. Reconfigurable Embedded Syst., vol. 13, no. 2, pp. 278–285, Jul. 2024, doi: 10.11591/ijres.v13.i2.pp278-285.
22. [22] R. S. Olson, W. La Cava, P. Orzechowski, R. J. Urbanowicz, and J. H. Moore, "PMLB: a large benchmark suite for machine learning evaluation and comparison," BioData Mining, vol. 10, art. no. 36, Dec. 2017, doi: 10.1186/s13040-017-0154-4
23. [23] A. Koesdwiady, S. M. Bedawi, C. Ou, and F. Karray, "End-to-End Deep Learning for Driver Distraction Recognition," in Image Analysis and Recognition (ICIAR 2017), F. Karray, A. Campilho, and F. Cheriet, Eds., vol. 10317, Lecture Notes in Computer Science. Cham, Switzerland: Springer, 2017, pp. 3–12, doi: 10.1007/978-3-319-59876-5_2.