Optimizing Visual Instruction Detection in Autonomous Mobile Robots Using Yolov8 and Tensorrt Acceleration

Year 2025, Volume: 8 Issue: 2, 19 - 20

Ibrahim Shamta , Funda Demir

https://doi.org/10.34248/bsengineering.1594542

Abstract

In this study, the deep learning-based detection performance of instructions for the vehicle was examined through images obtained from a camera mounted on a mobile robotic system. The aim is to enhance the detection performance of a differential robot equipped with a robotic arm in recognizing various visual instructions it may encounter in the field. Traffic lights, direction signs, and speed limit signs were selected as the visual materials to be introduced to the robotic system. By utilizing the YOLOv8 object detection model on the embedded AI computer onboard the vehicle and leveraging the TensorRT accelerator, deep learning-based image processing achieved a high frame rate of 33 FPS and an mAP50 accuracy of 96.6%. This study highlights the advantages and challenges of integrating advanced detection models into autonomous robotic platforms, contributing to future improvements in reliability and efficiency.

Keywords

Deep Learning, Differential Robot, Sign Recognition, TensorRT

Optimizing Visual Instruction Detection in Autonomous Mobile Robots Using Yolov8 and Tensorrt Acceleration

Abstract

Bu çalışmada, mobil robotik bir sisteme monte edilmiş bir kameradan elde edilen görüntüler aracılığıyla, aracın görsel talimatları algılama performansı derin öğrenme tabanlı yöntemlerle incelenmiştir. Amaç, sahada karşılaşabileceği çeşitli görsel talimatları tanımada diferansiyel bir robota bağlı robotik kolun tespit performansını artırmaktır. Trafik ışıkları, yön tabelaları ve hız sınırı levhaları, robotik sisteme tanıtılacak görsel materyaller olarak seçilmiştir. Araç üzerindeki gömülü yapay zeka bilgisayarında YOLOv8 nesne tespiti modeli kullanılarak ve TensorRT hızlandırıcısından faydalanılarak derin öğrenme tabanlı görüntü işleme, 33 FPS gibi yüksek bir kare hızı ve %96,6 mAP50 doğruluğuna ulaşmıştır. Bu çalışma, gelişmiş tespit modellerinin otonom robotik platformlara entegrasyonunun avantajlarını ve zorluklarını vurgulamakta, gelecekte güvenilirlik ve verimlilik açısından iyileştirmelere katkı sunmaktadır.

Keywords

Derin Öğrenme, Diferansiyel Robot, İşaret Tanıma, TensorRT.

References

• Barba-Guaman L, Eugenio Naranjo J, Ortiz A. 2020. Deep learning framework for vehicle and pedestrian detection in rural roads on an embedded GPU. Electronics, 9(4): 589.
• Cai ZX, Gu MQ. 2013. Traffic sign recognition algorithm based on shape signature and dual-tree complex wavelet transform. J Cent South Univ, 20(2): 433–439.