Recognizing Objects and Tracking Vehicles Using Semi-autonomous Drone

Öz

Vehicles take place in a large part of our daily life and their number is increasing day by day. This situation has made the tracking of vehicles in motion and the detection of their license plates a necessity. Performing these processes automatically will provide a great convenience in terms of labor and economy. In this study, a system that recognizes a moving target and tracks vehicles using image processing algorithms using the data obtained with a quadrotor DJI Tello Drone camera is proposed. The work consists of three stages: The first one is transferring the images from the drone to the software and the second one is recording the images received at the end of the analysis to the database; In the third stage, semi-autonomous tracking of a specified object within the data obtained is possible. Tracking height and distance can be adjusted manually. The system detects a vehicle in real-time and records five different data such as registration date, license plate text, license plate image, vehicle image, and tracking image. In the study, possible environmental (intense light reflection on the plate, the intensity of transition from dark to light, sticker or dirt on the plate, etc.) errors can be eliminated by comparing the plate text with the plate image before the plate information is recorded in the database. In case of an error, the license plate information is saved in the database after the user corrects it manually. The proposed system can be used in many fields, including film, aerial photography, and the defense industry. According to the results obtained, 79.54% success is achieved in license plate recognition and 85% success in the object tracking systems.

Anahtar Kelimeler

• Drone
• semi-autonomous
• image processing
• tracking vehicles
• recognizing objects

Yarı-otonom Drone Kullanılarak Nesnelerin İzlenmesi ve Araçların Takibinin Gerçekleştirilmesi

Öz

Araçlar günlük hayatımızın büyük bir bölümünde yer alır ve sayıları gün geçtikçe artmaktadır. Bu durum, hareket halindeki araçların takibini ve plakalarının tespitini ihtiyaç haline getirmiştir. Bu işlemlerin otomatik yapılması, iş gücü ve ekonomik bakımından büyük kolaylık sağlayacaktır. Bu çalışmada, dört rotorlu bir DJI Tello Drone kamerasıyla elde edilen verileri görüntü işleme algoritmalarıyla hareketli bir hedefi izleyen ve araçların takibini gerçekleştiren bir sistem önerilmiştir. Çalışma üç aşamadan oluşmaktadır: Birincisi, drone üzerinden gelen görüntülerin yazılıma aktarılması; ikincisi, yapılan analiz sonunda gelen görüntülerin veri tabanına kayıt edilmesi; üçüncü aşamada ise elde edilen veriler dâhilinde belirtilen belli bir nesnenin yarı-otonom takibinin yapılabilmesidir. Takip yüksekliği ve mesafesi manuel olarak ayarlanabilmektedir. Sistem gerçek zamanlı tespit ettiği bir aracın; kayıt tarihi, plaka metni, plaka resmi, araç resmi ve takip resmi gibi beş farklı veriyi kaydetmektedir. Çalışmada, plaka bilgisi veri tabanına kaydedilmeden önce plaka metni, plaka resmiyle karşılaştırarak çevreden kaynaklı (plakadaki yoğun ışık yansıması, karanlıktan aydınlığa geçiş yoğunluğu, plaka üzerindeki çıkartma veya kir vb.) olası hatalar kullanıcı tarafından manuel olarak giderilebilir ve daha sonra plaka bilgisi, veri tabanına kaydedilir. Önerilen sistem, film, hava fotoğrafçılığı ve savunma sanayisi dâhil birçok alanda kullanılabilir. Elde edilen sonuçlara göre plaka tanımada %79.54 nesne takip sisteminde ise %85 oranında başarı elde edilmiştir.

Anahtar Kelimeler

• Drone
• yarı-otonom
• görüntü işleme
• araç takibi
• nesnelerin izlenmesi

Kaynakça

1. [1] Çevik K.K. Yapay zekâ yöntemleri ile araç plaka tanıma sistemi. Yüksek lisans tezi, Selçuk Üniversitesi, Konya, 2010.
2. [2] Ceylan A. Dört rotorlu hava aracı ile görme tabanlı nesne takibi, Yüksek lisans tezi, Fırat üniversitesi, Elazığ, 2018.
3. [3] Kaplan A, Gerçek ve yarı zamanlı yüz tespit etme, Yüksek lisans tezi, Fırat üniversitesi, Elazığ, 2018.
4. [4] Dilmen H, Santur Y, Baysal H, Talu F. M. Multi rotor robotlar için oto pilot yer kontrol birimi, ELECO 2014 Elektrik, Elektronik, Bilgisayar Ve Biyomedikal Mühendisliği Sempozyumu; 27 - 29 Kasım 2014; Bursa. 764-766.
5. [5] Özbay S. Automatic vehicle identification by plate recognition. Master school thesis, Gaziantep University, Gaziantep, 2006.
6. [6] Çelik U, Oral M. Motorlu araç plaka görüntülerinden karakter ayrıştırma ve tanıma, IJCI Proceedings of International Conference on Signal Processing; Eylül 2003; 453-456.
7. [7] Günaydın G. Ö. A constraint based real-time license plate recognition system, Master school thesis, Middle East Technical University, Ankara, 2007.
8. [8] Bayram F. Derin öğrenme tabanlı otomatik plaka tanıma, Politeknik dergisi, 2020, Cilt:23, Sayı:4, 955-959.

9. [9] Hanbay K. Üzen H. Nesne tespit ve plaka öğrenme metotları, Türk Doğa ve Fen Dergisi, Cilt:6, Sayı:2, 40-47.
10. [10] N. S. Altman. An introduction to kernel and nearest neighbor nonparametric regression, Thesis, Cornell University, New York, 1991.
11. [11] Djı, Tello sdk 2.0 User Guide. Kasım 2018, URL https://dl-cdn.ryzerobotics.com/downloads/Tello/Tello%20SDK%202.0%20User%20Guide.pdf, 2021.