Detection and Tracking of Moving Objects with Unmanned Aerial Vehicles

Abstract

With the developments in technology, the usage areas of Unmanned Air Vehicle (UAV) systems become widespread and diversify. Nowadays, UAVs are used for many different purposes such as remote sensing, photogrammetry, traffic control and monitoring of large facilities. UAVs used for remote sensing and photogrammetry can be equipped with different sensor systems which can be in the form of video, digital, thermal and infrared camera according to their intended use. In this paper, an Optical Flow method is proposed for the detection and tracking of moving objects with the images obtained with the camera found in a Flying UAV. The main problem to be solved when trying to detect objects moving from a flying UAV is to separate the changes in the image caused by the movement of the vehicle from moving objects. Within the scope of this paper, it was done with MATLAB Graphical User Interface developed Optical Flow methods for real-time detection and tracking of moving objects from snapshots taken from a quadcopter camera. Field-based techniques, energy-based techniques and phase-based techniques used in Optical Flow methods were tested and the results obtained were compared in order to select the most suitable Optical Flow algorithm.

Keywords

• Unmanned Aerial Vehicle
• Image Processing
• Optical Flow
• Motion Detection
• Object Tracking

İnsansız Hava Araçlarıyla Hareketli Nesnelerin Tespit ve Takibi

Abstract

Teknolojide elde edilen gelişmelerle birlikte İnsansız Hava Aracı (İHA) sistemlerinin kullanım alanları yaygınlaşmakta ve çeşitlenmektedir. Günümüzde İHA’lar uzaktan algılama, fotogrametri, trafik denetimi ve büyük tesislerin gözetimi gibi birçok farklı amaçla kullanılmaktadırlar. İHA’lar tarafından fotogrametri ve uzaktan algılama görevlerinin yerine getirilmesi istediğinde video, dijital, termal ve kızıl ötesi kamera gibi farklı algılayıcı sistemler yerleştirilebilmektedir. Bu makalede uçan bir İHA’da bulunan kamerayla elde edilen görüntülerle hareketli nesnelerin tespiti ve takibi için bir Optik Akış yöntemi önerilmiştir. Uçan bir İHA'dan hareket eden nesneleri tespit etmeye çalışırken çözülmesi gereken asıl problem, aracın hareketinin neden olduğu görüntüdeki değişiklikleri hareketli nesnelerden ayırmaktır. Bu makalede, bir dikuçarın kameralarından alınan anlık görüntülerden hareketli nesnelerin gerçek zamanlı olarak tespit ve takip edilmesi için MATLAB Grafiksel Kullanıcı Arayüzü ortamında geliştirilen Optik Akış yöntemlerinin kullanıldığı bir yazılım ile yapılmıştır. En uygun Optik Akış algoritmasının seçilebilmesi için Optik Akış yöntemlerinde kullanılan; fark teknikleri, alan tabanlı teknikler, enerji tabanlı teknikler ve faz tabanlı teknikler ana sınıfları altında toplanan yöntemler uygulanarak, elde edilen sonuçlar karşılaştırılmıştır.

Keywords

• İnsansız hava aracı
• görüntü işleme
• optik akış
• hareket tespiti
• nesne takibi

References

1. C. Karaağaç, “İHA Sistemleri Yol Haritası Geleceğin Hava Kuvvetleri 2016-2050”, STM, 2016.
2. “Türkiye İnsansız Hava Aracı Sistemleri Yol Haritası”, Savunma Sanayi Müsteşarlığı, (2011).
3. R. Cömert, U. Avdan, ve E. Şenkal, “İnsansız hava araçlarının kullanım alanları ve gelecekteki beklentiler”, IV. Uzaktan Algılama ve Coğrafi Bilgi Sistemleri Sempozyumu, BEÜ, Zonguldak, 2012.
4. G.R. Rodríguez-Canosa, S.J. Thomas, J. del Cerro, A.Barrientosand B.A.MacDonald, “A Real-Time Method to Detect and Track Moving Objects (DATMO) from Unmanned Aerial Vehicles (UAVs) Using a Single Camera”, Remote Sensing, 4(4), 1090-1111, 2012.
5. K. Güllü, “Bilgisayarla Görüye Giriş, Ders 8 – Optik Akış (Optical Flow)”, Ders Notu, Kocaeli Üniversitesi, 2017.
6. R. Malhotra, “Detection and Segmentation Of Moving Objects In Video Using Optical Vector Flow Estimation”, Master Of Science, University Of Saskatchewan, Saskatchewan, 2008.
7. C.R. del-Blanco, F. Jaureguizar and N. García, “An Efficient Multiple Object Detection and Tracking Framework for Automatic Counting and Video Surveillance Applications”, Consumer Electronics, IEEE Transactions on, 58, 3, 2012.
8. A. Roy, S. Shindeandand. K.D. Kang, “An Approach for Efficient Real Time Moving Object Detection”, Ecological Society of America ESA- Annual Meeting, 2010.

9. A.F.M.S. Saif, A.S. Prabuwonoand Z.R. Mahayuddin, “Moving Object Detection Using Dynamic Motion Modelling from UAV Aerial Images”, The Scientific World Journal, 2014, 890619, 2014.
10. M. Yazdiand and T. Bouwmans, “New Trends on Moving Object Detection in Video Images Captured by a moving Camera: A Survey”, Computer Science Review. 28, 157–177, 2018.
11. A.H. Açarçiçek, “Horn ve Schunck Optik Akış yöntemi ile hareket vektörlerinin gerçek zamanlı veya videolar üzerinden gerçeklenmesi (Matlab)”, Sayısal İşaret İşleme Tasarım ve Uygulama Ders Notu, No: 040100487, 2017.
12. S.G. Ebrahimi, “Shadow Aware Object Detection And Vehicle Identification Via License Plate Recognition”, Degree of Master of Science, Eastern Mediterranean University, Gazimağusa, North Cyprus, 1-6, 200).
13. B. Gökçe, G. Sonugür, “GPS destekli imge çakıştırma yöntemi ile hareketli nesnelerin tespiti”, Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi, 22(5), 353-360, 2016.
14. L.W.X. Cejnog, “Implementation and Evaluation of Differential Optical Flow Methods”, Unpublished Thesis, Universidade Federal de Juiz de Fora, Instituto de Ciencias Exatas, 2013.
15. B.B. Örten, “Moving Object Identification And Event Recognition In Video Surveillance Systems”, Yüksek Lisans Tezi, Ortadoğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, Ankara, 2005.
16. E. Özüntürk, “Optik Akış ile Hareket Tespiti”, Yüksek Lisans Tezi, Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü, İstanbul, 2007.
17. O. Şencan, “Otonom Mobil Robotlarda Optik Akış Tabanlı Görsel Eş Zamanlı Lokalizasyon ve Haritalama”, Yüksek Lisans Tezi, İstanbul Teknik Üniversitesi Fen Bilimleri Enstitüsü, 2010.
18. M.F. Talu, “Nesne takip yöntemlerinin sınıflandırması”, İstanbul Ticaret Üniversitesi Fen Bilimleri Dergisi, 9(18), 45-63, 2010.
19. M.S. Temiz, “Video Görüntülerinden Hareketli Nesnelerin Çıkarılması ve Hareket Yörüngelerinin Belirlenmesi”, Doktora Tezi, İTÜ Fen Bilimleri Enstitüsü, 2011.
20. J.L.Barron, D.Fleet and S.Beauchemin, “Performance of optical flow techniques”, International Journal of Computer Vision, 12(1), 43–77, 1994. DOI: 10.1007/BF01420984).
21. Thacker, N. A., Clark, A. F. Barron, J.L. and Ross Beveridge, J., Courtney, P., Crum, W. R., Ramesh, V., and Clark, C. (2008). Performance characterization in computer vision: A guide to best practices, Computer Vision and Image Understanding, 109(3), 305 - 334.
22. İnternet: Raudies, F. (2013) Optic flow. Scholarpedia, 8(7), 30724 http://www.webcitation.org/query?url=http%3A%2F%2Fwww.scholarpedia.org%2 Farticle%2FOptic_flow%23Definitions_of_optic_flow&date=2018-12-25. Son Erişim Tarihi: 24.08.2018.
23. E. Özüntürk, “Optik Akışla Hareket Tespiti”, Yüksek Lisans Tezi, Yıldız Teknik Üniversitesi Fen Bilimleri Enstitüsü, 2017].
24. B.K.P. Horn and B.G. Schunck, “Determining optical flow”, Artificial Intelligence, 17, 185-203, 1981.
25. B.D. Lucas and T.Kanade, “An iterative image registration technique with and application to stereo vision”, In Proceedings of Imaging Understanding Workshop, 121-130, 1981.
26. H.H. Nagel, “On the estimation of optical flow: relations between different approaches and some new results”, Artificial Intelligence 33, 299-324, 1987.
27. S. Uras, F. Girosi, A. Verri and V.T orre, “A computational approach to motion perception”, Biological Cybernetics, 60, 79-87, 1988.
28. P. Anandan, “A computational framework and an algorithm for measurement of visual motion”, International Journal of Computer Vision, 2:283-310, 1989.
29. J.J. Little, H.H. Bulthoff and T.A. Poggio, “Parallel optical flow using local voting”, In Proceedings of the 2nd International Conference on Computer Vision, Tampa, 454-459, 1988.
30. D.J. Heeger, “Optical flow using spatiotemporal filters”, International Journal of Computer Vision, 1(4), 279-302, 1988.
31. M. Shizawa and K. Mase, “A unified computational theory for motion transparency and motion boundaries based on eigenenergy analysis”, In Proceedings of IEEE Computer Vision and Pattern Recognition Conference CVPR'91, 289-295, 1991.
32. D. Fleet and A.D. Jepson, “Computation of component image velocity from local phase information”, International Journal of Computer Vision, 5(1), 77-104, 1990.
33. D. Sun, S. Rothand and M.J. Black, “Secrets of optic flow estimation and their principles”, In Proc. of Computer Vision and Pattern Recognition (CVPR) San Francisco, 2432-2439, 2010.
34. İnternet: Raudies. F., Optic Flow Estimation. URL: http://www.webcitation.org/query?url=https%3A%2F%2Fgithub.com%2Ffraudies %2Foptic-flow-estimation+&date=2018-12-26. Son Erişim Tarihi: 24.08.2018.
35. İnternet: Matlab. URL: https://www.mathworks.com/ Son Erişim Tarihi: 24.09.2022.
36. İnternet: http://www.webcitation.org/query?url=https%3A%2F%2Fwww.aliexpress.com%2Fitem%2FDIY-Full-Set-2-4GHz-4-Aixs-Quadcopter-RC-Drone-630mm-Frame-Kit-MINI-PIX-GPS%2F32851262028.html%3Fspm%3Da2g0s.9042311.0.0.4f4d4c4dzEybRq+&date=2018-12-25. [Son Erişim Tarihi: 24.08.2018].
37. İnternet: http://www.webcitation.org/query?url=https%3A%2F%2Fdevelopers.google.com%2Fmaps%2Fdocumentation%2F+&date=2018-12-25. [Son Erişim Tarihi: 24.08.2018].
38. İnternet: MATLAB GUI URL: https://www.mathworks.com/discovery/matlab-gui.html Son Erişim Tarihi: 24.09.2022.
39. İnternet:Ardupilot URL: https://ardupilot.org/planner/ Son Erişim Tarihi: 24.09.2022.