Ping-Pong Ball Tracking Through Deep Learning

Abstract

Computer vision technology has been constantly evolving from 1960’s on, and a lot of progress has been made in this field since that date. Today, different moving objects such as cars and people can be tracked on real-time images. However, the detection and tracking of small objects moving in nonlinear trajectories and at high speeds is still more challenging compared to large objects moving in more linear and slower speeds. Previously, different methods such as Kalman filters, particle filters, fuzzy logic and Gaussian modeling have been applied to the problem tracking such objects. But, in the last ten years, new methods using convolutional neural nets emerged as alternatives to these classical methods and they were applied to various problems with great success. In this study, a convolutional neural network-based system will be developed which enables the real-time detection and tracking of a fast-moving small object, such as a ping-pong ball. YOLO, which is a neural network-based object detection algorithm, is trained on the images of fast-moving ping-pong balls of various colors, where all the distortions accompanying fast moving objects like motion blur are present. For this purpose, a new training set is created. A high success rate is achieved in detecting and tracking the ping-pong ball, and it has been observed that real-time detection of such objects is possible with convolutional neural network-based algorithms. In future, this research is planned to be extended to a robot that can play table tennis. For this purpose, a two degree of freedom robot arm using 2 servos has been built, which continuously points the ping-pong ball with a pointer as it travels.

Keywords

• Computer vision
• Object detection
• Object tracking

Derin Öğrenme Vasıtasıyla Masa Tenisi Topu Takibi

Öz

Bilgisayarlı görü teknolojisi 1960’lı yıllardan itibaren gelişmeye başladı ve günümüzde bu alanda oldukça ilerleme katedildi. Bugün gerçek zamanlı görüntüler üzerinde arabalar, insanlar gibi farklı hareket halinde olan nesneler takip edilebilmektedir. Fakat doğrusal olmayan yörüngelerde ve çok hızlı hareket eden küçük cisimlerin tespiti ve takibi çoğu durum için daha doğrusal, normal hızlarda hareket eden büyük cisimlere göre çok daha zor olmaya devam ediyor. Bu tip nesnelerin takibi için Kalman filtresi, parçacık filtresi, bulanık mantık ve Gaussian modellemesi gibi farklı metodlar uygulanmıştır. Fakat son on yıl içinde evrişimsel sinir ağları kullanan yeni metodlar bu klasik metodlara alternatif olarak ortaya çıkmış ve birçok alanda büyük bir başarıyla uygulanmışlardır. Bu çalışmada, evrişimsel sinir ağlarını kullanarak pinpon topu gibi doğrusal olmayan yönlerde ve yüksek hızlarda hareket eden küçük cisimlerin gerçek zamanlı tespiti ve yardımcı algoritmalarla nesne takibinin yapılabilmesini sağlayan bir sistem geliştirilmiştir. Evrişimsel sinir ağı temelli bir nesne tespit algoritması olan YOLO, pinpon topunun farklı renk ve video üzerinde değişen biçimleriyle birlikte veri seti hazırlanarak eğitilmiş ve test edilmiştir. Büyük oranda başarı sağlandığı görülmüş, bu tür nesnelerin evrişimsel sinir ağı temelli algoritmalar ile gerçek zamanlı tespitinin ve takibinin mümkün olduğu görülmüştür. İleride yapılacak olan çalışmalarda masa tenisi oynayabilecek bir robot için araştırma yapılması planmaktadır. Bu nedenle, tespiti ve yardımcı algoritmalarla takibi yapılan pinpon topunu bir işaretçi ile sürekli olarak işaret eden 2 eksenli servo motor kullanan bir robot kol inşaa edilmiştir.

Anahtar Kelimeler

• Bilgisayarlı görü
• Nesne tespiti
• Nesne takibi

References

1. J. Redmon, S. D. (2016). You Only Look Once: Unified, Real-Time Object Detection. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 779-788). Las Vegas: IEEE.
2. Y. Huang, J. L. (2008). A Method of Small Object Detection and Tracking Based on Particle Filters. ICPR 19th International Conference on Pattern Recognition (s. 1-4). Tampa, FL: IEEE.
3. G. Chen, D. X. (2013). Visual Measurement of the Racket Trajectory in Spinning Ball Striking for Table Tennis Player. IEEE Transactions on Instrumentation and Measurement, 2901-2911.
4. J. Liu, Z. F. (2014). Improved high-speed vision system for table tennis robot. 2014 IEEE International Conference on Mechatronics and Automation (pp. 652-657). Tianjin: IEEE.
5. P. R. Kamble, A. G. (2019). Ball tracking in sports: a survey. Artificial Intelligence Review, vol. 52, no. 3, pp. 1-51.
6. Bochkovskiy, A. (2020, 04 23). GitHub - AlexeyAB/darknet: YOLOv3. Retrieved from github.com: https://github.com/AlexeyAB/darknet
7. Hu Su, Z. F. (2013). Trajectory Prediction of Spinning Ball Based on Fuzzy Filtering and Local Modeling forRobotic Ping–Pong Player. IEEE Transactions on Instrumentation and Meauserement, 2890-2900.
8. Szeliski, R. (2011). Computer Vision: Algorithms and Applications (Texts in Computer Science) 2011th Edition. Springer.

9. Aggarwal, C. C. (2018). Neural Networks and Deep Learning, A Textbook. Springer.
10. Branko Ristic, S. A. (2003). Beyond the Kalman Filter: Particle Filters for Tracking Applications. Artech House.
11. Corke, P. (2017). Robotics, Vision and Control: Fundamental Algorithms In MATLAB, Second Edition. Springer.
12. Rafael C. Gonzalez, R. E. (2017). Digital Image Processing, 4th Edition. Pearson.
13. Simon, D. (2006). Optimal State Estimation: Kalman, H Infinity, and Nonlinear Approaches 1st Edition. Wiley.
14. Paul Scherz, S. M. (2016). Practical Electronics for Inventors, Fourth Edition. McGraw-Hill Education T