Kalman Filtresi ve Küresel En Yakın Komşu Yöntemi ile Çok Kişili Gerçek Zamanlı Poz Takibi

Öz

Poz tahmini, kamera ile çekilen görüntülerde insan iskeletindeki anahtar noktaların piksel konumlarının tespit edilmesi amacıyla ortaya çıkmıştır. Poz tahmini yöntemlerinin çıktıları görüntüde tespit edilen tüm eklem noktalarının piksel değerlerini ilişkilendirdiği kişiye göre vermektedir. Videolarda kişilerin hareketlerini anlamlandırmak için ardışık görüntü kareleri boyunca kimliklendirilmeleri gerekir. Böylece kişilerin video boyunca ne zaman hangi hareketleri yaptığı tespit edilebilir. Bu çalışmada sabit hızlı ve sabit ivmeli hareket modeline göre Kalman filtresi kullanarak küresel en yakın komşu (KEYK) algoritması ile tasarlanan çok kişili poz takibi yönteminin verdiği sonuçlar incelenmiştir. Geliştirilen ön işleme adımlarının poz tahmini yöntemlerinin kalitesini artırarak poz takibine etkisi de tespit edilmiştir. Bu amaçla PoseTrack veri kümesi üzerinde DCPose ve OpenPose poz tahmini yöntemlerinin başarımı değerlendirilmiştir. Ön işleme adımları ile sistemin başarımının her iki yöntem için de yükseldiği görülmüştür. Gerçek zamanlı çalışabilen, başarılı bir poz tahmini yöntemi olan ve düşük kaynak tüketimine sahip OpenPose yöntemi ile literatürde en iyi sonuçları veren DCPose yönteminin sonuçları incelendiğinde çok kişili poz takibi konusunda DCPose yönteminin daha başarılı sonuçlar verdiği görülmüştür. 550 farklı video ile elde edilen sonuçlar ön işleme adımları uygulandığında başarımı sabit hızlı ve sabit ivmeli hareket modellerinde aşağıdan yukarı yöntemi OpenPose için %22.6 ve %16.02, yukarıdan aşağı yöntemi DCPose için %21.2 ve %21.8 artırmıştır.  

Anahtar Kelimeler

• Gerçek zamanlı poz takibi
• poz tahmini
• Kalman filtresi
• küresel en yakın komşu yöntemi
• hareket tanıma için poz takibi

Multi-Person Real-Time Pose Tracking Using Kalman Filter and Global Nearest Neighbor

Öz

Pose estimation has emerged in order to detect pixel positions of keypoints on the human skeleton in images taken with the camera. The outputs of the pose estimation methods give the pixel values of all the articulation points detected in the image according to the person they associate with. In order to make sense of people's movements in videos, people need to be identified across successive frames. Thus, it can be determined when people make which movements during the video. In this study, the results of a multi-person exposure tracking method that is designed with the global nearest neighbor (GNN) algorithm using the Kalman filter based on constant velocity and constant acceleration motion models were examined. The effect of the developed preprocessing steps that increase the quality of the pose estimation methods on the pose tracking has also been determined. For this purpose, the performance of DCPose and OpenPose pose estimation methods on the PoseTrack dataset was evaluated. It was observed that the performance of the system increased for both methods with the preprocessing steps. When the results of OpenPose method, which can work in real time, a successful pose estimation method and have low resource consumption, and DCPose method, which gives the best results in the literature, are examined, it is seen that DCPose method gives better results in multi-person pose tracking. The results obtained with 550 different video increased the performance in constant velocity and constant acceleration motion models by 22.6% and 16.02% for bottom-up method OpenPose and 21.2% and 21.8% for top-down method DCPose when preprocessing steps were applied.

Anahtar Kelimeler

• Real-time pose tracking
• pose estimation
• Kalman filter
• global nearest neighbor method
• pose tracking for action recognition

Kaynakça

1. [1] Cote M., Jean F., Albu A.B., Capson D., "Video summarization for remote invigilation of online exams", IEEE Winter Conference on Applications of Computer Vision, Lake Placid, NY, 1-9, (2016).
2. [2] Yan S., Xiong Y., Lin D., "Spatial temporal graph convolutional networks for skeleton-based action recognition", AAAI Conference on Artificial Intelligence, New Orleans, Louisiana, 7444-7452, (2018).
3. [3] Üzen H., Hanbay K. "Yaya özellik tanıma için LM filtre temelli derin evrişimsel sinir ağı", Politeknik Dergisi, 23(3): 605-613, (2020).
4. [4] Çalışan M., Talu M.F. "Comparison of methods for determining activity from physical movements", Politeknik Dergisi, 24(1): 17-23, (2021).
5. [5] Snower M., Kadav A., Lai F., Graf H.P., "15 keypoints is all you need", IEEE/CVF Conference on Computer Vision and Pattern Recognition, Online, 6738-6748, (2020).
6. [6] Liu Z., Chen H., Feng R., Wu S., Ji S., Yang B., Wang X., “Deep Dual Consecutive Network for Human Pose Estimation”, IEEE Conference on Computer Vision and Pattern Recognition, Online, 525-534, (2021).
7. [7] Wang M., Tighe J., Modolo D., “Combining detection and tracking for human pose estimation in videos”, IEEE Conference on Computer Vision and Pattern Recognition, Online, 11088-11096, (2020).
8. [8] Sun K., Xiao B., Liu D., Wang J., “Deep high-resolution representation learning for human pose estimation”, IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, 5693-5703, (2019).

9. [9] Bulat A., Tzimiropoulos, G., "Human pose estimation via convolutional part heatmap regression", European Conference on Computer Vision, Cham, Amsterdam, 717-732, (2016).
10. [10] Cao Z., Simon T., Wei S.E., Sheikh Y., “Realtime multi-person 2D pose estimation using part affinity fields”, IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, Hawaii, 7291-7299, (2017).
11. [11] Kuhn H.W., “The Hungarian method for the assignment problem”, Naval Research Logistics Quarterly, 2(1‐2): 83-97, (1955).
12. [12] Ladicky L., Torr P.H., Zisserman A., “Human pose estimation using a joint pixel-wise and part-wise formulation”, IEEE Conference on Computer Vision and Pattern Recognition, Columbus, Ohio, 3578-3585, (2013).
13. [13] Jin S., Liu W., Ouyang W., Qian C., “Multi-person articulated tracking with spatial and temporal embeddings”, IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, 5664-5673, (2019).
14. [14] Raaj Y., Idrees H., Hidalgo G., Sheikh Y., “Efficient online multi-person 2D pose tracking with recurrent spatio-temporal affinity fields”, IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, CA, 4620-4628, (2019).
15. [15] Girdhar R., Gkioxari G., Torresani L., Paluri M., Tran D., “Detect-and-track: Efficient pose estimation in videos”, IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, Utah, 350-359, (2018).
16. [16] Xiao B., Wu H., Wei Y., “Simple baselines for human pose estimation and tracking”, European Conference on Computer Vision, Munich, Germany, 466-481, (2018).
17. [17] Andriluka M., Iqbal U., Insafutdinov E., Pishchulin L., Milan A., Gall J., Schiele B., “PoseTrack: A benchmark for human pose estimation and tracking”, IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, Utah, 5167-5176, (2018).
18. [18] Vondrick C., Patterson D., Ramanan D., “Efficiently scaling up crowdsourced video annotation”, International Journal of Computer Vision, 101(1): 184-204, (2013).
19. [19] Çimen M.E. , Boyraz Ö.F. , Garip Z. , Pehlivan İ. , Yıldız M.Z., Boz A.F. “Görüntü işleme tabanlı kutu sayma yöntemi ile fraktal boyut hesabı için arayüz tasarımı”, Politeknik Dergisi, 24(3): 867-878, (2021).
20. [20] Hasegawa I., Uenishi K., Fukunaga T., Kimura R., Osawa M., “Stature estimation formulae from radiographically determined limb bone length in a modern Japanese population”, Legal Medicine, 11(6): 260-266, (2009).
21. [21] Buizza C., Fischer T., Demiris Y. “Real-time multi-person pose tracking using data assimilation”, IEEE/CVF Winter Conference on Applications of Computer Vision, Online, 449-458, (2020).
22. [22] Moon S., Park Y., Ko D.W., Suh I.H., “Multiple kinect sensor fusion for human skeleton tracking using Kalman filtering”, International Journal of Advanced Robotic Systems, 13(2): 65, (2016).
23. [23] Kalman R.E., "A new approach to linear filtering and prediction problems", Journal of Basic Engineering, 82(1): 35-45, (1960).
24. [24] Brown R.G., "Introduction to random signal analysis and Kalman filtering", John Wiley & Sons Inc., New York, (1983).
25. [25] Bostanci E., Bostanci B., Kanwal N., Clark A.F., “Sensor fusion of camera, GPS and IMU using fuzzy adaptive multiple motion models”, Soft Computing, 22(8): 2619-2632, (2018).
26. [26] Unal M., Bostanci E., Guzel M.S., Unal F.Z., Kanwal N. “Evolutionary motion model transitions for tracking unmanned air vehicles”, New Trends in Computational Vision and Bio-inspired Computing, 1193-1200, Springer, Cham, (2020).
27. [27] Wang H., Zhang X., “Real‐time vehicle detection and tracking using 3D LiDAR”, Asian Journal of Control, 1-11, (2021).
28. [28] Munkres J., "Algorithms for the assignment and transportation problems", Journal of the Society for Industrial and Applied Mathematics, 5(1): 32-38, (1957).
29. [29] Güllü M., Polat H. "Text authorship identification based on ensemble learning and genetic algorithm combination in Turkish text", Politeknik Dergisi, 1-1, (2021).
30. [30] Karasu S., Saraç Z. "Güç kalitesi bozulmalarının Hilbert-Huang dönüşümü, genetik algoritma ve yapay zeka/makine öğrenmesi yöntemleri ile sınıflandırılması", Politeknik Dergisi, 23(4): 1219-1229, (2020).
31. [31] Bernardin K., Stiefelhagen R., “Evaluating multiple object tracking performance: The clear MOT metrics”, EURASIP Journal on Image and Video Processing, 1-10, (2008).