Otomatik Yolcu Sayma Sistemlerinde Derinlik Bilgisinin Kullanımına Yönelik Kapsamlı Bir İnceleme ve Kavramsal Mimari Çıkarımı

Öz

Toplu taşıma sistemlerinde yolcu sayısı, hizmet planlaması ve operasyonel verimlilik açısından kritik bir girdidir. Ancak yolcu yoğunluğu; saat, hava koşulları ve yerel etkinlikler gibi faktörlere bağlı olarak sürekli değişmektedir. Geleneksel biletleme ve turnike tabanlı yöntemler, dolaylı veri üretmeleri ve insan faktörüne bağlı olmaları nedeniyle özellikle yoğun ortamlarda doğruluk sorunları yaratmaktadır. Bu nedenle otomatik yolcu sayma sistemleri önem kazanmıştır. Özellikle derinlik verisi kullanan yaklaşımlar son yıllarda öne çıkmıştır. Bu çalışmada, yolcu sayımında derinlik bilgisinin kullanımı sistematik olarak incelenmektedir. Renk+derinlik, stereo görüş ve uçuş süresi (Time of Flight - ToF) sensörlerinin otomatik yolcu sayma uygulamalarındaki rolleri incelenmiştir. Üstten bakış konfigürasyonunun örtülmeye (occlusion) karşı dayanıklı olması ve yön ayrıştırma başarımı sayesinde baskın mimari haline geldiği görülmüştür. Literatür, sensör tercihlerinin stereo sistemlerden ToF teknolojilerine evrildiğini; algoritmik olarak ise klasik segmentasyondan çok aşamalı tespit-takip ve öğrenme tabanlı hibrit modellere geçiş yaşandığını göstermektedir. Modern sistemlerde hata oranlarının %1–3 seviyelerine yaklaştığı ve 30-60 kare hızı ile gerçek zamanlılık hedeflerinin sağlandığı görülmektedir. Ayrıca mevcut literatür tarama çalışmalarında otomatik yolcu sayma sistemlerinin bileşenleri tekil olarak incelenmekte ve bileşenlerin sistem seviyesinde nasıl bir araya getirileceğine dair bütüncül bir çerçeve sunulmamaktadır. Bu nedenle, literatürdeki ortak tasarım desenlerinden hareketle, derinlik tabanlı otomatik yolcu sayma sistemleri için hem modüler hem de bütüncül bir referans mimari çıkarılmıştır. Bu mimari, algılama, ön işleme, insan tespiti, çoklu nesne takibi ve yön tabanlı sayım katmanlarını birleştirmektedir. Çalışmada, demiryolu toplu taşıma sistemlerinde otomatik yolcu sayımı için derinlik bilgisinin yalnızca sensör seçiminde değil, aynı zamanda sistem mimarisinde ve algoritma tasarımında önemli bir unsur olduğu sonucuna varılmıştır.

Anahtar Kelimeler

• Otomatik Yolcu Sayma
• Derinlik Kamerası
• Time-Of-Flight
• Üstten Bakış
• Yolcu Tespiti
• Takip

Destekleyen Kurum

T.C. Ulaştırma ve Altyapı Bakanlığı, Ulaştırma, Denizcilik ve Haberleşme Araştırmaları Merkezi Başkanlığı (UDHAM)

Proje Numarası

2023.UT.01.01.004

Etik Beyan

Bu çalışmanın hazırlanması sürecinde, yapay zekâ tabanlı araçlardan yalnızca yazım dili, dilbilgisi ve anlatımın iyileştirilmesi amacıyla yararlanılmıştır. Yapay zekâ araçları, literatür taraması, çalışmanın bilimsel içeriğinin oluşturulması, veri analizi, sonuçların elde edilmesi veya yorumlanması süreçlerinde kullanılmamıştır. Bu makalede bilimsel araştırma ve yayın etiğine uyulmuştur. Yazarların katkıları: Şükrü GÖRGÜLÜ ve Soner ADIYAMAN: Kavramsallaştırma, Metodoloji, Görselleştirme, Orijinal Taslak Yazımı ve Kaynaklar. Seray ÖDEN ve Necim Kırımça: Doğrulama, İnceleme, Gözden geçirme ve Düzenleme.

Teşekkür

Bu çalışma, Albayrak Makine Elektronik San. Tic. A.Ş. ARGE merkezi bünyesinde, T.C. Ulaştırma ve Altyapı Bakanlığı, Ulaştırma, Denizcilik ve Haberleşme Araştırmaları Merkezi Başkanlığı (UDHAM) tarafından desteklenen 2023.UT.01.01.004 kodlu "Yapay Zekâ Tabanlı Araç İçi Yolcu Yoğunluğu Yönetim Sistemi – Yolcu Sayma, Analiz, Bilgi Paylaşım, Yolcu Yönlendirme" projesi kapsamında yapılmıştır.

A Comprehensive Review and Conceptual Architecture Derivation for the Use of Depth Information in Automated Passenger Counting Systems

Öz

Passenger volume is a key input for service planning and operations in public transport systems. However, it varies dynamically with factors such as time of day, weather, and local events, making accurate and real-time estimation essential for both efficiency and passenger comfort. Traditional ticketing and turnstile-based methods rely on indirect data and human factors, often leading to inaccuracies in crowded and dynamic environments. As a result, automated passenger counting (APC) systems have gained prominence, particularly those leveraging depth information. This study examines the use of depth-based approaches, focusing on RGB-D, Stereo Vision, and Time-of-Flight (ToF) sensors. Findings indicate that top-down configurations have become dominant due to their robustness against occlusion and effectiveness in direction detection. The literature also highlights a technological shift from stereo vision to ToF sensors, alongside a transition from classical segmentation methods to multi-stage detection, tracking, and learning-based hybrid models. Modern APC systems achieve error rates as low as 1–3% while maintaining real-time performance of 30–60 frames/second. Existing literature reviews examine the components of APC systems individually, and a holistic framework for integrating them at the system level is lacking. Therefore, based on common patterns in the literature, a modular reference architecture was derived for depth-based APC systems, integrating sensing, preprocessing, human detection, multi-object tracking, and direction-based counting. The study concludes that depth information is not only a topic for sensor choice but a key factor shaping system architecture and algorithmic design.

Anahtar Kelimeler

• Automatic Passenger Counting
• Depth Camera
• Time-Of-Flight
• Overhead
• Passenger Detection
• Tracking

Destekleyen Kurum

Republic of Turkey Ministry of Transport and Infrastructure, Transport, Maritime and Communications Research Center (UDHAM)

Proje Numarası

2023.UT.01.01.004

Etik Beyan

In the preparation of this study, AI-based tools were used only for the purpose of improving writing style, grammar, and expression. AI tools were not used in the literature review, the creation of the scientific content of the study, data analysis, obtaining or interpreting results. This article adheres to scientific research and publication ethics. Contributions by the authors: Şükrü GÖRGÜLÜ and Soner ADIYAMAN: Conceptualization, Methodology, Visualization, Original Draft Writing, and References. Seray ÖDEN and Necim Kırımça: Verification, Review, and Editing.

Teşekkür

This study was conducted within the scope of the project coded 2023.UT.01.01.004, "Yapay Zekâ Tabanlı Araç İçi Yolcu Yoğunluğu Yönetim Sistemi – Yolcu Sayma, Analiz, Bilgi Paylaşım, Yolcu Yönlendirme” supported by the Republic of Turkey Ministry of Transport and Infrastructure, Transport, Maritime and Communications Research Center (UDHAM), at the R&D center of Albayrak Makine Elektronik San. Tic. A.Ş.

Kaynakça

1. [1] J. Salvi, S. Fernandez, T. Pribanic, and X. Llado, “A state of the art in structured light patterns for surface profilometry,” Pattern Recognition, vol. 43, no. 8, pp. 2666–2680, 2010, doi: 10.1016/j.patcog.2010.03.004
2. [2] Z. Zhang, “Microsoft kinect sensor and its effect,” IEEE Multimedia, vol. 19, no. 2, pp. 4–10, 2012, doi: 10.1109/MMUL.2012.24
3. [3] D. Scharstein and R. Szeliski, “A taxonomy and evaluation of dense two-frame stereo correspond-ence algorithms,” International Journal of Computer Vision, vol. 47, no. 1–3, pp. 7–42, 2002, doi: 10.1023/A:1014573219977
4. [4] R. Hartley and A. Zisserman, Multiple view geometry in computer vision. Cambridge, U.K.: Cam-bridge University Press, 2004.
5. [5] R. Lange and P. Seitz, “Solid-state time-of-flight range camera,” IEEE Journal of Quantum Electron-ics, vol. 37, no. 3, pp. 390–397, 2001.
6. [6] A. Kolb, E. Barth, R. Koch, and R. Larsen, “Time-of-flight sensors in computer graphics,” Computer Graphics Forum, vol. 29, no. 1, pp. 141–159, 2010, doi: 10.1111/j.1467-8659.2009.01583.x
7. [7] H. Zhang, C. Reardon, and L. E. Parker, “Real-time multiple human perception with color-depth cameras on a mobile robot,” IEEE Transactions on Cybernetics, vol. 43, no. 5, pp. 1429–1441, 2013, doi: 10.1109/TCYB.2013.2275291
8. [8] O. H. Jafari, D. Mitzel, and B. Leibe, “Real-time RGB-D based people detection and tracking for mobile robots and head-worn cameras,” in Proc. IEEE Int. Conf. Robotics and Automation (ICRA), 2014, pp. 5636–5643, doi: 10.1109/ICRA.2014.6907688

9. [9] J. Liu, Y. Liu, Y. Cui, and Y. Q. Chen, “Real-time human detection and tracking in complex envi-ronments using single RGB-D camera,” in Proc. IEEE Int. Conf. Image Processing, 2013, pp. 3088–3092, doi: 10.1109/ICIP.2013.6738636
10. [10] J. Liu, Y. Liu, G. Zhang, P. Zhu, and Y. Q. Chen, “Detecting and tracking people in real time with RGB-D camera,” Pattern Recognition Letters, vol. 53, pp. 16–23, 2015, doi: 10.1016/j.patrec.2014.09.013
11. [11] J. Liu, G. Zhang, Y. Liu, L. Tian, and Y. Q. Chen, “An ultra-fast human detection method for color-depth camera,” Journal of Visual Communication and Image Representation, vol. 31, pp. 177–185, 2015, doi: 10.1016/j.jvcir.2015.06.014
12. [12] Y. Xiao, V. R. Kamat, and C. C. Menassa, “Human tracking from single RGB-D camera using online learning,” Image and Vision Computing, vol. 88, pp. 67–75, 2019, doi: 10.1016/j.imavis.2019.05.003
13. [13] Y. Yao, X. Zhang, Y. Liang, X. Zhang, F. Shen, and J. Zhao, “A real-time pedestrian counting system based on RGB-D,” in Proc. 12th Int. Conf. Advanced Computational Intelligence (ICACI), 2020, pp. 110–117, doi: 10.1109/ICACI49185.2020.9177816
14. [14] M. Gochoo, S. A. Rizwan, Y. Y. Ghadi, A. Jalal and K. Kim, “A systematic deep learning based over-head tracking and counting system using RGB-D remote cameras,” Applied Sciences, vol. 11, no. 12, pp. 5503, 2021, doi: 10.3390/app11125503
15. [15] L. Tian, M. Li, Y. Hao, J. Liu, G. Zhang, and Y. Q. Chen, “Robust 3-D human detection in complex environments with a depth camera,” IEEE Transactions on Multimedia, vol. 20, no. 9, pp. 2249–2261, 2018, doi: 10.1109/TMM.2018.2803526
16. [16] L. Xia, C.-C. Chen, and J. K. Aggarwal, “Human detection using depth information by kinect,” in CVPR 2011 Workshops, 2011, pp. 15–22, doi: 10.1109/CVPRW.2011.5981811
17. [17] F. Galčík and R. Gargalík, “Real-time depth map based people counting,” in International Confer-ence on Advanced Concepts for Intelligent Vision Systems, 2013, pp. 330–341.
18. [18] L. Zhu and K.-H. Wong, “Human tracking and counting using the kinect range sensor based on ada-boost and kalman filter,” in International Symposium on Visual Computing (ISVC), 2013, pp. 582–591.
19. [19] M. H. Khan, K. Shirahama, M.S. Farid and M. Grzegorzek, “Multiple human detection in depth im-ages,” in IEEE 18th Int. Workshop Multimedia Signal Processing (MMSP), 2016, pp. 1–6, doi: 10.1109/MMSP.2016.7813385
20. [20] Z. Qiuyu, T. Li, J. Yiping, and D. Wei-jun, “A novel approach of counting people based on stereovi-sion and DSP,” in The 2nd. Int. Conf. on Computer and Automation Engineering (ICCAE), 2010, pp. 81–84, doi: 10.1109/ICCAE.2010.5451996
21. [21] N. Bernini, L. Bombini, M. Buzzoni, P. Cerri, and P. Grisleri, “An embedded system for counting passengers in public transportation vehicles,” in IEEE/ASME 10th Int. Conf. Mechatronic and Em-bedded Systems and Applications (MESA), 2014, pp. 1–6, doi: 10.1109/MESA.2014.6935562
22. [22] T. Yahiaoui, L. Khoudour, and C. Meurie, “Real-time passenger counting in buses using dense ste-reovision,” Journal of Electronic Imaging, vol. 19, no. 3, 2010, doi: 10.1117/1.3455989
23. [23] M. Rauter, “Reliable human detection and tracking in top-view depth images,” in Proc. IEEE CVPR Workshops, 2013, pp. 529–534.
24. [24] D. Nurseitov, K. Bostanbekov, N. Toiganbayeva, A. Zhalgas, D. Yedilkhan, and B. Amirgaliyev, "Vision-based people counting and tracking for urban environments," Journal of Imaging, vol. 12, no. 1, pp. 27, 2026, doi: 10.3390/jimaging12010027.
25. [25] D. Klauser, G. Bärwolff, and H. Schwandt, “A TOF-based automatic passenger counting approach in public transportation systems,” AIP Conference Proceedings, vol. 1648, no. 1, pp. 850113, 2015, doi: 10.1063/1.4913168
26. [26] A. Bevilacqua, L. Di Stefano, and P. Azzari, “People tracking using a time-of-flight depth sensor,” in Proc. IEEE Int. Conf. on Video and Signal Based Surveillance, 2006, pp. 89–89, doi: 10.1109/AVSS.2006.92
27. [27] R. Tanner, M. Studer, A. Zanoli, and A. Hartmann, “People detection and tracking with tof sensor,” in IEEE Fifth International Conference on Advanced Video and Signal Based Surveillance, 2008, pp. 356–361, doi: 10.1109/AVSS.2008.18
28. [28] S. Ikemura and H. Fujiyoshi, “Human detection by haar-like filtering using depth information,” in Proc. of the 21st ICPR, 2012, pp. 813–816.
29. [29] C. Stahlschmidt, A. Gavriilidis, J. Velten and A. Kummert, “Applications for a people detection and tracking algorithm using a time-of-flight camera,” Multimedia Tools and Applications, vol. 75, no. 17, pp. 10769–10786, 2016.
30. [30] C.A. Luna Vazquez, C. Losada Gutierrez, D. Fuentes Jimenez, A. Fernandez Rincon, M. R. Mazo Quintas, and J. Macias Guarasa “Robust people detection using depth information from an overhead time-of-flight camera,” Expert Systems with Applications, vol. 71, pp. 240–256, 2017, doi: 10.1016/j.eswa.2016.11.019
31. [31] A. Fernandez-Rincon, D. Fuentes-Jimenez, C. Losada-Gutierrez, M. Marron-Romera, C.A. Luna, J. Macias-Guarasa and M. Mazo, “Robust people detection and tracking from an overhead time-of-flight camera,” in International Conference on Computer Vision Theory and Applications, 2017, pp. 556–564.
32. [32] W. Wang, P. Liu, R. Ying, J. Wang, J. Qian, J. Jia, J. Gao, “A high-computational efficiency human detection and flow estimation method based on tof measurements,” Sensors, vol. 19, no. 3, pp. 729, 2019, doi: 10.3390/s19030729
33. [33] F. Zoghlami, O.K. Sen, H. Heinrich, G. Schneider, E. Ercelik, A. Knoll, T. Villmann, “ToF/radar early feature-based fusion system for human detection and tracking,” in 22nd IEEE ICIT, 2021, pp. 942–949, doi: 10.1109/ICIT46573.2021.9453703
34. [34] W. Rahmaniar, W. Wang, C. Chiu and N. Hakim, “Real-time bi-directional people counting using an RGB-D camera,” Sensor Review, vol. 41, no. 4, pp. 341-349, 2021, doi: 10.1108/SR-12-2020-0301
35. [35] C. Stahlschmidt, A. Gavriilidis, J. Velten, and A. Kummert, “People detection and tracking from a top-view position using a time-of-flight camera,” in MCSS, 2013, pp. 213–223.
36. [36] L. Tamas and A. Cozma, “Embedded real-time people detection and tracking with time-of-flight camera,” in Real-Time Image Processing and Deep Learning, vol. 11736, pp. 65-70, 2021, doi: 10.1117/12.2586057
37. [37] T.-E. Tseng, A.-S. Liu, P.-H. Hsiao, C.-M. Huang, and L.-C. Fu, “Real-time people detection and tracking for indoor surveillance using multiple top-view depth cameras,” in. IEEE/RSJ IROS, 2014, pp. 4077–4082, doi: 10.1109/IROS.2014.6943136
38. [38] S. T. Dharmarajan, Y. Zhang, B. Li, M. Saada, H. Cai, Q. Meng, Q. Zhu, Q. Han, “Development of a depth imaging-based passenger counting sensor for public transportation,” in IEEE RAICS, 2025, pp. 192–200, doi: 10.1109/RAICS66191.2025.11332612
39. [39] S. Thandassery, Y. Zhang, B. Li, M. Saada, H. Cai, Q. Meng, Q. Zhu, Q. Han “Smart railway passen-ger counting and information systems powered by real-time embedded AI and computer vision,” in IEEE ICVES, 2025, pp. 453–459, doi: 10.1109/ICVES65691.2025.11376469