Şüpheli Davranışların Tespiti için İki Akışlı Uzamsal-Zamansal Grafik Evrişimsel Ağ ve Dönüştürücü Tabanlı Zamansal Dikkat Modeli

Abstract

Günümüzde okullar, konser alanları, sokaklar gibi kalabalık ortamların güvenlik sistemleri ile izlenmesi ve kaydedilmesi büyük önem taşımaktadır. Kaydedilen bu görüntüler ihtiyaç halinde izlenerek şüpheli durumların tespiti ve analizi yapılmaktadır. Ancak bu analizler insan faktörüne bağlı olduğu için çeşitli hatalara ve yanlış anlaşılmalara sebebiyet verebilmektedir. Bu çalışmanın temel amacı video görüntülerinden şüpheli hareket tespitinin yüksek doğrulukta ve otomatik şekilde yapılabileceği bir hareket analiz sistemi geliştirmektir. Bu amaç doğrultusunda, farklı derin öğrenme tabanlı modeller incelenmiş, UCF101 ve Human Activity & Suspicious Behavior Video Dataset veri setleri üzerinde performans değerlendirilmesi yapılmıştır. Günümüzde yoğun olarak kullanılan görüntü işleme modellerinden farklı olarak, YOLOv8-Pose modeli ile elde edilen insan iskelet verileri kullanılmıştır. Renk tabanlı modeller çevresel faktörlere oldukça duyarlıdır. Görüntü çözünürlüğü, ışık, kamera açısı gibi koşullar bu tipteki modeller için çok önemlidir. İskelet verileri ise bu koşullar karşısında daha dayanıklıdır. Bu çalışmada hareketlerin tespitinin yapılabilmesi için İki Akışlı Uzamsal-Zamansal Grafik Evrişimsel Ağ (Two-Stream ST-GCN) ve Transformer Tabanlı Zamansal Dikkat modeli önerilmiştir. Bu model hem pozisyon hem de hareket bilgilerini aynı ST-GCN blokları ile işlemektedir. İşlenen ST-GCN blokları sonrasında zamansal dikkat mekanizması ile birleştirilmektedir. UCF-101 ve Human Activity & Suspicious Behavior Video Dataset veri setleri üzerinde yapılan incelemeler sonucunda %93,81 F1 skoru elde edilmiştir. Çalışmada piksel tabanlı modellerin karşılaştırılması amacıyla ResNet18 tabanlı bir Evrişimsel Sinir Ağı-Uzun Kısa Süreli Bellek (Convolutional Neural Network-Long Short-Term Memory, CNN-LSTM) modeli ve ConvNeXt - Mamba mimarisi uygulanmıştır. Görüntülerdeki ışık, gürültü, kamera açısı gibi değişkenlerin negatif etkilerini azaltmak amacıyla piksel tabanlı yaklaşımlar yerine iskelet noktalarının baz alındığı bir mimari önerilmiştir. YOLOv8-Pose modeli ile insan vücuduna ait olan 17 eklem noktası çıkarılmış, bu noktalardan poz ve hareket hızı bilgileri elde edilmiştir. Elde edilen iki farklı iskelet bilgileri, uzamsal-zamansal ilişkilerin modellenebilmesi amacıyla İki Akışlı Uzamsal-Zamansal Graf Evrişim Ağı yapısına verilmiş ve sonrasında Transformer tabanlı dikkat mekanizması ile birleştirilmiştir. Transformer mekanizması ile hareketlerdeki kritik anların öğrenilmesi sağlanmıştır. Renk tabanlı modeller yüksek girdi ile eğitilirken (3x224x224x100=15.052.800), iskelet tabanlı modeller daha az girdi boyutu (2x100x17=3400) kullanarak, gerçek zamanlı güvenlik sistemlerine entegre edilebilecek bir performans sergilemiştir.

Keywords

• Şüpheli davranış tespiti
• derin öğrenme
• ST-GCN
• Transformer
• iskelet tabanlı hareket tanıma

Two-Stream ST-GCN and Transformer-Based Temporal Attention Model for Suspicious Behavior Detection

Abstract

In today's world, monitoring and recording of crowded environments such as schools, concert venues, and streets using security systems is of great importance. These recorded images are reviewed when needed to detect and analyze suspicious situations. However, since these analyses depend on human factors, they can lead to various errors and misunderstandings. This study aims to detect suspicious movements from videos using deep learning techniques. Unlike the image processing models widely used today, human skeletal data obtained with the YOLOv8-Pose model was used. Color-based models are highly sensitive to environmental factors. Conditions such as image resolution, lighting, and camera angle are critical for this type of model. Skeletal data, on the other hand, is more robust against these conditions. In this study, a Two-Stream Spatial-Temporal Graph Convolutional Networks (ST-GCN) + Transformer model is proposed for movement detection. This model processes both position and movement information with the same ST-GCN blocks. The processed ST-GCN blocks are then merged and fed into a temporal attention mechanism. Analysis of the UCF-101 and Human Activity & Suspicious Behavior Video Datasets yielded an F1 score of %93,81. The study included a comparative performance analysis of the ResNet18-LSTM and ConvNeXt-Mamba models. While color-based models were trained with a high input size (3x224x224x100=15,052,800), skeleton-based models demonstrated performance suitable for integration into real-time security systems using a smaller input size (2x100x17=3400).

Keywords

• Suspicious Behavior Detection
• Deep Learning
• ST-GCN
• Transformer
• Skeleton-Based Motion Recognition

References

1. Hua, C., Luo, K., Wu, Y., Shi, R. "YOLO-ABD: A multi-scale detection model for pedestrian anomaly behavior detection," Preprints, 2024.
2. Liu, Z., et al. "A ConvNet for the 2020s," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition” (CVPR), 2022.
3. Soomro, K., Zamir, A. R., Shah, M. "UCF101: A dataset of 101 human actions classes from videos in the wild," arXiv preprint arXiv:1212.0402, 2012.
4. Yan, S., Xiong, Y., Lin, D. "Spatial temporal graph convolutional networks for skeleton-based action recognition," Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, 2018.
5. Shi, L., Zhang, Y., Cheng, J., Lu, H. "Two-stream adaptive graph convolutional networks for skeleton-based action recognition," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
6. Plizzari, C., et al. "Spatial-Temporal Transformer Network for skeleton-based action recognition," International Conference on Pattern Recognition (ICPR), 2021.
7. Chen, D., et al. "Two-stream spatio-temporal GCN-transformer networks for skeleton-based action recognition," Scientific Reports, 15, Article 87752, 2025.
8. Singh, R., Singh, L. "DyHand: Dynamic hand gesture recognition using BiLSTM and soft attention methods," The Visual Computer, 41(1), 41-51, 2025.

9. Boudlal, A., Lakssir, B., Moughyt, N., Khamlichi, Y. I. "WiFi CSI and YOLOv8 Pose based approach for human activity recognition," IEEE Sensors Journal, 24(12), 19876–19885, 2024.
10. Shorten, C., Khoshgoftaar, T. M. "A survey on image data augmentation for deep learning," Journal of Big Data, 6(1), 1-48, 2019.
11. Um, T. T., et al. "Data augmentation of wearable sensor data for Parkinson's disease monitoring using convolutional neural networks," ACM ICMI, 2017.
12. Simonyan, K., Zisserman, A. "Two-stream convolutional networks for action recognition in videos," Advances in Neural Information Processing Systems (NeurIPS), 2014.
13. Alsawadi, M. S., Rio, M. "Human Action Recognition using BlazePose Skeleton on Spatial Temporal Graph Convolutional Networks," IEEE Access, 2022.