Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma

Selin Gök Işık; Hazım Ekenel

doi:10.54525/tbbmd.1076239

Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma

Öz

Günümüzde kişi tanıma için kullanılan birçok biyometrik özellik vardır. Göz, iris, kulak, parmak izi, DNA gibi fiziksel biyometrik özelliklerden farklı olarak davranışsal biyometrik özelliklerimiz zamanla öğrenilir ve gelişirler. Yürüyüş, yakın mesafeden görüntü edinimi gerektiren fiziksel biyometrilerin aksine, uzak mesafeden kaydedilmiş görüntüler üzerinden kişiyi tanımayı sağlamaktadır. Bu makalede, yürüyüşten kişi tanıma problemi için derin öğrenme yöntemi kullanan görünüm tabanlı bir yaklaşım önerilmiştir. Çalışmada, yürüyüş tanıma probleminde yaygın kullanılan girdiler olan ikili insan silüetinin ve yürüyüş enerji imgesinin kişi tanıma başarımına etkileri incelenmiştir. Ayrıca yöntemi pratik uygulamalarda kullanıma daha uygun hale getirebilmek için insan silüeti çıkarma, yürüyüş döngüsü hesaplama gibi ön işleme adımları kaldırılmış ve doğrudan RGB çerçeveleri girdi olarak kullanılmıştır. Ek olarak transfer öğrenmenin başarıma katkısı gözlemlenmiş, bu amaçla popüler bir nesne tanıma modeli CASIA-B yürüyüş veri kümesi üzerinde ince ayarlanmıştır. Yürüyüş dizisini temsil edecek öznitelik vektörünün elde edilmesi aşamasında çerçevelerden çıkarılan öznitelik vektörleri arasında farklı birleştirme yöntemleri denenmiş ve başarıları karşılaştırılmıştır. Önerilen yaklaşımın başarımı hem bu alanda sıkça kullanılan CASIA-B ve OU-ISIR Büyük Popülasyon yürüyüş veri kümelerinde hem de gerçek hayattan toplanmış yürüyüş verileri içeren PRID-2011 kişiyi yeniden tanıma veri kümesi üzerinde deneyler yapılarak ölçülmüştür. Açı farklılıklarının etkisini gözlemlemek için deneyler özdeş ve çapraz görünüm koşulları için tekrarlanmıştır. Derin öğrenme yaklaşımı kullanılarak elde ettiğimiz sonuçlar geleneksel yöntemlerin sonuçlarına göre daha başarılı bulunmuştur.

Anahtar Kelimeler

Kaynakça

S. G. Işık and H. K. Ekenel, "Deep Convolutional Feature-based Gait Recognition Using Silhouettes and RGB Images," 2021 6th International Conference on Computer Science and Engineering (UBMK), 2021, pp. 336-341, doi: 10.1109/UBMK52708.2021.9559026.
Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A., Bernstein, M., Berg, A.C. ve Fei-Fei, L. (2015). ImageNet Large Scale Visual Recognition Challenge, International Journal of Computer Vision, 115(3), 211–252.
Yu, S., Tan, D. ve Tan, T. (2006). A Framework for Evaluating the Effect of View Angle, Clothing and Carrying Condition on Gait Recognition, 18th International Conference on Pattern Recognition (ICPR’06), cilt 4, s.441–444.
Iwama, H., Okumura, M., Makihara, Y. ve Yagi, Y. (2012). The OU-ISIR Gait Database Comprising the Large Population Dataset and Performance Evaluation of Gait Recognition, IEEE Trans. on Information Forensics and Security, 7, Issue 5, 1511–1521.
Simonyan, K. ve Zisserman, A. (2015). Very Deep Convolutional Networks for Large-Scale Image Recognition, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings.
Tafazzoli, F. ve Safabakhsh, R. (2010). Model-based human gait recognition using leg and arm movements, Engineering Applications of Artificial Intelligence, 23(8), 1237–1246.
Cunado, D., Nixon, M.S., Carter, J.N., 2003. Automatic extraction and description of human gait models for recognition purposes. Computer Vision and Image Understanding 90 (1), 1–41.
Yoo, J.H., Hwang, D., Moon, K.Y. ve Nixon, M.S. (2008). Automated Human Recognition by Gait using Neural Network, 2008 First Workshops on Image Processing Theory, Tools and Applications, s.1–6.

Zhang, R., Vogler, Ch., Metaxas, D., 2007. Human gait recognition at sagittal plane. Image and Vision Computing 25, 321–330.
R. Liao, C. Cao, E. B. Garcia, S. Yu, and Y. Huang, “Posebased temporal-spatial network (PTSN) for gait recognition with carrying and clothing variations,” in Chinese Conference on Biometric Recognition. Springer, 2017, pp. 474–483.
W. An, S. Yu, Y. Makihara, X. Wu, C. Xu, Y. Yu, R. Liao, and Y. Yagi, “Performance evaluation of model-based gait on multi-view very large population database with pose sequences,” IEEE Transactions on Biometrics, Behavior, and Identity Science, vol. 2, no. 4, pp. 421–430, 2020.
Lam, T., Lee, R. ve Zhang, D. (2007). Human gait recognition by the fusion of motion and static spatio-temporal templates, Pattern Recognition, 40, 2563–2573.
Y. Zhang, Y. Huang, S. Yu, and L. Wang, “Cross-view gait recognition by discriminative feature learning,” IEEE Transactions on Image Processing, vol. 29, pp. 1001–1015, 2019.
Hochreiter, Sepp & Schmidhuber, Jürgen. (1997). Long Short-term Memory. Neural computation. 9. 1735-80.
Zhang, X., Sun, S., Li, C., Zhao, X. ve Hu, Y. (2017). DeepGait: A Learning Deep Convolutional Representation for Gait Recognition, J. Zhou, Y. Wang, Z. Sun, Y. Xu, L. Shen, J. Feng, S. Shan, Y. Qiao, Z. Guo ve S. Yu, (düzenleyenler), Biometric Recognition, Springer International Publishing, Cham, s.447–456.
Wang, K., Liu, L., Lee, Y., Ding, X. ve Lin, J. (2019). Nonstandard Periodic Gait Energy Image for Gait Recognition and Data Augmentation, Z. Lin, L. Wang, J. Yang, G. Shi, T. Tan, N. Zheng, X. Chen ve Y. Zhang, (düzenleyenler), Pattern Recognition and Computer Vision, Springer International Publishing, Cham, s.197–208.
Wu, Z., Huang, Y. ve Wang, L. (2015). Learning Representative Deep Features for Image Set Analysis, IEEE Transactions on Multimedia, 17(11), 1960–1968.
Chao, Hanqing & He, Yiwei & Zhang, Junping & Feng, Jianfeng. (2019). GaitSet: Regarding Gait as a Set for Cross-View Gait Recognition. Proceedings of the AAAI Conference on Artificial Intelligence.
Fan, Chao & Peng, Yunjie & Cao, Chunshui & Liu, Xu & Hou, Saihui & Chi, Jiannan & Huang, Yongzhen & Li, Qing & He, Zhiqiang. (2020). GaitPart: Temporal Part-Based Model for Gait Recognition.
Ziyuan Zhang, Luan Tran, Xi Yin, Yousef Atoum, Jian Wan, Nanxin Wang, and Xiaoming Liu. Gait recognition via disentangled representation learning. In CVPR, 2019.
Zhong Li, Jiulong Xiong, Xiangbin Ye, "A new gait energy image based on mask processing for pedestrian gait recognition," Proc. SPIE 11321, 2019 International Conference on Image and Video Processing, and Artificial Intelligence, 113212A (27 November 2019).
Sun, K., Xiao, B., Liu, D. ve Wang, J. (2019). Deep High-Resolution Representation Learning for Human Pose Estimation, 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), s.5686–5696.
Xiao, B., Wu, H. ve Wei, Y. (2018). Simple Baselines for Human Pose Estimation and Tracking, V. Ferrari, M. Hebert, C. Sminchisescu ve Y. Weiss, (düzenleyenler), Computer Vision – ECCV 2018, Springer International Publishing, Cham, s.472–487.
Wang, J., Sun, K., Cheng, T., Jiang, B., Deng, C., Zhao, Y., Liu, D., Mu, Y., Tan, M., Wang, X., Liu, W. ve Xiao, B. (2021). Deep High-Resolution Representation Learning for Visual Recognition, IEEE Transactions on Pattern Analysis & Machine Intelligence, 43(10), 3349–3364.
Adler, A., Youmaran, R. ve Loyka, S. (2009). Towards a measure of biometric feature information, Formal Pattern Analysis & Applications, 12, 261–270.
Hirzer, M., Beleznai, C., Roth, P.M. ve Bischof, H. (2011). Person Re-Identification by Descriptive and Discriminative Classification, Proc. Scandinavian Conference on Image Analysis (SCIA).
Y. Boykov and M. Jolly, “Interactive graph cuts for optimal boundary and region segmentation of objects in n-d images,” in Proc. Int. Conf. Computer Vision, 2001, pp. 105–112.
Kingma, D. ve Ba, J. (2014). Adam: A Method for Stochastic Optimization, International Conference on Learning Representations.
Selvaraju, R.R., Cogswell, M., Das, A., Vedantam, R., Parikh, D. ve Batra, D. (2017). Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization, 2017 IEEE International Conference on Computer Vision (ICCV), s.618–626.
Hofmann, M., Geiger, J., Bachmann, S., Schuller, B. ve Rigoll, G. (2014). The TUM Gait from Audio, Image and Depth (GAID) database: Multimodal recognition of subjects and traits, Journal of Visual Communication and Image Representation, 25(1), 195–206.
Shutler, J.D., Grant, M.G., Nixon, M.S. ve Carter, J.N. (2004). On a Large Sequence-Based Human Gait Database, Applications and Science in Soft Computing, Springer Berlin Heidelberg, Berlin, Heidelberg, s.339–346.
Z. Wu, Y. Huang, L. Wang, X. Wang and T. Tan, "A Comprehensive Study on Cross-View Gait Based Human Identification with Deep CNNs," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 2, pp. 209-226, 2017.
Xing, W., Li, Y. ve Zhang, S. (2018). View-invariant gait recognition method by three-dimensional convolutional neural network, Journal of Electronic Imaging, 27, 1.
Wu, Z., Huang, Y. ve Wang, L. (2015). Learning Representative Deep Features for Image Set Analysis, IEEE Transactions on Multimedia, 17(11), 1960–1968.
Hu, M., Wang, Y., Zhang, Z., Little, J.J. ve Huang, D. (2013). View-Invariant Discriminative Projection for Multi-View Gait-Based Human Identification, IEEE Transactions on Information Forensics and Security, 8(12), 2034–2045.

Ayrıntılar

Birincil Dil

Türkçe

Konular

Mühendislik

Bölüm

Araştırma Makalesi

Yazarlar

Selin Gök Işık ^*
0000-0001-7914-4530
Türkiye

Hazım Ekenel
0000-0003-3697-8548
Türkiye

Yayımlanma Tarihi

27 Haziran 2022

Gönderilme Tarihi

19 Şubat 2022

Kabul Tarihi

21 Nisan 2022

Yayımlandığı Sayı

Yıl 2022 Cilt: 15 Sayı: 1

DOI

https://doi.org/10.54525/tbbmd.1076239

IZ

https://izlik.org/JA53JB85PN

Kaynak Göster

RIS / Bibtex

APA

Gök Işık, S., & Ekenel, H. (2022). Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 15(1), 44-55. https://doi.org/10.54525/tbbmd.1076239

AMA

1.Gök Işık S, Ekenel H. Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma. TBV-BBMD. 2022;15(1):44-55. doi:10.54525/tbbmd.1076239

Chicago

Gök Işık, Selin, ve Hazım Ekenel. 2022. “Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma”. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi 15 (1): 44-55. https://doi.org/10.54525/tbbmd.1076239.

EndNote

Gök Işık S, Ekenel H (01 Haziran 2022) Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi 15 1 44–55.

IEEE

[1]S. Gök Işık ve H. Ekenel, “Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma”, TBV-BBMD, c. 15, sy 1, ss. 44–55, Haz. 2022, doi: 10.54525/tbbmd.1076239.

ISNAD

Gök Işık, Selin - Ekenel, Hazım. “Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma”. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi 15/1 (01 Haziran 2022): 44-55. https://doi.org/10.54525/tbbmd.1076239.

JAMA

1.Gök Işık S, Ekenel H. Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma. TBV-BBMD. 2022;15:44–55.

MLA

Gök Işık, Selin, ve Hazım Ekenel. “Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma”. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, c. 15, sy 1, Haziran 2022, ss. 44-55, doi:10.54525/tbbmd.1076239.

Vancouver

1.Selin Gök Işık, Hazım Ekenel. Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma. TBV-BBMD. 01 Haziran 2022;15(1):44-55. doi:10.54525/tbbmd.1076239

Silüet ve RGB Görüntüleri ile Derin Evrişimsel Sinir Ağları Kullanarak Yürüyüşten Kimlik Tanıma

Öz

Anahtar Kelimeler

Kaynakça

Ayrıntılar

Birincil Dil

Konular

Bölüm

Yazarlar

Yayımlanma Tarihi

Gönderilme Tarihi

Kabul Tarihi

Yayımlandığı Sayı

DOI

IZ

Kaynak Göster

https://i.creativecommons.org/l/by-nc/4.0Makale Kabulü