A Novel Dataset of Human Daily Activities: Its Benchmarking Results for Classification Performance Via Using Deep Learning Techniques

Öz

Studies to classify human activities can contribute to the development of new systems that will facilitate daily life by evaluating the interaction of individuals with their environment. In this study, a novel data set is presented to be used in classifying the activities that individuals perform during the day. First of all, various deep architectural models presented in the study were tested with publicly available datasets well-known in the literature. Afterwards, various classification experiments were carried out by using our novel dataset, which was created with the sensor data collected with the smartphone located onto the belly region of ten volunteer individuals consisting of five males and five females aged between 25 and 55 years. Data of each activity at two different positions were taken, and also, 15 seconds raw data including 4 dynamic and 3 static activities were acquired. With 20 Hz sampling frequency for each activity position, 20 readings are made per signal window in 1 second. Thanks to the software tool developed for the study, various human activities were succesfully classified in experiments by allowing different network parameters and layer selection for the deep learning architectures including recurrent neural network models and convolutional neural network model. The novel dataset contains raw data, as well as, it involves some alternative subsets created with the use of Butterworth filter. As a result of experiments, the classification performance at accuracy rate of 97% to 99% for various activities of individuals was obtained on various datasets. The suitability of using the novel data set in studies on classification and prediction of human activities has been proven.

Anahtar Kelimeler

• Human Activities
• Recurrent Neural Network
• Convolutional Neural Network
• Dataset
• Performance Evaluation

İnsanın günlük aktivitelerinin yeni bir veri kümesi: Derin öğrenme tekniklerini kullanarak sınıflandırma performansı için kıyaslama sonuçları

Öz

İnsan aktivitelerini sınıflandırma çalışmaları, bireylerin içinde bulundukları ortam ile etkileşimini değerlendirerek günlük yaşamı kolaylaştıracak yeni sistemler geliştirilmesine katkı sağlayabilir. Bu çalışmada, bireylerin gün içerisinde gerçekleştirdikleri aktivitelerin sınıflandırılmasında kullanılmak üzere yeni bir veri kümesi sunulmaktadır. Öncelikle, çalışma kapsamında çeşitli derin mimari modelleri halkın kullanımına açık literatürde iyi bilinen hazır veri kümeleri ile test edilmiştir. Sonrasında, 25 - 55 yaş aralığındaki beş erkek ve beş kadından oluşan on gönüllü bireyin bel bölgesine yerleştirilen akıllı telefonla toplanan duyarga verileriyle oluşturulmuş yeni veri kümemiz kullanılarak çeşitli sınıflandırma deneyleri gerçekleştirilmiştir. Her bir aktivitenin iki farklı pozisyonda verisi alınmış, böylece 4 dinamik ve 3 statik aktivite içeren 15 saniyelik veriler elde edilmiştir. Her bir aktivite pozisyonu için 20 Hz örnekleme frekansıyla 1 saniyede sinyal penceresi başına 20 okuma yapılmaktadır. Çalışmadaki yazılımsal araç sayesinde tekrarlayan sinir ağ modelleri ve evrişimli sinir ağı modelini içeren derin öğrenme mimarilerinin farklı ağ parametreleri ve katman seçimine imkân sağlanarak çeşitli deneyler başarıyla gerçekleştirilmiştir. Yeni veri kümesi ham verilerin yanı sıra, Butterworth filtresi kullanımıyla oluşturulan bazı alternatif altkümeleri de içermektedir. Deneyler sonucunda, bireylerin çeşitli aktiviteleri için %97 ilâ %99 doğruluk oranında sınıflandırma başarımı çeşitli veri kümeleriyle elde edilmiştir. Yeni veri kümesinin insan aktivitelerinin sınıflandırılması ve tahmin edilmesine dair çalışmalarda kullanıma uygunluğu kanıtlanmıştır.

Anahtar Kelimeler

• İnsan Aktiviteleri
• Tekrarlayan Sinir Ağı
• Evrişimli Sinir Ağı
• Veri Kümesi
• Başarım Değerlendirme

Kaynakça

1. Ranao, C. ve Cho, S., Human activity recognition using smartphone sensors with two-stage continious hidden markov models, International Conference on Natural Computation (ICNC), 19-21, 2014.
2. Sebestyen, G., Tirea, A. ve Albert, R., Monitoring human activity trough portable devices, Carpathian Journal of Electronic and Computer Engineering, 5 (1), 101-106, 2012.
3. Lima, W. S., Souto, E., Rocha, T., Pazzi, R. W. ve Pramudianto, F., User activity recognition for energy saving in smart home environment, IEEE Symposium on Computers and Communication (ISCC), 751-828, 2015.
4. Liao, L., Patterson, D. J., Fox, D. ve Kautz, H., Learning and inferring transportation routines, Artificial Intelligence, 171 (5-6), 311-331, 2007.
5. Khan, A. M., Lee, Y. K. ve Kim, T. S., Accelerometer signal-based human activity recognition using augmented autoregressive model coefficients and artificial neural nets, Engineering in Medicine and Biology Society, 5172-5175, 2008.
6. Kwapisz, J. R., Weiss, G. M. ve Moore, S. A., Activity recognition using cell phone accelerometers, ACM SIGKDD Explorations Newsletter, 12 (2), 74-82, 2011.
7. Du, Y., Fu, Y. ve Wang, L., Skeleton based action recognition with convolutional neural network, 3rd IAPR Asian Conference on Pattern Recognition (ACPR), 579-583, 2015.
8. Chen, Y., Zhong, K., Zhang, J., Sun, Q., ve Zhao, X., LSTM networks for mobile human activity recognition, International Conference on Artificial Intelligence: Technologies and Applications, 1-4, 2016.

9. Fuentes, D., Gonzales-Abril, L., Angulo, C. ve Ortega, J.A., Online motion recognition using an accelerometer in a mobile device, Expert Systems with Applications, 39 (3), 2461-2465, 2012.
10. Wang, J., Chen, R., Sun, X., She, M. ve Kong, L., Generative models for automatic recognition of human daily activities from a single triaxial accelerometer, WCCI 2012 IEEE World Congress on Computational Intelligence, Brisbane, Australia, 2012.
11. Reyes-Ortiz, J. L., Oneto, L., Sama, A., Parra, X., Anguita, D., Transition-Aware Human Activity Recognition Using Smartphones, Neurocomputing, 171 (C), 754-767, 2016.
12. Zhang, S., Wei, Z., Nie, J., Huang, L., Wang, S., Li, Z., A review on human activity recognition using vision-based method, Journal of Healthcare Engineering, 2017.
13. Ustev, Y. E., Incel, O. D. ve Ersoy, C., User, Device and orientation ındependent human activity recognition on mobile phones: challenges and a proposal, UbiComp'13 Adjunct, 2013.
14. Su, X., Tong, H. ve Ji, P., Activity recognition with smartphone sensors, Tsinghua Science and Technology, 19 (3), 235-249, 2014.
15. Gunduz, H. ve Cataltepe, Z., Borsa Istanbul (BIST) daily prediction using financial news and balanced feature selection, Expert Systems with Applications, 42 (22), 9001-9011, 2015.
16. Yan, Z., Subbaraju, V., Chakraborty, D., Misra, A. ve Aberer, K., Energy-efficient continuous activity recognition on mobile phones: an activity-adaptive approach, 16th International Symposium on Wearable Computers, 18-22, 2012.
17. Yavuz, S. ve Deveci, M., İstatiksel normalizasyon tekniklerinin yapay sinir ağın performansına etkisi, Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, (40), 167-187, 2012.
18. Oğuzlar, A., Veri önişleme, Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 21, 67-76, 2003.
19. Kumar, A., Human activity recognition through smartphone’s tri-axial accelerometer using time domain wave analysis and machine learning, International Journal of Computer Applications, 127 (18), 22-26, 2015.
20. Khan, A. M., Lee, Y. K., Lee, S. Y. ve Kim, T. S., A triaxial accelerometer-based physical-activity recognition via augmented-signal features and a hierarchical recognizer, IEEE Transactions on Information Technology in Biomedicine, 14 (5), 1166-1172, 2010.
21. Karasulu, B., Kısıtlanmış Boltzmann makinesi ve farklı sınıflandırıcılarla oluşturulan sınıflandırma iş hatlarının başarımının değerlendirilmesi, Bilişim Teknolojileri Dergisi, 11 (3), 223-233, 2018.
22. UCI veri kümesi websitesi, human activity recognition using smartphones data set, 2012.
23. Anguita, D., Ghio, A., Oneto, L., Parra, X. ve Reyes-Ortiz, J. L., A public domain dataset for human activity recognition using smartphones, 21th European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, ESANN, Bruges, Belgium. 2013.
24. WISDM veri kümesi websitesi, WISDM Lab: Dataset, 2012.
25. Python programlama dili websitesi, (20/07/2020). Available: https://www.python.org/
26. Google Tensorflow websitesi, (20/07/2020). Available: https://www.tensorflow.org/
27. Keras websitesi, (20/07/2020). Available: https://keras.io/
28. Python Tkinter GKA websitesi, (20/07/2020). Available: https://docs.python.org/3/library/tk.html
29. Swift programlama dili websitesi, (20/07/2020). Available: https://swift.org/
30. Degtiarev, A., MotionCollector uygulaması kodları, (20/07/2020). Available: https://github.com/degtiarev/MotionCollector
31. Metin, İ. A., İnsanın Günlük Yaşam Aktivitelerinin Sınıflandırılmasında Derin Öğrenme Modellerinin Karşılaştırılması, Yüksek lisans tezi, Çanakkale Onsekiz Mart Üniversitesi, Fen Bilimleri Enstitüsü, Çanakkale, 2020
32. Metin, İ. A. ve Karasulu, B., İnsan Aktivitelerinin Sınıflandırılmasında Tekrarlayan Sinir Ağı Kullanan Derin Öğrenme Tabanlı Yaklaşım, Veri Bilimi, 2 (2), 1-10, e-ISSN:2667-582X, 2019.
33. Eşref, Y., Türkçe Dizi Etiketleme İçin Sinir Ağ Modelleri, Yüksek lisans tezi, Hacettepe Üniversitesi, Fen Bilimleri Enstitüsü, Ankara, 2019.
34. Yang, Z., Salakhutdinov, R. ve Cohen, W., Multi-task cross-lingual sequence tagging from scratch, arXiv e-prints, 2016.
35. Schuster, M. ve Paliwal, K. K., Bidirectional recurrent neural networks, IEEE Transactions on Signal Processing, 45 (11), 2673-2681, 1997.
36. Lawal, I. A. ve Bano, S., Deep human activity recognition using wearable sensors, PETRA'19: Proceedings of the 12th ACM International Conference on Pervasive Technologies Related to Assistive Environments, 45-48, 2019.
37. LeCun, Y., Bottou, L., Bengio, Y. ve Haffner, P., Gradient-based learning applied to document recognition, Proceedings of the IEEE, 86 (11), 2278-2324, 1998.
38. Bengio, Y., Courville, A. ve Vincent, P., Representation learning: a review and new perspectives, IEEE Transactions on Software Engineering, 35 (8), 1798-1828, 2012.
39. Metin, İ. A., Github websitesi, (20/07/2020). Available: https://github.com/ibrahimalimetin
40. Ravi, D., Wong, C., Lo, B. ve Yang, G.-Z., A deep learning approach to on-node sensor data analytics for mobile or wearable devices, IEEE Journal of Biomedical and Health Informatics, 21 (1), 56-64, 2017.