Motion Tracking in the Construction and Storage Area with Perspective Approach

Year 2019, Issue: 17, 215 - 223, 31.12.2019

Kadir Hıdımoğlu Lale Özyılmaz

https://doi.org/10.31590/ejosat.614759

Abstract

Occupational safety in the work area is not only to take measures after accidents, but to try to take precaution by determining the situations that will cause the accident. Image processing techniques are the process of re-visualizing recorded images or snapshots according to the desired requirements. For this reason, by using image processing techniques, an application can be realized to ensure the safety of the work by following the workers and other objects on the recorded or live images in the worksite. The aim is to try to avoid work accidents that may occur to a large extent and also to provide the use of multiple algorithms and features with person and vehicle analysis. In the study, the Matlab software program was deemed appropriate due to the density of mathematical algorithms.
In this paper a motion tracking algorithm with the addition of new double-sided and adaptive perspective methods have been implemented. The main purpose of this paper is to propose a motion tracking algorithm to help solving safety concerns at the storage and construction areas. With the proposed algorithm, workers on the work site are detected and they are checked if they comply with the safety requirements at the work site by using computers entirely. Detailed algorithm explanations can be found in the methodology part of the paper. The live image was prepared ready in Matlab environment by using basic image processing techniques such as filtering and noise cleaning processes and then it was subjected to object finding and classification for motion tracking in the image. Proper detection and tracking of the object seems to be more successful with preprocessing. Luminance conditions, weather conditions and moving data density are important factors that affect accuracy. As a first step, identification of workers was done using simple classification techniques. These classification criteria are explained in the methodology section. The classification process provided the human data set for motion tracking in four steps. Field workers who do not wear helmets or not wearing vests are defined as “-” and those who follow the rules are indicated as “+” on the image. The performance of the algorithms on this type of images and the results of the improvements are evaluated in the last section.

Keywords

Image processing, Video processing, Motion tracking, Safety, Construction site, Perspective approach

Thanks

I would like to thank to my esteemed jury members Prof. Dr. Tülay YILDIRIM, Asst. Prof. Dr. Arif DOLMA and Asst. Prof. Dr. Lale ÖZYILMAZ who guide me in the realization of the study with their thoughts.

Perspektif Yaklaşımı ile Çalışma ve Depolama Alanında Hareket Takibi

Abstract

Çalışma sahasındaki iş güvenliği, yalnızca kazalar sonrası tedbirleri almak değil kazaya sebebiyet verecek durumların önceden belirlenerek önlemini almaya çalışmaktır. Görüntü işleme teknikleri, kayıtlı görüntüler veya anlık görüntüleri tekrar işleyerek istenilenler doğrultusunda yeniden görselleştirme işlemidir. Bu sebeple görüntü işleme teknikleri ile çalışma sahasında kaydedilmiş veya canlı görüntüler üzerinde işçilerin ve diğer nesnelerin takibi yapılarak iş güvenliğini sağlamaya yönelik bir uygulama gerçekleştirilebilir. Gerçekleştirilmek istenilen amaç oluşabilecek iş kazalarının önüne büyük ölçüde geçmeye çalışmak aynı zamanda kişi ve araç analizi ile birden çok algoritma ve özelliğin kullanımını sağlamaktır. Çalışmada matematiksel algoritmaların yoğunluğu sebebiyle Matlab yazılım programı uygun görülmüştür. Bu yazıda yeni çift taraflı ve uyarlamalı perspektif yöntemlerinin eklenmesiyle bir hareket izleme algoritması uygulanmıştır. Bu yazının temel amacı, depolama ve inşaat alanlarındaki güvenlik sorunlarının çözülmesine yardımcı olacak bir hareket izleme algoritması önermektir. Önerilen algoritma ile şantiyede çalışan işçiler tespit edilir ve şantiyede güvenlik gereksinimlerine tamamen uygunluğu kontrol edilir. Detaylı algoritma açıklamaları makalenin metodoloji bölümünde bulunabilir. Canlı olarak alınan görüntü Matlab ortamında öncelikle filtreleme ve gürültü temizleme işlemleri gibi temel görüntü işleme teknikleri ile hazır hale getirilmiş ve sonrasında görüntüde hareket takibi için nesne bulma ve sınıflandırma işlemlerine tutulmuştur. Nesnenin düzgün bir şekilde bulunmasının ve takibinin ön işlmeler ile daha başarılı olduğu görülmektedir. Çalışılan ortamın ışıklılık durumları ve hava koşulları ile hareketli veri yoğunluğu doğruluğu etkileyen önemli faktörlerdendir. İlk aşama olarak işçilerin belirlenmesi basit sınıflandırma teknikleri kullanılarak yapılmıştır. Bu sınıflandırma kriterleri metodoloji bölümünde açıklanmıştır. Sınıflandırma işlemi dört adımda hareket takibi için insan veri kümesini sağlamıştır. Baret takmayan ya da yelek giymeyen ihlale sebep olan saha çalışanları “-” olarak tanımlanıp kurallara uyanlar “+” olarak görüntü üzerinde belirtilmiştir. Algoritmaların bu tip görüntüler üzerindeki performansı ve yapılan geliştirmeler sonucu son bölümde değerlendirilmiştir.

Keywords

Görüntü işleme, Video işleme, Hareket takibi, Güvenlik, Çalışma sahası, Perspektif yaklaşımı

References

• Jia X. Image recognition method based on deep learning, Chinese Control And Decision Conference 2017; 29: 4730-4735.
• Shi J, Malik J. Normalized Cuts and Image Segmentation, IEE Transactions on Pattern Analysis and Machine Intelligence 2000; 8: 888-905.
• Wang S, Siskind J M. Image Segmentation with Ratio Cut, IEE Transactions on Pattern Analysis and Machine Intelligence 2003; 6: 675-690.
• Ford L, Fulkerson D. Flows in Networks. Princeton, NJ, USA: Princeton University Press, 2016.[5] Kaas M, Witkin A, Terzopoulos W. Snakes - Active Contour Models. International Journal of Computer Vision 1987; 1: 321-331.
• Williams DJ, Shah M. A Fast Algorithm For Active Contours And Curvature Estimation. CVGIP: Image Under-standing 1992; 1: 14-26.
• Barbieri AL, de Arruda GF, Rodrigues FA, Bruno OM, Costa LdF. An entropy-based approach to automatic image segmentation of satellite images. Physica A: Statistical Mechanics and its Applications 2009; 3: 512-518.
• Gonzalez R. C., Woods R. E. (2007). Digital Image Processing, 3th Ed., (pp. 1-7), A.B.D., New Jersey : Prentice Hall.
• Yılmaz I. Renk Sistemleri, renk uzayları ve d¨onu¨su¨mler. In: Selçuk Üniversitesi Jeodezi ve Fotogrametri Mühendisliği O¨ gretiminde 30. Yıl Sempozyumu; 16-18 October 2002; Konya, Turkey; pp. 340-350.
• Cheung SS, Kamath C. Robust techniques for background subtraction in urban traffic video. ISandT/SPIE’s Symposium on Electronic Imaging 2004; 18-22 January 2004; San Jose, CA, USA; pp. 881-892.
• Bobick A, Davis J. The Recognition of Human Movements Using Temporal Templates. IEEE Transactions on Pattern Analysis and Machine Intelligence 2001; 3: 257-267.
• Benezeth Y, Jodoin PM, Emile B, Laurent H, Rosenberger C. Review and evaluation of commonly-implemented background subtraction algorithms. In: 19th International Conference of Pattern Recognition 2008; 8–11 December 2008; Tampa, FL, USA: IEEE. pp. 192-199.
• Yılmaz, A., Javed, O. ve Shah, M. (2006) Object tracking: A survey, ACM Comput. Surveys, 38(4), Article 13, 45p, doi: 10.1145/1177352.1177355.
• Karasulu, B. (2010) Videolarda Hareketli Nesne Tespiti Ve Takibi İçin Benzetimli Tavlama Tabanlı Bir Başarım Eniyileme Yaklaşımı, (Doktora Tezi), Ege Üniversitesi Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Anabilim Dalı.
• Benezeth, Y., Jodoin, P.M., Emile, B., Laurent, H. ve Rosenberger, C. (2008) Review and evaluation of commonly-implemented background subtraction algorithms, In: In 19th Int. Conf. of Pattern Recognition, (ICPR 2008), 1-4, doi: 10.1109/ICPR.2008.4760998.
• Cheung, S.-C. ve Kamath, C. (2004) Robust techniques for background subtraction in urban traffic video, Video Communications and Image Processing, SPIE Electronic Imaging, San Jose, UCRL-JC-153846-ABS, UCRL-CONF-200706.