Kinect Based Smart Mirror Application

Abstract

With the system proposed within the scope of the study, it is aimed not only to make the time spent in front of the mirror more enjoyable, but also to enable users to access the information they need while getting ready, such as the weather, time and news. In this study, a smart mirror prototype was developed using the Kinect sensor. The proposed smart mirror system basically displays information such as current news, weather conditions, exchange rates, time and date. The RGB image acquisition feature of the Kinect sensor is used to make the system look like a mirror. The interface view of the mirror has been completed by developing the design for displaying the current data obtained from the internet on the RGB image. Three pages, tabbed news, weather and exchange rates, are placed in this design. In addition, thanks to the feature of detecting the joint points of the Kinect sensor in the proposed system, the ability to switch between the pages used with the determined hand movements has been gained. At the same time, the cursor feature was added to the mirror by using the Kinect sensor, and the user was able to use this cursor as a mouse with hand movements

Keywords

• Kinect
• Smart mirror
• IoT

Kinect Tabanlı Akıllı Ayna Uygulaması

Abstract

Bu çalışma kapsamında önerilen sistem ile hem ayna karşısında geçirilen vaktin daha zevkli bir hale getirilmesi, hem de kullanıcılar hazırlanırken ihtiyaç duydukları hava durumu, saat, haberler gibi bilgilere erişebilmesi hedeflenmektedir. Çalışmada Kinect sensörü kullanılarak bir akıllı ayna prototipi geliştirilmiştir. Önerilen akıllı ayna sisteminde temel olarak güncel haberleri, hava durumunu, döviz kurlarını, saat, tarih gibi bilgiler gösterilmektedir. Sistemin bir ayna görünümü alması için Kinect sensörünün RGB görüntü alma özelliği kullanılmıştır. RGB görüntüsü üzerine internetten alınan güncel verilerin görüntülenebilmesi için yapılan tasarım geliştirilerek aynanın arayüz görünümü tamamlanmıştır. Bu tasarım içerisine sekmeli olarak haberler, hava durumu ve döviz kurları olmak üzere üç sayfa yerleştirilmiştir. Ayrıca önerilen sistemde Kinect sensörünün eklem noktalarını tespit etme özelliği sayesinde kullanılan sayfalar arasında belirlenen el hareketleri ile geçiş yapabilme yeteneği kazandırılmıştır. Aynı zamanda Kinect sensörü kullanılarak aynaya imleç özelliği de eklenmiş ve kullanıcının el hareketleriyle bu imleci fare olarak kullanması sağlanmıştır.

Keywords

• Kinect
• Akıllı ayna
• IoT

References

1. Amon, C. ve Fuhrmann, F. (2014). Evaluation of the Spatial Resolution Accuracy of the Face Tracking System for Kinect for Windows V1 and V2. 6th Congress of Alps-Adria Acoustics Assosiation, (October), 9–12.
2. Beshara, P., Chen, J., Lagadec, P. ve Walsh, W. R. (2016). Internet of Things Technologies for HealthCare, 187(October). doi:10.1007/978-3-319-51234-1
3. Clark, R. A., Pua, Y. H., Oliveira, C. C., Bower, K. J., Thilarajah, S., McGaw, R., … Mentiplay, B. F. (2015). Reliability and concurrent validity of the Microsoft Xbox One Kinect for assessment of standing balance and postural control. Gait and Posture, 42(2), 210–213. doi:10.1016/j.gaitpost.2015.03.005
4. Çubukçu, B. ve Çetin, A. (2016). Ms Kinect Applications And Opportunities For People. International Multidisciplinary Conference içinde (ss. 459–465).
5. Çubukçu, B. ve Yüzgeç, U. (2017). A Physiotherapy Application with MS Kinect for Patients with Shoulder Joint , Muscle and Tendon Damage. The 9th International Conference on Computational Intelligence and Communication Networks (CICN 2017) içinde (ss. 225–228). Girne, Kıbrıs. doi:10.1109/CICN.2017.49
6. Çubukçu, B., Yüzgeç, U., Zileli, R. ve Zileli, A. (2020). Reliability and validity analyzes of Kinect V2 based measurement system for shoulder motions. Medical Engineering and Physics, 76, 20–31. doi:10.1016/j.medengphy.2019.10.017
7. Çubukçu, B., Yüzgeç, U., Zİlelİ, R. ve Zİlelİ, A. (2018). A Kinect 2 Based Telerehabilitation Method for Shoulder Rehabilitation Exercises. International Conference on Advanced Technologies, Computer Engineering and Science (ICATCES’18) içinde (ss. 53–56).
8. Çubukçu, B., Yüzgeç, U., Zı̇lelı̇, A. ve Zı̇lelı̇, R. (2021). Kinect-based integrated physiotherapy mentor application for shoulder damage. Future Generation Computer Systems, 122, 105–116. doi:10.1016/j.future.2021.04.003

9. Dinvar, Y., Çubukçu, B. ve Yüzgeç, U. (2017). MS Kinect Based Tracking Application for Knee Anterior Cruciate Ligament Physical Therapy. 2017 International Conference on Computer Science and Engineering (UBMK) içinde .
10. Dubois, A. ve Bresciani, J.-P. (2018). Validation of an ambient system for the measurement of gait parameters. Journal of Biomechanics, 69, 175–180. doi:10.1016/j.jbiomech.2018.01.024
11. http://www.acikbilim.com/2014/03/incelemeler/eve-kapanmak-icin-bir-sebep-microsoft-kinect.html. (2021). Erişim: 28 Mayıs 2021
12. https://medium.com/@lisajamhoury/understanding-kinect-v2-joints-and-coordinate-system-4f4b90b9df16. (2021). Erişim: 25 Mayıs 2021
13. https://www.lib.ncsu.edu/devices/kinect-v2-3d-sensor. (2021). Erişim: 10 Mart 2021
14. https://www.muhendisbeyinler.net/nesnelerin-interneti-iot-nedir/. (2021). Erişim: 30 Mayıs 2021 Kösesoy, İ., Öz, C., Aslan, F., Köroğlu, F., Yiğilitaş, M., Mishra, A. K., … Schmitz-Hübsch, T. (2015). Validity and reliability of Kinect skeleton for measuring shoulder joint angles: A feasibility study. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBS, 48(4), 389–393. doi:10.1016/j.jbiomech.2018.03.008
15. Shaughnessy, M., Resnick, B. M. ve Macko, R. F. (2006). Testing a model of post-stroke exercise behavior. Rehabilitation Nursing, 31(1), 15–21. doi:10.1002/j.2048-7940.2006.tb00005.x
16. Tino, D. ve Hillis, C. (2010). The full can exercise as the recommended exercise for strengthening the supraspinatus while minimizing impingement. Strength and Conditioning Journal, 32(5), 33–35. doi:10.1519/SSC.0b013e3181d54721