Computer Control with Face and Eye Movements Using Deep Learning and Image Processing Methods

Year 2022, Volume: 9 Issue: 4, 1170 - 1177, 31.12.2022

Muhammet Fatih Çapşek Abdulkadir Karacı

https://doi.org/10.31202/ecjse.1131377

Abstract

Today's computing is one of the basic needs of every human being. Many actions are done with the mouse in the use of the computer. Individuals with physical disabilities, paralysis from the neck down, or ALS patients who have difficulty in making physical contact with the computer are having difficulty using computers. In this study, an artificial intelligence-assisted system has been developed for these individuals, where they can control the mouse with head and eye movements. In this system, facial movements and eyes are detected in real-time through the library of Haar Cascade, Dlib, and Open CV from the images acquired through the camera. When Haar Cascade is used to detect the face region, the Dlib library is used to acquire right and left eye region images from this detected face image. These eye areas are provided as an introduction to the CNN model, which is trained with 2874 eye data (https://github.com/iparaskev/simple-blink-detector), and it is determined that the eye is closed or open. The CNN model 1500 is trained on a public eye image dataset representing open and 1374 closed-eye conditions. The left eye closed and opened state allows the mouse to click left and the right eye to close and open, and the right mouse to click. In addition, the location of the face detected with Haar Cascade is used to model mouse motion. The developed system is a real-time hybrid system with a combination of different methods and has been tested on different users. According to the test results, it was observed that the system correctly identified the eyes and the closed state of these eyes, classifying the blink event with CNN in both eyes correctly. However, it has been determined that there has been a slowness in modeling mouse movement or a poor fit to facial movement. The next study will focus on this issue and improve it by fine-tuning the system with data from many people.

Keywords

Haar cascade, cnn, dlib, image processing, mouse control

Project Number

Tubitak 2209-A

Derin Öğrenme ve Görüntü İşleme Yöntemlerini Kullanarak Yüz ve Göz Hareketleri İle Bilgisayar Kontrolü

Abstract

Günümüzde bilgisayar kullanımı her insan için temel ihtiyaçlardan biridir. Bilgisayar kullanımında fare ile birçok işlem gerçekleştirilmektedir. Bilgisayar ile fiziksel temas sağlamakta zorlanan, fiziksel engelli, boyundan aşağısı felçli veya ALS hastası bireyler bilgisayar kullanmakta zorlanmaktadırlar. Bu çalışmada bu bireyler için kafa ve göz hareketleri ile fareyi kontrol edebilecekleri yapay zeka destekli bir sistem geliştirilmiştir. Bu sistemde, kamera üzerinden elde edilen görüntülerden Haar Cascade, Dlib ve Open CV kütüphaneleri vasıtasıyla gerçek zamanlı olarak yüz hareketleri ve gözler tespit edilmektedir. Haar Cascade yüz bölgesini tespit etmek için kullanılırken, Dblib kütüphanesi tespit edilen bu yüz görüntüsünden sağ ve sol göz bölgesi görüntülerini elde etmek için kullanılmaktadır. Elde edilen bu göz bölgeleri görüntüleri 2874 göz verisiyle (https://github.com/iparaskev/simple-blink-detector) eğitilen CNN modeline giriş olarak verilmekte ve gözün kapalı ya da açık olduğu tespit edilmektedir. CNN modeli 1500 açık ve 1374 kapalı göz durumunu temsil eden halka açık göz görüntü veri seti üzerinde eğitilmiştir. Sol gözün kapatılıp açılma durumu farenin sol tıklamasını, sağ gözün kapatılıp açılma durumu ise farenin sağ tıklamasını sağlamaktadır. Bunun yanı sıra, fare hareketini modellemek için Haar Cascade ile tespit edilen yüzün konumu kullanılmaktadır. Geliştirilen sistem farklı yöntemlerin birleştirildiği gerçek zamanlı çalışan hibrit bir sistemdir ve farklı kullanıcılar üzerinde test edilmiştir. Test sonuçlarına göre sistemin gözleri ve bu gözlerin açık kapalı durumunu doğru bir şekilde tespit ettiği, her iki göz içinde göz kırpma olayını CNN ile doğru bir şekilde sınıflandırdığı gözlenmiştir. Ancak fare hareketinin modellenmesinde yavaşlık ya da yüz hareketine tam uyum sağlamama durumlarının yaşandığı tespit edilmiştir. Gelecek çalışma olarak bu sorun üzerine odaklanılacak ve birçok kişiden elde edilen verilerle sistem üzerinde ince ayar yapılarak iyileştirilmesi sağlanacaktır.

Keywords

Haar cascade, cnn, dlib, görüntü işleme, fare kontrolü

Supporting Institution

Tubitak

Project Number

Tubitak 2209-A

Thanks

Bu çalışma Tubitak 2209-A, Üniversite Öğrencileri Araştırma Projeleri Destekleme Programı tarafından desteklenmiştir. Destekleri için TUBİTAK’a teşekkür ederiz.

References

• [1]. Dönmez, M., Çağıltay, K., Fiziksel Engelliler için Göz Hareketlerini İzleme Yöntemi ile Bilgisayar Kullanma Sistemi. Eğitimde FATİH Projesi Eğitim Teknolojileri Zirvesi 2016, (4 - 05 Kasım 2016), Ankara, Türkiye. https://hdl.handle.net/11511/75795
• [2]. Kalaç, M. Ö., Teke, İ., Kılınç, M.. Türkiye'de Engellilere Yönelik Bilişim Teknolojileri ve Hizmetleri Üzerine Genel Değerlendirme. BİLTEVT Uluslararası Engelsiz Bilişim 2018 Kongresi, 5-7 Eylül, Manisa.
• [3]. Baştuğ, R. S., Yeşilkaya, B., Unay, M. ve Akan, A., Virtual Mouse Control by Webcam for the Disabled, 2018 Medical Technologies National Congress (TIPTEKNO), 2018, pp. 1-4, doi: 10.1109/TIPTEKNO.2018.8597147.
• [4]. Atay, B., Korkusuz, N.A., Fiziksel Engelliler İçin Göz Takip Yöntemi Kullanılarak İletişim ve Kontrol Sisteminin Geliştirilmesi, Uluslararası Engelsiz Bilişim 2021 Kongresi, 2-4 Eylül 2021 – Manisa.