Türkçe İşaret Dili İfadelerinin Geliştirilen İnsansı Robot ile Gerçekleştirilmesi

Abstract

Gelişen teknolojinin sunduğu olanaklar göz önüne alındığında birçok alanda insan hayatına etkisi hissedilir bir şekilde arttığı görülmektedir. Bu durum teknolojinin son çıktılarından biri olan insansı robotların eğitim, sağlık ve daha birçok alanda hayati kullanımlarının yaygınlaştığının işaretidir. İnsansı robotların özellikle eğitim alanında ve dahi dil öğrenimi sürecinde yardımcı ekipman olarak kullanılması başlıca yenilikler arasında gösterilmektedir. Bu duruma verilecek en belirgin örnek konuşma ve işitme engelli bireylerin eğitimi için kullanılan işaret dili öğreniminde başarılı sonuçların elde edildiği insansı robotlar gösterilebilir. Türkçe işaret dili üzerine yapılan bir dizi çalışmada sadece şu ana kadar profesyonel hazır kullanıldığı ve buna bağlı geliştirilen herhangi bir insansı robot ile işaret dili çalışmalarının yapılmadığı tespit edilmiştir. Çalışma kapsamında tasarımı ve yazılımı özgün olarak geliştirilen insansı robot ile Türkçe işaret dilindeki bazı ifadelerin gerçekleştirilmesi yapılmıştır. Gerçekleştirilen ifadelerin tamamında yüksek başarı oranı elde edildi. Çalışmanın amacı geliştirilebilir, özgün tasarım ve yazılım öğelerini içeren insansı robot geliştirilmesi ve ayrıca geliştirilen insansı robotun istenilen gerek duyulması durumunda eğitim aracı olarak kullanılması ya da işitme ve konuşma engelli bireylerin günlük yaşama daha fazla katılmalarının sağlanması gibi faydalı bir araç olarak kullanılması hedeflenmektedir.

Keywords

• İşaret Dili
• İnsansı Robot
• Robot-İnsan Etkileşimi

Realization of Turkish Sign Language Expressions with the Developed Humanoid Robot

Abstract

Given the potential of the developed technology, it has been increased the impact on human life in many areas. This is an indication that one of the newest technological outputs in education, health, and many other fields is now widely used as a vital component of humanoid robots. The humanoid robot is one of the main innovations used as auxiliary equipment especially in the field of education and even in the language learning process. The most obvious example to be given to this situation is that the humanoid robot is used for the education of speech and hearing-impaired individuals, with successful results in sign language learning. There are a series of studies on Turkish sing language (TSL) that only professional ready-made has been used so far and no sign language studies have been carried out with any humanoid robot developed accordingly. Within the scope of the study, some expressions in TSL were carried out with the developed humanoid robot, whose design and software was originally developed. In all statements made, a high success rate was achieved. The study aims to develop a humanoid robot that can be developed, including original design and software elements, as well as to use where necessary, the developed humanoid robot as an educational instrument, or as a useful tool to enable individuals affected by hearing and speech to participate more closely in daily life.

Keywords

• Sign Language
• Humanoid Robot
• Human-Robot Interaction

References

1. [1] The bulletin was published by the Republic of Turkey Ministry of Family, March 2020, https://www.ailevecalisma.gov.tr/media/42250/istatistik-bulteni-2020-mart.pdf (Access date: 01/09/2020)
2. [2] World Health Organization https://www.who.int/deafness/estimates/en/ (Access date: 21/03/2021)
3. [3] Alemi, M., Meghdari, A., Ghazisaedy, M. “Employing Humanoid Robots for Teaching English Language in Iranian Junior High-Schools”, International Journal of Humanoid Robotics, Vol. 11, No. 03, 1450022 (2014), https://doi.org/10.1142/S0219843614500224
4. [4] Marschark, M., Hauser, P.C. “How Deaf Children Learn: What Parents and Teachers Need to Know”. OUP, New York (2011)
5. [5] Freel, B.L., et al. “Deaf individuals’ bilingual abilities: American sign language proficiency, reading skills, and family characteristics”. Psychology 2(01), 18 (2011)
6. [6] JB, Janssen, CC, van der Wal, MA, Neerincx, R, Looije. “Motivating children to learn arithmetic with an adaptive robot game”. In: Mutlu, B., Bartneck, C., Ham, J., Evers, V., Kanda, T. (eds.) ICSR. LNCS, vol. 7072, pp. 153–162. Springer, Heidelberg (2011)
7. [7] M, Nalin, et al. “Children’s adaptation in multi-session interaction with a humanoid robot”. In: IEEE on RO-MAN. IEEE (2012)
8. [8] Baranwal N, Singh A.K., Nandi G.C. “Development of a Framework for Human–Robot interactions with Indian Sign Language Using Possibility Theory”, Int J of Soc Robotics doi:10.1007/s12369-017-0412-0

9. [9] Gago J.J., Victores J.G., Balaguer C. “Sign Language Representation by TEO Humanoid Robot: End-User Interest, Comprehension and Satisfaction”, Electronics 2019, 8, 57; doi:10.3390/electronics8010057
10. [10] Al-Khulaidi R.A., Akmeliawati R, Azlan N.Z., Bakr N.H.A, Fauzi N.M. “Development of robotic hands of signbot, advanced Malaysian sign-language performing robot”, Advances in Robotics Research, Vol. 2, No. 3 (2018) 183-199 DOI: https://doi.org/10.12989/arr.2018.2.3.183
11. [11] Meghdari A, Alemi M, Zakipour M, Kashanian S.A. “Design and Realization of a Sign Language Educational Humanoid Robot”, Journal of Intelligent & Robotic Systems (2019) 95:3–17
12. [12] Kose H, Yorganci R, Algan E.H. “Evaluation of the Robot Assisted Sign Language Tutoring Using Video-Based Studies”, Int J Soc Robot (2012) 4:273–283, doi 10.1007/s12369-012-0142-2
13. [13] Kose H, Akalin N, Uluer P. “Socially Interactive Robotic Platforms as Sign Language Tutors”, International Journal of Humanoid Robotics Vol. 11, No. 1 (2014) 1450003, doi: 10.1142/S0219843614500030
14. [14] Köse H, Uluer P, Akalın N, Yorgancı R, Özkul A, Ince G. “The Effect of Embodiment in Sign Language Tutoring with Assistive Humanoid Robots”, Int J of Soc Robotics (2015) 7:537–548, doi: 10.1007/s12369-015-0311-1
15. [15] Gürpınar C, UluerP, Akalın N, Köse H. “Sign Recognition System for an Assistive Robot Sign Tutor for Children”, International Journal of Social Robotics, https://doi.org/10.1007/s12369-019-00609-9
16. [16] WER algorithm, https://martin-thoma.com/word-error-rate-calculation/ (Access date: 22/01/2021)
17. [17] Këpuska V, Bohouta G. “Comparing Speech Recognition Systems (Microsoft API, Google API And CMU Sphinx)”, Veton Këpuska. Int. Journal of Engineering Research and Application, ISSN : 2248-9622, Vol. 7, Issue 3, ( Part -2) March 2017, pp.20-24
18. [18] Woods, S. Exploring the design space of robots: children’s perspectives. Interact. Comput. 18(6), 1390–1418. 2006