RESHAPING HUMAN INTENTION ON HUMAN-MACHINE INTERACTION BY USING HOLOGRAMS

Year 2020, , 1 - 8, 31.12.2020

Kemal Erdoğan , Akif Durdu , Rahime Ceylan

https://doi.org/10.36306/konjes.822126

Abstract

Decision making could be critically important for people in some situations. People have intentions to choose a side if it is time to make decision. These intentions are strongly related to the knowledge and experience. But sometimes outer effects could reshape their intentions easily. In this paper, an experimental work is studied for Human-Machine Interaction in which if holograms could change or affect the human intention. And also the question which asks whether people trust on a hologram agent while making decision or not is researched. To study this research, a memory game application is developed and this application is run on Microsoft Hololens device. Hololens is used to maintain the Augmented Reality (AR) environment with holograms. An algorithm with a Finite State Machines (FSM) is developed to manage the response of hologram agent while giving hint to the confused users. The accuracy of the hints changes nonlinearly. 3 different game stages are trained on users to see how they are affected by both virtual and real world noises. According to the results, intention of majority of users was affected by the hologram while making the decisions. Also it is observed that some users who were concentrated too much to memorize the order of objects did not realize the hologram, and some few could not understand the actions of hologram.

Keywords

Augmented Reality, Decision Making, Finite State Machines, Human-Machine Interaction, Intention Reshaping

Supporting Institution

TÜBİTAK

Project Number

1059B141600796

Thanks

Authors would like to thank to Konya Technical University and Selçuk University BAP Offices for their support to the project numbered as 16101010 and TUBITAK for their support to the 2214-A project numbered as 1059B141600796. Also authors are thankful to The Ohio State University PCVLAB and Prof. Dr. Alper YILMAZ for their support and use of facilities.

İnsan - Makine Etkileşiminde Hologram Kullanılarak İnsan Niyetinin Yönlendirilmesi

Abstract

Karar verme, bazı durumlarda insanlar için kritik derecede önemli olabilir. İnsanların karar verme zamanı geldiğinde taraf seçme niyetleri vardır. Bu niyetler, bilgi ve geçmiş deneyimlerle ilişkilidir. Ancak bazen dış etkiler insan niyetini kolayca yeniden şekillendirebilir. Bu makalede, İnsan-Makine Etkileşimi için deneysel bir çalışma gerçekleştirilmiştir. Burada hologramların insan niyetini değiştirip değiştiremeyeceği araştırılmıştır. Ayrıca insanların karar verirken hologram etmene güvenip güvenmediği de araştırılmıştır. Bu araştırmayı incelemek için bir hafıza oyunu uygulaması geliştirilmiş ve bu uygulama Microsoft Hololens cihazında koşturulmuştur. Hololens, Hologramlarla Artırılmış Gerçeklik (AG) ortamını sağlamak için kullanılmıştır. Sonlu Durum Makineleri (SDM) içeren bir algoritma, kafası karışan kullanıcılara ipucu verirken hologram etmenin tepkilerini yönetmek için geliştirilmiştir. İpuçlarının doğruluğu doğrusal olmayan bir şekilde değişmektedir. Kullanıcıların hem sanal hem de gerçek dünya seslerinden nasıl etkilendiklerini görmek için 3 farklı oyun aşaması tasarlanmıştır. Çalışmadan elde edilen sonuçlara göre, kullanıcıların çoğunluğunun niyeti karar verirken hologramdan etkilenmiştir. Ayrıca nesnelerin sırasını ezberlemek için konsantre olan bazı kullanıcıların hologramın farkına varamadığı, bazılarının da hologramın eylemlerini anlayamadığı görülmüştür.

Keywords

Artırılmış Gerçeklik, Karar Verme, Sonlu Durum Makineleri, İnsan-Makine Etkileşimi, Niyeti Yeniden Şekillendirme

Project Number

1059B141600796

References

• Azuma, R. T., “A Survey of Augmented Reality”, Teleoperators and Virtual Environments 6, 4 (August 1997), 355-385
• Chen, H., Lee, A. S., Swift, M. and Tang, J. C., 2015. “3D Collaboration Method over HoloLens™ and Skype™ End Points”, In Proceedings of the 3rd International Workshop on Immersive Media Experiences (ImmersiveME '15). ACM, New York, NY, USA, 27-30.
• Durdu, A., Erkmen, I. and Erkmen, A. M., "Observable operator models for reshaping estimated human intention by robot moves in human-robot interactions", 2012 International Symposium on Innovations in Intelligent Systems and Applications, Trabzon, 2012, pp. 1-5.
• Freedy, A., DeVisser, E., Weltman, G. and Coeyman, N., "Measurement of trust in human-robot collaboration," 2007 International Symposium on Collaborative Technologies and Systems, Orlando, FL, 2007, pp. 106-114.
• Funk, M., Kritzler, M. and Michahelles. F., 2017. “HoloLens is more than air Tap: natural and intuitive interaction with holograms”, In Proceedings of the Seventh International Conference on the Internet of Things (IoT '17). ACM, New York, NY, USA, Article 31, 2 pages.
• Hancock PA, Billings DR, Schaefer KE, Chen JY, de Visser EJ, Parasuraman R., “A Meta-Analysis of Factors Affecting Trust in Human-Robot Interaction”, Hum Factors.2011 Oct;53(5):517-27.
• Hastie, R., Dawes, R., Rational Choice in an Uncertain World: The Psychology of Judgment and Decision Making, Second Edition, Pittsburgh, USA, 2010, SAGE pubs, Ch-2 What is decision making? Pp. 23-43
• Microsoft Hololens Development Edition https://www.microsoft.com/en-us/hololens/hardware
• Milgram, P. and Kishino, F., “A Taxonomy of Mixed Reality Visual Displays”, IEICE Transactions on Information Systems, Vol E77-D, No.12 December 1994.