Çok Adımlı İşlemlerde Arayüz Kullanılabilirliğinin A/B Test Yöntemiyle İncelenmesi

Abstract

Bu çalışmada, literatürde “sihirbaz” olarak isimlendirilen ve birbiriyle ilgili ardışık olacak şekilde farklı adımlar içeren arayüzlerdeki tasarımsal farklılığın, kullanılabilirlik açısından ne derece değişkenlik gösterdiğinin incelenmesi amaçlanmıştır. Bu amaç için, Kırklareli Üniversitesi öğrenci ve personellerinin e-posta şifrelerini sıfırlamak amacıyla kullandıkları web tabanlı bir sistemden faydalanılmıştır. Bu sistemin, hizmete açıldığı zamanki arayüzü (A) ile tasarımsal farklılık içeren bir diğer yeni arayüzü (B), kullanılabilirlik perspektifinden A/B test yöntemiyle karşılaştırılmıştır. Her iki arayüz sihirbaz özelliğinde olup, B arayüzü ile A arasındaki fark, kullanıcıların geçtikleri adımların isimlendirilmiş olarak B arayüzünde yer almasıdır. Çalışma sonuçlarında, etkililik bakımından arayüzler arasında fark bulunamamıştır. Diğer taraftan, Mann-Whitney U testi B arayüzünün A’dan daha verimli bir kullanıcı deneyimi oluşturduğunu göstermiştir (p<0,01). Spearman Korelasyon ölçümleri, B arayüzünde verimlilik ile memnuniyet arasında bir ilişki ortaya çıkarmazken (p=0,467), A arayüzünde zayıf da olsa negatif yönde bir ilişkiyi gözler önüne sermiştir (rs = -0,137, p<0,05). Çalışmada ortaya çıkarılmış olan tüm bulgular detaylı bir şekilde açıklanmış ve gelecekte kullanılabilirliğe yönelik yapılacak olan çalışmalarda dikkat edilebilecek noktalara ışık tutulmaya çalışılmıştır.

Keywords

• insan-bilgisayar etkileşimi
• sihirbaz
• kullanılabilirlik
• a/b testi

Examination of Interface Usability in Multi-Step Processes with A/B Testing Method

Abstract

This study aims to examine to what extent design difference in the interfaces, which are called “wizards” in the literature and include different steps related to each other, varies in terms of usability. For this purpose, a web-based system, which the students and the staff of Kırklareli University use to reset their e-mail passwords, was used. The interface (A) of this system when it was put into service and another new interface (B), which has a design difference, were compared with the A/B test method from the perspective of usability. Both interfaces have wizard features; the difference between the B interface and A is that the steps users go through are named in interface B. In the results of the study, no difference was found between the interfaces in terms of effectiveness. On the other hand, the Mann-Whitney U test showed that interface B creates a more efficient user experience than A (p<0,01). While Spearman Correlation measurement did not reveal a relationship between productivity and satisfaction at interface B (p=0,467), it revealed a negative relationship, albeit weakly, at interface A (rs = -0,137, p<0,05). All the findings revealed in the study were explained in detail, and it was tried to shed light on the points that could be considered in future studies on usability.

Keywords

• human-computer interaction
• usability
• wizard
• a/b test

References

1. Ansaar, M. Z., Hussain, J., Abass, A., Hussain, M. ve Lee, S. (2019). “User’s Emotional eXperience Analysis of Wizard Form Pattern Using Objective and Subjective Measures”, (Ed.) Bakaev M., Frasincar F. ve Ko I.-Y., Web Engineering (C. 11496, ss. 521-524), Springer International Publishing, Cham.
2. Barnum, C. M. (2011). Usability testing essentials: Ready, set– test. Morgan Kaufmann Publishers. Burlington.
3. Budak, V. Ö., Erol, Ç. S. ve Gezer, M. (2017). “Kurumsal Bir Mobil Web Sitesinin Kullanılabilirliğinin Geliştirilmesi”. Ejovoc (Electronic Journal of Vocational Colleges), 7(3), 15-26.
4. Budiu, R. (2017). Wizards: Definition and Design Recommendations. Nielsen Norman Group. https://www.nngroup.com/articles/wizards/.
5. Carrillo, A. L. ve Falgueras, J. A. (2019). “GDI as an Alternative Guiding Interaction Style for Occasional Users”, (Ed.) Lamas D., Loizides F., Nacke L., Petrie H., Winckler M. ve Zaphiris P., Human-Computer Interaction – INTERACT 2019 (C. 11749, ss. 75-96), Springer International Publishing, Cham.
6. Cooper, A., Reimann, R. ve Cronin, D. (2007). About face 3: The essentials of interaction design. Wiley. Indianapolis.
7. Courage, C., Baxter, K. ve Caine, K. (2015). Understanding your users: a practical guide to user research methods. Elsevier, Morgan Kaufmann.
8. Çağıltay, K. (2011). İnsan bilgisayar etkileşimi ve kullanılabilirlik mühendisliği: Teoriden pratiğe. ODTÜ Geliştirme Vakfı. Ankara.

9. Çeti̇n, İ. ve Şendurur, E. (2021). “Online Academic Resources With The Focus Of Eye Behaviors”. Acta Infologica, 5(1), 13-26.
10. Dix, A., Finlay, J., Abowd, G. D. ve Beale, R. (2004). Human-computer interaction. Pearson/Prentice-Hall. Harlow.
11. Emre, İ. E., Akadal, E. ve Gülseçen, S. (2018). “Örgün ve Uzaktan Eğitim Öğrencileri İçin Kullanılabilirlik Araştırması: Marmara Üniversitesi Web Sitesi”. Uluslararası Yönetim Bilişim Sistemleri ve Bilgisayar Bilimleri Dergisi, 2(1), 12-22.
12. Galitz, W. O. (2007). The essential guide to user interface design: An introduction to GUI design principles and techniques. Wiley. Indianapolis.
13. Hutchful, D., Matur, A., Cutrell, E. ve Joshi, A. (2010). Cloze: An Authoring Tool for Teachers with Low Computer Proficiency. Proceedings of the 4th ACM/IEEE International Conference on Information and Communication Technologies and Development - ICTD ’10 (ss. 1-10). ACM.
14. Hwang, T. K. P., Wu, S.-M., Ding, G.-J., Ko, T.-H. ve Huang, Y.-C. (2017). “Employing Personalized Shortcut Options and Group Recommending Options for Improving the Usability of User Interface of Hospital Self-service Registration Kiosks”, (Ed.) Antona M. ve Stephanidis C., Universal Access in Human–Computer Interaction. Design and Development Approaches and Methods (C. 10277, ss. 357-368), Springer International Publishing, Cham.
15. İnal, Y., Özen Çınar, N. ve Çağıltay, K. (2016). “Kamu İnternet Sitelerinde Yer Alan Arama Alanlarının Kullanılabilirliği ve Buna Yönelik Kullanıcı Davranışlarının Belirlenmesi”. Bilişim Teknolojileri Dergisi, 9(1), 41-54.
16. ISO. (1998). ISO 9241-11:1998(en), Ergonomic requirements for office work with visual display terminals (VDTs)—Part 11: Guidance on usability. https://www.iso.org/obp/ui/#iso:std:iso:9241:-11:ed-1:v1:en.
17. Kılıç, E. ve Güngör, Z. (2006). “Kütüphane Web Sitelerinin Kullanılabilirliği: Bir Uygulama Çalışması”. Journal of the Faculty of Engineering and Architecture of Gazi University, 21(4), 781-789.
18. Koester, H., Simpson, R. ve Mankowski, J. (2013). “Software wizards to adjust keyboard and mouse settings for people with physical impairments”. The Journal of Spinal Cord Medicine, 36(4), 300-312.
19. Kuniavsky, M., Goodman, E. ve Moed, A. (2012). Observing the user experience: A practitioner’s guide to user research. Morgan Kaufmann. Amsterdam.
20. Lazar, J., Feng, J. H. ve Hochheiser, H. (2017). Research methods in human-computer interaction. Morgan Kaufmann. Cambridge.
21. Lombardi, J.-P. ve Vogel, J. (2010). Wizard-Based Process Modeling for Business Users. Proceedings of the International Conference on Advanced Visual Interfaces - AVI ’10 (ss. 406). ACM.
22. Menghi, R., Gullà, F. ve Germani, M. (2018). “Assessment of a Smart Kitchen to Help People with Alzheimer’s Disease”, (Ed.) Mokhtari M., Abdulrazak B. ve Aloulou H., Smart Homes and Health Telematics, Designing a Better Future: Urban Assisted Living (C. 10898, ss. 304-309), Springer International Publishing, Cham.
23. Nielsen, J. (1993). Usability engineering. Morgan Kaufmann. Amsterdam Heidelberg.
24. Nielsen, J. (2005). Putting A/B Testing in Its Place. Nielsen Norman Group. https://www.nngroup.com/articles/putting-ab-testing-in-its-place/.
25. Nielsen, J. (2012). A/B Testing, Usability Engineering, Radical Innovation:What Pays Best? Nielsen Norman Group. https://www.nngroup.com/articles/ab-testing-usability-engineering/.
26. Paulino, D., Pinheiro, P., Rocha, J., Martins, P., Rocha, T., Barroso, J. ve Paredes, H. (2020). Assessment of wizards for eliciting users’ accessibility preferences. 9th International Conference on Software Development and Technologies for Enhancing Accessibility and Fighting Info-exclusion (ss. 135-140). ACM.
27. Rosenzweig, E. (2015). Successful user experience: Strategies and roadmaps. Morgan Kaufmann Publisher. Massachusetts
28. Rubin, J. ve Chisnell, D. (2008). Handbook of usability testing: How to plan, design, and conduct effective tests. Wiley. Indianapolis.
29. Sengpiel, M. (2016). “Teach or Design? How Older Adults’ Use of Ticket Vending Machines Could Be More Effective”. ACM Transactions on Accessible Computing 9(1), 1-27.
30. Shneiderman, B. ve Plaisant, C. (2004). Designing the user interface: Strategies for effective human-computer interaction. Pearson/Addison Wesley. Boston.
31. Tseytlin, E., Linkov, F., Castine, M., Legowski, E. ve Jacobson, R. S. (2018). “DomainBuilder: The Knowledge Authoring System for SlideTutor Intelligent Tutoring System”. F1000Research 2018, 7:1721.
32. Zhang, L., Yang, X., Cota, Z., Cui, H., Ford, B., Chen, H., Macklin, J. A., Reznicek, A. ve Starr, J. (2021). “Which methods are the most effective in enabling novice users to participate in ontology creation? A usability study”. Database, 2021, 1-23