Evaluating the Usability of a Departmental Web Site by Authentic Tasks and Eye Tracking Method

Abstract

The purpose of this study is to evaluate the usability of a university departmental web site as an educational interface by using different usability methods, and to determine usability problems of it to suggest solutions to these problems. The study group was consisted of 9 participants including 4 undergraduate students and 5 academicians, 4 of whom were research assistants/graduate students, and one of whom was an instructor. Study was designed by recording the process of authentic task performance of authentic users and tracking eye movements of two participants in the department web site. Method triangulation method was used for validity of the study and investigator triangulation method was used for reliability of the study. In the data analysis, users’ recordings from the task performances and eye movements were analyzed and the issues for which users had difficulties with, the issues which users hesitated with while performing, the time spent on each task, repeated tasks, successful tasks and unsuccessful tasks were discovered comparatively with the observer notes. Usability problems were determined and solutions to these problems were suggested

Keywords

• Usability,Eye Tracking Method,Web Site Evaluation

BİR BÖLÜM WEB SİTESİNİN OTANTİK GÖREVLER VE GÖZ İZLEME YÖNTEMİ ARACILIĞIYLA KULLANILABİLİRLİK DEĞERLENDİRMESİ

Öz

Bu çalışmanın amacı eğitsel arayüz olarak ele alınan bir bölüm web sitesinin kullanılabilirliğinin farklı kullanılabilirlik yöntemleri ile test edilmesi ve mevcut kullanılabilirlik sorunlarının belirlenerek bunların çözümüne yönelik öneriler getirilmesidir. Araştırmanın çalışma grubu ilgili bölümün lisans düzeyindeki 4 öğrencisi ve yine ilgili bölümde lisansüstü öğrenim gören ve/veya çalışan 4’ü araştırma görevlisi biri öğretim üyesi olan 5 akademisyen olmak üzere toplamda 9 kişiden oluşmuştur. Çalışma, kullanıcıların web sitesinde otantik görevleri gerçekleştirme süreçlerine ilişkin performanslarının bilgisayarda kaydedilmesi ve iki katılımcının da göz hareketlerinin izlenmesi şeklinde desenlenmiştir. Çalışmanın geçerliliği için yöntem çeşitlemesi, güvenirliliği için ise araştırmacı çeşitlemesi yoluna gidilmiştir. Verilerin analizinde görev sürecine ve göz izleme yöntemine ilişkin kayıtlar incelenmiş, gözlemcilerin notları ile karşılaştırmalı olarak katılımcıların görevlerde zorlandığı ve tereddütte kaldığı hususlar, her bir görevde harcanan süre, tekrar edilen görevler, başarı ile tamamlanan görevler ve başarısızlıkla sonuçlanan görevler gruplar altında toplanarak tasnif edilmiştir. Elde edilen bulgulardan hem öğrenci hem de akademisyen grubu için kullanılabilirlik sorunları belirlenerek bunların çözümüne yönelik öneriler getirilmiştir.

Anahtar Kelimeler

• Kullanılabilirlik,Göz İzleme Yöntemi,Web Sitesi Değerlendirme

References

1. Annett, J. (2002). Target paper. Subjective rating scales: Science or art? Ergonomics, 45(14), http://coursesite.cl.uh.edu/hsh/PeresSc/Classes/PSYC5911www/2002AnnettSU SCritique.pdf adresinden erişilmiştir. 28.12.2009 tarihinde
2. Dalcı, M., Alçam, Ö., Saatçioğlu, Y. O ve Erdal F. (2008). ODTÜ kütüphanesi yeni web sayfasının tasarımı ve kullanılabilirlik çalışması. Akademik Bilişim 2008. Çanakkale Onsekiz Mart Üniversitesi.
3. Denzin, N. K., & Lincoln, Y. S. (1994). The research process.. In N. K. Denzin & Y. S. Lincoln (Eds.), Handbook of qualitative research (pp. 45-81). Thousand Oaks, CA: Sage.
4. De'Sperati, C. (2003). The inner working of dynamic visuo-spatial imagery as revealed by spontaneous eye movements. In J. Hyona, R. Radach, & H. Deubel (Eds.), The mind's eye: Cognitive and applied aspects of eye movement research. (pp. 119- 142). Oxford: Elsevier Science.
5. Doubleday, A., Ryan, M., Springett, M., & Sutcliffe, A. (1997). A comparison of usability techniques for evaluating design. Proceedings of Designing Interactive Systems (DIS '97) Conference. New York: ACM. Press, 101-110.
6. Duchowski, A.T. (2002). A breadth-first survey of eye tracking applications. Behavior Research Methods, Instruments and Computers, 1-16. 02.01.2010 tarihinde http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.92.6287&rep=rep1&t ype=pdf adresinden erişilmiştir.
7. Dumas, J. S., & Redish, J. C. (1994). A practical guide to usability testing. Portland, OR: Intellect Books.
8. Frİkjær, E., Hertzum, M., & Hornbæk, K. (2000). Measuring usability: Are effectiveness, efficiency and satisfaction really correlated? In: Proceedings of CHI 2000 Human Factors in Computing Systems (pp. 345–352). ACM Press.

9. Folmer, E., & Bosch, J. (2004). Architecting for usability: A survey. The Journal of Systems and Software, 70(1/2), 61-78.
10. Goldberg, J. H., & Kotval, X. P. (1999). Computer interface evaluation using eye movements: Methods and constructs. International Journal of Industrial Ergonomics, 24, 631-645.
11. Hornbæk, K. (2006). Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies, 64(2), 79-102.
12. Höök, K. (1997) Evaluating the utility and usability of an adaptive hypermedia system. In J. Moore, E. Edmonds, & A. Puerta (Eds.) Proceedings of 1997 International Conference on Intelligent User Interfaces, Orlando, Florida, January 7-9, 1997, ACM, pp. 179-186.
13. Li, X.-J., Yu, Z.-Y., & Liu, C.-Z. (2010). Developing usability measure structure: Process and principles. Paper presented at the Computer Engineering and Technology (ICCET), 2010 2nd International Conference on 16-18 April.
14. Kuşkaya-Mumcu, F., Haşlaman, T., Yıldız, B., & Tüzün, H. (2008). Etkileşimli sistem tasarımında kullanılabilirlik: Bilgi işlem sorun ve ihtiyaç iletme sistemi örneği (Usability in interactive system design: IT problem and needs submission system case). 8th International Educational Technology Conference, Eskişehir, Turkey (pp. 391-395).
15. Nakatani, C., & Pollatsek, A. (2004). An eye movement analysis of “mental rotation” of simple scenes. Perception & Psychophysics, 66(7), 1227-1245.
16. Namahn (2001). Using eye tracking for usability testing. 29.12. 2010 tarihinde www.namahn.com/resources/documents/note-eyetracking.pdf erişilmiştir. adresinden
17. Nielsen, J. (1993). Usability engineering. Boston, MA: Academic Press. 22.11.2009 tarihinde http://books.google.com.tr adresinden erişilmiştir.
18. Özçelik, E., Kurşun, E. ve Çağıltay K. (2006). Göz hareketlerini izleme yöntemiyle üniversite web sayfalarının incelenmesi. Akademik Bilisim 2006 Bildiriler Kitapçığı, 9-11 Şubat, 2006, Denizli.
19. Pernice, K., & Nielsen, J. (2009). Eyetracking methodology: How to conduct and evaluate usability studies using eyetracking. Nielsen Norman Group. 08.12.2010 tarihinde erişilmiştir. adresinden Pero, K. (2003). http://www.usableinterface.com/articles/whyusability.php erişilmiştir. 25.12.2009 tarihinde adresinden
20. Rayner, K. (1978). Eye movements in reading and information processing. Psychological Bulletin, 85(3), 618-660.
21. Rubin, J. (1994). Handbook of usability testing: How to plan, design, and conduct effective tests. New York, NY: John Wiley & Sons, Inc.
22. Shackel, B. (2009). Usability - Context, framework, definition, design and evaluation. Interacting with Computers, 21(5–6), 339-346.
23. Sullivan, T., & Matson, R. (2000). Barriers to use: Usability and content accessibility on the web’s most popular sites. Proceedings of the ACM Conference on Universal Usability, 139–144.
24. Tomlinson, L. (2008). Are accessibility statements useful? 23.03.2010 tarihinde http://www.digital-web.com/articles/are_accessibility_statements_useful/ adresinden erişilmiştir.