EXAMINATION OF USABILITY RESEARCH ARTICLES PUBLISHED WITHIN THE YEARS 2014-2019 IN TURKEY

Year 2020, Volume: 10 Issue: 1, 280 - 320, 31.01.2020

Hatice Sancar-tokmak Berrin Doğusoy Kiraz Bilgiç

https://doi.org/10.17943/etku.639383

Cited By: 1

Abstract

The
aim of this study is to investigate research articles on usability
evaluations   related with Human-Computer
Interaction field published in Turkey-originated journals within the years (6
years 11 months) 2014-2019( November). In line with this purpose, the research
studies were searched with the keywords as “insan- bilgisayar etkileşimi”,
“kullanılabilirlik”, “Human-computer interaction” and “usability on Dergipark
and Google Scholar databases. Within the 118 articles reviewed, those (N=80) on
the use of technology in teaching an area or on a general assessment of a
technology were excluded. 2 of the remained 38 research articles were excluded
from this study because they were literature reviews. The remained 36 research
articles were analysed by using adapted version of Article Review Rubric
developed by Baran (2014) according to experts’ opinions. The Article Review
Rubric consisted of 9 categories. These are: Researchers and year, subject
domain, participants, type, methods, data sources, validity-reliability,
technologies investigated in usability evaluations, technologies used for data
collection. According to the study results, a) there is no apparent trend in
usability evaluations related with Human-Computer interaction field; b)
research methods and validity-reliability issues were include in very few
studies; c) Types of participants, data sources and technologies evaluated in
terms of usability vary in articles; d) While implementation, in other words,
usability testing is reported in 19 articles, technologies used for data collection
were reported in only 9 articles. These results were important in order to
interpret trends in research articles on usability and overcome problematic
implementations.

Keywords

usability, content analysis, research trends

2014-2019 YILLARI ARASINDA TÜRKİYE’DE KULLANILABİLİRLİK ÜZERİNE YAYIMLANAN ARAŞTIRMA MAKALELERİNİN İNCELENMESİ

Abstract

Bu
çalışmanın amacı, 2014 – 2019 (Kasım ayı) yılları (6 yıl 11 ay) arasında
insan-bilgisayar alanı kapsamında kullanılabilirlik değerlendirmeleri üzerine
Türkiye kökenli dergilerde yayımlanan araştırma makalelerinin incelenmesidir.
Bu amaçla Dergi Park ve Google Akademik veri tabanlarında “insan- bilgisayar
etkileşimi”, “kullanılabilirlik”, “Human-computer interaction” ve “usability”
anahtar kelimeleri kullanılarak 2014-2019 yılları arasında yapılmış araştırmalar
incelenmiştir. İncelenen 118 makale içinden teknolojinin bir alanın öğretiminde
kullanımı veya bir teknolojinin genel değerlendirmesi üzerine olanlar (N=80)
çıkarılmıştır. Kalan 38 makaleden 2 tanesi alan yazın taraması olduğu için incelemeden
çıkarılmıştır. Kalan 36 araştırma makalesi ise Baran (2014) tarafından
geliştirilen Makale Değerlendirme aracının uzman görüşüne göre uyarlanmış hali
kullanılarak analiz edilmiştir. Değerlendirme aracı 9 ayrı kategoriden
oluşmaktadır. Bunlar sırasıyla; araştırmacılar ve yıl, çalışma alanı,
katılımcılar, araştırmanın türü, yöntemi, veri kaynakları, geçerlik-güvenirlik,
kullanılabilirliği yapılan teknolojiler ve veri toplamak için kullanılan
teknolojilerdir. Araştırmanın sonuçlarına göre, a) insan bilgisayar alanında
kullanılabilirlik üzerine belirgin bir eğilim ortaya çıkmamıştır; b) yöntem ve
geçerlik-güvenirlik açıklamaları çok az sayıda makalede belirtilmiştir; c) makalelerde
yer alan katılımcı türleri, veri kaynakları ve kullanılabilirliği yapılan
teknolojiler çeşitlilik göstermektedir; d) uygulama içeren yani kullanıcı testi
yapılan çalışma sayısı 19 iken, veri toplamak için teknoloji kullanılan makale
sayısı sadece 9’dir. Bu bulgular, kullanılabilirlik üzerine yapılan
çalışmalardaki eğilimin yorumlanması ve problemli uygulamaların giderilmesi
için önemlidir.

Keywords

kullanılabilirlik, içerik analizi, araştırma eğilimleri

References

• Baran, E. (2014). A Review of Research on mobile Learning in Teacher Education. Educational Technology & Society, 17 (4), 17-32.
• Baran, E., & Khan, S. (2014). Going mobile—Science teacher candidates evaluating mobile apps. In C. Miller & A. Doering (Eds.), The new landscape of mobile learning: Redesigning education in an app-based World (pp. 258–275). New York, NY: Routledge.
• Baran, E., Uygun, E. & Altan, T. (2016). Examining preservice teachers’ criteria for evaluating educational mobile apps. Journal of Educational Computing Research, 54(8), 1117-1141.
• Blecken, A., Bruggeman, D. & Marx, W. (2010). Usability evaluation of a learning management system. 43rd Hawaii International Conference on System Sciences, 1-9.
• Carroll, J. M. (2003). HCI models, theories, and frameworks: Toward a multidisciplinary science. Morgan Kaufman Publishers.
• Covey, D.T. (2002). Usage and usability assessment: Library practices and concerns. Washington DC: Digital Library Federation.
• Emanuel, J. (2013). Usability testing in libraries: Methods, limitations, and implications. OCLC Systems & Services: International digital library perspectives, 29 (4), 204-217.
• Faulkner, L. (2003). Beyond the five-user assumption: Benefits of increased sample sizes in usability testing. Behavior Research Methods. Instruments, & Computers, 35 (3), 379-383.
• Gould, N. and Zola, J. (2012), “Eye tracking and web usability: a good fit?”, 06.10.2019 tarihinde http://uxmag.com/technology/eye-tracking-and-web-usability-a-good-fit? adresinden erişilmiştir.
• Göktaş, Y., Küçük, S., Aydemir, M., Telli, E., Arpacık, Ö., Yıldırım, G., & Reisoğlu, İ. (2012). Türkiye’de eğitim teknolojileri araştırmalarındaki eğilimler: 2000-2009 dönemi makalelerinin içerik analizi. Kuram ve Uygulamada Eğitim Bilimleri Dergisi, 12(1), 177-199.
• Hyman, J. A., Moser, M. T. & Segala, L. N. (2014). Electronic reading and digital library technologies: understanding learner expectation and usage intent for mobile learning. Educational Technology Research and Development, 62(1),35–52.
• Hwang, W. & Salvendy, G. (2010). Number of people required for usability evaluation: The 10 +/- 2 rule. Communications of the ACM, 53(5):130-133.
• Imler, B. B., & Eichelberger, M. (2011). Using screen capture to study user research behavior. Library Hi Tech, 29(3), 446- 454.  https://doi.org/10.1108/07378831111174413.
• Kang, Y.Y., Wang, M.J.J. & Lin. R. (2009). Usability evaluation of E-books. Displays, 30 (2), 49-96.
• Kullanılabilirlik: ISO (2018). Ergonomics of human-system interaction — Part 11: Usability: Definitions and concepts (ISO 9241-11). 01.12.2018 tarihinde https://www.iso.org/obp/ui/#iso:std:iso:9241:-11:ed-2:v1:en adresinden erişilmiştir.
• Lazar, J., Feng, J. H. Ve Hochheiser, H. (2017). Research methods in human computer interaction(2nd Ed.). Morgan Kaufman Publishers.
• Kukulsha-Hulme, A. (2007). Mobile usability in educational contexts: What have we learnt? International Review of Research in Open and Distance Learning, 8(2), 1-16.
• Kumar, B. A. ve Mohite, P. (2017). Usability of mobile learning applications: A systematic literature review. Journal of Computers in Education, 5(1), 1-17.
• Lam, P., Lam, S., Lam, J., & McNaught, C. (2009). Usability and usefulness of eBooks on PPCs: How students’ opinions vary over time. Australasian Journal of Educational Technology, 25(1), 30–44.
• Nielsen, J. & Molich, R. (1990) HE of user interface. In CHI ’90 Conference Proceedings. ACM, 249-256.
• Nielsen, J. (2012). Usability 101: Introduction to Usability. 01.08.2018 tarihinde (https://www.nngroup.com/articles/usability-101-introduction-to-usability/) adresinden erişilmiştir.
• Nielsen, J. (1994). Estimating the number of subjects needed for a thinking aloud test. International Journal of Human Computer Studies, 41(3), 385-397.
• Özdemir, M. (2010). Nitel veri analizi: Sosyal bilimlerde yöntembilim sorunsali üzerine bir çalişma. Eskişehir Osmangazi Üniversitesi Sosyal Bilimler Dergisi, 11(1), 323-343.
• Parlangeli, O., Marhigiani, E. & Bagnara, S. (1999). Multimedia systems in distance education: effects of usability on learning. Interacting with Computers, 12(1), 37-49.
• Poole, A. & Ball, L. J. (2005). Eye tracking in HCI and usability research. In Ghaoui,C. (Eds.), Encyclopedia of human computer interaction (pp.211-219), IGI Global.
• Rodríguez, G., Perez, J., Cueva,S. & Torres, R. (2017). A framework for improving web accessibility and usability of Open Course Ware sites. Computers & Education, 109, 197-215.
• Stemler, S. (2001). An overview of content analysis. Practical Assessment, Research & Evaluation, 7(17), 137-146.
• Storey, M. A., Philips, M., Maczewski, M. & Wangi M. (2002). Evaluating the usability of Web- based learning tools. Educational Technology & Society, 5(3), 91-100.
• Türkiye Bilimsel ve Teknik Araştırma Kurumu (TÜBİTAK)(2004). Ulusal Bilim ve Teknoloji Politikaları 2003-2023 Strateji Belgesi. (10 Aralık 2018 tarihinde https://www.tubitak.gov.tr/tubitak_content_files/vizyon2023/Vizyon2023_Strateji_Belgesi.pdf adresinden erişilmiştir.)
• Wang, J., Antonenko, P., Celepkolu, M., Jimenez, Y., Fieldman, E., & Fieldman, A. (2019). Exploring relationships between eye tracking and traditional usability testing data. International Journal of Human–Computer Interaction, 35(6), 483-494.
• Ek Kaynaklar. Bu çalışmada incelenen çalışmalar
• A1. Arslan, H., Pala, F. K., Battal, A., & Özdinç, F. (2017) Öğretmenlerin etkileşimli tahta yazılımı antropi teach’in kullanılabilirliğine yönelik görüşleri. SDU International Journal of Educational Studies, 4(1), 1-11.
• A2. Aydoğdu, Ş., & Hava, K. (2014). Açıklayıcı bibliyografi kütüphanesi uygulamasının kullanılabilirliği. Eğitim Teknolojisi Kuram ve Uygulama, 4(1), 35-47.
• A3. Aytekin, B. A. (2019). Türkiye’deki Kitle Fonlama Web Sitelerinin Kullanılabilirlik ve Görsel Estetik Kavramları Bağlamında Görsel İletişim Tasarımı Değerlendirmesi. Erciyes İletişim Dergisi, 6(2), 1291-1308.
• A4. Azeta, A. A., Inam, I. A. & Daramola, O. (2018). A Voice-Based E-Examination Framework for Visually Impaired Students in Open and Distance Learning. Turkish Online Journal of Distance Education, 19(2), 34-46.
• A5. Bayrak, M., karaman, A., & Kurşun, E. (2014). FATİH projesi kapsamında kullanılan LCD panelli etkileşimli tahtaların kullanılabilirlik problemlerinin tespiti. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 10(2), 28-50.
• A6. Bertiz, Y. (2017). Çevrimiçi sosyal eğitim platformlarının kullanılabilirliklerinin değerlendirilmesi. Eğitim Bilişim Ağı (EBA) sistem örneği. Bilim, Eğitim, Sanat ve Teknoloji Dergisi (BEST Dergi), 1(2), 63-76.
• A7. Can, G. F., Atalay, K. D., & Eraslan, E. (2017). Tabletlerin kullanılabilirlik ölçütlerine göre çok kriterli karar verme yaklaşımıyla değerlendirilmesi. Mühendislik Bilimleri ve Tasarım Dergisi, 5(SI), 81-88.
• A8. Cengiz, E. (2016). Hacettepe üniversitesi kütüphaneleri web sitesinin kullanılabilirliğinin eğitimle desteklenmesi ve değerlendirilmesi: Hacettepe üniversitesi bilgi ve belge yönetimi bölümü öğrencileri üzerine bir çalışma. Türk Kütüphaneciliği, 30(1), 84-95.
• A9. Çetin, İ., & Şendurur, E. (2016). Çevrimiçi akademik kaynakların kullanılabilirlik değerlendirmesi. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 1(40), 279-299.
• A10. Demirkol, D. & Şeneler, Ç. (2018). A Turkish Translation of the System Usability Scale: The SUS-TR. Uşak University Journal of Social Sciences, 11(3), 237-253.
• A11. Emiroğlu, B. G. (2019). Edmodo öğrenme yönetim sisteminin öğretim elemanları tarafından algılanan kullanılabilirliğinin incelenmesi. Adıyaman Üniversitesi Eğitim Bilimleri Dergisi, 9(1), 158-175.
• A12. Eraslan, E., Nacar, E. N. & Rouyendegh, B. D. (2019). Türkiye’deki Dijital Platformların Kullanılabilirlik Ölçütüne Göre İncelenmesi. Ergonomics, 2(1), 18-24.
• A13. Erdoğdu, F. & Şahin, S. (2018). Her yerde öğrenme sisteminin kullanılabilirliğine ilişkin öğrenci görüşleri. Karaelmas Journal of Educational Sciences, 6(1), 15-24.
• A14. Eren, A., & Kaya, M. D. (2019). Elektronik belge yönetim sisteminin algılanan kullanılabilirliğinin değerlendirilmesi. Ergonomi, 2(2), 88-100.
• A15. Erümit, A.K., Çetin, İ., Kokoç, M., Kösa, T., Nabiyev, V. & Aygün, E. S. (2019). Designing usability assessment process for adaptive intelligent tutoring systems: A case study. Turkish Online Journal of Qualitative Inquiry (TOJQI), 10(1), 141-179.
• A16. Evren, F. B. (2016). Grafik ara yüzlerin tasarım ve kullanılabilirlik açısından incelenmesi: Android ve IOS. The Turkish Online Journal of Design, 6(4),400-418.
• A17. Fitchat, L. & Jordaan, D. B. (2016). Ten Heuristics to Evaluate the User Experience of Serious Games. International Journal of Social Sciences and Humanity Studies, 8(2), 209-225.
• A18. Gundak, Ö. G. İ., & Çetin, H. (2015). Hastane bilgi sistemlerinin sumi yöntemine göre kullanilabilirlik düzeyinin belirlenmesi: Akdeniz Üniversitesi hastanesi örneği. Süleyman Demirel Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 20(2), 315-331.
• A19. Hebebci, M. T.& Alan, S. (2017). Okul web sitesi yönetim paneli (MebWeb) sisteminin kullanılabilirlik değerlendirmesi: Tasarım rehberleri temelli kullanılabilirlik. Bilim, Eğitim, Sanat ve Teknoloji Dergisi (BEST Dergi),1(1), 1-10.
• A20. İnal, Y., Çinar, N. Ö. & Çağıltay, K. (2016). Kamu İnternet Sitelerinde Yer Alan Arama Alanlarının Kullanılabilirliği ve Buna Yönelik Kullanıcı Davranışlarının Analizi, Bilişim Teknolojileri Dergisi, 9(1), 41-54.
• A21. İnal, Y., & Güner, H. (2016). Yazılım geliştiricilerin kullanıcı deneyimi ve kullanılabilirlik konusundaki farkındalıklarının ve bilgi seviyelerinin belirlenmesi. Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi, 22(5), 384-389.
• A22. İşgör Şimşek, E., & Turan, B. O. (2017). Mobil Ortamlarda Kitlesel Açık Çevrimiçi Derslerin (KAÇD) Kullanılabilirliğinin Değerlendirilmesi. Mersin University Journal of the Faculty of Education, 13(2), 595-608.
• A23. Kaya Gülağız, F., Özcan, H., Şahin, S., & Güler, S. A (2018). Senaturk Akademisi Göğüs Sağlığı İzleme Uygulamasının Kullanılabilirlik Değerlendirmesi. Bilge International Journal of Science and Technology Research, 2 (SI), 124-131.
• A24. Kayhan, S. (2017). FONGOGO: Türkiye’deki Yerel Kitlesel Fonlama ve Kaynak Geliştirme Web Sitelerinin Kullanılabilirliği Üzerine Bir Vaka Çalışması, Humanitas, 5(9), 95-105.
• A25. Kırmacı, Ö. & İzmirli, Ö. Ş. (2017). Kitap okuma etkinliklerinin çevrimiçi takip ve değerlendirilmesi sisteminin kullanılabilirliğine ilişkin paydaşların görüşleri. İlköğretim Online, 16(1), 525-546.
• A26. Kuzgun, H., & Özdinç, F. (2017) Eğitsel sosyal ağ ortamı Edmodo’nun kullanılabilirliğinin incelenmesi. Kuramsal Eğitimbilim Dergisi,10(2), 274-297.
• A27. Mutlu Bayraktar, D. (2017). E-Okul yönetim bilgi sisteminin kullanılabilirliğinin göz izleme yöntemi ile değerlendirilmesi. İnsan ve Toplum Bilimleri Araştırmaları Dergisi, 6(5), 2908-2928.
• A28. Orhan Göksun, D., Filiz, O. ve Kurt, A. A. (2018). Eğitim çantası: Web 2.0 araçlarını kategori bazlı sunan sosyal bir web sitesinin geliştirilmesi. Ege Eğitim Dergisi /Ege Journal of Education, 19(2), 505-533. DOI: 10.12984/egeefd.437670.
• A29. Özmen, E., Karaman, G. E. & Karaman, E. (2018). E-Ticaret sitelerinin kullanılabilirliğinin değerlendirilmesine yönelik ölçek geliştirme ve uygulama. Gazi Üniversitesi Sosyal Bilimler Dergisi, 5(12), 74-91.
• A30. Pala, F. K., Arslan, H. & Özdinç, F. (2017). Eğitim bilişim ağı web sitesinin otantik görevler ve göz izleme ile kullanılabilirliğinin incelenmesi, Ihlara Eğitim Araştırmaları Dergisi, 2(1), 24-38.
• A31. Parlak, E. (2016). Web tabanlı eğitim platformlarının kullanılabilirliklerinin değerlendirilmesi: Khan Academy Örneği. Eğitim ve Öğretim Araştırmaları Dergisi, 5(1), 137-146.
• A32. Uçar, A. & Onay Durdu, P. (2016). Usability Benchmarks for Interactive Whiteboards: Lessons Learned from Turkey’s Fatih Project. Bilişim Teknolojileri Dergisi, 9(2), 113-124.
• A33. Uslu, D., Toygar, Ş. A. & Mansur, F. (2016). Hastane bilgi yönetim sisteminin kullanılabilirliğini belirlemeye yönelik bir araştırma. Uluslararası Sağlık Yönetimi ve Stratejileri Araştırma Dergisi, 2(3), 45-57.
• A34. Yakit, O. & İsmailova, R. (2018). Learning management system implementation. Case study on USR interface configurations. MANAS Journal of Engineering, 6(2), 164-176.
• A35. Yıldırım, O. G., Erdoğan, T. & Çiğdem, H. (2017). The investigation of the usability of web-based assignment system. Eğitimde Kuram ve Uygulama, 13(1), 1-9.
• A36. Yılmaz, İ. G., Aygün, D., Akadal, E., & Gülseçen, S. (2019). Göz hareketlerini izleme yöntemiyle arama motorlarının otomatik tamamlama özelliğinin kullanilabilirlik açısından incelenmesi. Tasarım Enformatiği, 1(1), 48-58.