System Usability Evaluation of Engelsiz Sağlık İletişim Merkezi Mobile Application

Abstract

The aim of this study is to conduct the system usability evaluation of the Engelsiz Sağlık İletişim Merkezi (ESIM) mobile application designed for individuals with hearing impaired. In this study, the descriptive research method has been used to determine the system usability level of the ESIM mobile application designed for hearing impaired individuals. For this purpose, the 5-point Likert System Usability Scale consisting of 10 items, developed by Brooke (1996), was used. Within the scope of this study, ESIM system usability evaluation was carried out with 8 hearing impaired individuals using the ESIM mobile application. The Cronbach's Alpha coefficient of the System Usability Scale is 0.78. The descriptive statistics of the demographic data obtained as a result of the research were given as a percentage, and the system usability level was calculated as a score and interpreted. For the System Usability Scale, 68 points are accepted as the threshold value. It can be stated that the system with a value above 68 points is above the average in terms of usability; A score below 68 is considered as below the average, and the results are evaluated according to the relevant references. According to the answers given by the hearing impaired individuals using the ESIM mobile application, the average of the total system usability score is 54,4 (Minimum: 40, Maximum: 70). According to these value ranges, it has been concluded that the average score of the system usability level of the ESIM mobile application, which is considered within the scope of the study, is below the average and needs to be improved.

Keywords

• system
• usability
• mobile application
• hearing impaired individuals
• ESIM

Engelsiz Sağlık İletişim Merkezi Mobil Uygulamasının Sistem Kullanılabilirlik Değerlendirilmesi

Abstract

Bu çalışmanın amacı işitme engelli bireyler için tasarlanmış Engelsiz Sağlık İletişim Merkezi (ESİM) mobil uygulamasının sistem kullanılabilirlik değerlendirmesini gerçekleştirmektir. İşitme engelli bireyler için tasarlanmış ESİM mobil uygulamasının sistem kullanılabilirlik düzeyin belirlenmeye çalışılacağı bu çalışmada betimsel araştırma yöntemi kullanılmıştır. Bu amaçla Brooke (1996) tarafından geliştirilen 10 maddeden oluşan 5’li Likert Sistem Kullanılabilirlik Ölçeği kullanılmıştır. Bu çalışma kapsamında ESİM mobil uygulamasını kullanan 8 işitme engelli birey ile ESİM sistem kullanılabilirlik değerlendirilmesi gerçekleştirilmiştir. Sistem Kullanılabilirlik Ölçeği’nin Cronbach’s Alpha katsayısı 0,78’dir. Araştırma sonucunda elde edilen demografik verilere ait tanımlayıcı istatistikler yüzde olarak verilmiş olup, sistem kullanılabilirlik düzeyi skor olarak hesaplanarak yorumda bulunulmuştur. Sistem Kullanılabilirlik Ölçeği için 68 puan eşik değer olarak kabul edilmektedir. 68 puanın üzerinde bir değer alan sistemin, kullanılabilirlik bağlamında ortalamanın üstü olduğu ifade edilebilmekte; 68 puanın altı ise ortalamanın altı olarak kabul edilerek ilgili referanslara göre sonuçlar değerlendirilmektedir. ESİM mobil uygulamasını kullanan işitme engelli bireyler tarafından verilen yanıtlara göre toplam sistem kullanılabilirlik puanına ait ortalama 54,4’tür (Minumum: 40, Maksimum: 70). Bu değer aralıklarına göre çalışma kapsamında ele alınan ESİM mobil uygulamasının sistem kullanılabilirlik düzeyine ait puan ortalamasının ortalamanın altında kaldığı ve geliştirilmesi gerektiği sonucuna ulaşılmıştır.

Keywords

• sistem
• kullanılabilirlik
• mobil uygulama
• işitme engelli bireyler
• ESİM

References

1. AlGhannam, B. A., Albustan, S. A., Al-Hassan, A. A., & Albustan, L. A. (2018). Towards a standard arabic system usability scale: Psychometric evaluation using communication disorder app. International Journal of Human–Computer Interaction, 34(9), 799-804.
2. Al-Otaibi, H. M., AlAmer, R. A., & Al-Khalifa, H. S. (2016). The next generation of language labs: Can mobiles help? A case study. Computers in Human Behavior, 59, 342-349.
3. Alkış, N., & Coşkunçay, D. F. (2021). Covid-19 salgınında Hayat Eve Sığar (HES) uygulamasının kullanıcılar tarafından benimsenmesi: ampirik bir çalışma. Bilişim Teknolojileri Dergisi, 14(4), 367-376.
4. Akçay, G., Özkaraca, O., & Güney, B. (2016). Teleradyoloji web uygulaması ile güçlendirilmiş açık kaynak kodlu yazılım kullanarak uzaktan konsültasyon: Gerçek bir hastane uygulaması. Sağlık Akademisyenleri Dergisi, 3(1), 50-55.
5. Arslan, E. T., & Demir, H. (2017). Üniversite öğrencilerinin mobil sağlık ve kişisel sağlık kaydı yönetimine ilişkin görüşleri. Aksaray Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 9(2), 17-36.
6. Attard, C., Mountain, G., & Romano, D. M. (2016). Problem solving, confidence and frustration when carrying out familiar tasks on non-familiar mobile devices. Computers in Human Behavior, 61, 300-312.
7. Bangor, A., Kortum, P., & Miller, J. (2009). Determining what individual SUS scores mean: Adding an adjective rating scale. Journal of Usability Studies, 4(3), 114-123.
8. Banos, O., Garcia, R., Holgado-Terriza, J. A., Damas, M., Pomares, H., Rojas, I., ... & Villalonga, C. (2014). mHealthDroid: a novel framework for agile development of mobile health applications. In Ambient Assisted Living and Daily Activities: 6th International Work-Conference, IWAAL 2014, Belfast, UK, December 2-5, 2014. Proceedings 6 (pp. 91-98). Springer International Publishing.

9. Barton, A. J. (2012). The regulation of mobile health applications. BMC Medicine, 10, 1-4.
10. Battal, A., & Çağıltay, K. (2015). Investigation of usage frequency and department on usability issues with the online examination system (OSSI). Mersin Üniversitesi Eğitim Fakültesi Dergisi, 11(3).
11. Birinci, Ş. ve Akbudak, Ö. (2019). Dijitalleşme yolunda Türkiye’nin Engelsiz Sağlık İletişim Merkezi (ESİM). Sağlık Düşüncesi ve Tıp Kültürü Platformu Dergisi. Erişim adresi: https://www.sdplatform.com/Dergi/1170/Dijitallesme-yolunda-Turkiyenin-Engelsiz-Saglik-Iletisim-Merkezi-ESIM.aspx.
12. Bol, N., Helberger, N., & Weert, J. C. (2018). Differences in mobile health app use: a source of new digital inequalities. The Information Society, 34(3), 183-193.
13. Borsci, S., Federici, S., & Lauriola, M. (2009). On the dimensionality of the System Usability Scale: a test of alternative measurement models. Cognitive Processing, 10(3), 193-197.
14. Bostan, S., Kılıç, T., & Çiftçi, F. (2014). Sağlık Bakanlığı 184 sabim hattına yapılan şikâyetlerin karşılaştırmalı analizi. Global Journal of Economics and Business Studies, 3(5), 32-40.
15. Brooke, J. (1996). SUS: a “quick and dirty usability scale. Usability Evaluation in Industry, 189(194), 4-7.
16. Çağıltay, K. (2011). İnsan bilgisayar etkileşimi ve kullanılabilirlik mühendisliği: Teoriden pratiğe. Human Computer Interaction and Usability Engineering: from Theory to Practice. Ankara: ODTU Press.
17. Demir, Ö. & Uslu, D. (2022). Bireylerin mobil sağlık uygulamalarına ilişkin görüşleri. Uluslararası Sağlık Yönetimi ve Stratejileri Araştırma Dergisi, 8 (3), 394-407.
18. Demirkol, D., Kartal, E., Şeneler, Ç., & Gülseçen, S. (2019). Bir öğrenci bilgi sisteminin kullanılabilirliğinin makine öğrenmesi teknikleriyle tahmin edilmesi. Veri Bilimi, 2(1), 10-18.
19. Díaz, J., Rusu, C., & Collazos, C. A. (2017). Experimental validation of a set of cultural-oriented usability heuristics: e-Commerce websites evaluation. Computer Standards & Interfaces, 50, 160-178.
20. Engelliler.biz platformu (2019). Engelsiz Sağlık İletişim Merkezi (ESİM) işitme engelliler için hizmet verecek. Erişim adresi: https://www.engelliler.biz/forum/saglik-genel/207471-engelsiz-saglik-iletisim-merkezi-esim-isitme-engeliler-icin-hizmetverecek.html adresinden 20.03.2023 tarihinde alınmıştır.
21. Erdoğdu, F., Arı, E., & Cin, F. M. (2018). İki dünya arasında: işitme engelli ebeveynlerin işiten çocuklarının (CODA’ların) kimlik gelişimleri. Değerler Eğitimi Dergisi, 16(35), 91-139.
22. Grudin, J. (1992). Utility and usability: research issues and development contexts. Interacting with Computers, 4(2), 209-217.
23. Gülbahar, Y., Kalelioğlu, F., & Madran, O. (2008). Öğretim ve değerlendirme yöntemi olarak web macerasının kullanışlılık açısından değerlendirilmesi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 41(2), 209-236.
24. Güler, Ç. (2019). A structural equation model to examine mobile application usability and use. Bilişim Teknolojileri Dergisi, 12(3), 169-181.
25. Hägglund, M., & Scandurra, I. (2021). User evaluation of the swedish patient accessible electronic health record: system usability scale. JMIR Human Factors, 8(3), e24927.
26. Holden, R. J. (2020, September). A simplified system usability scale (SUS) for cognitively impaired and older adults. In Proceedings of the International Symposium on Human Factors and Ergonomics in Health Care (Vol. 9, No. 1, pp. 180-182). Sage CA: Los Angeles, CA: SAGE Publications.
27. Hvidt, J. C. S., Christensen, L. F., Sibbersen, C., Helweg-Jørgensen, S., Hansen, J. P., & Lichtenstein, M. B. (2020). Translation and validation of the system usability scale in a Danish mental health setting using digital technologies in treatment interventions. International Journal of Human–Computer Interaction, 36(8), 709-716.
28. Hyzy, M., Bond, R., Mulvenna, M., Bai, L., Dix, A., Leigh, S., & Hunt, S. (2022). System usability scale benchmarking for digital health apps: meta-analysis. JMIR mHealth and uHealth, 10(8), e37290.
29. Inostroza, R., Rusu, C., Roncagliolo, S., Rusu, V., & Collazos, C. A. (2016). Developing SMASH: A set of smartphone's usability heuristics. Computer Standards & Interfaces, 43, 40-52.
30. Islam, M. N., Khan, S. R., Islam, N. N., Rezwan-A-Rownok, M., Zaman, S. R., & Zaman, S. R. (2021). A mobile application for mental health care during covid-19 pandemic: Development and usability evaluation with system usability scale. In Computational Intelligence in Information Systems: Proceedings of the Computational Intelligence in Information Systems Conference (CIIS 2020) (pp. 33-42). Springer International Publishing.
31. ISO (2018). 9241-11. Ergonomics of Human-System Interaction-Part 11: Usability: Definition and Concepts. ISO: Washington, DC, USA.
32. İleri, Y. Y., & Uludağ, A. (2017). e-Nabız uygulamasının yönetim bilişim sistemleri ve hasta mahremiyeti açısından değerlendirilmesi. Uluslararası Sağlık Yönetimi ve Stratejileri Araştırma Dergisi, 3(3), 318-325.
33. Jou, M., Tennyson, R. D., Wang, J., & Huang, S. Y. (2016). A study on the usability of e-books and APP in engineering courses: A case study on mechanical drawing. Computers & Education, 92, 181-193.
34. Kadirhan, Z., Gül, A., & Battal, A. (2015). Sistem kullanılabilirlik ölçeği: geçerlik ve güvenirlik çalışması. Eğitim Bilimleri ve Uygulama, 14(28), 149-167.
35. Kalkınma Bakanlığı (2013). Onuncu Kalkınma Planı 2014-2018.
36. Kao, C. K., & Liebovitz, D. M. (2017). Consumer mobile health apps: current state, barriers, and future directions. PM&R, 9(5), S106-S115.
37. Kim, Y. B. (2010). Real-time analysis of time-based usability and accessibility for human mobile-web interactions in the ubiquitous internet. Journal of Universal Computer Science, 16(15), 1953-1972.
38. Kopmaz, B., & Arslanoğlu, A. (2018). Mobil sağlık ve akıllı sağlık uygulamaları. Sağlık Akademisyenleri Dergisi, 5(4), 251-255.
39. Korkmaz, S., & Arıkan, G. (2021). e-Nabız uygulamasını değerlendirmek için kullanılan yeni bir araç: mobil uygulama derecelendirme ölçeği. Ankara Hacı Bayram Veli Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 23(3), 625-636.
40. Kortum, P. T., & Bangor, A. (2013). Usability ratings for everyday products measured with the system usability scale. International Journal of Human-Computer Interaction, 29(2), 67-76.
41. Kurşun, A., & Kaygısız, E. G. (2018). Merkezi Hekim Randevu Sistemi MHRS uygulamalarına yönelik memnuniyet ve erişilebilirlik düzeyinin belirlenmesi. Acıbadem Üniversitesi Sağlık Bilimleri Dergisi, (4), 401-409.
42. Laakko, T., Leppänen, J., Lähteenmäki, J., & Nummiaho, A. (2008). Mobile health and wellness application framework. Methods of Information in Medicine, 47(03), 217-222.
43. Lewis, J. R., & Sauro, J. (2009). The factor structure of the system usability scale. In Human Centered Design: First International Conference, HCD 2009, Held as Part of HCI International 2009, San Diego, CA, USA, July 19-24, 2009 Proceedings 1 (pp. 94-103). Springer Berlin Heidelberg.
44. Liang, J., Xian, D., Liu, X., Fu, J., Zhang, X., Tang, B., & Lei, J. (2018). Usability study of mainstream wearable fitness devices: feature analysis and system usability scale evaluation. JMIR mHealth and uHealth, 6(11), e11066.
45. Liu, C., Zhu, Q., Holroyd, K. A., & Seng, E. K. (2011). Status and trends of mobile-health applications for iOS devices: A developer's perspective. Journal of Systems and Software, 84(11), 2022-2033.
46. Lourenço, D. F., Carmona, E. V., & Lopes, M. H. B. D. M. (2022). Translation and cross-cultural adaptation of the System Usability Scale to Brazilian Portuguese. Aquichan, 22(2).
47. Martínez-Pérez, B., De La Torre-Díez, I., & López-Coronado, M. (2013). Mobile health applications for the most prevalent conditions by the World Health Organization: review and analysis. Journal of Medical Internet Research, 15(6), e120.
48. Mol, M., van Schaik, A., Dozeman, E., Ruwaard, J., Vis, C., Ebert, D. D., ... & Smit, J. H. (2020). Dimensionality of the system usability scale among professionals using internet-based interventions for depression: a confirmatory factor analysis. BMC Psychiatry, 20(1), 1-10.
49. Nielsen, J. (1993). Usability Engineering. Morgan Kaufmann, Academic Press.
50. Orfanou, K., Tselios, N., & Katsanos, C. (2015). Perceived usability evaluation of learning management systems: Empirical evaluation of the System Usability Scale. The International Review of Research in Open and Distributed Learning, 16(2), 227-246.
51. Özel, D., Bilge, U., Zayim, N., Cengiz, M., Özbek, F., & Saka, O. (2010). Web tabanlı yoğun bakım karar destek sistemi. VII. Ulusal Tıp Bilişimi Kongresi Bildirileri, 26-36.
52. Peres, S. C., Pham, T., & Phillips, R. (2013, September). Validation of the system usability scale (SUS) SUS in the wild. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Vol. 57, No. 1, pp. 192-196). Sage CA: Los Angeles, CA: SAGE Publications.
53. Sağlık Bakanlığı (2020). https://denizliism.saglik.gov.tr/TR,81767/engelsiz-saglik-iletisim-merkezi-esim-uygulamasi.html adresinden 20.04.2023 tarihinde alınmıştır.
54. Sama, P. R., Eapen, Z. J., Weinfurt, K. P., Shah, B. R., & Schulman, K. A. (2014). An evaluation of mobile health application tools. JMIR mHealth and uHealth, 2(2), e3088.
55. Sarrab, M., Al-Shihi, H., & Safia, N. (2021). Handbook of Mobile Application Development: A Guide to Selecting the right Engineering and Quality Features. Bentham Science Publishers.
56. Sevilla-Gonzalez, M. D. R., Loaeza, L. M., Lazaro-Carrera, L. S., Ramirez, B. B., Rodríguez, A. V., Peralta-Pedrero, M. L., & Almeda-Valdes, P. (2020). Spanish version of the system usability scale for the assessment of electronic tools: development and validation. JMIR Human Factors, 7(4), e21161.
57. Tarcan Yorgancıoğlu, G. (2020). Hemşirelerin bireysel özellikleri ile hastane bilgi sistemi kullanılabilirliğinin iş doyumuna etkisi. Hacettepe Sağlık İdaresi Dergisi, 23(1), 41-54.
58. Yıldızbaşı, E., Öztaş, D., Sanisoğlu, Y., Fırat, H., Yalçın, N., Şeker, E. D., ... & Akçay, M. (2016). Bir eğitim ve araştırma hastanesinde merkezi hekim randevu sistemini kullanan hastaların memnuniyet düzeylerinin ölçülmesi. Ankara Medical Journal, 16(3), 293-302.
59. Yorulmaz, M., Odacı, Ş., & Akkan, M. (2018). Dijital sağlık ve e-nabız farkındalık düzeyi belirleme çalışması. Selçuk Üniversitesi Sosyal ve Teknik Araştırmalar Dergisi, (16), 1-11.
60. Weichbroth, P. (2020). Usability of mobile applications: a systematic literature study. Ieee Access, 8, 55563-55577.
61. Williams, V., Price, J., Hardinge, M., Tarassenko, L., & Farmer, A. (2014). Using a mobile health application to support self-management in COPD: a qualitative study. British Journal of General Practice, 64(624), e392-400.