The Use of Machine Learning in Evaluating the Usability of TV and Set-Top Boxes Interfaces

Abstract

With the rapid developments in technology, today traditional TVs have gained many new features and turned into smart TVs. With this transformation, the complexity of TV interfaces gradually has increased and started to cause usability problems. Identifying usability problems in the early stages of the product design reduces the costs of companies and provides more usable systems to customers. However, the various stages of usability evaluation are based on expert opinion and take a long time. Machine learning and artificial intelligence technologies can be used in usability evaluation as in many areas to automate and speed up the processes. This study aims to investigate whether usability problems have certain patterns in terms of importance levels using the association rules technique and to classify usability problems with the help of various machine learning algorithms (naive bayes, logistic regression, fast large margin, deep learning, random forest, gradient boosted trees, support vector machines) according to their importance levels. For this purpose, 3695 problems of a TV and set-top box interface determined by the software developers were obtained from Digiturk, which is one of Turkey's leading digital platforms. By examining the problems obtained, in total 2752 usability problems were determined. Before the analyze, the data set consisting of texts was made ready for analysis by pre-processing such as tokenization, filtering, stemming. As a result of the study, the patterns of usability problems according to their importance levels were obtained by using the association rules technique. Furthermore, usability problems were classified according to their priorities using different training/test data splitting ratios (50/50, 55/45, 60/40, 65/35, 70/30, 75/25, 80/20, 85/15, 90/10, 95/5). The performances of the classification algorithms were compared according to accuracy rate and F1-score metrics. As a result of the study, support vector machines had the highest accuracy level (76.21%) and deep learning algorithms had the highest F1-score (%79,51) in the classification of usability problems according to priority levels.

Keywords

• TV
• Set-top box
• Usability
• Machine learning
• Text mining.

TV ve Set Üstü Cihaz Arayüzlerinin Kullanılabilirliğinin Değerlendirmesinde Makine Öğrenmesinin Kullanımı

Öz

Teknoloji alanındaki hızlı gelişmelerle birlikte günümüzde geleneksel TV’ler birçok yeni özellik kazanarak akıllı TV’lere dönüşmüştür. Bu dönüşümle birlikte TV arayüzlerinin karmaşıklığı da giderek artmış ve kullanılabilirlik problemlerine sebep olmaya başlamıştır. Kullanılabilirlik problemlerinin ürün tasarımının erken aşamalarında belirlenmesi firmaların maliyetlerini düşürmekte ve müşterilere daha kullanılabilir sistemler sunulabilmektedir. Ancak kullanılabilirlik değerlendirmesinin çeşitli aşamaları uzman görüşlerine dayanmakta ve uzun süreler almaktadır. Makine öğrenmesi ve yapay zekâ teknolojileri pek çok alanda olduğu gibi kullanılabilirlik değerlendirmesinde de bazı süreçlerin otomasyonu ile süreçlerin hızlandırılması konusunda kullanılabilir. Bu çalışmanın amacı kullanılabilirlik problemlerinin öncelik düzeyleri açısından belirli örüntülere sahip olup olmadığını ilişkilendirme kuralları tekniği ile araştırmak ve çeşitli makine öğrenmesi algoritmaları (naive bayes, lojistik regresyon, hızlı geniş marjin, derin öğrenme, rastgele orman, gradyan arttırma ağaçları, destek vektör makineleri teknikleri) yardımıyla kullanılabilirlik problemlerini önceliklerine göre sınıflandırmaktır. Bu amaçla Türkiye’nin önde gelen dijital platformlarından birisi olan Digitürk’ten TV ve set üstü cihaz arayüzünün yazılımcılar tarafından değerlendirmesi sonucunda elde edilen 3695 problem temin edilmiştir. Elde edilen veri incelenerek toplamda kullanılabilirlikle ilgili 2752 problem belirlenmiştir. Analizler öncesinde metinlerden oluşan veri seti, sözcüklerine ayırma (tokenization), filtreleme, kök bulma (stemming) gibi ön işlemlerden geçirilerek analizler için hazır hale getirilmiştir. Çalışma kapsamında öncelik düzeyleri açısından kullanılabilirlik problemlerinin sahip olduğu örüntüler tespit edilmiştir. Ayrıca kullanılabilirlik problemleri farklı eğitim/test verisi oranları (50/50, 55/45, 60/40, 65/35, 70/30, 75/25, 80/20, 85/15, 90/10, 95/5) kullanılarak önceliklerine göre sınıflandırılmıştır. Sınıflandırma algoritmalarının performansları doğruluk oranı ve F1-skor metrikleri kullanılarak karşılaştırılmıştır. Çalışma sonucunda öncelik düzeylerine göre sınıflandırmada en yüksek doğruluk oranını (%76,21) destek vektör makineleri algoritması verirken en yüksek F1-skor değerini ise (%79,51) ile derin öğrenme algoritması vermiştir.

Anahtar Kelimeler

• TV
• Set üstü cihaz
• Kullanılabilirlik Problemleri
• Önceliklendirme
• Makine öğrenmesi
• Metin madenciliği.

Kaynakça

1. Boza, B. C., Schiaffino, S., Teyseyre, A., & Godoy, D. (2014). An approach for knowledge discovery in a web usability context. In Proceedings of the 13th Brazilian Symposium on Human Factors in Computing Systems, 393-396.
2. Chamba-Eras, L., Jacome-Galarza, L., Guaman-Quinche, R., Coronel-Romero, E., & Labanda-Jaramillo, M. (2017, April). Analysis of usability of universities Web portals using the Prometheus tool-SIRIUS. In 2017 Fourth International Conference on eDemocracy & eGovernment (ICEDEG), IEEE, 195-199.
3. Dianat, I., Adeli, P., Jafarabadi, M. A., & Karimi, M. A. (2019). User-centred web design, usability and user satisfaction: The case of online banking websites in Iran. Applied ergonomics, 81, 102892.
4. Dökeroğlu, T., Malık, Z. M. M., & Shadi, A. S.(2018). Gözetimsiz Makine Öğrenme Teknikleri ile Miktara Dayalı Negatif Birliktelik Kural Madenciliği. Düzce Üniversitesi Bilim ve Teknoloji Dergisi, 6(4), 1119-1138.
5. El-Halees, A. M. (2014). Software Usability Evaluation Using Opinion Mining. JSW, 9(2), 343-349.
6. Etemadi, V., Bushehrian, O., & Akbari, R. (2017). Association rule mining for finding usability problem patterns: A case study on StackOverflow. In 2017 International Symposium on Computer Science and Software Engineering Conference (CSSE), IEEE, 24-29.
7. Fan, R. E., Chang, K. W., Hsieh, C. J., Wang, X. R., & Lin, C. J. (2008). LIBLINEAR: A library for large linear classification. Journal of machine learning research, 9(Aug), 1871-1874.
8. Faraway, J. J. (2016). Extending the linear model with R: generalized linear, mixed effects and nonparametric regression models. CRC press.

9. González, M. P., Granollers, T., & Lorés, J. (2006). A hybrid approach for modelling early prototype evaluation under user-centred design through association rules. In International Workshop on Design, Specification, and Verification of Interactive Systems, Springer, Berlin, Heidelberg, 213-219.
10. González, M. P., Lorés, J., & Granollers, A. (2008). Enhancing usability testing through datamining techniques: A novel approach to detecting usability problem patterns for a context of use. Information and software technology, 50(6), 547-568.
11. Han, J., Kamber, M., & Pei, J. (2011). Data mining concepts and techniques third edition. The Morgan Kaufmann Series in Data Management Systems, 83-124.
12. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: data mining, inference, and prediction. Springer Science & Business Media.
13. ISO 9241-11 1998. Ergonomic requirements for office work with visual display terminals (VDTs). Part 11: Guidance on usability.
14. Ivory, M. Y., & Hearst, M. A. (2001). The state of the art in automating usability evaluation of user interfaces. ACM Computing Surveys (CSUR), 33(4), 470-516.
15. Kılınç, D., Borandağ, E., Yücalar, F., Tunalı, V., Şimşek, M., & Özçift, A. (2016). KNN algoritması ve r dili ile metin madenciliği kullanılarak bilimsel makale tasnifi. Marmara Fen Bilimleri Dergisi, 28(3), 89-94.
16. LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444. https://doi.org/10.1038/nature14539
17. Lee, D., Moon, J., Kim, Y. J., & Mun, Y. Y. (2015). Antecedents and consequences of mobile phone usability: Linking simplicity and interactivity to satisfaction, trust, and brand loyalty. Information & Management, 52(3), 295-304.
18. Menard, S. (2010). Logistic regression: From introductory to advanced concepts and applications. Sage.
19. Nielsen, J. (1993). Usability Engineering, Academic Press.
20. Nordin, N. D., Zan, M. S. D., & Abdullah, F. (2020). Generalized linear model for enhancing the temperature measurement performance in Brillouin optical time domain analysis fiber sensor. Optical Fiber Technology, 58, 102298.
21. Oshiro, T. M., Perez, P. S., & Baranauskas, J. A. (2012). How many trees in a random forest? In International workshop on machine learning and data mining in pattern recognition, Springer, Berlin, Heidelberg, 154-168.
22. Oztekin, A., Delen, D., Turkyilmaz, A., & Zaim, S. (2013). A machine learning-based usability evaluation method for eLearning systems. Decision Support Systems, 56, 63-73.
23. Rapidminer. (2021). Gradient Boosted Trees. Retrieved from: https://docs.rapidminer.com/latest/studio/operators/modeling/predictive/trees/gradient_boosted_trees.html
24. Rish, I. (2001, August). An empirical study of the naive Bayes classifier. In IJCAI 2001 workshop on empirical methods in artificial intelligence, 3(22), 41-46.
25. Sagar, K., & Saha, A. (2016). Enhancing usability inspection through data-mining techniques: an automated approach for detecting usability problem patterns of academic websites. In International Conference on Intelligent Human Computer Interaction, Springer, Cham, 229-247.
26. Srikant, R., & Agrawal, R. (1995). Mining generalized association rules. In 21st VLDB Conference Zurich, Switzerland, 407-419.
27. Suthaharan S. (2016) Modeling and Algorithms. In: Machine Learning Models and Algorithms for Big Data Classification. Integrated Series in Information Systems, Springer, Boston, MA, 123-143.
28. Wu, M., Wang, L., Li, M., & Long, H. (2014). An approach of product usability evaluation based on Web mining in feature fatigue analysis. Computers & Industrial Engineering, 75, 230-238.