Multi-Class Classification of ISO/IEC 25010 Software Quality Metrics Using User Feedback

Year 2024, Volume: 2 Issue: 2, 214 - 222, 30.12.2024

Sedat Sönmez , Hakan Kekül

Abstract

Software quality indicates how effective and efficient a software is. Various standards need to be used to evaluate software quality. One of the most important internationally accepted standards for measuring software quality is the ISO/IEC 25010 software quality standard. With this standard, the quality of a software product is evaluated with eight different metrics. These are functional suitability, performance, compatibility, usability, reliability, security, maintainability and portability metrics. In this study, we tried to determine the relationship between user feedback and the metrics of the ISO/IEC 25010 software quality standard. Machine learning (ML) and natural language processing (NLP) techniques were used to classify user comments. After the data preprocessing phase, vectors of user comments were extracted with the Tf-Idf method for NLP. As a machine learning method, classification was made using five different models: Extra Trees Classifier (ETC), Gaussian Process Classifier (GPC), MLP Classifier (MLPC), Bernoulli Naive Bayes Classifier (BNBC) and Support Vector Classifier (SVC). Our goal is to show how quality metrics can be classified into multiple classes using user notifications. The data set used has an unbalanced structure, containing 1681 user comments classified by software experts. Synthetic Minority Oversampling Technique (SMOTE) was used to address the imbalance in the dataset. The results were compared by applying the same classification models to unbalanced and balanced data sets. According to the results obtained, the best classification model is the Extra Trees Classifier model, which provides the highest accuracy rate of 87% according to the SMOTE applied data set. The results show that ML and NLP methods can be used effectively in the classification process of software quality metrics.

Keywords

Machine learning, natural language processing, ISO/IEC 25010, smote, multiclass classification

ISO/IEC 25010 Yazılım Kalite Metriklerinin Kullanıcı Geri Bildirimlerini Kullanarak Çok Sınıflı Sınıflandırılması

Abstract

Yazılım kalitesi, bir yazılımın ne kadar etkili ve verimli olduğunu gösterir. Yazılım kalitesini değerlendirmek için çeşitli standartların kullanılması gerekmektedir. Yazılım kalitesini ölçmek için uluslararası alanda kabul görmüş en önemli standartlardan biri, ISO/IEC 25010 yazılım kalite standardıdır. Bu standart ile bir yazılım ürününün kalitesi sekiz farklı metrik ile değerlendirilmektedir. Bunlar fonksiyonel uygunluk, performans, uyumluluk, kullanılabilirlik, güvenilirlik, güvenlik, bakım kolaylığı ve taşınabilirlik metrikleridir. Bu çalışmada kullanıcı geri bildirimleri ile, ISO/IEC 25010 yazılım kalite standardının metrikleri arasındaki ilişki tespit edilmeye çalışılmıştır. Kullanıcı yorumlarının sınıflandırılmasında Makine öğrenmesi (ML) ve doğal dil işleme (NLP) teknikleri kullanılmıştır. Veri önişleme aşamasından sonra NLP için Tf-Idf yöntemi ile kullanıcı yorumlarının vektörleri çıkarılmıştır. Makine öğrenmesi yöntemi olarak Ekstra Ağaçlar Sınıflandırıcısı (ETC), Gauss Süreç Sınıflandırıcısı (GPC), MLP Sınıflandırıcısı (MLPC), Bernoulli Naive Bayes Sınıflandırıcısı (BNBC) ve Destek Vektör Sınıflandırıcısı (SVC) olmak üzere beş farklı model kullanılarak sınıflandırma yapılmıştır. Amacımız, kalite metriklerinin kullanıcı bildirimlerini kullanarak çok sınıflı nasıl sınıflandırılabileceğini göstermektir. Kullanılan veri seti yazılım uzmanları tarafından sınıflandırılmış 1681 kullanıcı yorumu içeren dengesiz bir yapıya sahiptir. Veri setindeki dengesizliği gidermek için Sentetik Azınlık Aşırı Örnekleme Tekniği (SMOTE) kullanılmıştır. Dengesiz ve dengeli veri setlerine aynı sınıflandırma modelleri uygulanarak sonuçlar karşılaştırılmıştır. Elde edilen sonuçlara göre, en iyi sınıflandırma modeli SMOTE uygulanan veri setine göre %87 ile en yüksek doğruluk oranını sağlayan Ekstra Ağaçlar Sınıflandırıcısı modelidir. Sonuçlar, ML ve NLP yöntemlerinin yazılım kalite metriklerinin sınıflandırma sürecinde etkin bir şekilde kullanılabileceğini göstermektedir.

Keywords

Makine öğrenmesi, doğal dil işleme, ISO/IEC 25010, smote, çok sınıflı sınıflandırma

References

• [1] D. YILDIZ, ‘Bilgi Sistemi Yazılım Geliştirme Yaşam Döngüsü Safhalarından Gereksinim Belirleme ve Sistem Tasarımında Kalite Odaklılık: Üç Proje İncelemesi’, Bilişim Teknol. Derg., vol. 15, no. 1, pp. 55–64, 2022, doi: 10.17671/gazibtd.871411.
• [2] J. P. Miguel, D. Mauricio, and G. Rodríguez, ‘A Review of Software Quality Models for the Evaluation of Software Products’, Int. J. Softw. Eng. Appl., vol. 5, no. 6, pp. 31–53, 2014, doi: 10.5121/ijsea.2014.5603.
• [3] M. D. Mulyawan, I. N. S. Kumara, I. B. A. Swamardika, and K. O. Saputra, ‘Kualitas Sistem Informasi Berdasarkan ISO/IEC 25010: Literature Review’, Maj. Ilm. Teknol. Elektro, vol. 20, no. 1, p. 15, Mar. 2021, doi: 10.24843/mite.2021.v20i01.p02.
• [4] A. Hussain and E. O. C. Mkpojiogu, ‘An application of the ISO/IEC 25010 standard in the quality-in-use assessment of an online health awareness system’, J. Teknol., vol. 77, no. 5, pp. 9–13, 2015, doi: 10.11113/jt.v77.6107.
• [5] R. D. Jayanto, ‘EVALUASI KUALITAS APLIKASI MOBILE KAMUS ISTILAH JARINGAN PADA PLATFORM ANDROID DENGAN STANDAR ISO/IEC 25010’, Elinvo (Electronics, Informatics, Vocat. Educ., vol. 2, no. 2, pp. 178–182, Dec. 2017, doi: 10.21831/elinvo.v2i2.17311.
• [6] N. YALÇIN and B. ŞİMŞEK YAĞLI, ‘TEKNOLOJİ MAĞAZALARININ ISO 25010 KALİTE MODELİNE DAYALI WEBSİTESİ KALİTE DEĞERLENDİRMESİNİN ÇOK KRİTERLİ ANALİZİ: TÜRKİYE ÖRNEĞİ’, Uluslararası İktisadi ve İdari İncelemeler Derg., pp. 57–76, Feb. 2020, doi: 10.18092/ulikidince.557263.
• [7] K. Moumane, A. Idri, F. El Aouni, J. Laghnimi, N. C. Benabdellah, and O. Hamal, ‘ISO/IEC 25010-based Quality Evaluation of Three Mobile Applications for Reproductive Health Services in Morocco’, Clin. Exp. Obstet. Gynecol., vol. 51, no. 4, 2024, doi: 10.31083/j.ceog5104088.
• [8] L. Carlos Belezia, M. Fatima Ludovico de Almeida, M. Falco, and G. Robiolo, ‘Building a Catalogue of ISO/IEC 25010 Quality Measures Applied in an Industrial Context’, J. Phys. Conf. Ser., vol. 1828, no. 1, p. 012077, Feb. 2021, doi: 10.1088/1742- 6596/1828/1/012077.
• [9] A. Di Sorbo, G. Grano, C. Aaron Visaggio, and S. Panichella, ‘Investigating the criticality of user-reported issues through their relations with app rating’, J. Softw. Evol. Process, vol. 33, no. 3, pp. 1–21, 2021, doi: 10.1002/smr.2316.
• [10] T. EREN, ‘Mobil Uygulama Seçiminde Etkili Olan Kriterlerin Belirlenmesi ve Örnek Uygulama’, Istanbul J. Econ. / İstanbul İktisat Derg., vol. 70, no. 1, pp. 113–139, Jun. 2020, doi: 10.26650/istjecon2019-0022.
• [11] I. Atoum and C. H. Bong, ‘Measuring Software Quality in Use: State-of-the-Art and Research Challenges’, vol. 17, pp. 4– 15, 2015, [Online]. Available: http://arxiv.org/abs/1503.06934
• [12] R. dos Santos, K. Villela, D. T. Avila, and L. H. Thom, ‘A practical user feedback classifier for software quality characteristics’, Proc. Int. Conf. Softw. Eng. Knowl. Eng. SEKE, vol. 2021-July, pp. 340–345, 2021, doi: 10.18293/SEKE2021-055.
• [13] B. El Fhel and A. Idri, ‘Quality In-Use of Mobile Geographic Information Systems for Data Collection’, Int. J. Adv. Comput. Sci. Appl., vol. 14, no. 11, pp. 903–913, 2023, doi: 10.14569/IJACSA.2023.0141192.
• [14] M. Haoues, R. Mokni, and A. Sellami, ‘Machine learning for mHealth apps quality evaluation: An approach based on user feedback analysis’, Softw. Qual. J., vol. 31, no. 4, pp. 1179–1209, Dec. 2023, doi: 10.1007/s11219-023-09630-8.
• [15] M. N. Zahra and K. Kraugusteeliana, ‘Analisis Kualitas Performa Aplikasi Digital Banking X Menggunakan Framework ISO 25010’, J. Teknol. Inf. dan Ilmu Komput., vol. 10, no. 3, pp. 483–490, Jul. 2023, doi: 10.25126/JTIIK.20231036326. [ 16] ‘Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi » Makale » DevOps İşletim Hattının Kalite Bakış Açısı ile İrdelenmesi ve ISO/IEC 25010 Boşluk Analizinin Gerçekleştirilmesi’. Accessed: Oct. 20, 2024. [Online]. Available: https://dergipark.org.tr/tr/pub/tbbmd/issue/78526/1118200
• [17] A. KAHVECİ YETİŞ and R. DAŞ, ‘Yazılım Ürün Ölçütlerinin Uygulamalı İncelenmesi’, Fırat Üniversitesi Mühendislik Bilim. Derg., vol. 34, no. 2, pp. 635–645, 2022, doi: 10.35234/fumbd.1114056.
• [18] M. F. TUNA, ‘MOBİL UYGULAMA MÜŞTERİ GERİ BİLDİRİMİNDEKİ DUYGULARIN MAKİNE ÖĞRENMESİ YÖNTEMLERİYLE SINIFLANDIRILMASI’, J. Bus. Commun. Stud., vol. 1, no. 1, pp. 83–103, 2022, doi: 10.29228/JOBACS.63080.
• [19] M. R. Ramadhan and K. D. Hartomo, ‘Evaluasi Kualitas Website Menggunakan Webqual 4.0 (Studi Kasus: Sistem Informasi Kebencanaan Kabupaten Boyolali)’, J. Transform., vol. 19, no. 2, p. 138, Jan. 2022, doi: 10.26623/TRANSFORMATIKA.V19I2.4195.
• [20] B. ONARAN and K. K. GENÇTÜRK, ‘Mobil Belediye Aplikasyonlarında Hizmet Kalitesi: İzmir Örneği’, Uluslararası Yönetim Akad. Derg., vol. 5, no. 1, pp. 16–31, 2022, doi: 10.33712/mana.1039540.
• [21] N. YALÇIN and B. ŞİMŞEK YAĞLI, ‘TEKNOLOJİ MAĞAZALARININ ISO 25010 KALİTE MODELİNE DAYALI WEBSİTESİ KALİTE DEĞERLENDİRMESİNİN ÇOK KRİTERLİ ANALİZİ: TÜRKİYE ÖRNEĞİ’, Uluslararası İktisadi ve İdari İncelemeler Derg., pp. 57–76, Feb. 2020, doi: 10.18092/ulikidince.557263.
• [22] E. Keibach and H. Shayesteh, ‘BIM for Landscape Design Improving Climate Adaptation Planning: The Evaluation of Software Tools Based on the ISO 25010 Standard’, Appl. Sci., vol. 12, no. 2, Jan. 2022, doi: 10.3390/APP12020739.
• 23] S. Majumdar, A. Bansal, P. P. Das, P. D. Clough, K. Datta, and S. K. Ghosh, ‘Automated evaluation of comments to aid software maintenance’, J. Softw. Evol. Process, vol. 34, no. 7, Jul. 2022, doi: 10.1002/SMR.2463.
• [24] A. E. Yahya, A. Gharbi, W. M. S. Yafooz, and A. Al- Dhaqm, ‘A Novel Hybrid Deep Learning Model for Detecting and Classifying Non-Functional Requirements of Mobile Apps Issues’, Electronics, vol. 12, no. 5, Mar. 2023, doi: 10.3390/ELECTRONICS12051258.
• [25] N. D. Khan, J. A. Khan, J. Li, T. Ullah, and Q. Zhao, ‘Mining software insights: uncovering the frequently occurring issues in low-rating software applications’, PeerJ Comput. Sci., vol. 10, p. e2115, Jul. 2024, doi: 10.7717/PEERJ-CS.2115/SUPP-1.
• [26] B. I. Belinda, A. A. Emmanuel, N. Solomon, and A. B. Kayode, ‘Evaluating Software Quality Attributes using Analytic Hierarchy Process (AHP)’, Int. J. Adv. Comput. Sci. Appl., vol. 12, no. 3, pp. 165–173, 2021, doi: 10.14569/IJACSA.2021.0120321.
• [27] G. A. Pradipta, R. Wardoyo, A. Musdholifah, I. N. H. Sanjaya, and M. Ismail, ‘SMOTE for Handling Imbalanced Data Problem : A Review’, in 2021 6th International Conference on Informatics and Computing, ICIC 2021, Institute of Electrical and Electronics Engineers Inc., 2021. doi: 10.1109/ICIC54025.2021.9632912.
• [28] P. Soltanzadeh and M. Hashemzadeh, ‘RCSMOTE: Range-Controlled synthetic minority over-sampling technique for handling the class imbalance problem’, Inf. Sci. (Ny)., vol. 542, pp. 92–111, Jan. 2021, doi: 10.1016/j.ins.2020.07.014.
• [29] E. Sugawara and H. Nikaido, ‘Properties of AdeABC and AdeIJK efflux systems of Acinetobacter baumannii compared with those of the AcrAB-TolC system of Escherichia coli’, Antimicrob. Agents Chemother., vol. 58, no. 12, pp. 7250–7257, 2014, doi: 10.1128/AAC.03728-14.
• [30] A. A. Arifiyanti, A. A. Arifiyanti, and E. D. Wahyuni, ‘SMOTE: METODE PENYEIMBANG KELAS PADA KLASIFIKASI DATA MINING’, Scan J. Teknol. Inf. dan Komun., vol. 15, no. 1, pp. 34– 39, Feb. 2020, doi: 10.33005/scan.v15i1.1850.
• [31] P. A. Manilal and A. C. Suthar, ‘Object Based Image Classification of Satellite Images for Urban Areas’, 2023. Accessed: Oct. 17, 2024. [Online]. Available: http://gtusitecirculars.s3.amazonaws.com/uploads/Final Synopsis_465548.pdf
• [32] A. Pagliaro, ‘Forecasting Significant Stock Market Price Changes Using Machine Learning: Extra Trees Classifier Leads’, Electron., vol. 12, no. 21, p. 4551, Nov. 2023, doi: 10.3390/electronics12214551.
• [33] D. Baby, S. J. Devaraj, J. Hemanth, and M. M. Anishin Raj, ‘Leukocyte classification based on feature selection using extra trees classifier: A transfer learning approach’, Turkish J. Electr. Eng. Comput. Sci., vol. 29, pp. 2742–2757, 2021, doi: 10.3906/elk-2104-183.
• [34] N. Bhandari, ‘How does ExtraTreesClassifier reduce the risk of overfitting?’ [Online]. Available: https://medium.com/@namanbhandari/extratreesclassifier- 8e7fc0502c7
• [35] ‘Extra Trees Classifier’, scikit-learn Machine Learning in Python. [Online]. Available: https://scikit- learn.org/dev/modules/generated/sklearn.ensemble.ExtraTree sClassifier.html
• [36] O. O. Petinrin, X. Li, and K. C. Wong, ‘Particle Swarm Optimized Gaussian Process Classifier for Treatment Discontinuation Prediction in Multicohort Metastatic Castration- Resistant Prostate Cancer Patients’, IEEE J. Biomed. Heal. Informatics, vol. 26, no. 3, pp. 1309–1317, 2022, doi: 10.1109/JBHI.2021.3103989.
• [37] I. Achituve, A. Navon, Y. Yemini, G. Chechik, and E. Fetaya, ‘GP-Tree: A Gaussian Process Classifier for Few-Shot Incremental Learning’, Proc. Mach. Learn. Res., vol. 139, pp. 54– 65, Feb. 2021, Accessed: Oct. 17, 2024. [Online]. Available: https://arxiv.org/abs/2102.07868v4
• [38] ‘Gaussian Process Classification’. [Online]. Available: https://scikit- learn.org/1.5/modules/gaussian_process.html#gaussian- processes
• [39] ‘MLP Classifier’. [Online]. Available: https://scikit- learn.org/dev/modules/generated/sklearn.neural_network.ML PClassifier.html
• [40] O. Iparraguirre-Villanueva, K. Espinola-Linares, R. O. Flores Castañeda, and M. Cabanillas-Carbonell, ‘Application of Machine Learning Models for Early Detection and Accurate Classification of Type 2 Diabetes’, Diagnostics, vol. 13, no. 14, 2023, doi: 10.3390/diagnostics13142383.
• [41] M. M. Nishat, F. Faisal, T. Hasan, M. F. Bin Karim, Z. Islam, and M. R. K. Shagor, ‘An Investigative Approach to Employ Support Vector Classifier as a Potential Detector of Brain Cancer from MRI Dataset’, Proc. Int. Conf. Electron. Commun. Inf. Technol. ICECIT 2021, pp. 1–4, 2021, doi: 10.1109/ICECIT54077.2021.9641168.