Web Yazılım Projelerinde Homojen Olmayan Poisson Süreci Yazılım Güvenilirlik Modellerinin Karşılaştırılması

Abstract

Yazılım güvenilirliği, proje başarısını doğrudan etkileyen önemli kalite faktörlerinden biridir. Yazılım güvenilirliğinin modellenmesi ile bir projenin ne kadar zaman sonra ve ne kadar efor sonucunda kullanıcıya sunulabileceği tahmin edilebilir. Bu da proje kaynak ve takvim planlamasında yardımcı olabilmektedir. Bu amaçla yazılım güvenilirlik modelleri yazılımların olgunluklarını ölçmede sıklıkla kullanılmaktadır. Literatürde yazılım güvenilirlik modellerinin karşılaştırılmasına yönelik birçok çalışma bulunmasına rağmen yazılım türünü dikkate alıp bu kapsamda yazılım güvenilirlik modellerinin karşılaştırılmasının yapılmasına ihtiyaç vardır. Bu çalışma, yazılım güvenilirliğini ölçmek için kullanılan modellerin Web yazılımlarındaki performanslarının karşılaştırılmasını hedeflemektedir. Bu amaçla Türkiye'de bir yazılım şirketinin dört ayrı Web yazılım projesinde tutulan hata kayıtları kullanılarak altı ayrı yazılım güvenilirlik modeli karşılaştırılmıştır. Karşılaştırmada kullanılan modeller; Üstel Homojen Olmayan Poisson Süreci Goel Okumoto, Musa Üstel, Büklümlü S Şekilli Homojen Olmayan Poisson Süreci, Geciktirilmiş S Şekilli Homojen Olmayan Poisson Süreci, Yamada ve Pham-Nordmann-Zhang Kesin Olmayan Hata Tespiti PNZ modelleridir. Yazılım güvenilirlik modellerinin uygulanması sırasında en çok olabilirlik tahmin yöntemi kullanılarak hata kayıt verilerine uygun model parametreleri, her bir model ve her bir proje için tahmin edilmiştir. En çok olabilirlik yöntemi ile model parametrelerinin tahmin edilmesi sırasında, elde bulunan hata kayıt verilerinin %100’ünün, %70’inin ve %50’sinin kullanılması durumları olmak üzere üç durum ayrı ayrı incelenmiş ve sonuçları değerlendirilmiştir. Tahmin edilen parametrelerle oluşturulan modellerin projelere uygunluğu hata kareler ortalaması, ortalama bağıl hata, yüzde bağıl hata sapması ve dengeli tahmini bağıl hata ölçümleri kullanılarak hesaplanmıştır. Her bir model için dört proje, üç hata durumu %100, %70, %50 ve dört ölçüm sonucuna göre toplamda 48 farklı ölçüm alınmıştır. Bu 48 ölçüm içerisinden her bir ölçüm için en yüksek başarıya sahip model seçilmiş ve modeller buna göre sıralanmıştır. Çalışma sonucunda Homojen Olmayan Poisson Süreci modellerinin Web yazılımlarında kullanılabileceği gösterilmiş olup Geciktirilmiş S Şekilli Homojen Olmayan Poisson Süreci yazılım güvenilirlik modeli 13 durum ile en çok durumda başarılı model olmuştur. Ancak Yamada ve Üstel Homojen Olmayan Poisson Süreci Goel Okumoto modellerinin birbirlerine benzer hata tahminleri yapıp birbirlerine yakınsadığı düşünülmektedir. Bu nedenle bu iki modelin toplamda 23 durum ile en çok durumda en iyi sonucu veren modeller olması ile kullanılan diğer yazılım güvenilirlik modellerine göre daha iyi modelleme yapacağı düşünülmektedir.

Keywords

• Web yazılımları
• yazılım güvenilirlik modelleri
• bozulma oranı
• homojen olmayan poisson süreçleri

Comparison of Non-Homogeneous Poisson Process Software Reliability Models in Web Applications

Abstract

Software reliability is an important quality factor that effects project success. By modelling software reliability, it can be estimated when and with how much effort a project can be deployed. Consequently, this can contribute to the resource and schedule planning of a project. Therefore, software reliability models SRM are frequently used for measuring the maturity of a software. A number of studies exist in the literature that compare SRMs in terms of their modelling performance. However, there is a need of evaluating these SRMs by taking into account the software project domain. This study aims to compare the performance of SRMs in the context of Web applications. In accordance to this purpose, six different software reliability models, namely Goel-Okumoto, Musa Exponential, Inflected S-shaped, Delayed S-shaped, Yamada and Pham Nordmann Zhang Imperfect Fault Detection PNZ , are evaluated by using the defect records of four Web application projects developed by a Turkish software organization. 100%, 70% and 50% of the recorded data is used as input to the maximum likelihood parameter estimation MLPE method and the results of these three cases are investigated and commented separately in the research. The goodness of fit and the predictive validity of the models to the project data are tested by calculating Mean Square Error MSE , Mean Magnitude Relative Error MMRE , Percentage Relative Error Deviation PRED and Average Balanced Predicted Relative Error A.BPRE measures. For each NHPP model 48 separate cases which are combinations of the three defect inflow data cases 100%, 70% and 50% , four projects and four measures, are investigated and ranked. It is shown that the NHPP models can be applied to Web applications and Delayed S-shaped model displays the best results among the alternatives. However, it is understood that the Goel-Okumoto and Yamada models give identical results and that these two models converge to each other with respect to the project defect data that has been used. Combined, these two models obtain the highest ranking scores and it is concluded that these two models perform better than the other models with respect to Web based software.

Keywords

• Web applications
• software reliability models
• failure rate
• non-homogeneous Poisson process

References

1. Ahmad, N., Khan, M., & Rafi, L. (2011). Analysis of an Inflection S-shaped Software Reliability Model Considering Log-logistic Testing-Effort and Imperfect Debugging. International Journal of Computer Science and Network Security, 11(1), 161-171.
2. Aydın, A., & Tarhan, A. (2014). Investigating defect prediction models for iterative software development when phase data is not recorded lessons learned. 2014 International Conference on Evaluation of Novel Approaches to Software Engineering (ENASE) (pp. 1-11). IEEE.
3. Chouseinoglou, O., & Aydın, Ö. (2013). A Fuzzy Model of Software Project Effort Estimation. Turkish Journal of Fuzzy Systems, 4(2), 68-76.
4. Di Lucca, G., & Fasolino, A. (2006). Testing Web-based Applications: The State of Art and Future Trends. Information and Software Technology, 48(12), 1172-1186.
5. Doğan, S., Betin-Can, A., & Garousi, V. (2014). Web application testing: A systematic literature review. Journal of Systems and Software, 174-201.
6. Fasolino, A., Amalfitano, D., & Tramontana, P. (2013). Web Application Testing in Fifteen Years of WSE. 15th IEEE International Symposium on Web Systems Evolution (WSE) (pp. 35-38). IEEE.
7. Ferrara, E., De Meo, P., Fiumara, G., & Baumgartner, R. (2014). Web data extraction, applications and techniques: A survey. Knowledge-Based Systems, 70, 301-323.
8. Garousi, V., Mesbah, A., Betin-Can, A., & Mirshokraie, S. (2013). A systematic mapping study of web application testing. Information and Software Technology, 55(8), 1374-1396.

9. Hieatt, E., & Mee, R. (2002). Going faster: Testing the web application. Software, IEEE, 19(2), 60-65.
10. IEEE Reliability Society. (2008). IEEE Recommended Practice on Software Reliability.
11. Lai, R., & Garg, M. (2012). A Detailed Study of NHPP Software Reliability Models. Journal of Software, 7(6), 1296-1306.
12. Li, Y.-F., Das, P., & Dowe, D. (2014). Two decades of Web application testing - A survey. Information Systems, 43, 20-54.
13. Mendes, E. (2014). Web Development Versus Software Development. In Practitioner's Knowledge Representation (pp. 13-25). Springer Berlin Heidelberg.
14. Murugesan, S., Deshpande, Y., Hansen, S., & Ginige, A. (2001). Web engineering: A new discipline for development of web-based systems. In Web Engineering (pp. 3-13). Springer Berling Heidelberg.
15. Offutt, J. (2002). Web Software Applications Quality Attributes. quality engineering in Software Technology (CONQUEST 2002), 187-198.
16. Öztürk, M., Çavuşoğlu, Ü., & Zengin, A. (2015). A novel defect prediction method for web pages using k-means++. Expert Systems with Applications, 42, 6496–6506.
17. Pham, H. (2003). Software Reliability and Cost Models: Perspectives, Comparison, and Practice. European Journal of Operational Research, 149(3), 475-489.
18. Pham, H. (2006). System Software Reliability. Springer-Verlag London.
19. Pham, H. (2007). An imperfect-debugging fault-detection dependent-parameter software. International Journal of Automation and Computing, 4(4), 325-328.
20. Qian, Z., & Miao, H. (2011). Towards Testing Web Applications: A PFSM-Based Approach. Advanced Materials Research, 204, 220-224.
21. Rana, R., Staron, M., Berger, C., Hansson, J., Nilsson, M., Törner, F., . . . Höglund, C. (2014). Selecting software reliability growth models and improving their predictive accuracy using historical projects data. Journal of Systems and Software, 98, 59-78.
22. Robson, C. (2002). Real World Research: A Resource for Social Scientists and Practitioner-Researchers (Vol. 2). Oxford: Blackwell.
23. Runeson, P., & Höst, M. (2009). Guidelines for conducting and reporting case study research in software engineering. Empirical Software Engineering, 14(2), 131-164.
24. Torchiano, M., Ricca, F., & Marchetto, A. (2011). Are web applications more defect-prone than desktop applications? International journal on software tools for technology transfer, 13(2), 151-166.
25. Ullah, N., Morisio, M., & Vetro, A. (2012). A comparative analysis of software reliability growth models using defects data of closed and open source software. 35th Annual IEEE Software Engineering Workshop (SEW) (pp. 187-192). IEEE.
26. Xie, M., Hong, G., & Wohlin, C. (2003). Modeling and Analysis of Software System Reliability. In W. Blischke, & D. Murthy (Eds.), Case Studies in Reliability and Maintenance (pp. 233-249). Wiley- Interscience.
27. Yamada, S. (2014). Software Reliability Modelling: Fundamentals and Applications. Tokyo: Springer.
28. Zhao, M., & Xie, M. (1996). On Maximum Likelihood Estimation for a General Non-homogeneous Poisson Process. Scandinavian Journal of Statistics, 597-607.