Kullanım Modeli Baz Alınarak Hazırlanan Otomatik Testler ile Yazılım Güvenilirliği Hesaplanması

Yıl 2013, Cilt: 3 Sayı: 6, 69 - 80, 06.03.2014

Ceren Şahin Gebizli Tarkan Tekcan Mustafa Gündüzalp

Öz

 

TV ve Uydu Alıcıları, kullanıcılara sundukları yeni teknolojiler ile tüketici elektroniği pazarında önemli bir yere sahiptir ve ürün kalitesi, tüketici elektroniği pazarında önemli bir kriterdir. Ürünün kalitesi, sadece donanımsal güvenilirliğe değil, üründe kullanılan yazılımın güvenilirliğine de bağlıdır.

Otomatik test yöntemlerini benimseyen test yaklaşımı, maliyetlerin azaltılmasını, ürün kalitesinin yükseltilmesini, kaynak ve zamanın daha etkin kullanılmasını sağlar. Otomatik test ile sınırlı bir süre içinde, tüm önemli test senaryolarını kapsayan test yapmak mümkündür.

Verimli test stratejileri sadece hata bulmaya odaklanmaz. Hata çıkma olasılığı daha yüksek olan yerler test edilerek, testler daha verimli hale getirilebilir. Kullanım profilini baz alan test senaryolarını kullanmak bu noktada daha anlamlı olacaktır.

Bu makalede, TV'ler son kullanıcıya ulaşmadan önce, AR-GE aşamasında iken yayınlanan tüm yazılımlar ile, kullanım profili baz alınarak, testler için kullanılacak test senaryolarını otomatik hazırlamak, TV üzerinde bu test senaryolarını otomatik koşturmak için ve test sonuçlarına göre test edilen yazılımın güvenilirliğinin hesaplanması için yeni bir yaklaşım öneriyoruz.

Önerilen bu yaklaşım ile daha etkin, daha kapsamlı, daha spesifik test senaryoları oluşturmak ve testleri otomatik olarak koşturup zamanı verimli kullanmak mümkündür.

Bu çalışmada, yazılımın işlevselliğini doğrulamaya imkan sağlayan kara kutu testi konsepti kullanılmıştır.

 

 

Abstract

TVs and STBs have an important place in consumer electronics market with new technologies that they introduce

to users. Quality of a product is an important criterion in consumer electronics market. Product quality is not related only the hardware reliability, it is also related with the software reliability.

Test approaches that adopt the automated testing methods provide cost reduction, improving the product quality and effective time and resource usage.

It is possible to test all important test scenarios in limited time via automated testing.

Efficient test strategies do not focus on only finding errors. Tests can be made more efficient by testing the parts that have a higher likelihood of error. Using the test scenarios that based on the usage profile will be more meaningful at this point.

In this paper, we propose a new approach for measuring the reliability of software. This approach includes generation of the test cases automatically based on usage profile, run these test cases automatically on a test automation framework and according to the results of the automatic tests, finally estimation of the software reliability.

With this proposed approach, it is possible to generate more efficient, comprehensive and specific test scenarios. Also automated testing provides effective time usage.

In this paper, black box testing approach is used that allows verifying the functionality of software.

Anahtar Kelimeler

Yazılım güvenlirliği, manuel test, otomatik test, test otomasyonu, verimli test, kullanım profili, kullanım olaslıkları, test senaryosu, kara kutu testi, Software reliability, manuel test, automated test, test automation, efficient test, usage pr

Kaynakça

• . J. A. Whittaker and M. G. Thomason, “A Markov Chain Model for Statistical Software Testing”, IEEE Transactions on Software Engineering Vol. 20, NO. IO, October 1994
• . S. J. Prowell, “Using Markov Chain Usage Models to Test Complex Systems”, Proceedings of the 38th Hawaii International Conference on System Sciences, 2005
• . W. Dulz, Z. Fenhua, “MaTeLo – Statistical Testing Using Annotated Sequence Diagrams, Markov Chains and TTCN-3”, IEEE International Conference on Quality Software, Nov. 2003
• . M. S. Hosain and M. S. Alam. “Software reliability using Markov Chain usage model”, 3rd International Conference on Electrical & Computer Engineering, ICECE 2004, 28-30 December 2004,
• . X. Zhang, M.Sharma, P. Franklin, “Evaluating System Reliability from the Customer Perspective To Improve Availability Predictions” , RAMS 2005, 0-7803-8824-0/05/IEEE 2005
• . M. Gittens, H. Lutfiyya, M. Baue , “An Extended Operational Profile Model”, Proceedings of the 15th International Symposium on Software Reliability Engineering, IEEE, 1071-9458/04
• . D. Marijan, V. Zlokolica, N. Teslic, V. Pekovic, and T. Tekcan, "Automatic functional TV set failure detection system", IEEE Transactions on Consumer Electronics, vol. 56, no. 1, pp. 125-133, 2010
• . Y. Suh, S. Kim, M. Kim, J. Choi, and J. Seo, "A novel integrated measurement and analysis system for digital broadcasting", IEEE Transactions on Consumer Electronics, vol. 55, no. 1, pp. 56-62, 2009.
• . B. Beizer, "Black-box testing: techniques for functional testing of software and systems," Wiley, 1995
• . A. Rajan, "Coverage metrics to measure adequacy of black-box test suites," 21st IEEE/ACM International Conference on Automated Software Engineering, 2006
• . C. Nebut, F. Fleurey, Y. Le Traon, and J.M. Jezequel, "Automatic test generation: a use case driven approach", IEEE Transactions on Software Engineering, vol. 32, no. 3, pp. 140-155, 2006.
• . B. Qu, C. Nie, B. Xu X. Zhang “Test Case Prioritization for Black Box Testing” 31st Annual International Computer Software and Applications Conference(COMPSAC 2007), IEEE 2007
• . Tekcan, T., “The Design of a Test Method to Identify Reliability Problems of Consumer Electronic Product during Early Phases of Development”, Doktora Çalışması-devam ediyor (Danışman: Dr. Mustafa Gündüzalp), Dokuz Eylül Üniversitesi Fen Bilimleri Enstitüsü, İzmir