Scale Development and Reliability Analysis: Jamovi Implementation

Abstract

Scale development, which is one of the most preferred study types in the field of social sciences. This type of study can cause serious problems when it is done by inexperienced and incompetent researchers. The inadequacies of the researchers in statistical analysis reveal that they need a guide in the scale development process. Within the scope of this study, the application steps of all statistical analyzes needed while developing a scale are explained and exemplified with the help of the open source and free Jamovi program. Developed with the R programming language, the Jamovi program is similar to the SPSS program, which is the most preferred program in social sciences research. It stands out from other free statistical programs with its user-friendly interface and high-level analysis capacity. With Jamovi, all analyzes can be done quickly with the help of menus without the need for coding skills. In addition, it provides a lot of convenience to the user with the simultaneous display of the data window and the output window. In this study, all the analyzes required for the scale development study were presented with the help of the Jamovi program. In this context, the preparation of the data for analysis, item analysis, explanatory and confirmatory factor analyzes to reveal the construct validity and reliability analyzes are explained. In the section of data preparation for analysis, the basic elements of the Jamovi program (windows, basic menus, data transfer, defining variables, transforming variables, etc.) are introduced. In the other sections, all the analyzes mentioned are shown on the sample data set. Comments on the analysis results of the sample data are also included. The points to be considered in reporting the results obtained according to the APA format and the tabular form of the results are presented to the reader. With the help of this guide, researchers will be able to master all the stages they will need in scale development studies. The Jamovi program, which emerged as an alternative to the SPSS program, is also recommended to be used for multivariate analyzes such as Structural Equation Modeling, Mediation Effect, Factorial Variance Analysis.

Keywords

• scale development
• statistics software
• Jamovi
• Social science research

Ölçek Geliştirme ve Güvenirlik Analizleri: Jamovi Uygulaması

Abstract

Sosyal bilimler alanında en çok tercih edilen çalışma türlerinden biri ölçek geliştirmedir. Bu çalışma türü deneyimsiz ve yetkin olmayan araştırmacılar tarafından yapıldığında ciddi sorunlara yol açabilmektedir. Araştırmacıların istatistiksel analizlerdeki yetersizlikleri ölçek geliştirme sürecinde bir kılavuza ihtiyaç duyduklarını ortaya çıkarmaktadır. Bu çalışma kapsamında, bir ölçek geliştirirken ihtiyaç duyulan tüm istatistiksel analizlerin uygulama adımları anlatılmış ve açık kaynak kodlu ve ücretsiz olan Jamovi programı yardımıyla örneklendirilmiştir. R programlama dili ile geliştirilen Jamovi programı, sosyal bilimler araştırmalarında en çok tercih edilen SPSS programına benzemektedir. Kullanıcı dostu yapısı ve üst düzey analizleri yapabilme kapasitesi ile diğer ücretsiz istatistik programlarından öne çıkmaktadır. Jamovi ile kodlama becerisine gerek duymadan menüler yardımıyla tüm analizler hızlıca yapılabilmektedir. Ayrıca veri penceresi ile çıktı penceresinin aynı anda görüntülemesi ile kullanıcıya oldukça kolaylık sağlamaktadır. Bu çalışmada ölçek geliştirme çalışması için gerekli olan tüm analizler Jamovi programı yardımıyla sunulmuştur. Bu kapsamda verilerin analize hazırlığı, madde analizleri, yapı geçerliliğini ortaya koymak için açıklayıcı ve doğrulayıcı faktör analizleri ve güvenirlik analizleri anlatılmıştır. Verilerin analize hazırlığı bölümünde Jamovi programının temel öğeleri (pencereler, temel menüler, veri aktarımı, değişkenlerin tanımlanması, değişkenlerin dönüştürülmesi vs.) tanıtılmıştır. Diğer bölümlerde ise bahsi geçen tüm analizler örnek veri seti üzerinden gösterilmiştir. Örnek verilerin analiz sonuçlarına dair yorumlara da yer verilmiştir. Elde edilen sonuçların APA formatına göre raporlanmasında dikkat edilmesi gereken noktalar ve sonuçların tablo hali okuyucuya sunulmuştur. Araştırmacılar, bu kılavuz yardımıyla ölçek geliştirme çalışmalarında ihtiyaç duyacakları tüm aşamalara hâkim olabileceklerdir. SPSS programına alternatif olarak ortaya çıkan Jamovi programının Yapısal Eşitlik Modellemesi, Aracılık etkisi, Faktöriyel Varyans Analizi gibi çok değişkenli analizler için de kullanılması önerilmektedir.

Keywords

• ölçek geliştirme
• istatistik programları
• Jamovi
• sosyal bilimler araştırmaları

References

1. AERA, APA, & NCME. (1985). Standards for educational psychological tests. Washington: American Psychological Association.
2. Alpar, R. (2013). Uygulamalı çok değişkenli istatistiksel yöntemler. Ankara: Detay Yayınevi.
3. Astar, M., & Güriş, S. (2015). SPSS ile istatistik. Ankara: Der Yayınları.
4. Bentler, P. M., & Bonett, D. G. (1980). Significance tests and goodness of fit in the analysis of covariance structures. Psychological Bulletin, 88(3), 588.
5. Buja, A., & Eyuboglu, N. (1992). Remarks on parallel analysis. Multivariate Behavioral Research, 27(4), 509-540. Büyüköztürk, Ş. (2015). Veri analizi el kitabı. Ankara: Pegem. Cattell, R. B. (1966). The scree test for the number of factors. Multivariate Behavioral Research, 1(2), 245-276.
6. Cliff, J. E. (1998). Does one size fit all? Exploring the relationship between attitudes towards growth, gender, and business size. Journal of business venturing, 13(6), 523-542.
7. Crawford, A. V., Green, S. B., Levy, R., Lo, W. J., Scott, L., Svetina, D., & Thompson, M. S. (2010). Evaluation of parallel analysis methods for determining the number of factors. Educational and Psychological Measurement, 70(6), 885-901.
8. DeVellis, R. F. (2016). Scale development: Theory and applications (Vol. 26). London: Sage publications.

9. Dunn, T. J., Baguley, T., & Brunsden, V. (2014). From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation. British Journal of Psychology, 105(3), 399-412.
10. Erkuş, A. (2007). Ölçek geliştirme ve uyarlama çalışmalarında karşılaşılan sorunlar. Türk Psikoloji Bülteni, 13(40), 17-25.
11. Fiala, W. E., Bjorck, J. P., & Gorsuch, R. (2002). The religious support scale: construction, validation, and cross-validation. American Journal of Community Psychology, 30, 761- 786. https://doi.org/10.1023/A:1020264718397 Field, A. (2009). Discovering statistics using SPSS. London: Sage publications.
12. Gandek, B., Ware J. E., Aaronson N. K., Apolone, G. B., Brazier J. E., et al. (1998). Cross validation of item selection and scoring for the SF-12 health survey in nine countries: results from the iqola project, international quality of life assessment. Journal of Clinical Epidemiology, 51(11), 1171-1180. https://doi.org/10.1016/S0895-4356(98)00109-7
13. Garrido, L. E., Abad, F. J., & Ponsoda, V. (2011). Performance of Velicer’s minimum average partial factor retention method with categorical variables. Educational and Psychological Measurement, 71(3), 551-570.
14. Hayton, J. C., Allen, D. G., & Scarpello, V. (2004). Factor retention decisions in exploratory factor analysis: A tutorial on parallel analysis. Organizational Research Methods, 7(2), 191-205.
15. Horn, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30(2), 179-185.
16. Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55.
17. Jöreskog, K. G., & Sörbom, D. (1993). LISREL 8: Structural equation modeling with the SIMPLIS command language. Scientific Software International.
18. Jöreskog, K. G., Sörbom, D., Du Toit, S., & Du Toit, M. (1999). LISREL 8: New statistical features. Chicago: Scientific Software International, 6-7.
19. Kaiser, H. F. (1960). The application of electronic computers to factor analysis. Educational and psychological measurement, 20(1), 141-151.
20. Kalaycı, Ş. (2016). SPSS uygulamalı çok değişkenli istatistik teknikleri. Ankara: Asil Yayın Dağıtım.
21. Kline, R. B. (2011). Principles and practice of structural equation modeling (3. Baskı). New York: Guilford Press.
22. Muenchen, R. A. (2019). The Popularity of Data Science Software. http://r4stats.com/articles/popularity/ adresinden erişilmiştir.
23. Nunnally, J. C. (1978). An overview of psychological measurement. Clinical Diagnosis Of Mental Disorders, 97-146.
24. Nunnally J. C. & I.H. Bernstein, I. H. (1994). Psychometric theory. New York: McGraw-Hill, New York.
25. O’connor, B. P. (2000). SPSS and SAS programs for determining the number of components using parallel analysis and Velicer’s MAP test. Behavior Research Methods, İnstruments, & Computers, 32(3), 396-402.
26. Özdamar, K. (2013). Paket programlar ile istatiksel veri analizi: MINITAB 16-IBM SPSS 21. Eskişehir: Nisan Kitabevi.
27. Storch, E. A., Murphy, T. K., Bagner, D. M., Johns, N. B., Baumeister, A. L., Goodman, W. K., & Geffken, G. R. (2006). Reliability and validity of the child behavior checklist obsessive-compulsive scale. Journal of Anxiety Disorders, 20(4), 473-485.
28. Sümer, N. (2000). Yapisal eşitlik modelleri: Temel kavramlar ve örnek uygulamalar. Türk Psikoloji Yazıları, 3(6),49-74.
29. Tabachnick, B. G. & Fidell, L. S. (2015). Using multivariate statistics (Vol. 5). Boston, MA: Pearson.
30. Tavşancıl, E. (2014). Tutumların ölçülmesi ve SPSS ile veri analizi. Ankara: Nobel Yayıncılık.
31. Velicer, W. F. (1976). Determining the number of components from the matrix of partial correlations. Psychometrika, 41(3), 321-327.
32. Yang, Y. & Xia, Y. (2015). On the number of factors to retain in exploratory factor analysis for ordered categorical data. Behavior Research Methods, 47(3), 756-772.