The Effect of Response Alternatives in Likert Type Scales Used Marketing Research on Reliability

Abstract

The reliability of the scales used in studies in the field of marketing is of great importance in terms of the healthy results to be obtained. Different values are considered in testing the reliability of these scales. The most commonly used method among these is the calculation of Cronbach Alpha values. The different methods used in the study structure and data collection can affect the results of these values. The aim of this study is to determine whether the response alternatives in Likert type scales used in marketing research cause a change in the Cronbach Alpha coefficients. In this direction, 347 articles ranked in the ULAKBIM index and published in two journals in marketing in Turkey were examined. These articles were examined by the authors of the study using the content analysis method. 197 articles were analyzed, which collected data by questionnaire method, presented Cronbach's Alpha coefficient and used 5-point (470 scale) and 7-point (140 scale) Likert type scales. The obtained data were tested using descriptive analysis and Independent Samples T-Test. The findings revealed that the alpha coefficient mean of the scales with 7 answer alternatives was higher than the mean with 5 answer alternatives, but this difference was not statistically significant. According to the findings of the study, various suggestions were made to researchers.

Keywords

• Marketing Researches
• Likert Scale
• Response Alternative Number
• Cronbach’s Alpha Coefficient

Pazarlama Araştırmalarında Kullanılan Likert Tipi Ölçeklerdeki Cevap Alternatifi Sayısının Ölçek Güvenilirliğine Etkisi

Öz

Pazarlama alanında yapılan çalışmalarda kullanılan ölçeklerin güvenilir olması elde edilecek sonuçların sağlıklı olması açısından büyük önem arz etmektedir. Söz konusu ölçeklerin güvenilirliğinin test edilmesinde farklı değerler ele alınmaktadır. Bunlar içerisinde en çok kullanılan yöntem Cronbach Alfa değerlerinin hesaplanmasıdır. Çalışma yapısında ve veri toplamada kullanılan farklı yöntemler bu değerlerin sonuçlarını etkileyebilmektedir. Bu çalışmanın amacı, pazarlama araştırmalarında kullanılan Likert tipi ölçeklerdeki cevap alternatiflerinin Cronbach Alfa katsayılarında bir değişime neden olup olmadığının belirlenmesidir. Bu doğrultuda, Türkiye’de ULAKBİM indeksinde taranan ve pazarlama alanında yayım yapan iki dergide yayımlanmış 347 makale incelenmiştir. Bu makaleler çalışmanın yazarlarınca içerik analizine tabi tutulmuştur. Anket yöntemiyle veri toplanan, Cronbach Alfa katsayısı verilen ve 5’li (470 ölçek) ile 7’li (140 ölçek) Likert tipi ölçek kullanılan 197 makale analiz edilmiştir. Elde edilen veriler betimleyici analiz ve Bağımsız Örneklemler T-Testi kullanılarak test edilmiştir. Bulgular 7 cevap alternatifli ölçeklerin güvenilirlik ortalamasının 5 cevap alternatifli ölçeklerin ortalamasına göre daha yüksek olduğunu ancak söz konusu farkın istatistiki olarak anlamlı olmadığını ortaya koymuştur. Çalışmanın bulguları doğrultusunda araştırmacılara önerilerde bulunulmuştur.

Anahtar Kelimeler

• Pazarlama Araştırmaları
• Likert Ölçeği
• Cevap Alternatifi Sayısı
• Cronbach Alfa Katsayısı

References

1. Aiken, L, R. (1983). Number of response categories and statistics on a teacher rating scale. Educational and Psychological Measurement, 43(2), 397-401.
2. Alan, Ü., & Kabasakal, K. A. (2020). Effect of number of response options on the psychometric properties of likert-type scales used with children. Studies in Educational Evaluation, 66, 100895.
3. Alwin, D. F. (1992). Information transmission in the survey interview: Number of response categories and the reliability of attitude measurement. Sociological Methodology, 83-118.
4. Alwin, D. F. (1997). Feeling thermometers versus 7-point scales: Which are better?. Sociological Methods & Research, 25(3), 318-340.
5. Alwin, D. F., Baumgartner, E. M., & Beattie, B. A. (2018). Number of response categories and reliability in attitude measurement. Journal of Survey Statistics and Methodology, 6(2), 212-239.
6. Baran, T. (2020). Anket formuyla veri toplamada renk ve cevap alternatifi sayısının cevaplama süresi ve ifade cevaplama sayısına etkisi. Akademisyen Yayınları, 97-116.
7. Baran, T. (2021). Comparison of parametric and non-parametric methods to analyse the data gathered by a likert-type scale. In Handbook of Research on Applied Data Science and Artificial Intelligence in Business and Industry (414-430). IGI Global.
8. Bardakçı, A. (2009). Pazarlama araştırmalarında kullanılan tutum ölçeklerindeki cevap alternatifi sayısına ilişkin bir literatür taraması. Pamukkale Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 4, 1-20.

9. Bending, A. W. (1953). The reliability of self-ratings as a function of the amount of verbal anchoring and of the number of categories on the scale. Journal of Applied Psychology, 37(1), 38-41.
10. Borgers, N., Sikkel, D., & Hox, J. (2004). Response effects in surveys on children and adolescents: The effect of number of response options, negative wording, and neutral mid-point. Quality and Quantity, 38, 17-33.
11. Chakrabartty, S. N. (2023). Optimum number of response categories. Current Psychology, 42(7), 5590-5598.
12. Chang, L. (1994). A psychometric evaluation of 4-point and 6-point Likert-type scales in relation to reliability and validity. Applied Psychological Measurement, 18(3), 205-215.
13. Cox, E. P. (1980). The optimal number of response alternatives for a scale: A review. Journal of Marketing Research, 17(4), 407-422.
14. Cronbach, L. J. (1946). Response sets and test validity. Educational and Psychological Measurement, 6(4), 475-494.
15. Doğan, V., Özkara, B. Y., Yılmaz, C., & Torlak, Ö. (2017). Katılım düzeyi seçenek sayısının incelenmesi: optimal katılım düzeyi seçenek sayısına ilişkin bir çıkarım. İşletme Araştırmaları Dergisi, 9(1), 464-484.
16. Iyengar, S. S., & Lepper, M. R. (2000). When choice is demotivating: Can one desire too much of a good thing?. Journal of Personality and Social Psychology, 79(6), 995-1006.
17. Iyengar, S. S., Huberman, G., & Jiang, W. (2004). How much choice is too much? Contributions to 401 (k) retirement plans. Pension Design And Structure: New Lessons From Behavioral Finance, 83, 84-87.
18. Jacoby, J. & Matell, M. S. (1971). Three-point Likert scales are good enough. Journal of Marketing Research, 8(4), 495-500.
19. Jensen, C., & Tøndering, J. (2005). Perceived prominence and scale types. In Proceedings FONETIK, 111-114.
20. Jones, W. P., & Loe, S. A. (2013). Optimal number of questionnaire response categories: More may not be better. Sage Open, 3(2), 1-10.
21. Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213-236.
22. Lee, J., & Paek, I. (2014). In search of the optimal number of response categories in a rating scale. Journal of psychoeducational assessment, 32(7), 663-673.
23. Lehmann, D. R., & Hulbert, J. (1972). Are three-point scales always good enough?. Journal of Marketing Research, 9(4), 444-446.
24. Lozano, L. M., García-Cueto, E., & Muñiz, J. (2008). Effect of the number of response categories on the reliability and validity of rating scales. Methodology, 4(2), 73-79.
25. Masters, E. R. (1974). The relationship between number of response categories and reliability of Likert‐type questionnaires. Journal of Educational Measurement, 11(1), 49-53.
26. Matell, M. S., & Jacoby, J. (1971). Is there an optimal number of alternatives for likert scale items? Study I: Reliability and validity. Educational and Psychological Measurement, 31(3), 657-674.
27. Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales: reliability, validity, discriminating power, and respondent preferences. Acta psychologica, 104(1), 1-15.
28. Weathers, D., Sharma, S., & Niedrich, R. W. (2005). The impact of the number of scale points, dispositional factors, and the status quo decision heuristic on scale reliability and response accuracy. Journal of Business Research, 58, 1516-1524.
29. Wong, C. S., Chuen, K. C., & Fung, M. Y. (1993). Differences between odd and even number of response scale: Some empirical evidence. Chinese Journal of Psychology, 35, 75-86.