LABELING DECISIONS FOR LIKERT SCALES: DOES IT INFLUENCE MEASUREMENT RESULTS?

Abstract

This study examines the possible effects of following issues on the measurement results where Likert scales are used: (1) labeling scale midpoint, (2) ordering the answer categories (negative to positive or vice versa), (3) labeling only the extreme points vs. labeling all scale points, and (4) providing additional "no opinion" option vs. not providing this option. A field experiment was conducted on a total of 868 conveniently selected students. Students were randomly distributed one of nine different formats of the questionnaires that were designed by manipulating the midpoint labeling, extreme vs. all points labeling, the order of the points, and the existence of the "no opinion " option. Findings revealed that labeling formats produce differences in measurement results, at least for some of the variables of interest. The most impactful decision was found to be the usage of the additional "no opinion " option for the Likert scales. Research implications of the findings are discussed, and suggestions for future studies are provided.

Keywords

• Likert Scales,labeling,scale construction,scale mid-point

Likert Ölçeklerinde Etiketleme Kararları: Kullanılan Etiketler Ölçüm Sonuçlarına Etkiler mi?

Abstract

Bu araştırmada, ülkemizde de çok yaygın şekilde kullanılan beş aralıklı Likert ölçeklerde, (1) farklı yapılara sahip kavramların (dışsal bilgi gerektiren ve gerektirmeyen kavramlar) ölçümünde orta noktanın farklı terimlerle isimlendirilmesinin; (2) olumlu olumsuz kutupların yerlerini değiştirmenin; (3) ölçeklerde ara seçeneklerin isimlendirilip isimlendirilmemesinin; (4) ve ölçeğin yapısının zorlamalı veya zorlamasız olmasının (ilave “fikrim yok” seçeneği bulunması) ölçüm sonuçlarında farklılık yaratıp yaratmadığı incelenmiştir. Kolayda örnekleme yöntemiyle seçilen 868 kişi üzerinde yapılan bir saha araştırması sonucunda Likert ölçeklerinde cevap seçeneklerinin tasarımındaki farklılıkların ölçüm sonuçları üzerinde etkili olduğuna dair bazı kanıtlar ortaya çıkmıştır. Bu bulguların Likert ölçekler içeren araştırmaların tasarımı açısından önemi tartışılmış ve çeşitli öneriler sunulmuştur. 

Keywords

• Likert Ölçek,Etiketleme,Ölçek Tasarımı,ölçek orta noktası

References

1. Albaum G. (1997). “The Likert scale revisited: An alternate version. Market Research Society”. Journal of the Market Research Society, 39(2):331-348.
2. Alwin, D. F., & Krosnick, J. A. (1991). “The reliability of survey attitude measurement: The influence of question and respondent attributes”. Sociological Methods and Research, 20:139-181.
3. Armstrong, R. L. (1987). “The midpoint on a five-point Likert-type scale”. Perceptual and Motor Skills, 64(2):359 – 362.
4. Baka, A., L. Figgou, & V. Triga. (2012).”’Neither agree, nor disagree’: A critical analysis of the middle answer category in voting advice applications”. International Journal of Electronic Governance, 5 (3/4):244–263.
5. Bardakçı, A. Koçoğlu, D. Haşıloğlu, S.B. (2000). Pazarlama Alanında Yapılan Araştırmalarda Elde Edilen Aritmetik Ortalama Ölçek Orta Noktasına Eşit Midir?, Sosyoekonomi, 11(11):97-112.
6. Bardakcı, A., Haşıloğlu, S. B. & Balce, A. O. (2015). “Ölçek orta noktası bitaraf cevaplar için mi yoksa bihaber cevaplar için mi kullanılmaktadır?” Pazarlama ve Pazarlama Araştırmaları Dergisi, 16: 87-97.
7. Başar, H. (30.05.2017). Araştırmalarda Likert Yanılgıları http://yunus.hacettepe.edu.tr/~alerbas/yazilar/Likert.doc.30.05.2017.
8. Bearden, W. O. & Netemeyer, E.G. (1999). Handbook of Marketing Scales, 2nd Ed. SAGE Publicaitons, California.

9. Bora Semiz, B & Altunışık R. (2016). “Pazarlama araştırmalarında Likert tipi ölçeklerin özelliklerinin cevaplama tarzları üzerindeki etkilerinin incelenmesi”. Bartın Üniversitesi İİBF Dergisi, 7 (14): 577-598.
10. Chan, Jason C. (1991). Response-order effect in Likert-type scales. Educational and Psychological Measurement, 51:531-540.
11. Cummins, R.A. & Gullone, E. (2000). Why we should not use 5-point Likert scales: The case for subjective quality of life measurement. Proceedings, Second International Conference on Quality of Life in Cities, Singapore: National University of Singapore, (74-93).
12. Dixon, PN. , Bobo, M. & Stevick R.A. (1984). Response differences and preferences for all-categorydefined and end-defined Likert formats. Educational and Psychological Measurement, 44:61-66.
13. Dogan, V., Özkara, B. Y., Yılmaz, C., & Torlak, Ö. (2014).” Katılım düzeyi seçenek sayısının veri karakteristiği ve veri kalitesi kapsamında incelenmesi: Optimal katılım düzeyi seçenek sayısına ilişkin bir çıkarım”, 19. Ulusal Pazarlama Kongresi, 18-22 Haziran, Gaziantep, 101-109.
14. Dunning, D. (2011). “The Dunning–Kruger effect: On being ignorant of one's own ignorance”. Advances in Experimental Social Psychology, 44: 247-296.
15. Dursun, İ. , Alnıaçık, Ü. & Tümer Kabadayı, E. (2013). “Tüketici karar verme tarzları ölçeği: Yapısı ve boyutları”. Uluslararası Yönetim İktisat ve İşletme Dergisi, 9(19):293- 304.
16. Fishbein, M., & Ajzen, I. (1975). Belief, attitude, intention, and behavior: An introduction to theory and research. Reading, MA: Addison-Wesley.
17. Friedman H. H., Herskovitz P. J., & Pollack S. (1993). “The biasing effects of scale-checking styles on response to a Likert scale”. Proceedings of survey research methods section, American Statistical Association, http://www.amstat.org/sections/srms/Proceedings/y1993.html, accessed on 9th May 2003.
18. Garland, R. (1991).”The mid-point on a rating scale: Is it desirable?”. Marketing Bulletin, 2:66-70.
19. Gegez, E. (2010). Pazarlama araştırmaları, 3. Baskı, Beta Yayınları, İstanbul.
20. Halpin, G., Halpin, G., & Arbet, S. (1994). “Effects of number and type of response choices on internal consistency reliability”. Perceptual and Motor Skills, 79:928-930.
21. İslamoğlu, A. H & Alnıaçık, Ü. (2016). Sosyal bilimlerde araştırma yöntemleri, 5. Baskı, Beta Yayınları, İstanbul.
22. Johns, R. (2005). “One size doesn’t fit all: Selecting response scales for attitude items”, Journal of Elections, Public Opinion and Parties, 15(2):237-264.
23. Kağıtçıbaşı, Ç. (2010). Günümüzde insan ve insanlar, 14. Basım, Evrim Yayınevi - Akademik Kitapları.
24. Krosnick, J. A., & Smith, W. A. (1994). Attitude strength. In V. S. Ramachandran (Ed.), Encyclopedia of Human Behavior. San Diego, CA: Academic Press.
25. Krosnick, J. A., & Fabrigar, L. R. (1997). Designing rating scales for effective measurement in surveys. In L. Lyberg, P. Biemer, M. Collins, L. Decker, E. DeLeeuw, C.
26. Dippo, N. Schwarz, and D. Trewin (Eds.), Survey Measurement and Process Quality. New York: Wiley-Interscience.
27. Krosnick, J. A., & Presser, S. (2010). Questionnaire design. In J. D. Wright & P. V. Marsden (Eds.), Handbook of Survey Research, 2nd Ed. West Yorkshire, England: Emerald Group.
28. Krosnick ,J. A. & Berent M. K. (1993). Comparisons of party identification and policy preferences: The impact of survey question format. American Journal of Political Science, 37(3): 941–64.
29. Kulas, J. T., Stachowski, A. A., & Haynes, B. A. (2008). “Middle response functioning in Likert-responses to personality items”. Journal of Business and Psychology, 22(3): 251–260.
30. Kurtuluş, K. (2006). Pazarlama araştırmaları, 8. Basım, Literatür Yayıncılık: İstanbul
31. Lam, T., Allen, G. & Green, K. (2010).” ‘Is “neutral” on a Likert scale the same as “Don’t know” for informed and uninformed respondents? Effects of serial position and labeling on selection of response options’”, Annual Meeting of the National Council on Measurement in Education, May 2010, Denver, CA.
32. Likert, R. (1932). “A technique for the measurement of attitudes”. Archives of Psychology, 140:1–55.
33. Malhotra, N. K. (2010). Marketing research and applied orientation, 6th Ed., Peorson, New Jersey.
34. Matell, M. S. & Jacoby, J. (1972). “Is there an optimal number of alternatives for Likert-scale items? Effects of testing time and scale properties”. Journal of Applied Psychology, 56(6):506-509.
35. Nadler,J. T., Weston, R. & Voyles, E. C. (2015).” Stuck in the middle: The use and interpretation of mid-points in items on questionnaires”, The Journal of General Psychology, 142(2): 71-89.
36. Nakip, M. (2006). Pazarlama araştırmaları: Teknikler ve (spss destekli) uygulamalar, Seçkin Yayıncılık.
37. Preston, C. C., & Colman, A. M. (2000). “Optimal number of response categories in rating scales: Reliability, validity, discriminating power, and respondent preferences”. Acta Psychologica, 104: 1-15.
38. Raaijmakers, Q. A. W., Van Hoof, A., ’t Hart, H., Verbogt, T. F. M. A. & Vollebergh, W. A. M. (2000). “Adolescents’ midpoint responses on Liker-type scale items: Neutral or missing values?”, International Journal of Public Opinion Research, 12(2):208-2016.
39. Sproles, G. B., & Kendall, E. L. (1986).” A methodology for profiling consumers’ decision making styles”.The Journal of Consumer Affairs,20(2):267-279.
40. Tsang, K. K. (2011). “The use of midpoint on Likert scale: The implications for educational research”. Hong Kong Teachers Centre Journal,11:121-130.
41. Wakita, T., Ueshima, N. & Noguchi, H. (2012). “Psychological distance between categories in the Likert scale : Comparing different numbers of options”. Educational and Psychological, 72 (4): 533-546.
42. Weijters, B., Cabooter, E. & Schillewaert, N. (2010). “The effect of rating scale format on response styles: The number of response categories and response category labels”. International Journal of Research Marketing, 27:236-247.
43. Weng, L. & Cheng, C. (2000).” Effects of response order on Likert-type scales”. Educational and Psychological Measurement, 60: 908–924. Yükselen, C. (2003). Pazarlama araştırmaları, 2. Baskı, Detay Yayıncılık, Ankara.