Investigation of Psychometric Traits of Metric Scale and Likert Type Scale Applied in Different Conditions

Abstract

The purpose of this study is to examine the psychometric properties of two different scales (Self-Efficacy Scale about the Method Sections of the Research Papers – SESMSR and The Research Anxiety Scale – TRAS) applied on paper - pencil tests and web. For this purpose, SESMSR and TRAS were applied to 391 undergraduate students in a five - point Likert type scale form and a 10 cm metric form in a paper - pencil environment and then on a web page prepared within the context of the research. The two-factor structure of SESMSR, which is developed to use for the graduate students, appeared exactly the same except for the fact that one item is included in the other factor at the undergraduate level; and it was seen that TRAS, which is known for consisting of one factor, maintained this structure and that the reliability of scales calculated over different data sets is high. For both scales, it was determined that the extracted variance and reliability coefficients obtained with the use of Likert type scale applied as paper - pencil test were lower than the metric scale and the web-based applications. It has been seen that the metric scale which is labeled on both ends can be used instead of the Likert-type scale and the ideal number of category is seven according to investigations.

Keywords

• Metric scale,likert scale,research,self-efficacy,anxiety

Farklı Ortamlarda Uygulanan Likert Tipi Ölçek ile Metrik Ölçeğin Psikometrik Özelliklerinin İncelenmesi

Abstract

Bu araştırmanın amacı kâğıt – kalem ve internet ortamlarında uygulanan iki farklı ölçeğin (Araştırmanın Yöntem Bölümüne İlişkin Öz Yeterlik Ölçeği – AYBİÖYÖ ve Araştırmaya Yönelik Kaygı Ölçeği – AYKÖ) psikometrik özelliklerinin incelenmesidir. Bu amaçla, AYBİÖYÖ ve AYKÖ’nün beş dereceli Likert tipi ölçek formu ile 10 cm’lik metrik formu önce kâğıt – kalem ortamında, daha sonra ise araştırma kapsamında hazırlanan bir sayfa üzerinden internet ortamında 391 lisans öğrencisine uygulanmıştır. Lisansüstü öğrencilerde kullanılmak üzere geliştirilmiş olan ve iki faktörden oluşan AYBİÖYÖ’nün iki faktörlü yapısının, lisans düzeyinde de bir maddenin diğer faktörde yer alması şeklindeki farklılık dışında aynen ortaya çıktığı; bir faktörden oluştuğu bilinen AYKÖ’nün ise bu yapıyı koruduğu ve ölçeklerin farklı veri setleri üzerinden hesaplanan güvenirliklerinin yüksek olduğu görülmüştür. Her iki ölçek için, kâğıt – kalem ortamında uygulanan Likert tipi ölçekle elde edilen açıklanan varyans oranlarının ve güvenirlik katsayılarının metrik ölçeğe ve internet ortamında gerçekleştirilen uygulamalara göre daha düşük olduğu belirlenmiştir. İki ucu etiketlenmiş metrik ölçeğin Likert tipi ölçek yerine kullanılabileceği; kategori sayısına göre yapılan incelemelerde ise ideal kategori sayısının yedi olduğu görülmüştür.

Keywords

• Metrik ölçek,likert tipi ölçek,araştırma,öz yeterlik,kaygı

References

1. Abend, R., Dan, O., Maoz, K., Raz., S. & Bar-Haim, Y. (2014). Reliability, validity and sensitivity of a computerized visual analogue scale measuring state anxiety. Journal of Behavoir Therapy and Experimental Psychiatry, 45(2014), 447-453.
2. Akat, K. (2012). Ankilozan spondilitte hastalık aktivite ve fonksiyon ölçeklerinin Türkçe versiyonlarının farklı yanıt skalalarının performansının: nümerik derecelendirme skalası ve görsel analog skalasının karşılaştırılması (Uzmanlık tezi). Dokuz Eylül Üniversitesi, Tıp Fakültesi, İç Hastalıkları Anabilim Dalı, İzmir.
3. Akbaş, U. & Tavşancıl, E. (2015). Farklı örneklem büyüklüklerinde ve kayıp veri örüntülerinde ölçeklerin psikometrik özelliklerinin kayıp veri baş etme teknikleri ile incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(1), 38-57.
4. Armstrong, R. L. (1987). The midpoint on a five-point Likert-type scale. Perceptual and Motor Skills, 64, 359-362.
5. Atan, M. & Yavuz, T. (2010). Davranışsal ölçümler için Likert-tipi ölçek / görsel analog ölçek karşılaştırması. 11. Ulusal Ekonometri ve İstatistik Sempozyumu, Sakarya Üniversitesi.
6. Athale, N., Sturley, A., Skoczen, S., Kavanaugh, A. & Lenert, L. (2004). A web-compatible instrument for measuring self-reported disease activity in arthritis. The Journal of Rheumatology, 31(2), 223-228.
7. Aun, C., Lam, Y. M. & Collet, B. (1986). Evaluation of the use of visual analogue scale in Chinese patients. Pain, 25(1986), 215-221.
8. Ayaz, A. (2013). Evliliğe yönelik tutum ve mükemmeliyetçilik arasındaki ilişkinin incelenmesi. 10. Ulusal PDR Öğrencileri Kongresi. Dokuz Eylül Üniversitesi, 28-30 Haziran 2013 (sözlü bildiri)

9. Baka, A., Figgou, L. & Triga, V. (2012). “Neither agree, nor disagree”: a critical analysis of the middle answer category in voting advice applications. International Journal of Electronic Goverance, 5(3/4), 244-263.
10. Bandalos, D. L. & Enders, C. K. (1996). The effects of nonnormality and number of response categories on reliability. Applied Measurement in Education, 9(2), 151-160.
11. Bardakcı, A., Haşıloğlu, S. B. & Balce, A. O. (2015). Ölçek orta noktası bitaraf cevaplar için mi yoksa bihaber cevaplar için mi kullanılmaktadır? Pazarlama ve Pazarlama Araştırmaları Dergisi, 16, 87-97.
12. Bayat, B. (2014). Uygulamalı sosyal bilim araştırmalarında ölçme, ölçekler ve “Likert” ölçek kurma tekniği. Gazi Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 16(3), 1-24.
13. Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik Test Teorisi ve uygulama. Ankara: ÖSYM Yayınları.
14. Boer, A. G. E. M., Lanschot, J. J. B., Stalmeier, P. F. M., Sandick, J. W., Hulscher, J. B. F., Haes, J. C. J. M. & Sprangers, M. A. G. (2004). Is a single item visual analogue scale as valid, raliable and responsive as multi-item scales in measuring quality of life. Quality of Life Research, 13(2), 311-320.
15. Bora Semiz, B. & Altunışık, R. (2016). Pazarlama araştırmalarında Likert tipi ölçeklerin özelliklerinin cevaplama tarzları üzerindeki etkilerinin incelenmesi. Bartın Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 7(14), 577-598.
16. Bosch, O. J., Revilla, M., DeCastellarnau, A. & Weber, W. (2018). Measurement reliability, validity, and quality of slider versus radio button scales in an online probability-based panel in Norway. Social Science Computer Review, 1-14.
17. Büyüköztürk, Ş. (1997). Araştırmaya yönelik kaygı ölçeğinin geliştirilmesi. Kuram ve Uygulamada Eğitim Yönetimi Dergisi, 3(4), 453-464.
18. Büyüköztürk, Ş. (2018). Sosyal bilimler için veri analizi el kitabı: istatistik, araştırma deseni, SPSS uygulamaları ve yorum (24. baskı). Ankara: Pegem Akademi.
19. Caimmi, D., Baiz, N., Tanno, L. K., Demoly, P., Arnavielhe, S., Murray, R., Bedbrook, A., Bergmann, K. C., De Vries, G., Fokkens, W. J., Fonseca, J., Haahelta, T., Keil, T., Kuna, P., Mullol, J., Papadopoulos, N., Passalacqua, G., Samolinski, B., Tomazic, P. V., Valiulis, A., van Eerd, M., Wickman, M., Annesi-Maesano, I. & Bousquet, J. (2017). Validation of the MASK-rhinitis visual analogue scale on smartphone screens to assess allergic rhinitis control. Clinical and Experimental Allergy: Journal of the British Society for Allergy and Clinical Immunology, 47(12), 1526-1533.
20. Carlsson, A. M. (1983). Assessment of chronic pain: I: aspects of the reliability and validity of visual analogue scale. Pain, 16(1983), 87-101.
21. Cengiz Çakır, U. (2009). Acil servise ağrı yakınması ile başvuran hastalarda hekimin ağrı algısını etkileyen faktörler ve görsel analog skala kullanımının değeri (Uzmanlık tezi). Akdeniz Üniversitesi Tıp Fakültesi, Acil Tıp Anabilim Dalı, Antalya.
22. Cengiz, K. B. (2013). Transrektal ultrasonografi eşliğinde yapılan prostat biyopsilerinde uygulanılan lokal anestezi yöntemlerinin visual analog skala (vas) ile karşılaştırılması (Uzmanlık tezi). Cumhuriyet Üniversitesi, Tıp Fakültesi, Üroloji Anabilim Dalı, Sivas.
23. Churchill, G. A. & Peter, J. P. (1984). Research desing effects on the reliability of rating scales: a meta-analysis. Journal of Marketing Research, 21(4), 360-375.
24. Cicchetti, D. V., Showalter, D. & Tyrer, P. J. (1985). The effect of number of rating scale categories on levels of interrater reliability: a monte carlo investigation. Applied Psychological Measurement, 9(1), 31-36.
25. Coelho, P. S. & Esteves, S. P. (2007). The choice between a five-point and a ten-point scale in the framework of customer satisfaction measurement. International Journal of Market Research, 49(3), 313-339.
26. Cook, C., Heath, F., Thompson, R. L. & Thompson, B. (2001). Score reliability in web- or internet-based surveys: unnumbered graphic rating scales versus Likert-type scales. Educational and Psychological Measurement, 61(4), 697-706.
27. Coons, S. J., Gwaltney, C. J., Hays, R. D., Lundy, J. J., Sloan, J. A., Revicki, D. A., Lenderking, W. R., Cella, D. & Basch, E. (2009). Recommendations on evidence needed to support measurement equivalence between electronic and paper-based patient-reported outcome (PRO) measures: ISPOR ePRO good research practices task force report. Value in Health, 12(4), 419-429.
28. Cox III, E. P. (1980). The optimal number of responses for a scale: a review. Journal of Marketing Research, 17(4), 407-422.
29. Cummins, R. A. & Gullone, E. (2000). Why we should use 5-point Likert scales: the case for subjective quality of measurement. Proceedings, Second International Conference on Quality of Life in Cities (pp. 74-93). Singapore: National University of Siingapore.
30. Dawes, J. (2008). Do data characteristics change according to the number of scale points used? An experiment using 5-point, 7-point and 10-point scales. International Journal of Market Research, 50(1), 61-77.
31. Delgado, D. A., Lambert, B. S., Boutris, N., McCulloch, P. C., Robbins, A. B., Moreno, M. R. & Harris, J. D. (2018). Validation of digital visual analog scale pain scoring with a traditional paper-based visual analogue scale in adults. Journal of the American Academy of Orthopaedic Surgeons, 2(3), 1-6.
32. Demir, Ö. O. (2014). Üniversite öğrencilerinin akış deneyimleri ve kişilik özellikleri arasındaki ilişkinin incelenmesi. 11. Ulusal PDR Öğrenci Kongresi. Hacettepe Üniversitesi, Ankara. Sözlü bildiri.
33. DiStefano, C. (2002). The impact of categorization with confirmatory factor analysis. Structural Equation Modeling: A Multidisciplinary Journal, 9(3), 327-346.
34. Dixon, J. S. & Bird, H. A. (1981). Reproducability along a 10 cm vertical visual analogue scale. Annals of Rheumatic Diseases, 40, 87-89.
35. Dixon, P. N., Bobo, M. & Stevick, R. A. (1984). Response differences and preferences for all-category-defined and end-defined Likert formats. Educational and Psychological Measurement, 44, 61-66.
36. Erkuş, A. (2016). Psikolojide ölçme ve ölçek geliştirme-I: temel kavramlar ve işlemler (3. baskı). Ankara: Pegem Akademi.
37. Erkuş, A., Sanlı, N., Bağlı, M. T. & Güven, K. (2000). Öğretmenliğe ilişkin tutum ölçeği geliştirilmesi. Eğitim ve Bilim, 25(116), 27-33.
38. Finn, R. H. (1972). Effects of some variations in rating scale characteristics on the means and reliabilities of ratings. Educational and Psychological Measurement, 32, 255-265.
39. Garland, R. (1991). The mid-point on a rating scale: is it desirable? Marketing Bulletin, 2, 66-70.
40. Gerich, J. (2007). Visual analogue scales for more independent measurement in self-administered questionnaires. Behavior Research Methods, 39, 985-992.
41. Gök, B., Atalay Kabasakal, K. & Çetin, S. (2015). Araştırmanın yöntem bölümüne ilişkin öz yeterlik ölçeği geliştirilmesi. İlköğretim Online, 14(2), 438-448.
42. Gül, E. (2012). Online değerlendirme güvenilir midir? e-Journal of New World Sciences Academy, 7(1), 281-287.
43. Harland, N. J., Dawkin, M. J. & Martin, D. (2015). Relative utility of a visual analogue scale vs a six-point Likert scale in the measurement of global subject outcome in patients with low back pain receiving physiotherapy. Physiotherapy, 101, 50-54.
44. Harpe, S. E. (2015). How to analyze Likert and other rating scale data. Currents in Pharmacy Teaching and Learning, 7, 836-850.
45. Hawker, G. A., Mian, S., Kendzerska, T. & French, M. (2011). Measures of adult pain. Arthritis Care & Research, 63(11), 240-252.
46. Hughes, G. D. (1969). Some confounding effects of forced-choice scales. Journal of Marketing Research, 6(2), 223-226.
47. Hui, C. H. & Triandis, H. C. (1989). Effects of culture and response format on extreme response style. Journal of Cross-Cultural Psychology, 20(3), 296-309.
48. Huskisson, E. C. (1974). Measurement of pain. The Lancet, 9, 1974.
49. İnal, H., Yılmaz Koğar, E., Demirdüzen, E. & Gelbal, S. (2017). Cronbach’s coefficient alpha: a meta-analysis study. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 32(1), 18-32.
50. Jacoby, J. & Matell, M. S. (1971). Three-point Likert scales are good enough. Journal of Marketing Research, 8(4), 495-500.
51. Jensen, M. P., Caroly, P. & Braver, S. (1986). The measurement of clinical pain intensity: a comparison of six methods. Pain, 27(1986), 117-126.
52. Jöreskog, K. (1999). How large can a standardized coefficient be? Unpublished document.
53. Kan, A. (2009). Effect of scale response format on psychometric properties in teaching self-efficacy. Eurasian Journal of Educational Research, 34, 215-228.
54. Koçyiğit, E. (2002). Aynı tutumu ölçmeye yönelik olarak hazırlanmış Likert tipi ölçekle iki farklı metrik ölçeğin psikometrik özelliklerinin karşılaştırılması (Yayınlanmamış yüksek lisans tezi). Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
55. Laerhoven, H., van der Zaag-Loonen, H. J. & Derkx, B. H. F. (2004). A comparison of Likert scale and visual analogue scales as response options in children’s questionnaires. Acta Pædiatr, 93, 830-835.
56. Leung, S. (2011). A comparison of psychometric properties and normality in 4-, 5-, 6-, and 11-point Likert scales. Journal of Social Service Research, 37, 412-421.
57. Lissitz, R. W. & Green, S. B. (1975). Effect of number of scale points on reliability: a monte carlo approach. Journal of Applied Psychology, 60(1), 10-13.
58. Lozano, L. M., Garcia-Cueto, E. & Muniz, J. (2008). Effect of number of response categories on the reliability and validity of rating scales. Methodology, 4(2), 73-79.
59. Maharajan, M. K., Rajiah, K., Khoo, S. P., Chellappan, D. K., Alwis, R. D., Chui, H. C., Tan, L. L., Tan, Y. N. & Lau, S. Y. (2017). Attitudes and readiness of students healthcare proffesions towards interprofessional learning. PLoS ONE, 12(1): e0168863.
60. Mattel, M. S. & Jacoby, J. (1972). Is there an optimal number of alternatives for Likert-scale items? Effects of testing time and scale properties. Journal of Applied Psychology, 56(6), 506-509.
61. McMordie, W. R. (1979). Improving measurement of death anxiety. Psychological Reports, 44, 975-980.
62. Miller, S. D., Duncan, B. L., Brown, J., Sparks, J. A. & Claud, D. A. (2003). The outcome rating scale: a preliminary study of the reliability, validity, and feasibility of a brief visual analogue scale. Journal of Brief Therapy, 2(2), 91-100.
63. Myles, P., Troedel, S. Boquest, M. & Reeves, M. (1999). The pain visual analogue scale: Is it linear or nonlinear? Anesthesia and Analgesia, 89, 1517-1520.
64. Nartgün, Z. (2002). Aynı tutumu ölçmeye yönelik Likert tipi ölçek ile metrik ölçeğin madde ve ölçek özelliklerinin Klasik Test Kuramı ve Örtük Özellikler Kuramı’na göre incelenmesi (Yayınlanmamış doktora tezi). Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
65. Norman, G. (2010). Likert scales, levels of measurement and the “laws” of statistics. Advances in Health Sciences Education: Theory and Practice, 15, 625-632.
66. Nunnally, J. C. & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). New York: McGraw-Hill, Inc.
67. Ogon, M., Krismer, M., Söllner, W., Kantner-Rumplmair, W. & Lampe, A. (1996). Chronic low back pain measurement with visual analogue scale in different settings. Pain, 64(1996), 425-428.
68. Osanmaz, B., Bilgi, E., İnce, M. & Tanju Aslışen, H. E. (2018). Aile içi şiddetin çocuk üzerindeki etkisi. 13. Okul Öncesi Eğitimi Öğrenci Kongresi, Kocatepe Üniversitesi, Afyonkocatepe Üniversitesi, 26-28 Nisan 2018 (poster bildiri).
69. Pearse, N. (2011). Deciding on the scale granularity of response categories of Likert type scales: the case of a 21-point scale. The Electronic Journal of Business Research Methods, 9(2), 159-171.
70. Pedhazur, E. J. & Schmelkin, L. (1991). Measurement, design, and analysis: an integrated approach. New Jersey: Lawrence Erlbaum Associates, Inc.
71. Peterson, R. A. (1994). A meta-analysis of Cronbach’s coefficient alpha. Journal of Consumer Research, 21(2), 381-391.
72. Raaijmakers, Q. A. W., Van Hoof, A., Hart, H., Verbogt, T. F. M. A. & Vollebergh, W. A. M. (2000). Adolescents’ midpoint responses on Likert-type scale items: neutral or missing values. International Journal of Public Opinion Research, 12(2), 208-216.
73. Preston, C. C. & Colman, A. M. (2000). Optimal response categories in rating scales: reliability, validity, discriminating power, and respondent preferences. Acta Psychologica, 104, 1-15.
74. Price, D. D., McGrath, P. A., Rafi, A. & Buckingham, B. (1983). The validation of visual analogue scale as ratio scale measures for chronic and experimental pain. Pain, 17(1983), 45-56.
75. Reips, U. & Funke, F. (2008). Interval-level measurement with visual analogue scales in internet-based research: VAS Generator. Behavior Research Methods, 40(3), 699-704.
76. Saracaloğlu, A. S. (2008). Lisansüstü öğrencilerin akademik güdülenme düzeyleri, araştırma kaygıları ve tutumları ile araştırma yeterlikleri arasındaki ilişki. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 5(2), 179-208.
77. Snow, S. & Kirwan, J. R. (1988). Visual analogue scales: a source of error. Annals of Rheumatic Diseases, 47, 526.
78. Tabachnick, B. G. & Fidell, L. S. (2013). Using multivariate statistics (6th ed.). New Jersey: Pearson.
79. Tavşancıl, E. (2002). Tutumların ölçülmesi ve SPSS ile veri analizi. Ankara: Nobel Yayın Dağıtım.
80. Tezbaşaran, A. (1996). Likert tipi ölçek geliştirme kılavuzu. Ankara: Psikologlar Derneği Yayınları.
81. Turan, İ., Şimşek, Ü. & Aslan, H. (2015). Eğitim araştırmalarında Likert ölçeği ve Likert-tipi soruların kullanımı ve analizi. Sakarya Üniversitesi Eğitim Fakültesi Dergisi, 30, 186-203.
82. Uyumaz, G. (2013). Likert tipi ölçeklerde madde düzeni ve derecelendirme farklılıklarının psikometrik özellikler ve yanıtlayıcı tutumları açısından karşılaştırılması. Yayımlanmamış yüksek lisans tezi, Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
83. Wakita, T., Ueshima, N. & Noguchi, H. (2012). Psychological distance between categories in the Likert scale: comparing different numbers of options. Educational and Psychological Measurement, 72(4), 533-546.
84. Watkins, M. W. (2000). Monte carlo PCA for parallel analysis [computer software]. State College, PA: Ed & Psych Associate.
85. Weng, L. (2004). Impact of the number of response categories and anchor labels on coefficient alpha and test-retest reliability. Educational and Psychological Measurement, 64(6), 956-972.
86. Yıldırım, S. (2011). Öz-yeterlik, içe dönük motivasyon, kaygı ve matematik başarısı: Türkiye, Japonya ve Finlandiya’dan bulgular. Necatibey Eğitim Fakültesi Elektronik Fen ve Matematik Eğitimi Dergisi, 5(1), 277-291.
87. Yıldız, Y. (1998). Aynı tutumu ölçmeye yönelik Likert tipi ölçek ile metrik ölçeğin psikometrik özelliklerinin karşılaştırılması (Yayımlanmamış doktora tezi). Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara.
88. YÖK (Yüksek Öğretim Kurulu), 2018. Rehberlik ve Psikolojik Danışmanlık Lisans Programı. http://www.yok.gov.tr/documents/10279/41805112/Rehberlik_ve_Psikolojik_Danismanlik_Lisans_Programi.pdf adresinden 1 Ağustos 2018 tarihinde erişildi.
89. Zumbo, B. D., Gadermann, A. M. & Zeisser, C. (2007). Ordinal versions of coefficients alpha and theta for Likert type scales. Journal of Modern Applied Statistical Methods, 6(1), 21-29.