Problems in The Measurement Tool Development Process and Solution Suggestions

Öz

In research, it is possible to reach robust data with measurement tools that have validity and reliability. In this study, it is aimed to determine the difficulties experienced in the process of developing a valid and reliable measurement tool. For this purpose, the opinions of academicians who have experience in scale development were sought. In the study, the difficulties experienced by the participants in the scale development process were determined by using the holistic single case design, one of the qualitative research methods. Eighteen academicians with experience in scale development participated in the study on a voluntary basis. In the interview, six open-ended questions were asked about the problems experienced by the participants during the scale development process and they were asked to answer them in writing. The data obtained were analyzed with the descriptive analysis method, and as a result of the analysis, it was observed that the difficulties experienced by the academicians in the development of the scales, writing the scale item, getting expert help, and the psychometric analysis of the scale and its publication. The findings were discussed in the light of literature data and some solution suggestions were made to overcome the difficulties.

Anahtar Kelimeler

• Scale
• Scale Development Process
• Difficulties in Likert Type Scale Development
• Individual Difficulties
• Institutional Difficulties

Likert Tipi Ölçek Geliştirme Sürecinde Yaşanan Güçlükler ve Çözüm Önerileri

Öz

Araştırmalarda, sağlam ve dayanıklı verilere ulaşmak geçerli ve güvenilir ölçme araçları ile mümkün olmaktadır. Bu çalışmada, geçerliği ve güvenirliği yüksek ölçme aracı geliştirme sürecinde yaşanan güçlükleri belirlenmesi amaçlanmıştır. Bu amaçla ölçek geliştirme deneyimi olan akademisyenlerin görüşlerine başvurma yoluna gidilmiştir. Çalışmada, katılımcıların ölçek geliştirme sürecinde yaşadıkları güçlükler nitel araştırma yöntemlerinden bütüncül tek durum deseni kullanılarak belirlenmiştir. Araştırmaya gönüllülük esasına göre ölçek geliştirme deneyimi olan 18 akademisyen katılmıştır. Görüşmede katılımcıların ölçek geliştirme sürecinde yaşadıkları sorunlarla ilgili altı açık uçlu soru yöneltilmiş ve yazılı olarak yanıtlamaları istenmiştir. Elde edilen veriler betimsel analiz yöntemi ile analiz edilerek, analiz sonucunda akademisyenlerin ölçeklerin geliştirilmesinde yaşadıkları güçlüklerin, ölçek maddesi yazma, uzman yardımı alma, ölçeğin psikometrik analizi ve yayınlanması sürecinde güçlükler yaşadıkları gözlenmiştir. Elde edilen bulgular literatür verileri ışığında tartışılarak ve güçlüklerin aşılmasına yönelik bazı çözüm önerileri getirilmiştir.

Anahtar Kelimeler

• Ölçek
• Ölçek Geliştirme Süreci
• Ölçek Geliştirmede Yaşanan Güçlükler
• Bireysel Güçlükler
• Kurumsal Güçlükler

Kaynakça

1. Alp Şahin, İ. (2019). Akraba evliliği tutum ölçeği: Metodolojik bir çalişma(Yüksek Lisans Tezi). Manisa Celal Bayar Üniversitesi Sağlık Bilimleri Enstitüsü, Manisa.
2. Ary, D., Jacobs. L. C. ve Sorensen, C. (2010). Introduction to research in education. California: Wadsworth.
3. Aybek, Eren Can ve Toraman Çetin(2022). How many response categories are sufficient for Likert type scales? An empirical study based on the Item Response Theory, International Journal of Assessment Tools in Education, 9(2), 534–547
4. Ayre, C. ve Scally, A.J. (2014). Critical values for Lawshe’s content validity ratio: revisiting the original methods of calculation. Meas Eval Couns Dev, 47(1).
5. Bentler, P.M. ve Bonnet, D.C. (1980) Significance tests and goodness of fit in the analysis of covariance structures. Psychological Bulletin, 88 (3), 588-606.
6. Beydoğan, H. Ö. (2017). Okullarda ölçme değerlendirme. Ankara: Nobel Yayıncılık.
7. Boeije, H. ve Willis, G. (2013). The cognitive interviewing reporting framework (CIRF) towards the harmonization of cognitive testing reports. European Journal of Research Methods for the Behavioral and Social Sciences, 9 (3), 87-95. https://doi.org/10.1027/1614-2241/a000075
8. Boone, H.N. ve Boone, D.A. (2012). Analyzing Likert data. Journal of Extension, 50(2).

9. Büyüköztürk, Ş. (2002). Faktör analizi: Temel kavramlar ve ölçek geliştirmede kullanımı. Kuram ve Uygulamada Eğitim Yönetimi, 32(32), 470-483.https://dergipark.org.tr/tr/pub/kuey/issue/10365/126871
10. Cohen, R. J. ve Swerdlik, M. E. (2010). Psychological testing and assessment: An introduction to tests & measurements (seventh edition). Boston: McGraw-Hill Higher Education.
11. Cronbach, L.J. (1951). Coefficient alpha and the internal structure tests. Psychometrika, 16, 297– 334. https://doi.org/10.1007/BF02310555
12. Crocker, L. ve Algina, J. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart and Winston, Inc.
13. DeVellis, R. F. (2014). Ölçek geliştirme kuram ve uygulamalar (T. Totan, Çev.). Ankara: Nobel Yayıncılık.
14. Doğan, İ. ve Doğan, N. (2019). Ölçek geliştirme çalişmalarinda kullanılan içerik geçerliliğine genel bir bakış. Turkiye Klinikleri J Biostat., 11(2). doi: 10.5336/biostatic.2019-65953
15. DuBois, P.H. (1970). A history of psychological testing. Boston: Allyn and Bacon.
16. Ekici, E. (2012). Öğretmenlere yönelik bilişim teknolojileri öz-yeterlik algısı ölçeğinin geçerlik ve güvenirlik çalışması. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 31, 53-65. https://dergipark.org.tr/tr/pub/pauefd/issue/11112/132852
17. Ercan, İ. ve Kan, İ. (2004). Ölçeklerde güvenirlik ve geçerlik. Uludağ Üniversitesi Tıp Fakültesi Dergisi, 30(3), 211-216. https://dergipark.org.tr/tr/pub/uutfd/issue/35255/391149
18. Erden-Tantekin, F. ve Tonga, E. F. (2020). Okul öncesi öğretmenlerinin matematik eğitimine ilişkin görüşleri: Matematik öğretimi, cinsiyet farklılıkları, öğretmenin rolü. BAUNSOBED, 23(44), 845-862.
19. Erkuş, A. (2012). Psikolojide ölçme ve ölçek geliştirme-1:Temel kavramlar ve işlemler. Ankara: Pegem Akademi.
20. Erkuş, A. (2007). Ölçek geliştirme ve uyarlama çalışmalarında karşılaşılan sorunlar. Türk Psikoloji Bülteni, 13 (40), 17-25.
21. Eymen, U. E. (2007). SPSS 15.0 ile veri analizi. İstatistik Merkezi.https://pdfslide.net/documents/spss-15-0-ile-veri-analizi.html?page=161
22. Green, P. E., & Rao, V. R. (1970). Rating scales and information recovery: How many scales and response categories to use? Journal of Marketing, 34, 33-39
23. Harpe, S. E. (2015). How to analyze Likert and other rating scale data. Currents in Pharmacy Teaching and Learning, 7, 836- 850.
24. Hinkin, T.R. (1995). A review of scale development practices in the study of organizations. Journal Management. 21, 967–88. https://doi.org/10.1016/0149-2063(95)90050-0
25. Hu, L. ve Bentler, P. M. (1999). Cut off criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6, 1-55. http://dx.doi.org/10.1080/10705519909540118
26. Jamieson, S. (2004). Likert scales: How to (ab)use them. Medical Education, 38, 1217–1218
27. Iacobucci, D. (2010). Structural equations modeling: Fit indices, sample size, and advanced topics. Journal of Consumer Psychology, 20.
28. Kahraman, A., Aytekin, M. Ş. ve Alparslan, Ö. (2021). Türkiye’de emzirme ile ilgili ölçeklerin ölçek uyarlama adımlarının incelenmesi. CUSBED, (6)3. doi.org/10.51754/cusbed.901407
29. Khanna, P. (2018). Positivism and Realism. In: Liamputtong P. (eds) Handbook of Research Methods in Health Social Sciences. Springer, Singapore.
30. Kline, P. A. (1993). Handbook of psychological testing. London: Routledge; Taylor & Francis Group.
31. Krosnick, J. ve Presser, S. (2010). Question and questionnaire design. Handbook of Survey Research, 2, 263-314.
32. Linn, R.L. (1980). Issues of validity for criterion-referenced measures. Applied Psychological Measurement, 4(4), 547-561. https://doi.org/10.1177/014662168000400407
33. MacKenzie, S. B., Podsakoff, P. M. ve Podsakoff, N. P. (2011). Construct measurement and validation procedures in MIS and behavioral research: Integrating new and existing techniques. MIS Quarterly, 35(2), 293–334. https://doi.org/10.2307/23044045
34. Maiti, S. S. ve Mukherjee, B. N. (1991). Two new goodness‐of‐fit indices for covariance Matrices with linear structures. British Journal of Mathematical and Statistical Psychology, 44(1), 153-180. https://doi.org/10.1111/j.2044-8317.1991.tb00953.x
35. Marvasti, A.B. (2004). Qualitative research in sociology. London: Sage Ltd.
36. McCoach, D.B., Gable, R.K. ve Madura, J.P. (2013). Instrument development in the affective domain: School and coorporate application (3rd ed.). New York: Springer. https://doi.org/10.1007/978-1-4614-7135-6
37. Miles, M, B. ve Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook. (2nd ed). Thousand Oaks, CA: Sage
38. Nanna, M. J., ve Sawilowsky, S. S. (1998). Analysis of Likert scale data in disability and medical rehabilitation research. Psychological Methods, 3, 55–67.
39. Naresh, K. M. (2013). Questionnaire design and scale development (Chapter 5.) http://www.terry.uga.edu/~rgrover/chapter_5.pdf
40. Nunnally, J.C. (1978). Psychometric theory. NewYork: McGraw-Hill Companies.
41. Özdemir, Z. (2018). Sağlık bilimlerinde likert tipi tutum ölçeği geliştirme development of a likert type attitude scale in healthsciences. Huhemfad-Johufon, 5(1), 60-68.
42. Patton, M.Q. (2002). Qualitative research and evaluation methods (3rd Ed.), London: Sage Publications, Inc.
43. Raykov, T. ve Marcoulides, G.A. (2011). Introduction to psychometric theory. New York, NY: Routledge, Taylor & Francis Group. https://doi.org/10.4324/9780203841624
44. Rhemtulla, M., Brosseau-Liard, P.É., ve Savalei, V. (2012). When can categorical variables be treated as continuous? A comparison of robust continuous and categorical SEM estimation methods under suboptimal conditions. Psychol Methods,17, 354–73. https://doi.org/10.1037/a0029315
45. Rust, J. ve Golombok, S. (1997). Modern Psychometrics: The science of psychological assessment. New York: Routledge.
46. Schinka, J.A., Velicer, W. F. ve Weiner, I. R. (2012). Handbook of psychology, Research methods in psychology. Hoboken, NJ: John Wiley & Sons, Inc.
47. Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde güvenilirlik ve geçerlilik. Ankara: Seçkin Yayıncılık.
48. Shevlin, M. ve Miles, J. N. (1998). Effects of sample size, model specification and factor loadings on the GFI in confirmatory factor analysis. Personality and Individual Differences, 25(1), 85-90. https://doi.org/10.1016/S0191-8869(98)00055-5
49. Schuts, H. G., & Rucker, M. H. (1975). A comparison of variables configurations across scale lengths: An empirical study. Educational and Psychological Measurement, 35, 319-324
50. Tabachnick, B. G. ve Fidell, L. S. (2013). Using multivariate statistics (6th ed.). New Jersey: Pearson
51. Tavşancıl, E. (2014). Tutumların ölçülmesi ve SPSS ile veri analizi (5. baskı). Ankara: Nobel Akademik Yayıncılık.
52. Tekin, H. (1977). Eğitimde ölçme ve değerlendirme. Ankara: Mars Matbaası.
53. Tezbaşaran, A. (2008). Likert tipi ölçek hazırlama kılavuzu. Ankara: Türk Psikologlar Derneği.
54. Thurstone, L. (1947). Multiple-factor analysis. Chicago, IL: University of Chicago Press.
55. Titchener, E. B. (1920). Wilhelm Wundt, 1832-1920. Science, 52(1352), 500-502. https://doi.org/10.1126/science.52.1352.500
56. Turgut, M. F. (1984). Eğitimde ölçme ve değerlendirme metotları. Ankara: Saydam Matbaacılık.
57. Uyumaz, G., Mor-Dirlik, E. ve Çokluk, Ö. (2016). Açımlayıcı faktör analizinde tekrar edilebilirlik: kavram ve uygulama. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 16(2).
58. Velicer, W. F. ve Jackson, D. N. (1990). Component analysis versus common factor analysis: Some issues in selecting an appropriate procedure. Multivariate Behavioral Research, 25(1), 1–28. https://doi.org/10.1207/s15327906mbr2501_1
59. Wakita, T., Ueshima, N., & Noguchi, H. (2012) Psychological distance between categories in the likert scale: Comparing Different Numbers of Options. Educational and Psychological Measurement, 72(4) 533–546
60. Wheaton, B., Muthen, B., Alwin, D. F. ve Summers, G. (1977). Assessing reliability and stability in panel models. Sociological Methodology, 8, 84-136. https://doi.org/10.2307/270754
61. Willis, G. B., (1994). Cognitive interviewing and questionnaire design: A training manual. Cognitive Methods Staff Working Paper Series, No. 7. Hyattsville, MD: National Center for Health Statistics.
62. Yaşlıoğlu, M. M. (2012). Kurumsal İtibar ve İşletmelerde Kurumsal İtibar Algısını ÖlçmeyeYönelik Bir Model Önerisi: Otomotiv Sektöründe Uygulanması (Doktora Tezi), İstanbul Üniversitesi Sosyal Bilimler Enstitüsü, İstanbul.
63. Yıldırım, A. ve Şimşek, A. (2011). Sosyal bilimlerde nitel araştırma yöntemleri. Ankara: Seçkin Yayıncılık.
64. Yılmaz, E. ve Eser, E. (2011). Miyokart enfarktüsü boyutsal değerlendirme ölçeği (MIDAS) Türkçe sürümünün psikometrik özellikleri. Anadolu Kardiyoloji Dergisi, 11, 386-401. doi:10.5152/akd.2011.105
65. Zumbo, B. D., Gadermann, A. M. ve Zeisser, C. (2007). Ordinal versions of coefficients alpha and theta for Likert type scales. Journal of Modern Applied Statistical Methods, 6(1), 21-29.