Zindelik Ölçeği Maddelerinin Yinelemeli Bilişsel Görüşmeler Yoluyla Test Edilmesi ve Geliştirilmesi

Abstract

Zindeliğin çok boyutlu bir yapı olarak ölçülmesinin gerekliliği kavramsal açıdan sağlam temellere dayanan ve pratikte anlaşılabilir ölçme araçlarının geliştirilmesini zorunlu kılmaktadır. Ancak, ölçek maddelerinin araştırmacılar tarafından kastedildiği biçimde algılanması, yapı geçerliliğinin sağlanması açısından kritik bir öneme sahiptir. Ayrıca yalnızca istatistiksel analizlere dayanarak madde geçerliliğinin sınanması, ölçme hatalarına yol açabilecek sınırlılıkları beraberinde getirebilmektedir. Söz konusu çalışma zindelik ölçeği madde havuzunun anlaşılabilirliğini yinelemeli bilişsel görüşmeler aracılığıyla test etmeyi ve iyileştirmeyi amaçlamaktadır. Bu doğrultuda, madde anlaşılırlığı ve uygunluğunu artırmak amacıyla alan ve dil uzmanlarıyla (n=2) bilişsel görüşmeler gerçekleştirilmiştir. Devamında yinelemeli olarak düzenlenen madde havuzu üzerinden, amaçlı örnekleme yoluyla seçilen katılımcılarla (n=8) bilişsel görüşmeler yürütülmüştür. Katılımcıların maddeleri nasıl yorumladıklarını değerlendirmek amacıyla sesli düşünme ve sözel sondalama teknikleri uygulanmıştır. Elde edilen bulgular terimlerin kavramsal karmaşıklığı, madde uzunlukları, yanıt kategorilerindeki tutarsızlıklar ve hatırlama güçlükleri gibi çeşitli sorun alanlarını ortaya koymuştur. Tespit edilen sorunların giderilmesi amacıyla, ilk aşamayı takiben dil sadeleştirilmiş, uzun maddeler yeniden yapılandırılmış, yanıt seçenekleri katılımcıların yanıtlamalarını kolaylaştırmak amacıyla düzenlenmiştir. Yinelemeli iyileştirme süreci katılımcıların maddeyi anlama düzeylerinde ve yanıtlarının doğruluğunda belirgin gelişmeler sağlamıştır. Araştırma bulguları ölçeklerin geçerliliğinin test edilmesinde bilişsel görüşmeler arasında yinelemeli madde havuzu kullanımının önemine işaret etmektedir. Gelecekte yapılacak araştırmalar farklı alanlardaki farklı ölçek geliştirme çalışmalarında, ölçme geçerliliğini artırmak amacıyla bilişsel görüşmelerde yinelemeli yaklaşımın uygulanması dikkate alınabilir. Uygulanan yinelemeli yöntemin etkinliğinin anlaşılabilmesi için uzun vadede deneysel çalışmalara ihtiyaç duyulmaktadır.

Keywords

• Yapı Geçerliliği
• Ölçek Geliştirme
• Anlaşılırlık
• Ölçüm Hatası
• zindelik ölçümü

Testing and Refining Wellness Scale Items Using Iterative Cognitive Interviews

Abstract

The necessity of measuring wellness as a multidimensional construct is grounded in solid conceptual foundations and requires the development of measurement tools that are practically comprehensible. However, it is critically essential for construct validity that the scale items are perceived by respondents as intended by the researchers. Moreover, testing item validity solely based on statistical analyses may bring limitations that could lead to measurement errors. This study aims to test and improve the comprehensibility of the wellness scale item pool through iterative cognitive interviews. Accordingly, to enhance item clarity and appropriateness, cognitive interviews were conducted with field and language experts (n=2). Subsequently, based on the iteratively revised item pool, cognitive interviews were carried out with purposively selected participants (n=8). To evaluate participants’ interpretations of the items, think-aloud and verbal probing techniques were used. The findings revealed several problem areas including the conceptual complexity of terms, item length, inconsistencies in response categories, and recall difficulties. To address the identified issues, after the initial phase, the language was simplified, lengthy items were restructured, and response options were adjusted to facilitate participants’ responses. The iterative refinement process led to notable improvements in participants’ understanding of the items and the accuracy of their responses. The findings indicate the importance of using an iterative item-pool approach in cognitive interviews when testing scale validity. Future research in different fields of scale development may consider applying an iterative approach in cognitive interviews to enhance measurement validity. Long-term experimental studies are needed better to understand the effectiveness of the applied iterative method.

Keywords

• Wellness Measurement
• Construct Validity
• Scale Development
• Comprehensibility
• measurement error

References

1. Beatty, P. C., & Willis, G. B. (2007). Research synthesis: The practice of cognitive interviewing. Public Opinion Quarterly, 71(2), 287–311. https://doi.org/10.1093/poq/nfm006 Bolaños-Medina, A., & González-Ruiz, V. (2012). Deconstructing the translation of psychological tests. Meta: Journal Des Traducteurs/Meta: Translators’ Journal, 57(3), 715–739. https://doi.org/10.7202/1017077ar Bradburn, N. M., Rips, L. J., & Shevell, S. K. (1987). Answering autobiographical questions: The impact of memory and inference on surveys. Science, 236(4798), 157–161. https://doi.org/10.1126/science.236.4798.157
2. Braun, V., & Clarke, V., (2006). Using thematic analysis in psychology Qualitative research in psychology 3(2), 77-101.
3. Braun, V., Clarke, V., & Weate, P. (2016). Using thematic analysis in sport and exercise research. In B. Smith ve A. C. Sparkes (Eds) Routledge handbook of qualitative research in sport and exercise (pp. 213–227). Routledge.
4. Collins, D. (2003). Pretesting survey instruments: An overview of cognitive methods. Quality of Life Research, 12, 229–238. https://doi.org/10.1023/A:1023254226592 Desimone, L. M., & Le Floch, K. C. (2004). Are we asking the right questions? Using cognitive interviews to improve surveys in education research. Educational Evaluation and Policy Analysis, 26(1), 1–22. https://doi.org/10.3102/01623737026001001 DeVellis, R. F., & Thorpe, C. T. (2021). Scale development: Theory and applications. Sage publications.
5. Dunn, H. L. (1959). What high-level wellness means. Canadian Journal of Public Health/Revue Canadienne de Sante’e Publique, 50(11), 447–457.
6. Eadie, T. L., Yorkston, K. M., Klasner, E. R., Dudgeon, B. J., Deitz, J. C., Baylor, C. R., Miller, R. M., & Amtmann, D. (2006). Measuring communicative participation: A review of self-report instruments in speech-language pathology. Journal of Speech, Language and Hearing Research, 49(5), 904-920 https://doi.org/10.1044/1058-0360(2006/030) Haldane, V., Chuah, F. L., Srivastava, A., Singh, S. R., Koh, G. C., Seng, C. K., & Legido-Quigley, H. (2019). Community participation in health services development, implementation, and evaluation: A systematic review of empowerment, health, community, and process outcomes. PloS One, 14(5), e0216112. https://doi.org/10.1371/journal.pone.0216112 Hettler, B. (1984). Wellness: Encouraging a lifetime pursuit of excellence. Health Values, 8(4), 13–17.
7. Kılıç, K., & İnce, M. L. (2016). Sporda pozitif gençlik gelişimi ölçeklerinin 8-14 yaş grubu çocuk ve genç sporcular tarafından anlaşılırlığının incelenmesi. Beden Eğitimi ve Spor Bilimleri Dergisi, 10(2), 213–225.
8. Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213–236. https://doi.org/10.1002/acp.2350050305 Kuru, H. (2022). Designing and Evaluating a Need-Based Employee Wellness Program. [Doctoral dissertation, Middle East Technical University]

9. Kuru, H. (2024). Sağlık, zindelik ve iyi oluş kavramlarının incelenmesi. İstanbul Rumeli Üniversitesi Sağlık Bilimleri Dergisi, 2(4), 1–11.
10. Miller, G., & Foster, L. T. (2010). Critical synthesis of wellness literature. Wellness Research Institute.
11. Myers, J. E., & Sweeney, T. J. (2004). The indivisible self: An evidence-based model of wellness. Journal of Individual Psychology, 60, 234–244.
12. Myers, J. E., Sweeney, T. J., & Witmer, J. M. (2000). The wheel of wellness counseling for wellness: A holistic model for treatment planning. Journal of Counseling ve Development, 78(3), 251–266. https://doi.org/10.1002/j.1556-6676.2000.tb01906.x
13. Myers, N. D., Prilleltensky, I., Prilleltensky, O., McMahon, A., Dietz, S., & Rubenstein, C. L. (2017). Efficacy of the fun for wellness online intervention to promote multidimensional well-being: A randomized controlled trial. Prevention Science, 18, 984–994. https://doi.org/10.1007/s11121-017-0779-z
14. National Wellness Institute. (2020). Six Dimensions of Wellness. National Wellness Institute. https://nationalwellness.org/resources/six-dimensions-of-wellness/ Roscoe, L. J. (2009). Wellness: A review of theory and measurement for counselors. Journal of Counseling and Development: JCD, 87(2), 216. https://doi.org/10.1002/j.1556-6678.2009.tb00570.x Rubin, D. B. (2004). Multiple imputation for nonresponse in surveys (Vol. 81). John Wiley & Sons.
15. Sudman, S., Bradburn, N. M., & Schwarz, N. (1996). Thinking about answers: The application of cognitive processes to survey methodology. Jossey-Bass.
16. Tourangeau, R. (1984). Cognitive sciences and survey methods. Cognitive Aspects of Survey Methodology: Building a Bridge between Disciplines, 15, 73–100.
17. Tourangeau, R. (2000). The psychology of survey response. University of Cambridge.
18. Uher, J. (2023). What’s wrong with rating scales? Psychology’s replication and confidence crisis cannot be solved without transparency in data generation. Social and Personality Psychology Compass, 17(5), e12740. https://doi.org/10.1111/spc3.12740 Willis, G. B. (2015). Analysis of the cognitive interview in questionnaire design. Oxford University Press, USA.
19. World Health Organization. (2018). Health in All Policies as part of the primary health care agenda on multisectoral action. World Health Organization.
20. World Health Organization. (2021). Towards developing WHO’s agenda on well-being. World Health Organization