Content Valıdıty In The Scale Development Study For Shoulder

Abstract

In research studies, patient-reported or clinician-administered scales are commonly preferred for measurement activities. Due to the complexity of understanding the true impact of a disease on a patient's life and the variability of the disease experience from person to person, patient-reported scales are widely used in the literature. All scales used for shoulder diseases in Turkey are adapted scales. In the scope of our planned scale development study specific to the Turkish population, the stages of scope determination, expert opinions, and ensuring content validity were conducted for a new scale. Through literature review, expert opinions, and patient reports, the scope of the intended scale to be developed was determined as the assessment of shoulder functionality. A pool of 34 items was created by considering symptoms expressed by shoulder patients, articles containing patient expressions in the literature, developed scales for the shoulder in the literature, and clinician opinions. An expert panel consisting of 8 specialists was established to test the content validity and linguistic validity of the item pool. Expert opinions were obtained twice digitally through the Google Forms platform for the items in the pool. After the first expert opinion, the content validity rate (CVR) for 5 items was 0,778 or higher. The first expert opinions and the items were revised based on the CVR, resulting in a revised pool of 21 items. The revised item pool was sent again to the same experts through the Google Forms platform for reevaluation. The CVR was calculated for the items again based on expert opinions. After the second expert opinion, it was observed that 20 items had a CVR value of 0,778 or higher. One item with a CVR value below 0,778 was removed from the scale. According to these results, the total content validity indeks (CVI) of the scale was calculated as 0,984375, and the draft scale consisting of 20 items reached its final form. The concepts of CVR and CVI were explained in simple terms in the context of our sample study to illustrate how they would be used in the scale development process. The use of different CVI thresholds in studies was analyzed.

Keywords

• scale
• content validity
• content validity ratio

Omza Yönelik Ölçek Geliştirme Çalışmasında Kapsam Geçerliği

Abstract

Araştırmalarda ölçme faaliyeti için hasta bildirimli veya klinisyen tarafından uygulanan ölçekler çokça tercih edilmektedir. Hastalığın, hastanın yaşamı üzerine gerçek etkisini ve kişiden kişiye değişiklik gösteren hastalık deneyimini anlamanın karmaşık olması nedeniyle hasta bildirimli ölçekler literatürde çokça tercih edilmektedir. Türkiye’de omuz hastalıkları için kullanılan ölçeklerin tamamı uyarlama ölçeklerdir. Türk toplumuna özgü geliştirmeyi planladığımız ölçek geliştirme çalışması kapsamında yeni bir ölçek için kapsam belirleme, uzman görüşü alma ve kapsam geçerliğinin sağlanması aşamaları gerçekleştirildi. Literatür taraması, alan uzmanlarının görüşleri ve hasta bildirimleri dikkate alınarak geliştirilmek istenen ölçeğin kapsamı omuz fonksiyonelliğinin değerlendirilmesi olarak belirlendi. Omuz hastalarının ifade ettikleri semptomlar, literatürdeki hasta ifadelerine yönelik yer alan makaleler, literatürde yer alan omza yönelik geliştirilmiş ölçekler ve klinisyen görüşleri dikkate alınarak 34 maddelik madde havuzu oluşturuldu. Madde havuzunun kapsam geçerliği ve dil geçerliğini test etmek için 8 uzmandan oluşan uzman kurulu oluşturuldu. Madde havuzunda yer alan maddeler için Google Formlar platformu üzerinden dijital olarak iki kez uzman görüşü alındı. Birinci uzman görüşü sonrası 5 maddenin kapsam geçerlik oranı (KGO) 0,778 ve üzerindeydi. Birinci uzman görüşleri ve maddelerin KGO doğrultusunda madde havuzu 21 madde olarak yenilendi. Yenilenen madde havuzu, tekrar değerlendirilmesi için ikinci kez aynı uzmanlara Google Formlar platformu üzerinden gönderildi. Uzman görüşleri sonrası tekrar maddelerin KGO hesaplandı. İkinci uzman görüşü sonrası 20 maddenin KGO’nun 0,778 ve üzeri bir değerde olduğu görüldü. 0,778 değeri altında bir KGO’na sahip 1 madde ölçekten çıkarıldı. Bu değerlere göre ölçeğin toplam kapsam geçerlik ölçütü (KGÖ) 0,984375 olarak hesaplandı ve 20 maddeden oluşan taslak ölçek son halini aldı. KGO, KGÖ kavramları örnek çalışmamız üzerinde anlatılarak ölçek geliştirme sürecinde nasıl kullanılacağı basit bir dille ifade edildi. Çalışmalarda KGÖ’nün farklı değerler referans alınarak kullanılması analiz edildi.

Keywords

• ölçek
• kapsam geçerlik
• kapsam geçerlik oranı

References

1. [1] Morgado FF, Meireles JF, Neves CM, Amaral A, Ferreira ME. Scale development: ten main limitations and recommendations to improve future research practices. Psicologia: Reflexão e Crítica. 2017;30.
2. [2] Jayakumar P, Williams M, Ring D, Lamb S, Gwilym S. A systematic review of outcome measures assessing disability following upper extremity trauma. Journal of the American Academy of Orthopaedic Surgeons Global Research & Reviews. 2017;1(4).
3. [3] Düger T, Yakut E, Öksüz Ç, Yörükan S, Bilgutay B, Ayhan Ç, et al. Reliability and validity of the Turkish version of the Disabilities of the Arm, Shoulder and Hand (DASH) Questionnaire. Turkish Journal of Physiotherapy Rehabilitation-Fizyoterapi Rehabilitasyon. 2006;17(3).
4. [4] Yaşar P. Lınsalata omuz puanlama anketi Türkçe versiyonunun psikometrik özellikleri: Sağlık Bilimleri Enstitüsü.
5. [5] Hazar Kanik Z, Gunaydin G, Pala OO, Sozlu U, Alkan ZB, Citaker S, et al. Translation, cultural adaptation, reliability, and validity of the Turkish version of the Penn Shoulder Score. Disability and Rehabilitation. 2018;40(10):1214-9.
6. [6] El O, Bircan C, Gulbahar S, Demiral Y, Sahin E, Baydar M, et al. The reliability and validity of the Turkish version of the Western Ontario Rotator Cuff Index. Rheumatology international. 2006;26:1101-8.
7. [7] Slavec A, Drnovšek M. A perspective on scale development in entrepreneurship research. Economic and business review. 2012;14(1):3.
8. [8] Hinkin TR. A review of scale development practices in the study of organizations. Journal of management. 1995;21(5):967-88.

9. [9] Kapuscinski AN, Masters KS. The current status of measures of spirituality: A critical review of scale development. Psychology of Religion and Spirituality. 2010;2(4):191.
10. [10] Pasquali L. Instrumentação psicológica-fundamentos e práticas (Artmed). Porto Alegre. 2010.
11. [11] Arias MRM, Lloreda MVH, Lloreda MJH. Psicometría: Alianza Editorial; 2014.
12. [12] Nunnally JC. Psychometric theory. 1967.
13. [13] Lawshe CH. A quantitative approach to content validity. Personnel psychology. 1975;28(4):563-75.
14. [14] Ayre C, Scally AJ. Critical values for Lawshe’s content validity ratio: revisiting the original methods of calculation. Measurement and evaluation in counseling and development. 2014;47(1):79-86.
15. [15] Wilson FR, Pan W, Schumsky DA. Recalculation of the critical values for Lawshe’s content validity ratio. Measurement and evaluation in counseling and development. 2012;45(3):197-210.
16. [16] Yeşilyurt S, Çapraz C. A road map for the content validity used in scale development studies. Erzincan Üniversitesi Eğitim Fakültesi Dergisi. 2018;20(1):251-64.
17. [17] Davis LL. Instrument review: Getting the most from a panel of experts. Applied nursing research. 1992;5(4):194-7.
18. [18] Churchill Jr GA. A paradigm for developing better measures of marketing constructs. Journal of marketing research. 1979;16(1):64-73.
19. [19] Karakoç AGDFY, Dönmez L. Ölçek geliştirme çalışmalarında temel ilkeler. Tıp Eğitimi Dünyası. 2014;13(40):39-49.
20. [20] Yilmaz E, Eser E, Sekuri C, Kultursay H. Miyokart Enfarktüsü Boyutsal Değerlendirme Ölçeği (MIDAS) Türkçe sürümünün psikometrik özellikleri. Anatolian Journal of Cardiology/Anadolu Kardiyoloji Dergisi. 2011;11(5).
21. [21] Tavşancıl E. Tutumların ölçülmesi ve SPSS ile veri analizi. 2010.
22. [22] Giesinger JM, Kesterke N, Hamilton DF, Holzner B, Jost B, Giesinger K. Development of an item list to assess the forgotten joint concept in shoulder patients. BMC Musculoskeletal Disorders. 2015;16:1-8.
23. [23] Karakaya PYSYİÇKMG. Omuz Ağrısının Değerlendirilmesinde Kullanılan Hasta Bildirimli Sonuç Ölçümleri. 2nd Internatıonal Health Scıence And Lıfe Congress (IHSIC 2019) Burdur, Turkey. 2019.
24. [24] Polit DF, Beck CT. The content validity index: are you sure you know what's being reported? Critique and recommendations. Research in nursing & health. 2006;29(5):489-97.
25. [25] Michener LA, McClure PW, Sennett BJ. American Shoulder and Elbow Surgeons Standardized Shoulder Assessment Form, patient self-report section: reliability, validity, and responsiveness. Journal of shoulder and elbow surgery. 2002;11(6):587-94.
26. [26] Bumin G, Tüzün EH, Tonga E. The Shoulder Pain and Disability Index (SPADI): Cross-cultural adaptation, reliability, and validity of the Turkish version. Journal of Back and Musculoskeletal Rehabilitation. 2008;21(1):57-62.
27. [27] Angst F, Goldhahn J, Pap G, Mannion A, Roach K, Siebertz D, et al. Cross-cultural adaptation, reliability and validity of the German Shoulder Pain and Disability Index (SPADI). Rheumatology. 2007;46(1):87-92.
28. [28] Geçkil T, Tikici M. Örgütsel demokrasi ölçeği geliştirme çalışması. 2015.