A Methodological Investigation of Scale Development Studies in the Field of Sports Sciences

Abstract

This study aimed to examine scale development studies conducted in the field of sports sciences in Turkey and to determine the compliance of the processes carried out in these studies with scale development criteria. The study dataset consisted of 65 scale development studies on sports sciences published in journals indexed in the TÜBİTAK ULAKBİM database between 2017 and 2023. The analysis revealed that some critical criteria that should be adhered to from the initial stages of the process, such as addressing the construct and theories associated with the intended feature to be measured and providing an operational definition, were often over- looked. Moreover, significant deficiencies were identified in various stages of scale development, including clearly defining the target audience of the scale, selecting a scaling technique suitable for the nature of the feature, drafting alternative items for the trial form, choosing appropriate statistical techniques, and collecting neces- sary validity and reliability evidence. The study emphasized that scale development is a specialized field and that errors in this process could lead to broader issues that may impact other scientific studies. Conducting studies with larger groups in- volving various experts could help prevent many errors. The discussions based on the findings and the recommendations provided for researchers aiming to develop scales contribute significantly to the literature. The researchers can also use the scale development criteria form developed in this study both to carry out the scale development process thoroughly and accurately, and to examine existing scales.

Keywords

• Psychometrics
• scale development
• sports sciences
• steps of scale development

Spor Bilimleri Alanında Yapılan Ölçek Geliştirme Çalışmalarının Metodolojik Açıdan İncelenmesi

Abstract

Bu araştırmada, Türkiye’de spor bilimleri alanında yapılmış ölçek geliştirme çalışmalarının incelenmesi ve bu çalışmalarda yürütülen süreçlerin ölçek geliştirme ölçütlerine uygunluğunun belirlenmesi amaçlanmıştır. Araştırmanın veri setini, 2017 ile 2023 yılları arasında TÜBİTAK ULAKBİM veri tabanında taranan dergilerde yayımlanan, spor bilimleriyle ilişkili 65 ölçek geliştirme çalışması oluşturmuştur. İncelenen ölçek geliştirme çalışmalarında, ölçülmesi amaçlanan özelliğin ilişkili olduğu yapı ve kuramlar ile birlikte ele alınması ve işe vuruk tanımının yapılması gibi sürecin ilk aşamalarından itibaren uyulması gereken bazı ölçütlere dikkat edilmediği sonucuna ulaşılmıştır. Bununla birlikte, ölçeğin hedef kitlesinin açıkça tanımlanması, özelliğin doğasına uygun bir ölçekleme tekniğinin belirlenmesi, deneme formu için maddelerin alternatifli olarak yazılması, uygun istatistiksel tekniklerin seçilmesi, gerekli geçerlik ve güvenirlik kanıtlarının toplanması gibi süreçlerde ölçek geliştirme alanyazınına uygunluk bakımından önemli eksiklikler tespit edilmiştir. Aynı zamanda çalışmada ölçek geliştirmenin önemli bir uzmanlık alanı olduğu ve yapılan hataların diğer bilimsel çalışmaları da etkileyebilecek daha büyük sorunlara yol açabileceği de hatırlatılmıştır. Farklı uzmanların yer aldığı daha geniş ekiplerle yapılan çalışmaların pek çok hatayı önleyebileceği vurgulanmıştır. Bu hatalar detaylı açıklanarak önlenmelerine ve giderilmelerine yönelik önerilerde bulunulmuştur. Elde edilen sonuçlar üzerine yapılan tartışmaların ve ölçek geliştirmek isteyen araştırmacılara sunulan önerilerin alanyazına katkı sağlayacağı düşünülmektedir. Ayrıca araştırmacılar, bu çalışmada geliştirilen ölçek geliştirme ölçütleri formunu hem ölçek geliştirme sürecini eksiksiz ve doğru yürütmek için hem de mevcut ölçekleri incelemek için kullanabilirler.

Keywords

• Ölçme
• ölçek geliştirme
• ölçek geliştirme adımları
• spor bilimleri

References

1. Acar Güvendir, M., & Özer Özkan, Y. (2015). Türkiye'deki eğitim alanında yayımlanan bilimsel dergilerde ölçek geliştirme ve uyarlama konulu makalelerin incelenmesi. Electronic Journal of Social Sciences, 14(52), 23–33. https://doi.org/10.17755/esosder.54872
2. Barış Pekmezci, F., & Ayan, C. (2020). Confusion of scale development: Investigation of self-efficacy scales. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 48, 130–151. https://doi.org/10.9779/pauefd.529986
3. Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. ÖSYM Yayınları.
4. Boztunç Öztürk, N., Eroğlu, M. G., & Kelecioğlu, H. (2015). A review of articles concerning scale adaptation in the field of education. Education and Science, 40(178), 123–137. https://doi.org/10.15390/eb.2015.4091
5. Bowen, G. A. (2009). Document analysis as a qualitative research method. Qualitative Research Journal, 9(2), 27–40. https://doi.org/10.3316/QRJ0902027
6. Brown, J. D. (2009). Principal component analysis and exploratory factor analysis: Definitions, differences and choices. JALT Testing and Evaluation Newsletter, 13(1), 26–30.
7. Budak, S. (2000). Psikoloji Sözlüğü. Bilim ve Sanat Yayınları.
8. Cohen, R. J., & Swerdlik, M. E. (2010). Psychological testing and assessment: An introduction to tests and measurement (7th ed.). McGraw-Hill.

9. Coughlin, K. B. (2013). An analysis of factor extraction strategies: A study of the relative strengths of principal axis, ordinary least squares and maximum likelihood factor extraction methods in research contexts (Yayımlanmamış doktora tezi). University of South Florida, Tampa, FL.
10. Cronbach, L. J., Schonemann, P., & McKie, D. (1965). Alpha coefficients for stratified-parallel tests. Educational and Psychological Measurement, 25, 291–312. https://doi.org/10.1177/001316446502500201
11. Çelik, D., & Yüksel, G. (2020). Müzik eğitimi kapsamında yapılan ölçek geliştirme çalışmalarının çok yönlü incelenmesi. İnsan ve Toplum Bilimleri Araştırmaları Dergisi, 9(5), 4059–4087.
12. Çüm, S. (2021). Ölçme ve değerlendirmede temel kavramlar. İçinde M. D. Şahin (Ed.), Eğitimde ölçme ve değerlendirme (ss. 1–21). Nobel Yayınevi.
13. Çüm, S., & Koç, H. (2013). Ölçek geliştirme çalışmalarında dikkat edilmesi gerekenler. Kuram ve Uygulamada Eğitim Bilimleri, 13(2), 1001–1026.
14. Delice, A., & Ergene, Ö. (2015). Ölçek geliştirme ve uyarlama çalışmalarının incelenmesi: Matematik eğitimi makaleleri örneği. Karaelmas Eğitim Bilimleri Dergisi, 3(1), 60–75.
15. Edenborough, R. (1999). Using psychometrics: A practical guide to testing and assessment. Kogan Page.
16. Ergene, Ö. (2020). Matematik eğitimi alanında ölçek geliştirme ve ölçek uyarlama makaleleri: Betimsel içerik analizi. Journal of Education for Life, 34(2), 360–383. https://doi.org/10.33308/26674874.2020342207
17. Erkuş, A. (2012). Psikometri üzerine yazılar. Pegem Akademi.
18. Erkuş, A. (2007). Ölçek geliştirme ve uyarlama çalışmalarında karşılaşılan sorunlar. Türk Psikoloji Bülteni, 13(40), 17–25.
19. Fabrigar, L. R., Wegener, D. T., MacCallum, R. C., & Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods, 4(3), 272–299. https://doi.org/10.1037/1082-989X.4.3.272
20. Gül, Ş., & Sözbilir, M. (2015). Thematic content analysis of scale development studies published in the field of science and mathematics education. Education and Science, 40(178), 85–102. https://doi.org/10.15390/EB.2015.4070
21. Güler, G., & Ayan, C. (2020). A review of attitude scales developed in turkey between 2002-2018 regarding the scale development process. Ankara University Journal of Faculty of Educational Sciences, 53(3), 839-863. https://doi.org/10.30964/auebfd.658488
22. Konu Kadirhanoğulları, M. (2024). Biyoloji eğitiminde gerçekleştirilen ölçek geliştirme araştırmalarına bir bakış. Yaşadıkça Eğitim Dergisi, 38(1), 184–198. https://doi.org/10.33308/26674874.2024381544
23. Koyuncu, İ., & Kılıç, A. F. (2019). The use of exploratory and confirmatory factor analyses: A document analysis. Education and Science, 44(198), 361–388. https://doi.org/10.15390/eb.2019.7665
24. Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook (2nd ed.). Sage Publications.
25. Mor Dirlik, E. (2014). Ölçek geliştirme konulu doktora tezlerinin test ve ölçek geliştirme standartlarına uygunluğunun incelenmesi. Journal of Measurement and Evaluation in Education and Psychology, 5(2), 62–78. https://doi.org/10.21031/epod.63138
26. Mor Dirlik, E., & Koç, N. (2017). The analysis of the psychological tests used in educational institutions according to the testing standards. Journal of Measurement and Evaluation in Education and Psychology, 8(4), 453–468. https://doi.org/10.21031/epod.365141
27. Murphy, K. R., & Davidshofer, C. O. (2005). Psychological testing: Principles and applications (6th ed.). Pearson.
28. Olgun, G., & Alatlı, B. (2021). Türkiye’de ergenlere yönelik ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. Türk Eğitim Bilimleri Dergisi, 19(1), 568–592. https://doi.org/10.37217/tebd.849954
29. Osborne, J. W., & Costello, A. B. (2009). Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Pan-Pacific Management Review, 12(2), 131–146.
30. Özkan, U. B. (2023). Doküman inceleme yönteminde geçerlik ve güvenirlik: Eğitim bilimleri araştırmaları bağlamında kuramsal bir inceleme. Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, (56), 832–848. https://doi.org/10.53444/deubefd.1258867
31. Snook, S. C., & Gorsuch, R. L. (1989). Component analysis versus common factor analysis: A Monte Carlo study. Psychological Bulletin, 106(1), 148–154. https://doi.org/10.1037/0033-2909.106.1.148
32. Stemler, S. (2001). An overview of content analysis. Practical Assessment, Research & Evaluation, 7(17), 17. https://doi.org/10.7275/z6fm-2e34
33. Şahin, M. G., & Boztunç Öztürk, N. (2018). Scale development process in educational field: A content analysis research. Kastamonu Education Journal, 26(1), 191–199. https://doi.org/10.24106/kefdergi.375863
34. Tabuk, M. E., & Doğan, R. R. (2023). Spor bilimleri alanında yayımlanan ölçeklerin sistematik analizi. Celal Bayar Üniversitesi Beden Eğitimi ve Spor Bilimleri Dergisi, 18(2), 583–594. https://doi.org/10.33459/cbubesbd.1315816
35. Tan, Ş. (2009). Misuses of KR-20 and cronbach’s alpha reliability coefficients. Education and Science, 34(152), 101–112.
36. Tavakol, M., & Dennick, R. (2011). Making sense of cronbach’s alpha. International Journal of Medical Education, 2, 53–55. https://doi.org/10.5116/ijme.4dfb.8dfd
37. Tavşancıl, E., & Aslan, E. (2001). İçerik analizi ve uygulama örnekleri. Epsilon Yayıncılık.
38. Tezbaşaran, A. A. (2008). Likert tipi ölçek geliştirme kılavuzu. Türk Psikologlar Derneği Yayınları.
39. Uyanık, G. K., Güler, N., Teker, G. T., & Demir, S. (2017). Türkiye’de eğitim alanında yayımlanan ölçek geliştirme çalışmalarının uygunluğunun çok yüzeyli rasch modeli ile incelenmesi. Journal of Measurement and Evaluation in Education and Psychology, 8(2), 183–199. https://doi.org/10.21031/epod.291367
40. Widaman, K. F. (1993). Common factor analysis versus principal component analysis: Differential bias in representing model parameters. Multivariate Behavioral Research, 28(3), 263–311. https://doi.org/10.1207/s15327906mbr2803_1
41. Widhiarso, W., & Ravand, H. (2014). Estimating reliability coefficient for multidimensional measures: A pedagogical illustration. Review of Psychology, 2, 111–121.