Perceived Halo Effect in Referee Evaluations in Sport: A Scale Development Study

Abstract

This study was conducted to develop a scale that can measure the relationship between the Halo effect and the evaluations made by referees about athletes' performances, who should make subjective evaluations in sport competitions. The population of the study consisted of 247 referees who were on duty in various sports and in different classifications and who were registered for the year 2023. The items of the scale were produced by the researcher with the support of the literature and it was determined that the items provided content validity (CVI=0.925). After the pilot study, reliability analysis was performed and Alpha=0.970 was found. Exploratory factor analysis was applied to reveal the construct validity of the scale and Alpha=0.972 was found. The fit statistics calculated by confirmatory factor analysis were found to be compatible with the previously determined factor structure of the scale at an acceptable level. In the results of the analyses, it was determined that factor loadings were high, standard error values were low, t values were significant and the construct validity of the predetermined factor structure was confirmed. In addition, as a result of the item discrimination test, it was determined that the scale was able to make a sensitive discriminative measurement (p<0.05). It was found that the scale provided convergent and divergent validity (CR>AVE>0.5), ICC values related to the agreement between test-retest measurements were high, there was no difference between test-retest correlation values, and the scale made reliable measurements based on short time (p<0.05). As a result, it was concluded that the "Perceived Halo Effect Scale in Referee Evaluations in Sport" is a valid and reliable scale.

Keywords

• Halo effect
• Sport
• Prejudice
• Referee evaluations
• Scale development

Sporda Hakem Değerlendirmelerinde Algılanan Halo Etkisi: Ölçek Geliştirme Çalışması

Abstract

Bu araştırma, spor müsabakalarında sübjektif değerlendirmeler yapması gereken hakemlerin sporcu performansları hakkında yaptıkları değerlendirmeler ile Halo etkisi arasındaki ilişkiyi ölçebilecek bir ölçek geliştirmek amacıyla yapılmıştır. Çalışmanın evrenini, çeşitli spor dallarında ve farklı klasmanlarda görev alan 2023 yılı için vizeli 247 hakem oluşturmaktadır. Ölçek maddeleri literatür destekli olarak araştırmacı tarafından üretilmiş ve maddelerin kapsam geçerliliğini sağladığı saptanmıştır (KGİ=0.925). Yapılan pilot çalışma sonrası ölçeğe ilişkin güvenirlik analizi uygulanmış ve Alpha=0.970 olarak bulunmuştur. Ölçeğin yapı geçerliliğini ortaya koymak için açıklayıcı faktör analizi uygulanmış ve Alpha=0.972 olarak bulunmuştur. Doğrulayıcı faktör analizi ile hesaplanan uyum istatistiklerinin ölçeğin daha önce belirlenen faktör yapısı ile kabul edilebilir düzeyde uyumlu olduğu saptanmıştır. Analiz sonuçlarında, faktör yüklerinin yüksek, standart hata değerlerinin düşük, t değerlerinin anlamlı olduğu belirlenmiş ve önceden belirlenen faktör yapısına ilişkin yapı geçerliliği doğrulanmıştır. Ayrıca uygulanan madde ayırt edicilik testi sonucu ölçeğin ayırt edici hassas ölçüm yapabildiği saptanmıştır (p<0.05). Ölçeğin, yakınsak ve ayrışma geçerliliğini sağladığı görülürken (CR>AVE>0.5), test-tekrar test ölçümleri arasındaki uyuma ilişkin ICC değerlerinin yüksek bulunduğu, test-tekrar test korelasyon değerleri arasında fark olmadığı ve ölçeğin kısa zamana bağlı olarak güvenilir ölçüm yaptığı saptanmıştır (p<0.05). Sonuç olarak, “Sporda Hakem Değerlendirmelerinde Algılanan Halo Etkisi Ölçeği’ nin geçerli ve güvenilir bir ölçek olduğu kanısına varılmıştır.

Keywords

• Halo etkisi
• Spor
• Ön yargı
• Hakem değerlendirmeleri
• Ölçek geliştirme

References

1. Arsan, N. (2012). Buz pateninde hakem değerlendirmelerinin genellenebilirlik kuramı ve rasch modeli ile incelenmesi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü Doktora Tezi, Ankara.
2. Atılgan, D., & Tükel, Y. (2019). Hakemlerin karar verme stillerinin incelenmesi. Sport Sciences, 14(2), 22-32. http://dx.doi.org/10.12739/NWSA.2019.14.2.2B0119
3. Borman, W. C. (1975). Effects of instructions to avoid halo error on reliability and validity of performance evaluation ratings. Journal of Applied Psychology, 60(5), 556- 560. https://doi.org/10.1037/0021-9010.60.5.556
4. Büyüköztürk, Ş. (2011). Sosyal bilimler için veri analizi el kitabı. Pegem Yayıncılık.
5. Cambridge Dictionary. (t.y.). Halo. in English dictionary. Retrieved May 5, 2023, from https://dictionary.cambridge.org/dictionary/english/halo
6. Cooper, W. H. (1981). Ubiquitous halo. Psychological Bulletin, 90(1), 218-244. https://doi.org/10.1037/0033-2909.90.2.218
7. Çelik, D. Ö. (2020). Farklı spor dallarında görev yapan hakemlerin karar verme stillerinin incelenmesi. Gaziantep Üniversitesi Spor Bilimleri Dergisi, 5(4), 385-398. https://doi.org/10.31680/gaunjss.776473
8. Çokluk, Ö., Şekercioğlu, G., & Büyüköztürk, Ş. (2021). Sosyal bilimler için çok değişkenli istatistik: SPSS ve Lisrel uygulamaları (6. basım). Pegem Akademi.

9. DeVellis, R. F. (2003). Scale development theory and applications. SAGE Publication.
10. Durna, E. (1997). Türkiye’de futbol ve hakem. Yıldızlar Matbaacılık.
11. Erkan, S., & Gömleksiz, M. (2014). Eğitimde ölçme ve değerlendirme. Anı Yayıncılık.
12. Eroğlu, S. Y. (2018). Hakemlerin ahlaki olgunluk ve empati düzeylerinin karar verme stillerine etkisinin incelenmesi. Kütahya Dumlupınar Üniversitesi Sosyal Bilimler Enstitüsü Doktora Tezi, Kütahya.
13. Fornell, C., & Larcker, D. F. (1981). Structural equation models with unobservable variables and measurement errors. Journal of Marketing Research, 18(2), 39–50. https://doi.org/10.2307/3151312
14. Goretzko, D., Siemund, K., & Sterner, P. (2024). Evaluating model fit of measurement models in confirmatory factor analysis. Educational and Psychological Measurement, 84(1), 123-144. https://doi.org/10.1177/00131644231163813
15. Gökdemir, F., & Yılmaz, T. (2023). Likert tipi ölçekleri kullanma, modifiye etme, uyarlama ve geliştirme süreçleri. Journal of Nursology, 26(2), 148-160. https://doi.org/10.5152/JANHS.2023.22260
16. Hair, J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (1998). Multivariate data analysis. Macmillan Publishing Company.
17. Kağıtçıbaşı, Ç. (2010). Günümüzde insan ve insanlar. Evrim Yayınları.
18. Karakoç-Alatlı, B. (2012). Başarının değerlendirilmesinde algılanan halo etkisi ölçeği’nin geliştirilmesi. Ankara Üniversitesi Eğitim Bilimleri Enstitüsü Yüksek Lisans Tezi, Ankara.
19. Kasap, H. (1997). Beden eğitimi. Morpa Spor Ansiklopedisi, 1, 156-160.
20. Kozlowski, S. W. J., Kirsch, M. P., & Chao, G. T. (1986). Job knowledge, ratee familitarity and halo error: An exploration. Journal of Applied Psychology, 71(1), 45-49. https://doi.org/10.1037/0021-9010.71.1.45
21. Lance, C. E., LaPointe, J. A., & Stewart, A. M. (1994). A test of the context dependency of three causal models of halo rater error. Journal of Applied Psychology, 79(3), 332-340. https://doi.org/10.1037/0021-9010.79.3.332
22. Landy, D., & Sigall, H. (1974). Beauty is talent: Task evaluation as a function of the performer's physical attractiveness. Journal of Personality and Social Psychology, 29(3), 299-304. https://doi.org/10.1037/h0036018
23. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575. https://doi.org/10.1111/j.1744-6570.1975.tb01393.x
24. Lim, W. M. (2024). A typology of validity: Content, face, convergent, discriminant, nomological and predictive validity. Journal of Trade Science, 12(3), 155-179. https://doi.org/10.1108/JTS-03-2024-0016
25. Mondal, D., Vanbelle, S., Cassese, A., & Candel, M. J. (2024). Review of sample size determination methods for the intraclass correlation coefficient in the one-way analysis of variance model. Statistical Methods in Medical Research, 33(3), 532-553. https://doi.org/10.1177/09622802231224657
26. Murphy, K. R., Jako, R. A., & Anhalt, R. L. (1993). Nature and consequences of halo error: A critical analysis. Journal of Applied Psychology, 78(2), 218–225. https://doi.org/10.1037/0021-9010.78.2.218
27. Newcomb, T. M. (1931). An experiment designed to test the validity of rating technique. Journal of Educational Psychology, 22, 279-289. https://doi.org/10.1037/h0070737
28. Nisbett, R. E., & Wilson, T. D. (1977). The halo effect: Evidence for unconscious alteration of judgments. Journal of Personality and Social Psychology, 35(4), 250-256. https://doi.org/10.1037/0022-3514.35.4.250
29. Nufer, G., & Alesi, N. (2018). The halo effect in sports. International Journal of Business and Social Science, 9(2), 31-44. https://doi.org/10.30845/ijbss
30. Nufer, G. (2018). An exploration of the halo effect in professional soccer. European Journal of Physical Education and Sport Science, 4(9), 17-29. https://zenodo.org/records/1319077
31. Nufer, G. (2019). Say hello to halo: The halo effect in sports. Innovative Marketing, 15(3), 116-129. https://doi.org/10.21511/im.15(3).2019.09
32. Özdamar, K. (2003). Modern bilimsel araştırma yöntemleri. Kaan Kitabevi.
33. Özgüven, İ. E. (2007). Psikolojik testler. PDREM Yayınları.
34. Palmer, C. L., & Peterson, R. D. (2016). Halo effects and the attractiveness premium in perceptions of political expertise. American Politics Research, 44(2), 353– 382. https://doi.org/10.1177/1532673X15600517
35. Pekcan, N. (2019). Algılanan halo etkisinin hiyerarşik doğrusal modelleme ile incelenmesi. Ankara Üniversitesi Eğitim Bilimleri Enstitüsü Yüksek Lisans Tezi, Ankara.
36. Pike, G. R. (1999). The constant error of the halo in educational outcomes research. Research in Higher Education, 40(1), 61-86. https://doi.org/10.1023/A:1018774311468
37. Rogers, E. P. (2005). Scale construction and halo effect in secondary student ratings of teacher performance. Brigham Young University Department of Instructional Psychology and Technology Doctoral Thesis, Canada.
38. Romero-Jeldres, M., Díaz-Costa, E., & Faouzi-Nadim, T. (2023). A review of Lawshe’s method for calculating content validity in the social sciences. Front., Educ., 8,1271335. https://doi.org/10.3389/feduc.2023.1271335
39. Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428. https://doi.org/10.1037/0033-2909.86.2.420
40. Sigall, H., & Ostrove, N. (1975). Beautiful but dangerous: Effects of offender attractiveness and nature of the crime on juridic judgment. Journal of Personality and Social Psychology, 31(3), 410-414. https://doi.org/10.1037/h0076472
41. Suveren, Y. (2022). Unconscious bias: Definition and significance. Current Approaches in Psychiatry, 14(3), 414-426. https://doi.org/10.18863/pgy.1026607
42. Sürücü, L., Yıkılmaz, İ., & Maşlakçı, A. (2024). Exploratory factor analysis (EFA) in quantitative researches and practical considerations. Gümüşhane Üniversitesi Sağlık Bilimleri Dergisi, 13(2), 947-965. https://doi.org/10.37989/gumussagbil.1183271
43. Şeker, H., & Gençdoğan, B. (2020). Psikolojide ve eğitimde ölçme aracı geliştirme (3. basım). Nobel Akademik Yayıncılık.
44. Tabachnick, B. G., & Fidell, L. S. (2001). Using multivariate statistics (4th Edition). Allyn and Bacon.
45. Tavşancıl, E. (2018). Tutumların ölçülmesi ve SPSS ile veri analizi (6. basım). Nobel Akademik Yayıncılık.
46. Tezbaşaran, A. A. (2008). Likert tipi ölçek hazırlama kılavuzu. Türk Psikologlar Derneği.
47. Thorndike, E. L. (1920). A constant error on psychological rating. Journal of Applied Psychology, 4, 25-29. https://doi.org/10.1037/h0071663
48. Turgut, F. M. (1993). Eğitimde ölçme ve değerlendirme metotları (9. basım). Saydam Matbaacılık.
49. Ünsal, A. (2005). Tribün cemaatinin öfkesi, ticarileşen Türkiye futbolunda şiddet. İletişim Yayınları.
50. Yavuz, E. (2022). Görünümü taklit eden markaların, orijinal marka imajına etkisi: Halo etkisi üzerine bir araştırma. Bahçeşehir Üniversitesi, Lisansüstü Eğitim Enstitüsü, Yüksek Lisans Tezi, İstanbul.