News Media Literacy Scale: Validity and Reliability

Abstract

The concept of news media literacy is aimed at understanding how and why individuals interact with the news media, how individuals make sense of what they consume, and how individuals are affected by their news consumption. News media literacy represents a skeptical tendency, promoting a critical attitude toward the production and distribution of news content. The study group of the research comprised 499 participants. Exploratory factor analysis indicated that the factor loads of items in the scale vary between 0.54 and 0.82, the scale consists of two sub-dimensions, 9 items in total—the total variance explained by the dimensions is 40%. Confirmatory factor analysis confirmed the fit indices (Chi-square/df: 4.70; RMSEA: 0.084; SRMR: 0.064; TLI: 0.87; CFI: 0.91; GFI: 0.95; AGFI: 0.91) were found within acceptable limits. The Cronbach’s Alpha and McDonald’s Omega values for the sub-dimensions and the whole of the scale vary between 0.83 and 0.86. Simultaneously, it was concluded that content validity and convergence validity were provided within the scope of the research. As a result, the analyses conducted within the scope of the research show that the News Media Literacy Scale is a valid and reliable measurement tool.

Keywords

• News media literacy
• scale development
• communication

Haber Medyası Okuryazarlığı Ölçeği: Geçerlik ve Güvenirlik Çalışması

Abstract

Haber medyası okuryazarlığı kavramı, bireylerin haber medyasıyla nasıl ve neden etkileşime girdiğini, bireylerin tükettikleri şeyleri nasıl anlamlandırdıklarını ve bireylerin kendi haber tüketiminden nasıl etkilendiğini anlamaya yöneliktir. Haber medyası okuryazarlığı, şüpheci bir eğilimi temsil etmektedir ve haber içeriğinin yanı sıra üretime ve dağıtıma karşı eleştirel bir tavrı teşvik etmekle ilgili bir kavramdır. Haber medyası okuryazarlığının ölçülmesi bu noktalar göz önünde bulundurulduğunda oldukça önemlidir. Bu bağlamda mevcut araştırma kapsamında Haber Medyası Okuryazarlığı Ölçeği geliştirilmesi amaçlanmıştır. Araştırmanın çalışma grubunu 499 katılımcı oluşturmaktadır. Açıklayıcı faktör analizi sonucunda faktör yükleri 0.54 ile 0.82 arasında değişmekte olan ve 2 alt boyutta yer alan toplamda 10 madde olduğu gözlemlenmiştir. Maddelerin açıkladığı toplam varyans yaklaşık olarak %40’tır. Geçerkleştirilen ilk doğrulayıcı faktör analizi sonucunda ölçme aracından bir madde çıkarılmıştır. Gerçekleştirilen ikinci doğrulayıcı faktör analizi sonucunda uyum/uyumsuzluk indeksleri (Ki-kare/serbestlik değeri: 2.46; RMSEA: 0.084; SRMR: 0.064; TLI: 0.87; CFI: 0.91; GFI: 0.95 ve AGFI: 0.91) kabul edilebilir sınırlar içinde bulunmuştur. Ölçeğin alt boyutları ve tümüne ilişkin Cronbach Alfa ve McDonald’ın Omega değerleri 0.83 ile 0.86 arasında değişiklik göstermektedir. Aynı zamanda araştırma kapsamında kapsam geçerliği ve yakınsama geçerliğinin sağlandığı sonucuna ulaşılmıştır. Sonuç olarak araştırma kapsamında gerçekleştirilen analizler, iki alt boyut ve toplamda dokuz maddeden oluşan haber medyası okuryazarlığı ölçeğinin geçerli ve güvenilir bir ölçme aracı olduğunu göstermektedir.

Keywords

• Haber medyası okuryazarlığı
• ölçek geliştirme
• iletişim

References

1. Aksu, G., Eser, M. T., Güzeller, C. O. (2017), Açımlayıcı ve doğrulayıcı faktör analizi ile yapısal eşitlik uygulamaları, Ankara: Detay Yayıncılık. google scholar
2. Ashley, S., Maksl, A., Craft, S. (2013), Developing a news media literacy scale, Journalism & Mass Communication Educator, 68(1), 7-21. google scholar
3. Ashley, S., Maksl, Craft, A. S. (2017), News media literacy and political engagement: what’s the connection?, Journal of Media Literacy Education, 9(1), 79 - 98. google scholar
4. Bandura, A. (1989), Human agency in social cognitive theory, American Psychologist, 44(9), 1175-1184. google scholar
5. Bandura, A. (1993), Perceived self-efficacy in cognitive development and functioning, Educational Psychologist, 28(2), 117-148. google scholar
6. Bandura, A. (1997), Self-efficacy: the exercise of control, W.H. Freeman and Company: New York. google scholar
7. Barnes, J., Cote, J., Cudeck, R., Malthouse, E. (2001), Factor analysis - checking assumptions of normality before conducting factor analysis, Journal of Consumer Psychology, 10(1,2), 79-81. google scholar
8. Bentler, P. (1990), Comparative fit indexes in structural models, Psychological Bulletin, 107(2), 238-246. google scholar

9. Bentler, P., Bonett, D. (1980), Significance tests and goodness of fit in the analysis of covariance structures, Psychological Bulletin, 88(3), 588-606. google scholar
10. Çelik, H. E., Yilmaz, V. (2013), Lisrel 9.1 ile yapısal eşitlik modellemesi. Ankara: Anı Yayıncılık. google scholar
11. Çerçi, Ü.Ö., Canöz N., Canöz, K. (2020), Covid-19 krizi döneminde bilgilenme aracı olarak sosyal medya kullanımı, Selçuk Ün. Sos. Bil. Ens. Der. 44, 184-198. google scholar
12. Comrey, A. L., LEE, H. B. (1992), A first course in factor analysis, (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum. google scholar
13. Cortina, J. M. (1993), What is coefficient alpha? an examination of theory and applications, Journal of Applied Psychology, 78, 98-104. google scholar
14. Craft, S., Ashley, S., Maksl, A. (2017), News media literacy and conspiracy theory endorsement, Communication and the Public, 2(4), 388-401. google scholar
15. Deng, L., Chan, W. (2017), Testing the difference between reliability coefficients alpha and omega. Educational and Psychological Measurement, 77(2), 185-203. google scholar
16. Dunteman, G. H. (1989), Principal components analysis, Thousand Oaks, CA: Sage Publications. google scholar
17. Dweck, C.S., Leggett, E. L. (1988), A social-cognitive approach to motivation and personality. Psychological Review, 95(2), 256-273. google scholar
18. Eristi, B., Erdem, C. (2017), Development of media literacy skills scale, Contemporary Educational Technology, 8(3), 249-267. google scholar
19. Eser, M. T., Aksu, G., Güzeller, C. O. (2019), R programlama dili ile temel istatistikler ve raporlama, Ankara: Pegem Akademi. google scholar
20. Festinger, L. (1957), A theory of cognitive dissonance, Row, Peterson and Company. google scholar
21. Field, A. (2000), Discovering statistics using SPSS for Windows, London, Thousand Oaks, Sage Publications. google scholar
22. Fornell, C., Larcker, D. F. (1981), Evaluating structural equation models with un observable variables and measurement error, Journal of Marketing Research, 18(1), 39-50. google scholar
23. Gorsuch, R. L. (1983), Factor analysis, (2nd. Ed). Hillsdale, NJ: Erlbaum. google scholar
24. Hamutoğlu, N.B., Güngören, Ö. C., Kaya Uyanik, G., Gür Erdoğan, D. (2017), Dijital okuryazarlık ölçeği: Türkçe ’ye uyarlama çalışması, Ege Eğitim Dergisi, 18(1), 408-429. google scholar
25. Jang, S. M., Kim, J. K. (2018), Third person effect of fake news: fake news regulation and media literacy interventions, Computers in Human Behavior, 80, 295-302. google scholar
26. Kline, P. (1979), Psychometrics and psychology, London: Academic Press. google scholar
27. Kline, P. (1994), An easy guide tofactor analysis, London: Routledge. google scholar Korkmaz, Ö., Yeşil, R. (2011), Medya ve televizyon okuryazarlık düzeyleri ölçeği geçerlilik ve güvenirlik çalışması, Uluslararası İnsan Bilimleri Dergisi, 8(2), 110-126. google scholar
28. Köklü, N., Büyüköztürk, Ş., Coklu, Ö. (2006) Sosyal bilimler için istatistik. PegemA Yayınları, Ankara. google scholar
29. Lawshe, C. H. (1975), A quantitative approach to content validity, Personnel Psychology, 28, 563-575. google scholar
30. Lee, L., Chen, D.-T., Li, J.-Y., Lin, T.-B. (2015), Understanding new media literacy: the development of a measuring instrument, Computers & Education, 85, 84-93. google scholar
31. Lippmann, W. (1922), Public opinion, New York: Harcourt, Brace and Co. google scholar
32. Maksl, A., Ashley, S., Craft, S. (2015), Measuring news media literacy, Journal ofMedia Literacy Education, 6, 29-45. google scholar
33. Maksl, A., Craft, S., Ashley, S., Miller, D. (2017), The usefulness of a news media literacy measure in evaluating a news literacy curriculum, Journalism and Mass Communication Educator, 72(2), 228-241. google scholar
34. Maydeu-Olivares, A., Shi, D., Rosseel, Y. (2017), Assessing fit in structural equation models: A Monte-Carlo evaluation of RMSEA versus SRMR confidence intervals and tests of close fit, Structural Equation Modeling: A Multidisciplinary Journal, 25(3), 389-402. google scholar
35. Mcwhorter, C. (2020), The role of agenda melding in measuring news media literacy, Journal ofMedia Literacy Education, 12(1), 145-158. google scholar
36. Nunnally, J. C., Bernstein, I. H. (1994), The assessment of reliability, Psychometric Theory, 3, 248-292. google scholar
37. Osburn, H. G. (2000), Coefficient alpha and related internal consistency reliability coefficients, Psychological Methods, 5, 343-355. google scholar
38. Phan, H. P. (2010), Students’ academic performance and various cognitive processes of learning: An integrative framework and empirical analysis, Educational Psychology, 30(3), 297-322. google scholar
39. Phua, V. (2004), Convenience sample, M.S. Lewis-Beck, A. E. Bryman içinde, The Sage Encyclopedia of Social Science Research Methods (s. 197) California: Sage Publications. google scholar
40. Potter, W. J. (2004), Theory ofMedia Literacy: A Cognitive Approach, Thousand Oaks, California: Sage Publications. google scholar
41. Rennie, K. M. (1997), Exploratory and confirmatory rotation strategies in exploratory factor analysis, Bildiri Güneybatı Eğitim Araştırmaları Birliğinin Yıllık Toplantısında Sunulmuştur, Austin: Texas. google scholar
42. Schmitt, N. (1996), Uses and abuses of coefficient alpha, Psychological Assessment, 8, 350-353. google scholar
43. Shin, J., Jian, L., Driscoll, K., Bar, F. (2016), Political rumoring on Twitter during the 2012 US presidential election: rumor diffusion and correction, New Media & Society, 19(8), 1214-1235. google scholar
44. Shoemaker, P. J., Reese, S. D. (2013), Mediating the message in the 21st century: a media sociology perspective, London: Routledge. google scholar
45. Şimşek, Ö. F. (2007), Yapısal eşitlik modellemesine giriş temel ilkeler ve Lisrel uygulamaları, Ankara: Ekinoks Yayıncılık. google scholar
46. Tanaka, J., Huba, G. (1985), A fit index for covariance structure models under arbitrary GLS estimation, British Journal ofMathematical And Statistical Psychology, 38(2), 197-201. google scholar
47. Toffler, A. (1970), Future shock, New York: Bantam Books. google scholar
48. Tully, M., Vraga, E. K. (2018), Who experiences growth in news media literacy and why does it matter? examining education, individual differences, and democratic outcomes, Journalism & Mass Communication Educator, 73(2), 167-181. google scholar
49. Tully, M., Vraga, E. K., Bode, L. (2020a), Designing and testing news literacy messages for social media, Mass Communication and Society, 23(1), 22-46. google scholar
50. Tully, M., Vraga, E. K., Smithson, A. (2020b) News media literacy, perceptions of bias, and interpretation of news, Journalism, 21(2), 1-18. google scholar
51. Vraga, E. K., Tully, M. (2016), Effective messaging to communicate news media literacy concepts to diverse publics, Communication and the Public, 1(3), 305-322. google scholar
52. Vraga, E. K., Tully, M. (2019), Engaging with the other side: using news media literacy messages to reduce selective exposure and avoidance, Journal of Information Technology & Politics, 16(1), 77-86. google scholar
53. Vraga, E. K., Tully, M., Kotcher, J. E., Smithson, A.-B., Broeckelman-Post, M. (2016), A multi-dimensional approach to measuring news media literacy, Journal of Media Literacy Education, 7(3), 41-53. google scholar
54. Weston, R., Gore, P. A., Jr. (2006), A brief guide to structural equation modeling, The Counseling Psychologist, 34(5), 719-751. google scholar