Development of a Screen Reading Self-Efficacy Scale for Lower Secondary School Students: Validity, Reliability, and Invariance Studies

Abstract

This study involves the development of a scale to measure lower secondary school students’ self-efficacy in screen reading. Prior to the study, a literature review was conducted, and a pool of 44 items was created. This item pool was then subjected to expert review. After calculating the content validity ratios of the items, a draft form consisting of 33 items was obtained. This draft form underwent a preliminary administration with a small group, and the items were retained for the first large-scale administration. The first large-scale administration involving 338 lower secondary school students was carried out for exploratory factor analysis. The data obtained were analyzed using statistical software, resulting in a 17-item scale comprising three dimensions. This scale was then administered to a second large group consisting of 514 lower secondary school students for confirmatory factor analysis. The data confirmed the 17-item three-dimensional structure of the scale. The fit of the structure to the data was good for all indices. The evidence of internal consistency, structural reliability, and measurement invariance by gender suggests that the scale developed in this study can be used to make valid and reliable measurements when assessing lower secondary school students’ self-efficacy in screen reading.

Keywords

• Lower secondary school
• screen reading
• self-efficacy
• validity
• reliability

Ortaokul Öğrencilerine Yönelik Ekrandan Okuma Öz Yeterlilik Ölçeğinin Geliştirilmesi: Geçerlik, Güvenirlik ve Değişmezlik Çalışmaları

Abstract

Bu çalışma, ortaokul öğrencilerinin ekrandan okuma öz yeterliliklerine yönelik bir ölçek geliştirme çalışmasıdır. Çalışma öncesi alan yazın taranmış ve 44 maddelik bir madde havuzu oluşturulmuştur. Madde havuzu uzman görüşüne sunulmuş, maddelerin kapsam geçerlilik oranları hesaplanarak 33 maddelik bir taslak form elde edilmiştir. Bu form, küçük grup ile ön uygulama çalışmasına tabi tutulmuş ve maddeler korunarak birinci büyük grup uygulamasına geçilmiştir. Açımlayıcı faktör analizi amacıyla gerçekleştirilen birinci büyük grup uygulaması 338 ortaokul öğrencisi ile gerçekleştirilmiştir. Elde edilen veriler, istatistik programında analiz edilmiş ve 3 boyuttan oluşan toplam 17 maddelik bir ölçek elde edilmiştir. Bu ölçek, doğrulayıcı faktör analizi amacıyla 514 ortaokul öğrencisinden oluşan ikinci büyük gruba uygulanmıştır. Elde edilen verilerde ölçeğin 3 boyutlu 17 maddelik yapısının doğrulandığı görülmüştür. Yapının veriye uyumunun tüm indeksler bazında iyi olduğu belirlenmiştir. Sonuç olarak elde edilen veriler bu çalışma ile geliştirilen ölçeğin geçerli ve güvenilir ölçmeler yapmak amacıyla kullanılabileceğini göstermektedir.

Keywords

• Ortaokul
• ekrandan okuma
• öz yeterlilik
• geçerlik
• güvenirlik

References

1. Acar Güvendir, M. (2022). Ölçek geliştirme sürecinde örneklem büyüklüğü. M. Acar Güvendir ve Y. Özer Özkan (Ed.), Tüm yönleriyle ölçek geliştirme süreci içinde (s. 69-120). Ankara: Pegem
2. Ackerman, R. ve Lauterman, T. (2012). Taking reading comprehension exams on screen or on paper? A metacognitive analysis of learning texts under time pressure. Computers in Human Behavior, 28(5), 1816-1828. DOI:10.1016/j.chb.2012.04.023
3. Akkaya, N. ve Demir, T. (2023). Ekrandan okuma üzerine Türkiye’de yapılan çalışmaların nitel bir analizi. Turkish Studies - Education, 18(1), 301-316. DOI:10.7827/TurkishStudies.66147.
4. Akkaya, N. ve Çıvğın, H. (2020). Dijital okuma öz yeterlilik ölçeği: Geçerlik ve güvenirlik çalışması. Güneş, F. ve Işık, A.D. (Ed.), Girişimcilik ve yenilikçilik içinde (s.20-29). Ankara: Sınırsız Eğitim ve Araştırma Derneği.
5. Annand, D. (2008). Learning efficacy and cost-effectiveness of print versus e-book instructional material in an introductory financial accounting course. Journal of Interactive Online Learning, 7(2), 152-164.
6. Aydemir, Z., Ozturk, E. ve Horzum, M. (2013). The effect of reading from screen on the 5th grade elementary students’ level of reading comprehension on informative and narrative type of texts. Educational Sciences: Theory and Practice, 13(4), 2272-2276. DOI:10.12738/estp.2013.4.1294.
7. Ayre, C. ve Scally, A. J. (2014). Critical values for Lawshe’s content validity ratio: Revisiting the original methods of calculation. Measurement and Evaluation in Counseling and Development, 47(1), 79-86. DOI:10.1177/0748175613513808.
8. Bandura, A. (1993). Perceived self-efficacy in cognitive development and functioning. Educational Psychologist, 28(2), 117-148.

9. Barrett, L. F., Tugade, M. M. ve Engle, R. W. (2004). Individual differences in working memory capacity and dual-process theories of the mind. Psychological Bulletin, 130(4), 553-573. DOI:10.1037/0033-2909.130.4.553.
10. Beavers, A. S., Lounsbury, J. W., Richards, J. K., Huck, S. W., Skolits, G. J. ve Esquivel, S. L. (2013). Practical considerations for using exploratory factor analysis in educational research. Practical Assessment, Research and Evaluation, 18(1), 6. DOI:10.7275/qv2q-rk76.
11. Ben‐Yehudah, G. ve Eshet‐Alkalai, Y. (2021). Print versus digital reading comprehension tests: Does the congruency of study and test medium matter?. British Journal of Educational Technology, 52(1), 426-440. DOI:10.1111/bjet.13014
12. Bozkurt, A. ve Bozkaya, M. (2013). Bir öğrenme malzemesi olarak etkileşimli e-kitap hazırlama adımları. Eğitimde Politika Analizi, 2(2), 8-20.
13. Brüggemann, T., Ludewig, U., Lorenz, R. ve McElvany, N. (2023). Effects of mode and medium in reading comprehension tests on cognitive load. Computers ve Education, 192, 104649. DOI:10.1016/j.compedu.2022.104649.
14. Büyüköztürk, Ş. (2002). Faktör analizi: Temel kavramlar ve ölçek geliştirmede kullanımı. Kuram ve Uygulamada Eğitim Yönetimi, 32(32), 470-483.
15. Büyüköztürk, Ş. (2018). Sosyal bilimler için veri analizi el kitabı: İstatistik, araştırma deseni, SPSS uygulamaları ve yorum. Ankara: Pegem.
16. Carr, N. (2010). The shallows: How the internet is changing the way we think, read and remember. London: Atlantic.
17. Chen, J., Tang, X., Xia, Y., Bao, S. ve Shen, J. (2023). Determinants of high school students’ digital reading flow experience: An experimental study. The Electronic Library, 41(1),45-62. DOI: 10.1108/EL-05-2022-0117.
18. Cho, B-Y. (2014). Competent adolescent readers' use of Internet reading strategies: A think- aloud study. Cognition and Instruction, 32(3), 253-289. DOI:10.1080/07370008.201 4.918133.
19. Chu, H. (2003). Electronic books: Viewpoints from users and potential users. Library Hi Tech, 21(3),340-346. DOI:10.1108/07378830310494526.
20. Ciğerci, F. M., Kesik, C. ve Yıldırım, M. (2022). Dijital ve basılı okumaya yönelik tutum ölçeği: Türkçeye uyarlama, geçerlik ve güvenirlik çalışması. Ana Dili Eğitimi Dergisi, 10(3), 530-546. DOI:10.16916/aded.1097755.
21. Coiro, J. (2011). Predicting reading comprehension on the Internet: Contributions of offline reading skills, online reading skills, and prior knowledge. Journal Of Literacy Research, 43(4), 352-392. DOI:10.1177/1086296X11421979
22. Cull, B. (2011). Reading revolutios: Online digital text and implications for reading in academe. First Monday, 16(6). DOI:10.5210/fm.v16i6.3340.
23. Çokluk, Ö., Şekercioğlu, G. ve Büyüköztürk, Ş. (2012). Sosyal bilimler için çok değişkenli istatistik: SPSS ve LISREL uygulamaları. Ankara: Pegem.
24. Dalton, B. ve Proctor, C. P. (2008). The changing landscape of text and comprehension in the age of new literacies. J. Coiro, M. Knobel, C. Lankshear ve D.J. Leu (Ed.), Handbook of research in new literacies içinde (s. 297 324). Erlbaum: Mahwah, NJ.
25. Delgado, P. ve Salmerón, L. (2021). The inattentive on-screen reading: reading medium affects attention and reading comprehension under time pressure. Learning and Instruction, 71(2021), 101396. DOI:10.1016/j.learninstruc.2020.101396.
26. DeStefano, D. ve LeFevre, J. A. (2007). Cognitive load in hypertext reading: A review. Computers in Human Behavior, 23(3), 1616-1641. DOI: 10.1016/j.chb.2005.08.012.
27. Dillon, A. (1994). Designing usable electronic text: Ergonomic aspects of human information usage. Londra: CRC Press. DOI:10.1201/978148228449.
28. Dillon, A., McKnight, C. ve Richardson, J. (1988). Reading from paper versus reading from screen. The Computer Journal, 31(5), 457-464.
29. Durant, D. M. ve Horava, T. (2015). The future of reading and academic libraries. Libraries and the Academy 15(1), 5-27. DOI:10.1353/pla.2015.0013.
30. Eden, S. ve Eshet‐Alkalai, Y. (2012). The effect of format on performance: Editing text in print versus digital formats. British Journal of Educational Technology, 44(5), 846-856. DOI:10.1111/j.1467-8535.2012.01332.x.
31. Fornell, C. ve Larcker, D. F. (1981). Structural equation models with unobservable variables and measurement error: Algebra and statistics. Journal of Marketing Research, 18(3), 382-388. DOI:10.2307/3150980.
32. Gemma, W. (2016). Screen and paper reading research – a literature review. Australian Academic & Research Libraries, 47(3), 160-173. DOI:10.1080/00048623.2016.1227661.
33. Gibson, C. ve Gibb, F. (2011). An evaluation of second-generation e-book readers. The Electronic Library, 29(3), 303-319. DOI:10.1108/02640471111141061.
34. Gömleksiz, M. N., Kan, A. Ü. ve Fidan, E. K. (2013). Öğretmen adaylarının ekran okuma özyeterlik düzeylerine ilişkin görüşleri. Erzincan Üniversitesi Eğitim Fakültesi Dergisi, 15(2), 138-159.
35. Güneş, F. (2016). Kâğıttan ekrana okuma alanındaki gelişmeler. Bartın Üniversitesi Eğitim Fakültesi Dergisi, 5(1), 1-18. DOI:10.14686/buefad.v5i1.5000155474.
36. Güneş, F. ve Susar Kırmızı, F. (2014). E-kitap okumaya yönelik tutum ölçeğinin (EKOT) geliştirilmesi: Geçerlilik ve güvenirlik çalışması. Bartın Üniversitesi Eğitim Fakültesi Dergisi, 3(2), 196-212. DOI:10.14686/BUEFAD.201428178.
37. Gürbüz, C. ve Bozkurt, Ö. Ç. (2022). Gösterişçi, deneyimsel ve sembolik tüketim ölçeklerinin Türkçeye uyarlanması. Pazarlama ve Pazarlama Araştırmaları Dergisi, 15(1), 193-218. DOI:10.15659/ppad.15.1.998150.
38. Hair, J. F. J., Black, W. C., Babin, B. J. ve Anderson, R. E. (2010). Multivariate data analysis. London: Prentice Hall.
39. Jamali, H. R., Nicholas, D., ve Rowlands, I. (2009). Scholarly e‐books: The views of 16,000 academics: Results from the JISC national e‐book observatory. Aslib Proceedings, 61(1), 33-47. Doi:10.1108/00012530910932276.
40. Jian, Y. C. (2022). Reading in print versus digital media uses different cognitive strategies: evidence from eye movements during science-text reading. Reading and Writing, 35(7), 1549-1568. DOI:10.1007/s11145-021-10246-2.
41. Johnson, D. (2013). Polyphonic/pseudo-synchronic: Animated writing in the comment feed of Nicovideo. Japanese Studies, 33(3), 297-313.
42. Karasar, N. (2009). Bilimsel arastirma yontemi: Kavramlar-ilkeler-teknikler. Ankara: Nobel Yayın
43. Kılıç, A. (2022). Ölçek geliştirme sürecinde açımlayıcı faktör analizi. M. Acar Güvendir ve Y. Özer Özkan (Ed.), Tüm yönleriyle ölçek geliştirme süreci içinde (s. 69-120). Ankara: Pegem.
44. Kline, P. (1994). An easy guide to factor analysis. New York: Routledge.
45. Kol, S. ve Schcolnik, M. (2000). Enhancing screen reading strategies. Calico Journal, 18(1), 67-80. DOI: 10.1558/cj.v18i1.67-80.
46. Konuk, N. ve Güntaş, S. (2019). Sosyal medya kullanımı eğitimi ve bir eğitim aracı olarak sosyal medya kullanımı. International Journal of Entrepreneurship and Management Inquiries, 3(4), 1-25.
47. Lam, P., Lam, S. L., Lam, J. ve McNaught, C. (2009). Usability and usefulness of eBooks on PPCs: How students' opinions vary over time. Australasian Journal Of Educational Technology, 25(1), 30-44. DOI:10.14742/ajet.1179.
48. Lankshear, C. ve Knobel, M. (2007). Researching new literacies: Web 2.0 practices and insider perspectives. E-learning and Digital Media, 4(3), 224-240. DOI:10.2304/elea.2007.4.3.224.
49. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575.
50. Lın, H. Y. ve Chen, C. H. (2021). The effects of display size and text-background color type on the Chinese digitial reading performance of Taiwan college students. Journal of The Science of Design, 5(2), 101-121. DOI:10.11247/jsd.5.2_2_101.
51. List, A., Alexander, P. A. ve Stephens, L. A. (2017). Trust but verify: Examining the association between students' sourcing behaviors and ratings of text trustworthiness. Discourse Processes, 54(2), 83-104. DOI:10.1080/0163853X.2016.1174654.
52. Liu, Z. (2012). Digital reading. Chinese Journal of Library and Information Science, 5(1), 85-94.
53. Liu, Z. (2022). Reading in the age of digital distraction. Journal of Documentation, 78(6), 1201-1212.DOI:10.1108/JD-07-2021-0130
54. Liu, Z.(2005) Reading behavior in the digital environment: Changes in reading behavior over the past 10 years. Journal of Documentation, 61(6), 700-712. DOI:10.1108/00220410510632040.
55. Mangen, A., Walgermo, B. R. ve Brønnick, K. (2013). Reading linear texts on paper versus computer screen: Effects on reading comprehension. International Journal of Educational Research, 58, 61-68. DOI:10.1016/j.ijer.2012.12.002.
56. Margolin, S. J., Driscoll, C., Toland, M. J. ve Kegler, J. L. (2013). E‐readers, computer screens, or paper: Does reading comprehension change across media platforms?. Applied Cognitive Psychology, 27(4), 512-519. DOI:10.1002/acp.2930.
57. Martin, L. A. ve Platt, M. W. (2001). Printing and screen reading in the medical school curriculum: Guttenberg vs. the cathode ray tube. Behaviour & Information Technology, 20(3), 143-148. DOI:10.1080/01449290110048043
58. Nichols, M. (2020). Reading and studying on the screen: An overview of literature towards good learning design practice. Journal of Open, Flexible and Distance Learning, 24(1), 121-131. DOI:10.3316/informit.195571684952519
59. Ortlieb, E., Sargent, S. ve Moreland, M. (2014). Evaluating the efficacy of using a digital reading environment to improve reading comprehension within a reading clinic. Reading Psychology, 35(5), 397-421. DOI:10.1080/02702711.2012.683236.
60. Önder, I. (2011). E-kitap ve dünyada elektronik kitap yayıncılığı. Türk Kütüphaneciliği, 25(1), 97-105.
61. Özdamar K (1999). Paket programlar ile istatistiksel veri analizleri-1 SPSS-minitab. Eskişehir: Kaan Kitabevi.
62. Pardede, P. (2019). Print vs digital reading comprehension in EFL. Journal of English Teaching, 5(2), 77-90. DOI:10.33541/jet.v5i2.1059.
63. Raab, R. (2010). Books and literacy in the digital age. American Libraries, 41(8), 34-37.
64. Rouet, J. F. (2006). The skills of document use: From text comprehension to web-based learning. London: Routladge
65. Rukancı, F. ve Anameriç, H. (2003). E-kitap teknolojisi ve kullanımı. Türk Kütüphaneciliği, 17(2), 147-166.
66. Salmerón, L., García, A. ve Vidal-Abarca, E. (2018). The development of adolescents' comprehension-based Internet reading activities. Learning and Individual Differences, 61, 31-39. DOI:10.1016/j.lindif.2017.11.006
67. Schermelleh-Engel, K., Moosbrugger, H. ve Müller, H. (2003). Evaluating the fit of structural equation models: tests of significance and descriptive goodness-of-fit measures. Methods of Psychological Research Online, 8(2), 23-74.
68. Sellen, A. ve Harper, R. (2002). The myth of the paperless office. Londra: MIT Press.
69. Stevens, J. P. (2002). Applied multivariate statistics for the social sciences. Mahwah, NJ: Lawrence Erlbaum.
70. Stoop, J., Kreutzer, P. ve Kircz, J. (2013). Reading and learning from screen versus print: A study in changing habits. New Library World, 114, 371-383. DOI:10.1108/NLW.04-2013-0034.
71. Strømsø, H.I. ve Bråten, I. (2010). The role of personal epistemology in the self-regulation of internet-based learning. Metacognition Learning, 5, 91-111. DOI:10.1007/s11409-009-9043-7
72. Subbaram, V. M. (2004). Effect of display and text parameters on reading performance (Unpublished doctoral thesis). The Ohio State University, Colombus.
73. Subrahmanyam, K., Michikyan, M., Clemmons, C., Carrillo, R., Uhls, Y. T. ve Greenfield, P. M. (2013). Learning from paper, learning from screens: Impact of screen reading and multitasking conditions on reading and writing among college students. International Journal of Cyber Behavior, Psychology and Learning (IJCBPL), 3(4), 1-27. DOI:10.4018/ijcbpl.2013100101.
74. Susar Kırmızı, F. (2017). Ekrandan okumaya yönelik tutum ölçeğinin (ekyötö) geliştirilmesi: Geçerlilik ve güvenirlik çalışması. International Journal of Languages’ Education and Teaching, 5(1), 286-301. DOI:10.18298/ijlet.1675
75. Timms, M. J. (2016). Letting artificial intelligence in education out of the box: educational cobots and smart classrooms. International Journal of Artificial Intelligence in Education, 26, 701-712. DOI:10.1007/s40593-016-0095-y
76. Trakhman, L. M. S., Alexander, P. A. ve Silverman, A. B. (2018). Profiling reading in print and digital mediums. Learning and Instruction, 57, 5-17. DOI:10.1016/j.learninstruc.2018.04.001
77. Tsai, M. J. ve Tsai, C. C. (2003). Information searching strategies in web-based science learning: the role of Internet self-efficacy. Innovations İn Education And Teaching İnternational, 40(1), 43-50. DOI:10.1080/1355800032000038822.
78. Türkiye İstatistik Kurumu (TÜİK). (2021). Çocuklarda Bilişim Teknolojileri Kullanım Araştırması. Erişim adresi: https://data.tuik.gov.tr/Bulten/Index?p=Cocuklarda-Bilisim-Teknolojileri-Kullanim-Arastirmasi-2021-41132
79. Ulu, H. (2018). Ekran okuma öz yeterlik ölçeği: geçerlik ve güvenirlik çalışması. Ana Dili Eğitimi Dergisi, 6(1), 148-165. DOI:10.16916/aded.371163
80. Yaşlıoğlu, M. M. (2017). Sosyal bilimlerde faktör analizi ve geçerlilik: Keşfedici ve doğrulayıcı faktör analizlerinin kullanılması. İstanbul Üniversitesi İşletme Fakültesi Dergisi, 46, 74-85.
81. Yeşilyurt, S. ve Çapraz, C. (2018). Ölçek geliştirme çalışmalarında kullanılan kapsam geçerliği için bir yol haritası. Erzincan Üniversitesi Eğitim Fakültesi Dergisi, 20(1), 251-264. DOI:10.17556/erziefd.297741.
82. Young, J. (2014). A study of print and computer-based reading to measure and compare rates of comprehension and retention. New Library World, 115, 376-393. DOI:10.1108/NLW-05-2014- 0051.
83. Yurdabakan, İ. ve Çüm, S. (2017). Davranış bilimlerinde ölçek geliştirme (açıklayıcı faktör analizine dayalı). Turkish Journal of Family Medicine and Primary Care, 11(2), 108-126. DOI:10.21763/tjfmpc.317880.
84. Yurdakal, İ. H. ve Susar Kırmızı, F. (2021). Öğretmen adayları için dijital okumaya yönelik tutum ölçeği (DOTÖ): Geçerlik ve güvenirlik çalışması. Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, 51, 137-159. DOI: 10.53444/deubefd.788603