Comprehensive 21st Century Skills Scale: Validity and Reliability Study

Abstract

This research was conducted to develop a comprehensive scale of 21st century skills for middle school students. 334 secondary school students (5th, 6th, 7th and 8th grade) participated in the research. In the first stage of the scale, 63 items were determined by considering theoretical studies and expert opinions. Exploratory factor analysis and t-test for item discrimination power were used to determine the validity of the scale. As a result of the research findings, a scale with 9 factors and 62 items was developed. The scale was developed in a five-point Likert type. The first factor of the scale was “Critical Thinking and Problem Solving”, the second factor was “Social, Responsibility and Adaptation”, the third factor was “collaboration”, the fourth factor was “Media Literacy”, the fifth factor was “Information, Communication and Technology Literacy”, and the sixth factor was “Information, Communication and Technology Literacy”. “Creativity and Innovation” consists of items measuring seventh factor “Entrepreneurship and Self-Management”, eighth factor “Communication” and ninth factor “Leadership” skills. The overall Cronbach's Alpha reliability coefficient of the scale was determined as .973. In addition, the Cronbach's Alpha reliability coefficient of the factors of the scale was determined as .921 for Factor1, .917 for Factor2, .899 for Factor3, .865 for Factor4, .850 for Factor5, .687 for Factor6, .674 for Factor7, .667 for Factor8 and Factor9 .614. In order to determine the discrimination power of the scale items, it was concluded that the discrimination power of the subgroup 27% (90) and the upper group 27% (90) items, which was formed by ordering the raw scores of the scale data from smallest to largest, was statistically significant (p<.01).

Keywords

• 21st century skills
• comprehensive 21st century skills scale
• secondary school
• scale development

Kapsamlı 21. Yüzyıl Becerileri Ölçeği: Geçerlilik ve Güvenirlilik Çalışması

Abstract

Bu araştırma, ortaokul öğrencileri için kapsamlı 21. yüzyıl becerileri ölçeği geliştirme amacıyla gerçekleştirilmiştir. Araştırmaya 334 ortaokul öğrencisi (5, 6, 7 ve 8’inci sınıf) katılmıştır. Ölçeğin ilk aşamasında kuramsal çalışmalar ve uzman görüşleri dikkate alınarak 63 madde belirlenmiştir. Ölçeğin geçerliliğini belirlemek için açımlayıcı faktör analizinden ve madde ayırt edicilik gücü için t-testinden yararlanılmıştır. Araştırma bulguları sonucunda 9 faktör ve 62 maddelik ölçek geliştirilmiştir. Beşli Likert tipinde geliştirilen ölçeğin birinci faktörü “Eleştirel Düşünme ve Problem Çözme” becerilerini, ikinci faktörü “Sosyal, Sorumluluk ve Uyum” becerilerini, üçüncü faktörü “iş birlikçi” becerilerini, dördüncü faktörü “Medya Okuryazarlığı” becerilerini, beşinci faktörü “Bilgi, İletişim ve Teknoloji Okuryazarlığı (BİT)” becerilerini, altıncı faktörü “Yaratıcılık ve Yenilikçilik ” becerilerini, yedinci faktörü “Girişimcilik ve Özyönetim” becerilerini, sekizinci faktörü “İletişim” becerilerini ve dokuzuncu faktörü “Liderlik” becerilerini ölçen maddelerden oluştuğu belirlenmiştir. Ölçeğin genel Cronbach's Alpha güvenirlik katsayısı ,973 olarak belirlenmiştir. Ayrıca ölçeğin faktörlerinin Cronbach’s Alpha güvenirlik katsayısı sırasıyla Faktör1’in ,921, Faktör2’nin ,917, Faktör3’ün ,899, Faktör4’ün ,865, Faktör5’in ,850, Faktör6’nın ,687, Faktör7’nin ,674, Faktör8 ,667 ve Faktör9’un ,614 olduğu belirlenmiştir. Ölçek maddelerinin ayırt edicilik gücünü belirlemek için ise ölçek verilerinin ham puanları küçükten büyüğe sıralanarak oluşturulan alt grup %27 (90) ve üst grup %27’yi (90) maddelerin ayırt edicilik güçleri istatistiksel olarak anlamlı (p<.01) olduğu sonucuna ulaşılmıştır.

Keywords

• kapsamlı 21. yüzyıl becerileri ölçeği
• ortaokul
• ölçek geliştirme
• 21.yüzyıl becerileri

References

1. Anagün, Ş. S., Atalay, N., Kılıç, Z., & Yaşar, S. (2016). Öğretmen adaylarına yönelik 21. yüzyıl becerileri yeterlilik algıları ölçeğinin geliştirilmesi: Geçerlik ve güvenirlik çalışması. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 40(40), 160-175. DOİ: http://dx.doi.org/10.9779/PUJE768
2. Anderson-Butcher, D., Medalen, T., Ball, A., Davis, S., & Wade-Mdivanian, R. (2009). Mobile learning ınstitute: adoption of ınnovation. http://cayci.osu.edu/wp-content/uploads/2015/03/MLI-report.pdf sitesinden 12.02.2021 tarihinde edinilmiştir.
3. Aufderheıde, P. (1993). Media Literacy: A Report of The National Leadership Conference on Media Literacy. Washington, DC, Aspen Institute. https://files.eric.ed.gov/fulltext/ED365294.pdf sitesinden 17.01.2021 tarihinde alınmıştır.
4. Arsad, N. M., Osman, K., & Soh, T. M. T. (2011). Instrument development for 21st century skills in Biology. Procedia-Social and Behavioral Sciences, 15, 1470-1474. DOİ: https://doi.org/10.1016/j.sbspro.2011.03.312
5. ATC21S. (2010). Assessment & Teaching of 21st Century Skills. https://www.cisco.com/c/dam/en_us/about/citizenship/socioeconomic/docs/ATC21S_Exec_Summary.pdf sitesinden 12.12.2019 tarihinde edinilmiştir.
6. Atlı, K. (2019). Biyoloji dersi öğretim programının 21. Yüzyıl becerilerinden yaratıcılık becerisi açısından değerlendirilmesi. Anadolu Öğretmen Dergisi, 3(1), 85-104. https://dergipark.org.tr/en/download/articlefile/749530 adresinden 01.02.2021 tarihinde erişilmiştir
7. Avrupa Birliği [AB]. (2007). Key competences for lifelong learning. European reference framework. Luxembourg: Office for Official Publications of the European Communities, 2007, Belgium. https://www.erasmusplus.org.uk/file/272/download sitesinden 14.08.2020 tarihinde alınmıştır.
8. Ayre, C., & Scally A. J. (2014). Critical values for Lawshe’s content validity ratio: revisiting the original methods of calculation. Measurement and Evaluation in Counseling and Development, 47 (1), 79–86. DOİ: https://doi.org/10.1177/0748175613513808

9. Bal, M. (2018). Türkçe dersinin 21. yüzyıl becerileri açısından incelenmesi. Turkish Studies, 13(4), 49-64. https://app.trdizin.gov.tr/makale/TXpBek9UUTBOQT09/turkce-dersinin-21-yuzyil-becerileriacisindan-incelenmesi adresinden 18.12.2020 tarihinde erişilmiştir.
10. Ball, A., & Drew, H., Anderson-Butcher, D. (2010). The 21st Century Assessment: Measuring 21st Century Skills among Middle School Students. https://kb.osu.edu/bitstream/handle/1811/46549/22_1poster_ball_drew.pdf?sequence=2 sitesinden 17.12.2020 tarihinde edinilmiştir.
11. Baskan, G. A. (2001). Öğretmenlik mesleği ve öğretmen yetiştirmede yeniden yapılanma. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20, 16-25. https://dergipark.org.tr/en/download/article-file/87949 sitesinden 15.06.2021 tarihinde erişilmiştir.
12. Bektaş, M., Sellum, F. S. ve Polat, D. (2019). An examination of 2018 life study lesson curriculum in terms of 21st century learning and innovation skills. Sakarya University Journal of Education, 9(1), 129-147. https://dergipark.org.tr/en/download/article-file/713068 adresinden 20.12.2020 tarihinde erişilmiştir.
13. Belet Boyacı, Ş.D. ve Güner Özer, M. (2019). Öğrenmenin geleceği: 21. yüzyıl becerileri perspektifiyle Türkçe dersi öğretim programları. Anadolu Journal of Educational Sciences International, 9(2), 708-738. https://dergipark.org.tr/en/download/article-file/736526 adresinden 22.12.2020 tarihinde erişilmiştir.
14. Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş. & Demirel, F. (2015). Bilimsel araştırma yöntemleri. Pegem Akademi.
15. Castells, M. (2010). The Rise of the Network Society. The Information Age: Economy, Society, and Culture (2nd Ed., Vol. 1). Oxford, UK: Wiley-Blackwell.
16. Çevik, M., & Şentürk, C. (2019). Multidimensional 21st century skills scale: Validity and reliability study. Cypriot Journal of Educational Sciences, 14(1), 11-28. https://files.eric.ed.gov/fulltext/EJ1211726.pdf sitesinden 25.12.2020 tarihinde erişilmiştir.
17. Çoban, Ö., Bozkurt, S., ve Kan, A. (2019). Eğitim yöneticisi 21. yy. becerileri ölçeğinin geliştirilmesi: Geçerlik ve güvenirlik çalışması. Kastamonu Education Journal, 27(3), 1059-1071. DOİ: https://doi.org/10.24106/kefdergi.2572
18. Dabbagh, N., & Kitsantas, A. (2009). Exploring how experienced online instructors use integrative learning technologies to support self-regulated learning. International Journal of Technology in Teaching and Learning, 5(2), 154-168. https://sicet.org/main/wp-content/uploads/2016/11/ijttl-09-02-5_Nada.pdf sitesinden 01.11.2020 tarihinde erişilmiştir.
19. Dearing, R. (1997). The National Committee of Inquiry into Higher Education. Higher Education in the Learning Society (Norwich, HMSO).
20. Dede, C. (2010). Comparing frameworks for 21st century skills. 21st century skills: Rethinking how students learn, 20, 51-76. https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.475.3846&rep=rep1&type=pdf sitesinden 09.10.2020 tarihinde erişilmiştir.
21. Deveci, İ., Konuş, F. Z. ve Aydız, M. (2018). 2018 yılı Fen Bilimleri Dersi Öğretim Programı kazanımlarının yaşam becerileri açısından incelenmesi. Çukurova Üniversitesi Eğitim Fakültesi Dergisi, 47(2), 765-797. https://dergipark.org.tr/en/download/article-file/563320 adresinden 05.01.2021 tarihinde erişilmiştir.
22. Durmuş, B., Yurtkoru, E. S., & Çinko, M. (2013). Sosyal bilimlerde SPSS ile veri analizi. Beta Basım. Erkılıç, M. (2020). 21. yüzyıl Becerilerinin Fizik Başarısına Etkisinin Araştırılması, Yüksek Lisans Tezi, Eğitim Bilimleri Enstitüsü, Necmettin Erbakan üniversitesi.
23. Eryılmaz, S. (2020). Öğrencilerin 21. yüzyıl öğrenme becerileri için veri toplama aracı: Geçerlik ve güvenirlik çalışması. Turkish Studies - Applied Sciences, 15(3), 301-323. DOİ: https://dx.doi.org/10.47844/TurkishStudies.44127
24. EnGauge. (2003). enGauge21st Century Skills. . https://www.cwasd.k12.wi.us/highschl/newsfile1062_1.pdf sitesinden 15.12.2019 tarihinde edinilmiştir.
25. Hazar, E. (2019). Ortaöğretimde bilgi, medya ve teknoloji becerilerinin program, süreç ve ürün açısından incelenmesi, Doktora Tezi, Eğitim Bilimleri Enstitüsü, Gazi Üniversitesi.
26. Hair, J.F., Anderson, R.E., Tatham, R.L. & Black, W.C. (1998). Multivarite Data Analiysis. Wiley, NY.
27. Hutchins, R. M. (1969). The learning society. 111 Fourth Avenue, New York: Praeger. International Society for Technology in Education ISTE. (2019). The ISTE (International Society for Technology in Education) National Educational Technology Standards (NETS•S) and Performance Indicators for Students. http://www.iste.org/standards/nets-for-students sitesinden 05.012.2019 tarihinde edinilmiştir.
28. Javed, M. S., Athar, M. R., & Saboor, A. (2019). Development of a twenty-first century skills scale for agri varsities. Cogent Business & Management, 6(1), 1-23. https://doi.org/10.1080/23311975.2019.1692485
29. Johnson, L., Adams, S. and Cummins, M. (2012). NMC horizon report: 2012 K-12 Edition. Austin, Texas: The New Media Consortium.
30. Kalaycı, Ş. (2014). SPSS uygulamalı çok değişkenli istatistik teknikleri. Şeref Kalaycı (Ed.), Faktör Analizi içinde (s.321-331). Ankara: Asil Yayın Dağıtım.
31. Kalemkuş, J. (2021). Fen bilimleri dersi öğretim programı kazanımlarının 21.yüzyıl becerileri açısından incelenmesi. Anadolu Journal of Educational Sciences International, 11(1), 63-87. DOİ: https://doi.org/10.18039/ajesi.800552.
32. Kalyoncu, A. T. (2012). Yirmi Birinci Yüzyılda Öğrencilerin Sahip Olması Gereken Bazı Temel Becerilere İlişkin Yönetici Ve Öğretmen Görüşleri, Yüksek Lisans Tezi, Yeditepe Üniversitesi, Sosyal Bilimler Enstitüsü.
33. Karakaş, M. M. (2015). Ortaokul Sekizinci Sınıf Öğrencilerinin Fen Bilimlerine Yönelik 21. yüzyıl Beceri Düzeylerinin Ölçülmesi. Yüksek Lisans Tezi, Eskişehir Osmangazi Üniversitesi, Eğitim Bilimleri Enstitüsü.
34. Koenig, J. A. (2011). Assessing 21st Century skills: Summary of a workshop. Washington, DC: National Research Council. https://www.learntechlib.org/p/159080/ sitesinden 23.09.2020 tarihinde erişilmiştir.
35. Lai, E. R. & Viering, M. (2012). Assessing 21st century skills: Integrating research findings. Vancouver, B.C.: National Council on Measurement in Education. https://eric.ed.gov/?id=ED577778 sitesinden 15.04.2020 tarihinde erişilmiştir.
36. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel psychology, 28(4), 563-575. http://caepnet.org/~/media/Files/caep/knowledge-center/lawshe-content-validity.pdf sitesinden 12.06.2020 tarihinde erişilmiştir.
37. Logie, N. N. (2004). Yabancı dil öğretiminde kültürel becerinin oluşturulmasının önemi ve budunbilimsel boyut. Hasan Ali Yücel Eğitim Fakültesi Dergisi, 1(1), 173-180. https://hayefjournal.org/Content/files/sayilar/108/173.pdf sitesinden 05.02.2021 tarihinde edinilmiştir.
38. McLuhan, M. (1964). Understanding media. The extensions of man. New York: Mentor. http://robynbacken.com/text/nw_research.pdf sitesinden 11.03.2021 tarihinde erişilmiştir.
39. MEB. (2011). MEB 21. yüzyıl öğrenci profili. Ankara: Millî Eğitim Basımevi.
40. Moto, S., Ratanaolarn, T., Tuntiwongwanich, S., & Pimdee, P. (2018). A Thai Junior High School Students' 21st Century Information Literacy, Media Literacy, and ICT Literacy Skills Factor Analysis. International Journal of Emerging Technologies in Learning, 13(9), 87-106. https://core.ac.uk/download/pdf/234939958.pdf sitesinden 12.03.2021 tarihinde erişilmiştir.
41. National Research Council [NRC]. (2006). Systems for state science assessment. Washington, DC: The National Academies Press. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.469.2247&rep=rep1&type=pdf sitesinden 11.03.2021 tarihinde edinilmiştir.
42. National Research Council [NRC]. (2012). Education for life and work: Developing transferable knowledge and skills in the 21st century. Committee on Defining Deeper Learning and 21st Century Skills, James W. Pellegrino and Margaret L. Hilton, Editors. Board on Testing and Assessment and Board on Science Education, Division of Behavioral and Social Sciences and Education. Washington, DC: The National Academies Press. https://hewlett.org/wp-content/uploads/2016/08/Education_for_Life_and_Work.pdf sitesinden 14.12.2019 tarihinde edinilmiştir.
43. Orhan Göksün, D. (2016). Öğretmen Adaylarının 21. yy. Öğrenen Becerileri ve 21. yy. Öğreten Becerileri Arasındaki İlişki, Doktora Tezi, Eğitim Bilimleri Enstitüsü, Anadolu Üniversitesi.
44. Özyurt, M. (2020). 21. Yüzyıl Becerileri Öğretimi Ölçeğinin Türk Kültürüne Uyarlanması: Geçerlik Güvenirlik Çalışması. OPUS Uluslararası Toplum Araştırmaları Dergisi, 16(30), 2568-2594. DOİ: https://doi.org/10.26466/opus.725042 Partnership for 21st Century Learning [P21]. (2015). Framework Definitions. http://www.p21.org/storage/documents/docs/P21_Framework_Definitions_Ne w_Logo_2015.pdf sitesinden 20.01.2020 tarihinde edinilmiştir.
45. Phoenix Üniversitesi. (2011). Postsecondary education in the 21st century: Students & Institutions. https://gfbertini.com/2011/06/20/postsecondary-education-in-the-21st-century-students-institutions/ sitesinden 13.12.2019 tarihinde edinilmiştir.
46. Toffler, A. (1981). Üçüncü dalga. (Çev: Seden A.). İstanbul: Altın kitaplar
47. Trilling, B. and Fadel, C. (2009). 21st century skills: Learning for life in our times. Francisco: Jossey-Bass. World Economic Forum [WEF]. (2016). The future of jobs. Global Challenge Insight Report. http://www3.weforum.org/docs/WEF_Future_of_Jobs.pdf sitesinden 10.12.2019 tarihinde edinilmiştir.
48. Varol, A. ve Güler, M. E. (2005). Girişimcilik. İstanbul: Ya-pa Yayınları.
49. Yalçın, V., Simsar, A., & Dinler, H. (2020). 5-6 Yas Çocukları için 21. Yy Becerileri Ölçegi (DAY-2): Geçerlik ve Guvenirlik Çalışması. Mediterranean Journal of Educational Research, 14(32), 78-97. DOİ: https://doi.org/10.29329/mjer.2020.258.5
50. Yılmaz, E., & Alkış, M. (2019). 21. yüzyıl yeterlilikleri ölçeği’nin geliştirilmesi: Geçerlik ve güvenirlik çalışması. The Journal of International Lingual Social and Educational Sciences, 5(1), 125-154. DOİ: https://doi.org/10.34137/jilses.578533
51. Yiğit, R. ve Yılmaz, H. (2011). “İlköğretim II. kademe öğrencilerinin sosyal beceri düzeyleri ile benlik saygısı arasındaki ilişkinin incelenmesi”. Ahmet Keleşoğlu Eğitim Fakültesi Dergisi 31, 335-347. https://docplayer.biz.tr/34002085-Ilkogretim-ii-kademe-ogrencilerinin-sosyal-beceri-duzeyleri-ile-benlik-saygisi-arasindaki-iliskinin-incelenmesi-1.html sitesinden 18.02.2021 tarihinde ulaşılmıştır.
52. Zurkowski, P. G. (1974). The information service environment: relationships and priorities. (Report ED 100391). Washington DC: National Commission on Libraries and Information Science. https://files.eric.ed.gov/fulltext/ED100391.pdf sitesinden 18.02.2021 tarihinde edinilmiştir.