Öğretmen ve Öğretmen Adaylarının Teknolojik Pedagojik STEM Bilgilerinin İncelenmesi

Öz

Bu araştırmada öğretmen ve öğretmen adaylarının Teknolojik pedagojik STEM Bilgilerinin (TP-STEMB) çeşitli değişkenlere göre incelenmesi amaçlanmıştır. İlişkisel araştırma modelindeki araştırmanın örneklemini 466 öğretmen ve öğretmen adayı oluşturmuştur. Verilerin toplanmasında Chai, Jong, Yin, Chen ve Zhou (2019) tarafından geliştirilen Güngör ve Köse (2022)’nin Türkçeye uyarladığı TP-STEM bilgi ölçeği kullanılmıştır. Araştırma bulgularına göre kadın ve erkek öğretmen/öğretmen adaylarının TP-STEM bilgi yeterliliklerinin benzer olduğu belirlenmiştir. Öğretmen adaylarının STEM veya disiplinler arası eğitimle ilgili ders alma/almama durumlarının TP-Matematik bilgilerini etkilemediği ancak eğitim alan öğretmen adaylarının TP-Bilim TP-Mühendislik ve Bütünleştirici STEM bilgi öz-yeterliliklerini anlamlı düzeyde etkilediği belirlenmiştir. Öğretmenlerin STEM eğitimine yönelik aldıkları eğitim değişkeninde 36 saat ve üzeri eğitim alan öğretmenlerin TP-Bilim, TP-Matematik, TP-Mühendislik ve Bütünleştirici STEM bilgi öz-yeterliliklerinin yüksek olduğu sonucuna ulaşılmıştır. Derslerinde STEM etkinlikleri yapan öğretmenlerin etkinlik yapmayan öğretmenlere göre TP-STEM bilgi boyutlarının daha yüksek olduğu görülmüştür. Araştırmada ihtiyaç duyulan teknolojiye erişebilen öğretmenlerin, erişemeyen öğretmenlere göre TP-Bilim, TP-Matematik ve TP-Mühendislik Bilgi yeterliliklerinin anlamlı düzeyde farklılaştığı diğer bir sonuç olarak karşımıza çıkmaktadır.

Anahtar Kelimeler

• Bütünleşik STEM Eğitimi
• Teknolojik Pedagojik Alan Bilgisi
• Teknolojik Pedagojik STEM Bilgisi
• Öz yeterlilik

A correlational investigation of Teachers and Pre-service Teachers' Technological Pedagogical STEM Knowledge

Öz

The study was aimed to determine the Technological pedagogical STEM Knowledge (TP-STEMK) of teachers and pre-service teachers’ according to various variables. In the relational research model, 466 teachers and pre-service teachers formed the sample of the research. The TP-STEMK scale developed by Chai, Jong, Yin, Chen and Zhou, (2019) and adapted into Turkish by Güngör and Köse (2022) was used as a data collection tool. According to the results of the research, it was determined that the TP-STEM knowledge self-efficacy of female and male teachers/pre-service teachers was similar to each other. It was determined that the pre-service teachers' whether they took courses related to STEM or interdisciplinary education did not affect TP-Maths Knowledge, but it significantly affected the knowledge self-efficacy of the pre-service teachers who received training. It was concluded that the teachers who received 36 hours or more of training in STEM education had a higher level of knowledge self-efficacy of TP- Science Knowledge, TP-Maths Knowledge, TP-Engineering Knowledge and İntegrative STEM. However, it was determined that the TP-STEM knowledge dimensions of the teachers who did STEM activities were higher than the teachers who did not. Another result of the research is that teachers who can access the technology needed have higher TP- Science Knowledge, TP-Maths Knowledge and TP- Engineering Knowledge qualifications than teachers who cannot access the technology they want.

Anahtar Kelimeler

• Integrated STEM Education
• Technological Pedagogical STEM Knowledge
• Technological Pedagogical Content Knowledge
• Self-efficacy

Kaynakça

1. Al Salami, M. K., Makela, C. J. & de Miranda, M. A. (2017). Assessing changes in teachers’ attitudes toward interdisciplinary STEM teaching. International Journal of Technology and Design Education, 27(1), 63-88. https://doi.org/10.1007/s10798-015-9341-0
2. Allen, P., Bennett, K. ve Heritage, B. (2014). SPSS statistics version 22: A practical guide (3th ed.). Cengage Learning Australia Pty Limited.
3. Alpar, R. (2003). Uygulamalı çok değişkenli istatistiksel yöntemlere giriş 1 (2th. ed.). Nobel Akademik Yayıncılık.
4. Altun Yalçın, S. ve Yalçın, P. (2018). Fen bilgisi öğretmen adaylarının STEM eğitimi konusundaki metaforik algılarının incelenmesi. International Journal of Social Science, 70, 39-59.
5. Anderson, J., Wilson, K., Tully, D. ve Way, J. (2019). “Can We Build the Wind Powered Car Again?” Students’ and Teachers’ Responses to a New Integrated STEM Curriculum. Journal of Research in STEM Education, 5(1), 20–39. https://doi.org/10.51355/jstem.2019.61
6. Atalmış, E. H. (2019). Tarama araştırmaları. S. Şen ve İ. Yıldırım (Ed.), Eğitimde araştırma yöntemleri içinde (s. 97-116). Nobel Yayıncılık.
7. Bell, D. (2016). The reality of STEM education, design and technology teachers’ perceptions: A phenomenographic study. International journal of technology and design education, 26(1), 61-79. https://doi.org/10.1007/s10798-015-9300-9
8. Bozkurt-Altan, E., Yamak, H. ve Buluş-Kırıkkaya, E. (2016). Hizmet öncesi öğretmen eğitiminde FETEMM eğitimi Uygulamaları: Tasarım temelli Fen eğitimi. Trakya Üniversitesi Eğitim Fakültesi Dergisi, 6(2), 212-232.

9. Breiner, J. M., Harkness, S. S., Johnson, C. C. and Koehler, C. M. (2012). What is STEM? A discussion about conceptions of STEM in education and partnerships. School Science and Mathematics, 112(1), 3-11. https://doi.org/10.1111/j.1949-8594.2011.00109.x
10. Brush, T., Glazewski, K., Rutowski, K., Berg, K., Stromfors, C., Van-Nest, M. H., Stock, L. ve Sutton, J. (2003). Integrating technology in a field-based teacher training program: The PT3@ ASU project. Educational Technology Research and Development, 51(1), 57-72. https://doi.org/10.1007/BF02504518
11. Büyüköztürk, Ş. (2020). Sosyal bilimler için veri analizi el kitabı istatistik, araştırma deseni SPSS uygulamaları ve yorum (28. Baskı). Pegem Akademi Yayıncılık.
12. Büyüköztürk, Ş., Çakmak, E. K., Akgün, Ö. E., Karadeniz, Ş. ve Demirel, F. (2018). Bilimsel araştırma yöntemleri (25. Baskı). Pegem Akademi.
13. Chai, C. S. (2019). Teacher professional development for science, technology, engineering and mathematics (STEM) education: A Review from the perspectives of technological pedagogical content (TPACK). The Asia-Pacific Education Researcher, 28(1), 5-13. https://doi.org/10.1007/s40299-018-0400-7
14. Chai, C. S., Jong, M. ve Yan, Z. (2020). Surveying Chinese teachers' technological pedagogical STEM knowledge: A pilot validation of STEM-TPACK survey. International Journal of Mobile Learning and Organisation, 14(2), 203- 214. https://doi.org/10.1504/ijmlo.2020.106181
15. Chai, C. S., Jong, M., Yin, H. B., Chen, M. ve Zhou, W. (2019). Validating and modelling Teachers’ Technological Pedagogical Content Knowledge for ıntegrative science, technology, engineering and mathemat-ics education. Journal of Educational Technology & Society, 22(3), 61-73.
16. Chai, C.S., Rahmawati, Y. ve Jong M.S.-Y. (2020). Indonesian Science, Mathematics, and Engineering preservice Teachers’ experiences in STEM-TPACK design-based learning. Sustainability. 12(21), 9050. https://doi.org/10.3390/su12219050
17. Christensen, L. B., Burke Johnson, R. ve Turner, L. A. (2014). Research methods, design, and analysis (12th Ed.). Pearson Education.
18. Cohen J. (1988). Statistical power analysis for the behavioral sciences. Routledge.
19. Çavlazoglu, B. ve Stuessy, C. (2017). Changes in science teachers' conceptions and connections of STEM concepts and earthquake engineering. The Journal of Educational Research, 110(3), 239-254. https://doi.org/10.1080/00220671.2016.1273176
20. Çayak, V. (2019). Fen bilimleri öğretmenlerinin STEM’ e yönelik teknolojik, pedagojik, alan bilgilerinin incelenmesi (Yayınlanmamış Yüksek Lisans Tezi). Çanakkale On sekiz Mart Üniversitesi, Eğitim Bilimleri Enstitüsü, Çanakkale.
21. Çevik, M., Danıştay, A. ve Yağcı, A. (2017). Ortaokul öğretmenlerinin FeTeMM (Fen-Teknoloji-Mühendislik-Matematik) farkındalıklarının farklı değişkenlere göre değerlendirilmesi. Sakarya University Journal of Education, 7(3), 584-599. https://doi.org/10.19126/suje.335008
22. Dasgupta, C., Magana, A. J. ve Vieira, C. (2019). Investigating the affordances of a CAD enabled learning environment for promoting integrated STEM learning. Computers & Education, 129, 122-142. https://doi.org/10.1016/j.compedu.2018.10.01
23. https://link.gale.com/apps/doc/A620928889/AONE?u=anon~d919aab0&sid=googleScholar&xid=f431b09f
24. Daugherty, M. K., Carter, V. ve Swagerty, L. (2014). Elementary STEM education: the future for technology and engineering education?. Journal of STEM teacher education, 49(1), 7. https://doi.org/10.30707/JSTE49.1Daugherty
25. De Jong, T. (2019). Moving towards engaged learning in STEM domains; there is no simple answer, but clearly a road ahead. Journal of computer assisted learning, 35(2), 153-167. https://doi.org/10.1111/jcal.12337
26. Değirmenci, S. (2020). STEM eğitimi almış öğretmenlerin STEM öz yeterliliklerinin ve uygulamalarında teknoloji ve mühendislik entegrasyonu açısından yaşadıkları sorunların belirlenmesi (Yayımlanmamış yüksek lisans tezi). Marmara Üniversitesi, Eğitim Bilimleri Enstitüsü, İstanbul.
27. Demirkol, K., Kartal, B. ve Taşdemir, A. (2022). The investigation of mathematics and science teachers’ attitudes towards stem education regarding multiple variables. Türk Akademik Yayınlar Dergisi (TAY Journal), 6(1), 77-98. https://dergipark.org.tr/en/pub/tayjournal/issue/69061/1051910
28. Demirtaş, Z. ve Ekşioğlu, S. (2020). Prospective Teachers' STEM awareness and ınformation communication technologies usage levels. Malaysian Online Journal of Educational Technology, 8(4), 67-85. https://doi.org/10.17220/mojet.2020.04.005
29. Dugger, W. E. (2010). Evolution of STEM in the United States. In 6th biennial international conference on technology education research (Vol. 10). Gold Coast.
30. El-Deghaidy, H. ve Mansour, N. (2015). Science teachers’ perceptions of STEM education: Possibilities and challenges. International Journal of Learning and Teaching, 1(1), 51–54. https://doi.org/10.18178/ijlt.1.1.51-54
31. Empirica (2006). ‘Benchmarking Access and Use of ICT in European Schools’, Empirica, Retrieved August 20, 2009, [Online] http://ec.europa.eu/information_society/eeurope/i2010/docs/studies/final_report_3.pdf
32. English, L. D. (2016). STEM education K-12: Perspectives on integration. International Journal of STEM education, 3(1), 1-8. https://doi.org/10.1186/s40594-016-0036-1
33. English, L. D. (2017). Advancing elementary and middle school STEM education. International Journal of Science and Mathematics Education, 15(1), 5-24. https://doi.org/10.1007/s10763-017-9802-x
34. Ergün, A. ve Kıyıcı, G. (2019). Fen bilgisi öğretmeni adaylarının STEM eğitimine ilişkin metaforik algıları. Kastamonu Eğitim Dergisi, 27(6), 2513-2527. https://doi.org/10.24106/kefdergi.3405
35. Ergün, A. (2021). STEM Kariyer ilgi ve tercihleri anketinin Türkçeye uyarlanması: geçerlik ve güvenirlik çalışması. Cumhuriyet Uluslararası Eğitim Dergisi, 10(2), 533-555. https://doi.org/10.30703/cije.737661
36. Eroğlu, S. ve Bektaş, O. (2016). STEM eğitimi almış fen bilimleri öğretmenlerinin STEM temelli ders etkinlikleri hakkındaki görüşleri. Eğitimde Nitel Araştırmalar Dergisi, 4(3), 43-67. https://doi.org/10.14689/issn.2148-2624.1.4c3s3m
37. Ertmer, P. A., Paul, A., Molly, L., Eva, R. ve Denise, W. (1999). Examining teachers’ beliefs about the role of technology in the elementary classroom. Journal of research on Computing in Education, 32(1), 54-72. https://doi.org/10.1080/08886504.1999.10782269
38. Faikhamta, C., Lertdechapat, K. ve Prasoblarb, T. (2020). The Impact of a PCK-based Professional Development Program on Science Teachers’ Ability to Teaching STEM. Journal of Science and Mathematics Education in Southeast Asia, 43, 1-22 https://myjms.mohe.gov.my/index.php/jsmesea/article/view/10145
39. Fraenkel, J. R., Wallen, N. E. ve Hyun, H. H. (2012). How to design and evaluate research in education (8th ed.). McGraw-Hill.
40. Gay, L. R. ve Airasian, P. (2000). Educational Research: Competencies For Analysis and Application. Upper Saddle River, NJ: Prentice-Hall, Inc.
41. Green, S.B. ve Salkind, N.J. (2005). Using SPSS for windows and macintosh: Analyzing and undestanding data (4th Edition). Pearson
42. Gresnigt, R., Taconis, R., van Keulen, H., Gravemeijer, K. ve Baartman, L. (2014). Promoting science and technology in primary education: a review of integrated curricula. Studies in Science Education, 50(1), 47-84. https://doi.org/10.1080/03057267.2013.877694
43. Güngör, A. ve Köse, M. (2022). Adapting the Survey of Technological Pedagogical STEM Knowledge to the Turkish Language and Determining the Knowledge of Pre-service and In-service Teachers. International Journal of Modern Education Studies, 6(2), 287-318. https://doi.org/10.51383/ijonmes.2022.217
44. Hacıömeroğlu, G. (2020). Öğretmen adayları için FeTeMM eğitimi hakkında öz yeterlik ve endişe ölçeğinin Türkçeye uyarlama çalışması. Eğitimde Kuram ve Uygulama, 16(2), 165-177. https://doi.org/0.17244/eku.788985
45. Herro, D. ve Quigley, C. (2017). Exploring teachers’ perceptions of STEAM teaching through professional development: implications for teacher educators. Professional Development in Education, 43(3), 416-438. https://doi.org/10.1080/19415257.2016.1205507
46. Hiğde, E., Aktamış, H., Arabacıoğlu, T., Şen, H., Özen Ünal, D. ve Yazıcı, E. (2020). Öğretmen ve öğretmen adaylarının STEM alanlarına yönelik tutumlarının ve STEM öğretı̇mı̇ yönelı̇mlerı̇nı̇n farklı değı̇şkenler açısından ı̇ncelenmesı̇. Uşak Üniversitesi Eğitim Araştırmaları Dergisi, 6 (1), 34-56. https://doi.org/10.29065/usakead.684766
47. Hocaoğlu, N. ve Akkaş-Baysal, E. (2019). Nicel Araştırma Modelleri-Desenleri. G. Ocak (Ed.), Eğitimde Bilimsel Araştırma Yöntemleri içinde (ss. 66-123). Ankara: Pegem Akademi.
48. Jackson, C. K., Rockoff, J. E. ve Staiger, D. O. (2014). Teacher effects and teacher-related policies. Annual Review of Economics, 6(1), 801-825.https://doi.org/10.1146/annurev-economics-080213-040845
49. Jonassen, D. H. (2000). Computers as mindtools for schools: Engaging critical thinking (2 th ed.). Upper Saddle River.
50. Karademir-Coşkun, T., Alakurt, T. ve Yılmaz, B. (2020). STEM education from the perspective of ınformatıon technologies teachers. Abant İzzet Baysal University Journal of the Faculty of Education, 20 (2), 820-836. https://doi.org/10.17240/aibuefd.2020..-536856
51. Karakaya, F., Ünal, A., Çimen, O. ve Yılmaz, M. (2018). Fen bilimleri öğretmenlerinin STEM yaklaşımına yönelik farkındalıkları. JRES, 5(1), 124-138.
52. Koçak, B., Aslan, A. ve Capellaro, E. (2019). Fen Bilimleri, Matematik ve Sınıf öğretmen adaylarının FeTeMM öğretimine ilişkin yönelimleri. Fen Bilimleri Öğretimi Dergisi, 7(2), 168-188. ISSN: 2148- 2160https://www.researchgate.net/publication/337893657_Science_Mathematics_and_Primary_Pre-service_Teachers'_Intention_on_STEM_Teaching
53. Koh, J. H. L., Chai, C. S. ve Lee, M. H. (2015). Technological pedagogical content knowledge (TPACK) for pedagogical improvement: Editorial for special issue on TPACK. The Asia-Pacific Education Researcher, 24(3), 459-462. https://doi.org/10.1007/s40299-015-0241-6
54. Koyunlu-Ünlü, Z. ve Dere, Z. (2019). Okul öncesi öğretmen adaylarının FeTeMM farkındalıklarının değerlendirilmesi. Erzincan Üniversitesi Eğitim Fakültesi Dergisi, 21(1), 44-55. https://doi.org/10.17556/erziefd.481586
55. Köse, M. ve Ataş, R. (2020). Sınıf öğretmenlerinin stem eğitimine yönelik görüşlerinin değerlendirilmesi. Academy Journal of Educational Sciences, 4(2), 103-110. http://dx.doi.org/10.31805/acjes.828442
56. Li, Y., Wang, K., Xiao, Y. ve Froyd, J. E. (2020). Research and trends in STEM education: A systematic review of journal publications. International Journal of STEM Education, 7(1), 1-16. https://doi.org/10.1186/s40594-020-00207-6
57. Lin, P., Chai, C., Di, W. ve Wang, X. (2022). Modeling Chinese Teachers’ Efficacies for the Teaching of Integrated STEM With Interdisciplinary Communication and Epistemic Fluency. Frontiers in psychology, 13. https://doi.org/10.3389/fpsyg.2022.908421
58. Margot, K. C. ve Kettler, T. (2019). Teachers’ perception of STEM integration and education: a systematic literature review. International Journal of STEM education, 6(1), 1-16. https://doi.org/10.1186/s40594-018-0151-2
59. McDermott, L. ve Murray, J. (2000). A study on the effective use and integration of technology into the primary curriculum [Unpublished master's thesis]. Saint Xavier University.
60. Milli Eğitim Bakanlığı (MEB). (2018). İlköğretim kurumları (ilkokullar ve ortaokullar) fen bilimleri dersi (3, 4, 5, 6, 7 ve 8. sınıflar) öğretim programı. Ankara: Talim ve Terbiye Kurulu Başkanlığı.
61. Millî Eğitim Bakanlığı [MEB]. (2012). FATİH (Fırsatları Artırma ve Teknolojiyi İyileştirme) Projesi. http://fatihprojesi.meb.gov.tr
62. Milner-Bolotin, M. (2018,). Evidence-based research in STEM teacher education: From theory to practice. Frontiers in Education, 3, 92. https://doi.org/10.3389/feduc.2018.00092
63. Mishra, P. ve Koehler, M. J. (2006). Technological pedagogical content knowledge: A framework for teacher knowledge. Teachers college record, 108(6), 1017-1054. https://doi.org/10.1111/j.1467- 9620.2006.00684.x
64. Nunnally, B. H. ve Bernstein, J.C. (1994). Psychometric theory (3rd ed.). McGraw-Hill.
65. Özdemir, E. (2015). Tarama yöntemi. M., Metin (Ed.), Kuramdan uygulamaya eğitim bilimlerinde bilimsel araştırma yöntemleri içinde (s. 77 – 97). Pegem Akademi.
66. Öztürk, F. Ö. (2019). STEM uygulamalarına ilişkin görüşlerle bu uygulamanın bilimsel tutum ve fen öğretimi öz yeterlik inancı üzerine etkisi. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, (52), 1- 38. https://doi.org/10.21764/maeuefd.409368
67. Pallant, J. (2005). SPSS survival guide: A step by step guide to data analysis using spss for windows (3th ed.). Open University Press.
68. Parker, C. E., Stylinski, C. D., Bonney, C. R., Schillaci, R. ve McAulliffe, C. (2015). Examining the quality of technology implementation in STEM classrooms: Demonstration of an evaluative framework. Journal of Research on Technology in Education, 47(2), 105-121. https://doi.org/10.1080/15391523.2015.999640
69. Rahman, S. M., Krishnan, V. J. ve Kapila, V. (2017, June). Exploring the dynamic nature of TPACK framework in teaching STEM using robotics in middle school classrooms. ASEE Annual Conference & Exposition, Conference Proceedings. https://doi.org/10.18260/1-2--28336
70. Ring, E. A., Dare, E. A., Crotty, E. A. ve Roehrig, G. H. (2017). The evolution of teacher conceptions of STEM education throughout an intensive professional development experience. Journal of Science Teacher Education, 28(5), 444-467. https://doi.org/10.1080/1046560X.2017.1356671
71. Rosenthal, R. ve Rosnow, R. L. (2008). Essentials of behavıoral research: methods and data Analysis (3th ed.). Published by McGraw-Hill.
72. Sarı, U. ve Yazıcı, Y.Y. (2020). Pre-service teachers' views on STEM education and Arduino practices. SDU International Journal of Educational Studies, 7(2), 246-261. https://doi.org/10.33710/sduijes.701220
73. Sari, D. K., Waremra, R. S. ve Dinata, P. A. C.(2022). Kemampuan TPACK Calon Guru Fisika dalam Pembelajaran Fisika Eksperimen berpendekatan Online STEM. DWIJA CENDEKIA: Jurnal Riset Pedagogik, 6(1), 45-53. https://doi.org/10.20961/jdc.v6i1.58778
74. Satchwell, R. E. ve Loepp, F. L. (2002). Designing and Implementing an Integrated Mathematics, Science, and Technology Curriculum for the Middle School. Journal of Industrial Teacher Education, 39(3), 41-66. http://scholar.lib.vt.edu/ejournals/JITE/v39n3/satchwell.html
75. Schmidt, D. A., Baran, E., Thompson, A. D., Mishra, P., Koehler, M. J. ve Shin, T. S. (2009).Technological pedagogical content knowledge (TPACK): The development and validation of an assessment instrument for preservice teachers. Journal of Research on Technology in Education, 42(2), 123- 149. https://doi.org/10.1080/15391523.2009.10782544
76. Seferoğlu, S. S. (2015). Okullarda teknoloji kullanımı ve uygulamalar: Gözlemler, sorunlar ve çözüm önerileri. Artı Eğitim, 123, 90-91.
77. Sezgin-Selçuk, G. (2019). Tarama yöntemi. H. Özmen ve O. Karamustafaoğlu (Ed.), Eğitimde araştırma yöntemleri içinde (s.139-162). Pegem Akademi.
78. Shahali, E. H. M., Halim, L., Rasul, M. S., Osman, K. ve Zulkifeli, M. A. (2016). STEM learning through engineering design: Impact on middle secondary students’ interest towards STEM. EURASIA Journal of Mathematics, Science and Technology Education, 13(5), 1189-1211. https://doi.org/10.12973/eurasia.2017.00667a
79. Shulman, L. S. (1987). Knowledge and teaching: Foundations of the new reform. Harvard educational review, 57(1), 1-23. https://doi.org/10.17763/haer.57.1.j463w79r56455411
80. Siew, N. M., Amir, N. ve Chong, C. L. (2015). The perceptions of pre-service and in-service teachers regarding a project-based STEM approach to teaching science. SpringerPlus, 4(1), 1-20. https://doi.org/10.1186/2193-1801-4-8
81. STEM Task Force Report (2014). Innovate: A Blueprint for science, technology, engineering, and mathematics in California public education. CA: The Californians Dedicated to Education Foundation.
82. Şahiner, E. ve Koyunlu-Ünlü, Z. (2022). The effect of engineering design activities on pre-service elementary teachers’ stem awareness and engineering perceptions. Cumhuriyet International Journal of Education, 11(1), 145-154. https://doi.org/10.30703/cije.971521
83. Tabachnick, B. G. ve Fidell, L. S. (2013). Using multivariate statistics (6th ed.). MA: Pearson.
84. Thibaut, L., Ceuppens, S., De Loof, H., De Meester, J., Goovaerts, L., Struyf, A., Boeve-de Pauw, J., Dehaene, W., Deprez, J., De Cock, M., Hellinckx, L., Knipprath, H., Langie, G., Struyven, K., Van de Velde, D., Van Petegem, P. and Depaepe, F. (2018). Integrated STEM education: A systematic review of Instructional practices in secondary Education. European Jourrnal of STEM Education, 3(1), 02. https://doi.org/10.20897/ejsteme/85525
85. Wang Z. ve Fan R. (2018). Analysis of TPCK Knowledge Structure of STEM Teachers in Middle School[J]. Journal of Guangxi Teachers Education University (Philosophy and Social Sciences Edition), 54(2), 105-111. https://doi.org/10.16088/j.issn.1001-6597.2018.02.015
86. Wang, H. H., Moore, T. J., Roehrig, G. H. ve Park, M. S. (2011). STEM integration: Teacher perceptions and practice. Journal of Pre-College Engineering Education Research (J-PEER), 1(2), 2. https://doi.org/10.5703/1288284314636.
87. Wang, L. ve Chiang, F. K. (2020). Integrating novel engineering strategies into STEM education: APP design and an assessment of engineering-related attitudes. British Journal of Educational Technology, 51(6), 1938-1959. https://doi.org/10.1111/bjet.13031
88. Yanış-Kelleci, H. (2020). Eğitsel robotik uygulamalarına dayalı STEM eğitimi kapsamında öğretmen adaylarının eğitsel robotik TPAB öz-yeterlik inançlarının bilimsel yaratıcılık ve bilgi işlemsel düşünme becerilerinin incelenmesi. (Yayımlanmamış Doktora Tezi). Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
89. Yılmaz, K. G. (2019). Fen bilgisi öğretmen adaylarının fen, teknoloji, mühendislik ve matematik (STEM) alanlarına yönelik ilgi düzeyleri (Yayımlanmamış yüksek lisans tezi). Bartın Üniversitesi, Eğitim Bilimleri Enstitüsü, Bartın.