Development of Engineering Design Skills Perception Test (EnDeSPT)

Abstract

This study aimed to develop the "Engineering Design Skills Perception Test" (EnDeSPT) that evaluating by the engineering design process skills of middle school students. The study was carried out within the framework of the survey research and was conducted on 7th grade students attending at Science and Art Education Centers in Izmir. The development process of the test was supported by a comprehensive literature review and expert opinions. First, studies related to engineering design skills were examined, and theoretical models were evaluated. Subsequently, the design-skill items of the 'Engineering Design Survey' scale developed by Moazzen, Miller, Wild, Jackson, and Hadwin (2014) for university students were adapted for 7th grade secondary school students and re-developed as the 'Engineering Design Skills Perception Test' (EnDeSPT). To ensure the content validity of the developed test, opinions from field experts were consulted. To test the structural validity, factor analysis was conducted, and as a result of this analysis, it was determined that the test has a four-factor structure. These factors were named "Incubation Design Development Skills", "Innovative Design Development Skills", "Design Evaluation Skills" and "Design Presentation and Reporting Skills" respectively. The reliability analysis of the test was conducted using the Cronbach's alpha reliability coefficient, and high internal consistency was achieved throughout the test. This indicates that the test is a reliable measurement tool. It is expected that this study will make a significant contribution to the literature on the evaluation of engineering design developments.

Keywords

• skill
• engineering design
• test development

Mühendislik Tasarım Becerileri Algı Testinin Geliştirilmesi (MüTasBAT)

Abstract

Bu çalışmada, ortaokul öğrencilerinin mühendislik tasarım süreçlerine yönelik becerilerini değerlendirebilmek amacıyla "Mühendislik Tasarım Becerileri Algı Testi" (MüTasBAT) geliştirilmiştir. Araştırma, tarama modeli çerçevesinde gerçekleştirilmiş ve İzmir'deki Bilim ve Sanat Eğitim Merkezlerinde (Bilsem) eğitim gören 7. sınıf öğrencileri üzerinde yürütülmüştür. Ölçeğin geliştirilme süreci, kapsamlı bir literatür taraması ve uzman görüşleri ile desteklenmiştir. İlk olarak, mühendislik tasarım becerilerine ilişkin araştırmalar incelenmiş ve teorik modeller değerlendirilmiştir. Ardından, Moazzen, Miller, Wild, Jackson ve Hadwin (2014) üniversite öğrencilerine yönelik "Engineering Design Survey" ölçeğinin tasarım-beceri maddeleri, ortaokul 7. sınıf öğrencilerine uygun hale getirilerek "Mühendislik Tasarım Becerileri Algı Testi (MüTasBAT)" olarak yeniden geliştirilmiştir. Geliştirilen test için alan uzmanlarının görüşlerine başvurularak testin kapsam geçerliliği sağlanmıştır. Yapı geçerliliğini test etmek amacıyla faktör analizi uygulanmış ve bu analiz sonucunda testin dört faktörlü bir yapıya sahip olduğu tespit edilmiştir. Bu faktörler sırasıyla "Kuluçka Tasarım Geliştirme Becerileri", "Yenilikçi Tasarım Geliştirme Becerileri", "Tasarım Değerlendirme Becerileri" ve "Tasarımı Sunma ve Raporlama Becerileri" olarak adlandırılmıştır. Ölçeğin güvenirlik analizi, Cronbach alfa güvenirlik katsayısı kullanılarak yapılmış ve testin genelinde yüksek bir iç tutarlılık elde edilmiştir. Bu da testin güvenilir bir ölçme aracı olduğunu göstermektedir. Bu çalışmanın mühendislik tasarım geliştirmelerinin değerlendirilmesine yönelik literatüre önemli bir katkı sağlaması beklenilmektedir.

Keywords

• beceri
• mühendislik tasarım
• test geliştirme

References

1. [1] Şahin, F. (2022). 7. sınıf fen bilimleri dersi hücre ve bölünmeler ünitesinde learningapps uygulaması kullanımının öğrencilerin başarı ve derse yönelik tutumlarına etkisi. Fen Bilimleri Enstitüsü. (Yayımlanmamış Doktora tezi)
2. [2] Kelley, T. R., & Knowles, J. G. (2016). A conceptual framework for integrated STEM education. International Journal of STEM Education, 3(1), 1-11. https://doi.org/10.1186/s40594-016-0046-z
3. [3] Schweingruber, H., Pearson, G., & Honey, M. (Eds.). (2014). STEM integration in K-12 education: Status, prospects, and an agenda for research. National Academies Press.
4. [4] Bryan, L. A., Moore, T. J., Johnson, C. C., & Roehrig, G. H. (2015). Integrated STEM education. In C. C. Johnson, E. E. Peters-Burton, & T. J. Moore (Eds.), STEM roadmap: A framework for integration (pp. 23–37). London: Taylor & Francis
5. [5] Lucas, B., Claxton, G., & Hanson, J. (2014). Thinking Like an Engineer: Implications for the education system. http://www.raeng.org.uk/news/news-releases/2014/may/do-you-think-like-an-engineer
6. [6] Next Generation Science Standards [NGSS] (USA, 2014). http://www.nextgenscience.org/ OECD (2013). PISA 2012 assessment and analytical framework: mathematics, reading, science, problem solving and financial literacy. OECD Publishing (http://www. oecdilibrary.org/content/book/9789264190511-en).
7. [7] English, L. D. (2016). STEM education K-12: Perspectives on integration. International Journal of STEM education, 3, 1-8. DOI 10.1186/s40594-016-0036-1
8. [8] Beers, S. (2011). 21st century skills: Preparing students for their future. https://cosee.umaine.edu/files/coseeos/21st_century_skills.pdf

9. [9] Purzer, S., Hathaway Goldstein, M., Adams, R., Xie, C., & Nourian, S. (2015). An exploratory study of informed engineering design behaviors associated with scientific explanations. International Journal of STEM Education, 2(9), doi:10.1186/s40594-015- 0019-7.
10. [10] Wendell, K. B. (2008). The theoretical and empirical basis for design-based science instruction for children. Unpublished Qualifying Paper, Tufts University
11. [11] Atman, C. J., Adams, R. S., Cardella, M. E., Turns, J., Mosborg, S., & Saleem, J. (2007). Engineering Design Processes: A Comparison of Students and Expert Practitioners. Journal of Engineering Education, 96(4), 359-379.
12. [12] Yıldız Aslan, Ö. (2024). Mühendislik tasarım temelli fen öğretiminin 5. sınıf öğrencilerinin problem çözme becerilerine, mühendislik ve mühendis algılarına etkisinin incelenmesi. Necmettin Erbakan Üniversitesi Eğitim Bilimleri Enstitüsü. (Yayımlanmamış Yüksek Lisans tezi)
13. [13] Başpınar, P., Çakıroğlu, J., & Karahan, E. (2024). The effect of engineering design-based science instruction on 6th-grade students’ astronomy understandings. Science Insights Education Frontiers, 24(1):3835-3857. DOI: 10.15354/sief.24.or628
14. [14] Dym, C. L., Agogino, A. M., Eris, O., Frey, D. D., & Leifer, L. J. (2005). Engineering design thinking, teaching, and learning. Journal of Engineering Education, 94(1), 103-120.
15. [15] National Research Council (2012). A Framework for K-12 Science Education: Practices, Crosscutting Concepts, and Core Ideas. The National Academies Press.
16. [16] Ercan, S. & Şahin, F. (2015). Fen eğitiminde mühendislik uygulamalarının kullanımı: tasarım temelli fen eğitiminin öğrencilerin akademik başarıları üzerine etkisi. Necatibey Eğitim Fakültesi Elektronik Fen ve Matematik Eğitimi Dergisi (EFMED), 9(1), 128-164.
17. [17] Özünlü, Ö., & Çepni, S. (2023). Türkiye’de Mühendislik Tasarım Temelli Öğretim İle İlgili Fen Eğitimi Alanında Yapılan Çalışmaların Tematik Analizi. Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, (56), 890-910.
18. [18] Kewalramani, S., Palaiologou, I., & Dardanou, M. (2020). Children’s engineering design thinking processes: the magic of the ROBOTS and the power of BLOCKS (electronics). Eurasia Journal of Mathematics, Science and Technology Education, 16(3), Article em1830. https://doi.org/10.29333/ejmste/113247
19. [19] MEB. (2017). İlköğretim kurumları fen bilimleri dersi öğretim programı. Ankara: Talim ve Terbiye Kurulu Başkanlığı.
20. [20] MEB. (2018). Fen bilimleri dersi öğretim programı (İlkokul ve Ortaokul 3, 4, 5, 6, 7 ve 8. Sınıflar). Ankara: Millî Eğitim Bakanlığı Temel Eğitim Genel Müdürlüğü. Taslak Program
21. [21] Özlüleci, M., & Kayacan, K. (2023). Fen, mühendislik ve girişimcilik becerileri değerlendirme ölçeği: geçerlilik ve güvenirlik çalışması. Milli eğitim dergisi, 493-512.
22. [22] Aydın, G., Saka, M., & Guzey, S. (2018). 4-5-6-7. ve 8. Sınıf Öğrencileri İçin Mühendislik Bilgi Düzeyi Ölçeği. İlköğretim Online, 17(2).
23. [23] Schnittka, C., & Bell, R. (2011). Engineering design and conceptual change in science: Addressing thermal energy and heat transfer in eighth grade. International Journal of Science Education, 33(13), 1861-1887.
24. [24] Büyüköztürk, Ş., Çakmak, E. K., Akgün, Ö. E., Karadeniz, Ş. & Demirel, F. (2012). Bilimsel araştırma yöntemleri. Ankara: Pegem Akademi.
25. [25] Fraenkel R.J. & Wallen E.N. (2006). How to Design and Evaluate Research in Education. McGraw-Hill, New York.
26. [26] Creswell, J. W. (2014). Nitel, nicel ve karma yöntem yaklaşımları araştırma deseni (Çev. Ed. S. B. Demir). Ankara: Eğiten Kitap.
27. [27] Yıldız, S. (2017). Sosyal bilimlerde örnekleme sorunu: nicel ve nitel paradigmalardan örnekleme kuramına bütüncül bir bakış. Kesit Akademi Dergisi, (11), 421-442.
28. [28] Patton, M. Q. (2018). Nitel araştırma ve değerlendirme yöntemleri. (M. Bürün ve S.B. Demir, Çev. Ed.). Ankara: Pegem Akademi.
29. [29] Moazzen, I., Miller, M., Wild, P., Jackson, L., & Hadwin, A. (2014). Engineering design survey. Canadian Engineering Education Association (CEEA14) Conference, Canmore. Doi: https://doi.org/10.24908/pceea.v0i0.5892.
30. [30] Wallas, G. (1926). The Art Of Thought. New York, NY: Harcourt Brace
31. [31] Ludwig, A. M. (1989). The Price of Greatness: Resolving the Creativity and Madness Controversy. New York: Guilford Press.
32. [32] Yeşilyurt, E. (2020). Yaratıcılık ve yaratıcı düşünme: Tüm boyut ve paydaşlarıyla kapsayıcı bir derleme çalışması. OPUS International Journal of Society Researches, 15(25), 3874-3915. DOI: 10.26466/opus.662721
33. [33] Tsenn, J., Atilola, O., McAdams, D. A., & Linsey, J. S. (2014). The effects of time and incubation on design concept generation. Design Studies, 35(5), 500-526.
34. [34] Yalçın, M. M. (2021). Öğretimde yaratıcılık ölçeği’nin geçerlik-güvenirlik çalışması ve okul öncesi öğretmenlerinin 48-72 aylar arasındaki çocukların yaratıcılıklarını destekleme durumlarının farklı değişkenler açısından incelenmesi (Master's thesis, Necmettin Erbakan University (Turkey)).
35. [35] Gilhooly, K. J., Georgiou, G., & Devery, U. (2013). Incubation and creativity: Do something different. Thinking & Reasoning, 19(2), 137-149. https://doi.org/10.1080/13546783.2012.749812
36. [36] Smith, S. M., & Blankenship, S. E. (1991). Incubation and the persistence of fixation in problem solving. The American journal of psychology, 61-87. https://doi.org/10.2307/1422851
37. [37] Sio, U. N., & Ormerod, T. C. (2009). Does incubation enhance problem solving? A meta-analytic review. Psychological Bulletin, 135(1), 94-120. https://doi.org/10.1037/a0014212 PMID: 19210055
38. [38] Li, Z., Zhang, Z., Zhang, Y., & Luo, J. (2022). 创造性思维的酝酿效应 [Yaratıcı düşüncenin kuluçka etkisi]. Psikolojik Bilimdeki Gelişmeler, 30(2), 291–307. https://doi.org/10.3724/SP.J.1042.2022.00291
39. [39] Ayverdi, L. (2018). Özel yetenekli öğrencilerin fen eğitiminde teknoloji, mühendislik ve matematiğin kullanımı: FeTeMM yaklaşımı. Balıkesir Üniversitesi Fen Bilimleri Enstitüsü İlköğretim Anabilim Dalı (Yayımlanmamış Doktora tezi)
40. [40] Khaerudin, K., Hendrilia, Y. ., Ayu Pawestri Kusuma Dewi, R. ., Erwin, E., & Amin, A.-. (2023). Innovatıve Approaches To Research Skıll Development Frameworks For Evaluatıng Problem-Solvıng Skılls In Desıgn Projects In Indonesıan Hıgher Educatıon. Indonesian Journal of Education (INJOE), 3(3), 582–598. Retrieved from https://injoe.org/index.php/INJOE/article/view/90
41. [41] Pusca, D., & Northwood, D. O. (2018). Design thinking and its application to problem solving. Global Journal of Engineering Education, 20(1), 48-53. http://www.wiete.com.au/journals/GJEE/Publish/vol20no1/06-Pusca-D.pdf
42. [42] Haik, Y., Shahin, T. M., & Sivaloganathan, S. (2011). Engineering design process. Stamford: Cengage Learning.
43. [43] Jin, S. H., Song, K. I., Shin, D. H., & Shin, S. (2015). A performance-based evaluation rubric for assessing and enhancing engineering design skills in introductory engineering design courses. International Journal of Engineering Education, 31(4), 1007-1020.
44. [44] Hynes, M. M. (2009). Teaching middle-school engineering: An investigation of teachers' subject matter and pedagogical content knowledge. (Unpublished Doctoral Dissertation, Tufts University)
45. [45] Miller, R. L., & McFarlane, D. A. (2009). Improving engineering student presentation skills through an integrated curriculum approach. Journal of Engineering Education, 98(1), 83-92.
46. [46] Coşkun, V. ve Özkaya, A. (2020). Öğretmen eğitiminde mühendislik odaklı disiplinlerarası iş birliğine dayalı STEM uygulaması ve ders izlencesi. Ihlara Eğitim Araştırmaları Dergisi, 5(2), 327–361. htps://doi.org/10.47479/ihead.823328