Coğrafya Konularına Yönelik Argümantasyona Dayalı Öğretimin 5. Sınıf Öğrencilerinin Argümantasyon Düzeyine ve Tartışmaya İstekliliklerine Etkisi

Öz

Bu çalışmanın amacı argümantasyon temelli öğretimin öğrencilerin argümantasyon düzeylerine ve tartışmaya istekliliklerine etkisini belirlemektir. Bu çalışmada karma yöntem desenlerinden biri olan müdahale (deneysel) deseni kullanılmıştır. Trabzon ilindeki bir ortaokulun iki şubesindeki (n=28, n=26) toplam 54 öğrenci araştırmanın çalışma grubunu oluşturmaktadır. Argümantasyon temelli öğretim uygulamaları, bir şubede bireysel çalışmalar yoluyla (Deney Grubu 1 [DG-1]), diğer şubede ise grup çalışmaları yoluyla (Deney Grubu 2 [DG-2]) yürütülmüştür Araştırmada veri toplama aracı olarak öğrencilerin tartışmaya istekliliklerini belirlemek için “Tartışmacı Anketi”, argümantasyon düzeylerini ölçmek için argümantasyon etkinlikleri kullanılmıştır. Tartışmacı Anketi her iki gruba da ön test ve son test olarak uygulanmış, elde edilen veriler SPSS 21.0 paket programı kullanılarak analiz edilmiştir. Öğrencilerin argümantasyon düzeyleri ise “Argümantasyon Değerlendirme Rubriği” doğrultusunda incelenmiştir. Araştırma sonucunda, ön test sonuçlarında DG-1 ve DG-2 arasında tartışmaya isteklilik açısından anlamlı bir farklılık bulunmazken, son test sonuçlarında DG-2 lehine anlamlı bir fark tespit edilmiştir. Ayrıca öğrencilerin argüman oluşturma düzeylerinin etkinlikler arttıkça ilerlediği ve grupla çalışma yapılan sınıftaki öğrencilerin argüman düzeylerinin daha yüksek olduğu belirlenmiştir. Elde edilen bulgular doğrultusunda öğretim ortamlarında argümantasyon temelli öğretim yaklaşımının daha yaygın biçimde uygulanmasına yönelik öneriler sunulmuştur.

Anahtar Kelimeler

• Coğrafya
• sosyal bilgiler
• argümantasyon
• tartışma
• argümantasyona dayalı öğrenme

The Effect of Argumentation-Based Teaching on Geography Topics on Fifth Grade Students' Argumentation Level and Willingness to Participate in Discussions

Abstract

This study aims to determine the effect of argumentation-based teaching on students' argumentation levels and their willingness to discuss. The intervention (experimental) design, which is one of the mixed methods designs, was used in this study. A total of 54 students from two classes (n = 28 and n = 26) at a secondary school in Trabzon Province formed the research group. Argumentation-based teaching practices were carried out individually in one class (Experimental Group EG-1) and through group work in the other (EG-2). The "Argumentative Questionnaire" was used to determine students' willingness to argue, and argumentation activities were used to measure argumentation levels. The Debater Survey was administered to both groups as a pre-test and post-test, and the data obtained were analysed using the SPSS 21.0 software package. The students' argumentation levels were examined in accordance with the ‘Argumentation Assessment Rubric’. The research revealed that there was no significant difference in willingness to argue in the pre-test between EG-1, where individual studies were conducted, and EG-2, where group studies were conducted. However, there was a significant difference in favour of EG-2 in the post-test. It was also observed that students' argumentation levels improved with the increased number of activities, and that students in the group study class had higher argumentation levels. Based on the findings obtained, recommendations were presented for more widespread implementation of argumentation-based teaching approaches in instructional settings.

Keywords

• Geography
• social studies
• argumentation
• discussion
• argumentation-based learning

Kaynakça

1. Akkan, M. (2019). Sosyal bilgiler öğretmen adaylarının argümantasyon tekniği ile güncel olayları değerlendirmesi (Tez No. 573175). [Yüksek lisans tezi, Akdeniz Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
2. Akpınar, E., & Ergin, Ö. (2005). Yapılandırmacı kuramda fen öğretmeninin rolü. İlköğretim-Online, 4(2), 55-64.
3. Aktamış, H., Aydoğdu, B., Nuban, N., Delen, İ., Özdem-Yılmaz, Y., Türkoğuz, S., Demirbağ, M., & Hiğde, E. (2017). Örnek etkinliklerle fen eğitiminde argümantasyon. H. Aktamış (Ed.), Argümantasyon teknikleri içinde (s. 129-170). Anı Yayıncılık.
4. Anagün, Ş. S., & Atalay, N. (2016). Laboratuvarda deneylerle ilişkilendirilmiş öykülerin kullanımının sınıf öğretmeni adaylarının argümantasyon becerilerine etkisi. Eğitim ve Öğretim Araştırmaları Dergisi, 5, 158-168.
5. Aydoğdu-Demir, H. (2019). Sosyal bilgiler eğitiminde argümantasyon uygulamaları (Tez No. 581147). [Yüksek lisans tezi, Recep Tayyip Erdoğan Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
6. Bağ, H. (2020). Eğitsel bir oyun yardımıyla kavramsal anlama düzeyinin, bilimsel düşünme alışkanlıklarının ve argümantasyon becerilerinin gelişiminin incelenmesi (Tez No. 626596). [Doktora tezi, Trabzon Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
7. Balcı, C. (2015). Sekizinci sınıf öğrencilerine “hücre bölünmesi ve kalıtım” ünitesinin öğretilmesinde bilimsel argümantasyon temelli öğrenme sürecinin etkisi (Tez No. 392478). [Yüksek lisans tezi, Adnan Menderes Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
8. Baydaş, Ö., Yeşildağ-Hasançebi, F., & Kilis, S. (2018). Argümantasyon tabanlı bilim öğrenme yaklaşımında üniversite öğrencilerinin tartışma süreçlerinin incelenmesi. İnönü Üniversitesi Eğitim Fakültesi Dergisi, 19(3), 564-581. https://doi.org/10.17679/inuefd.341522

9. Bulut, B., Kaçar, T., & Arıkan, İ. (2019). Argumentation-based learning in social studies teaching. Journal of Education and Learning, 8(3), 89-94. https://doi.org/10.5539/jel.v8n3p89
10. Büyüköztürk, Ş., Kılıç-Çakmak, E., Akgün, Ö. E., Karadeniz, Ş., & Demirel, F. (2018). Eğitimde bilimsel araştırma yöntemleri (25. bs.). Pegem Akademi.
11. Can, A. (2018). SPSS ile bilimsel araştırma sürecinde nicel veri analizi (6.bs.). Pegem Akademi.
12. Cevger, F. (2018). Sosyal bilgiler dersinde argümantasyon tabanlı öğrenme yönteminin kullanılmasının öğrencilerin akademik başarılarına, bilimsel düşünme becerilerine ve bilimsel tartışma düzeylerine etkisi (Tez No. 531314) [Doktora tezi, Atatürk Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
13. Cevger, F., & Akkuş, Z. (2022). Sosyal bilgiler öğretiminde argümantasyon tabanlı öğrenme yönteminin öğrencilerin bilimsel tartışma düzeylerine etkisi. Erzincan Üniversitesi Eğitim Fakültesi Dergisi, 24(1), 107-119. https://doi.org/10.17556/erziefd.937938
14. Chinn, C. A., & Clark, D. B. (2013). Learning through collaborative argumentation. C. E. Hmelo-Silver, C. A. Chinn, C. K. K. Chan, A. M. O’Donnell (Eds.), The International Handbook of Collaborative Learning içinde (pp. 314-332). Routledge.
15. Creswell, J. W. (2012). Educational research: Planning, conducting, and evaluating quantitative and qualitative resarch (4th ed.). Pearson.
16. Creswell, J. W. (2017). Karma yöntem araştırmalarına giriş (M, Sözbilir, Ed. ve Çev.). Pegem Akademi.
17. Çınar, D. (2013). Argümantasyon temelli fen öğretiminin 5. sınıf öğrencilerinin öğrenme ürünlerine etkisi (Tez No. 347482). [Doktora tezi, Necmettin Erbakan Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
18. Çulha Özbaş, B., & Kılıç, A. (2023). Sosyal bilgiler öğretmenlerinin argümantasyon temelli sosyal bilgiler öğretimine ilişkin inanç ve deneyimleri. Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, (56), 529-554. https://doi.org/10.53444/deubefd.1217213
19. Demir, F. B (2017). Sosyal bilgiler öğretmen adaylarının argümantasyona dayalı eğitim sürecine göre argüman düzeylerinin belirlenmesi (Tez No. 460483). [Yüksek lisans tezi, Kastamonu Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
20. Demirci, N. (2008). Toulmın’in bilimsel tartışma modeli odaklı eğitimin kimya öğretmen adaylarının temel kimya konularını anlamaları ve tartışma seviyeleri üzerine etkisi (Tez No. 219699). [Yüksek lisans tezi, Gazi Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
21. Demircioğlu, T., & Uçar S. (2014). Akkuyu nükleer santrali konusunda üretilen yazılı argümanların incelenmesi. İlköğretim Online, 13(4), 1373-1386. https://doi.org/10.17051/io.2014.31390
22. Demirel, R. (2015). Kuvvet ve hareket konularında bireysel ve grupla argümantasyonun öğrencilerin akademik başarılarına etkisi. Eğitimde Kuram ve Uygulama, 11(3), 916-948.
23. Deveci, A. (2009). İlköğretim yedinci sınıf öğrencilerinin maddenin yapısı konusunda sosyobilimsel argümantasyon, bilgi seviyeleri ve bilişsel düşünme becerilerini geliştirmek (Tez No. 250848). [Yüksek lisans tezi, Marmara Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
24. Driver, R., Newton, P., & Osborne, J (2000). Establishing the norms of scientific argumentation in classrooms. Science Education, 84(3), 287-312. https://doi.org/10.1002/(SICI)1098-237X(200005)84:3<287::AID-SCE1>3.0.CO;2-A
25. Engelen, E., & Budke, A. (2023). Secondary school students’ development of arguments for complex geographical conflicts using the internet. Education Inquiry, 14(1), 85–104. https://doi.org/10.1080/20004508.2021.1966887
26. Erdoğan, S (2010). Dünya, Güneş ve Ay konusunun ilköğretim 5. Sınıf öğrencilerine bilimsel tartışma odaklı yöntem ile öğretilmesinin öğrencilerin başarılarına, tutumlarına ve tartışmaya katılma istekleri üzerine etkisinin incelenmesi (Tez No. 290026). [Yüksek lisans tezi, Uşak Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
27. Günel, M., Kıngır, S., & Geban, Ö. (2012). Argümantasyon tabanlı bilim öğrenme (ATBÖ) yaklaşımının kullanıldığı sınıflarda argümantasyon ve soru yapılarının incelenmesi. Eğitim ve Bilim, 37(164), 317-328.
28. Işıker, Y. (2022). Sosyal bilgiler dersinde argümantasyona dayalı etkinliklerin ahlaki muhakeme gelişimine etkisi (Tez No. 732654). [Doktora tezi, Gazi Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
29. İnam, A., & Güven, S. (2019). Argümantasyon yönteminin kullanıldığı deneysel çalışmaların analizi: Bir metasentez çalışması. The Journal of International Lingual, Social and Educational Sciences, 5(1), 155-173. https://doi.org/10.34137/jilses.584642
30. İnam, A. (2020). Argümantasyon temelli matematik öğretiminin altıncı sınıf öğrencilerinin akademik başarı, tartışma istekliliği, bilgi transferi ve matematiksel süreç becerilerine yönelik öz yeterliliğine etkisi. (Tez No. 657083). [Doktora tezi, Gazi Üniversitesi-Ankara]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
31. Karcılı, I. & Sevim, S. (2024). Argümantasyon temelli sosyobilimsel konu öğretiminin 7. sınıf öğrencilerinin, argümantasyon düzeylerine, karar verme becerilerine ve karar verme stillerine etkisi. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi [PAUEFD], 61, 389-413. https://doi.org/10.9779/pauefd.1435514
32. Karışan, D. (2015). Fen öğretmen adaylarının fen laboratuvar dersindeki yazılı argümantasyon becerilerinin incelenmesi: Toulmin argümantasyon analizi. Uluslararası Eğitim Bilimleri Dergisi, 2(5), 247-261.
33. Kayış, A. (2018). Güvenilirlik analizi. Ş. Kalaycı (Ed.), SPSS uygulamalı çok değişkenli istatistik teknikleri içinde (s. 404-409). Dinamik Akademi.
34. Karakaş, H. (2018). Çevre-enerji konularına yönelik gerçekleştirilen argümantasyon temelli öğretimin sınıf öğretmeni adaylarının eleştirel düşünmelerine, akademik başarılarına ve argüman oluşturma becerilerine etkisi (Tez No. 527504). [Doktora tezi, Gazi Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
35. Kaya, E., Çetin, P. S., & Erduran, S. (2014). İki argümantasyon testinin Türkçe’ye uyarlanması. İlköğretim Online, 13(3), 1014-1032.
36. Kaya, O. N. (2005). Tartışma teorisine dayalı öğretim yaklaşımının öğrencilerin maddenin tanecikli yapısı konusundaki başarılarına ve bilimin doğası hakkındaki kavramalarına etkisi (Tez No. 160536). [Doktora tezi, Gazi Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
37. Kaya, O. N., & Kılıç, Z. (2008a). Etkin bir fen öğretimi için tartışmacı söylev. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 9(3), 89-100.
38. Kaya, O.N., & Kılıç, Z. (2008b). Development of elementary school students’ argumentativeness in science courses. Kırşehir Eğitim Fakültesi Dergisi, 9(1), 87-95.
39. Kuhn, D., & Halpern, M. (2022). How might argumentation Research inform discourse-based social studies education?. The Social Studies, 113(5), 264-270, https://doi.org/10.1080/00377996.2022.2053832
40. Kılıç, M. (2021). Kimya öğretmen adaylarının organik yapı tayini dersindeki yazılı argümanlarının argüman kalitesi ve öğrenme zorluğu açısından incelenmesi (Tez No. 687737). [Yüksek lisans tezi, Dokuz Eylül Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
41. Krajcik, J., & McNeill, K. L. (2015). Designing and assessing scientific explanation tasks. R. Gunstone (Eds.), Encyclopedia of science education içinde (pp 285-290). Springer.
42. Larrain A, Fortes G., & Rojas, M. T. (2021) Deliberative teaching as an emergent field: The challenge of articulating diverse research agendas to promote educational experiences for citizenship. Frontiers in Psychology, 12 (660825), 1-14. doi: 10.3389/fpsyg.2021.660825
43. Lee, C. D., White, G., & Dong, D. (Eds.). (2021). Educating for civic reasoning and discourse. National Academy of Education. https://naeducation.org/educating-for-civic-reasoning-and-discourse/
44. Liman, S., & Batı, K. (2025). Argümantasyona dayalı sosyobilimsel durum temelli fen öğretiminin öğrencilerin argümantasyon kalitesi ve eleştirel düşünme becerilerine etkisi. Temel Eğitim Araştırmaları Dergisi, 5(2), 243-26
45. Liu, S. (2014). Argue-to-learn: Facilitate classroom discussions in the social sciences. College.
46. Macagno, F. (2016). Argument relevance and structure. Assessing and developing students’ uses of evidence. International Journal of Educational Research, 91, 180–194. http://dx.doi.org/10.1016/j.ijer.2016.07.002
47. McNeill, K. L., & Krajcik, J. S. (2012). Supporting grade 5-8 students in constructing explanations in science: The claim, evidence, and reasoning framework for talk and writing. Pearson.
48. Meral, E. (2018). Argümantasyon tabanlı bilim öğrenme yaklaşımının öğrencilerin akademik başarılarına eleştirel düşünme eğilimlerine ve argüman oluşturma becerilerine etkisi (Tez No. 524362). [Doktora tezi, Atatürk Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
49. Meral, E., Başçı-Namlı, Z., & Kayaalp, F. (2021). The effect of argumentation-based teaching on devoloping argument skills of prospective teachers, and on their willingness to debate. International Journal of Curriculum and Instruction, 13(2), 1039-1062.
50. Meral, E., Şahin, İ. F., & Akbaş, Y. (2021). The effects of argumentation-based teaching approach on students’ critical thinking disposition and argumentation skills: “Population in our country unit”. International Journal of Psychology and Educational Studies, 8(1), 51-74.
51. Nussbaum, E. M. (2002). Scaffolding argumentation in the social studies classroom. The Social Studies, 93(2), 79-83.
52. Oğuz, S., & Demir, F. B (2016). Sosyal bilgiler öğretim programının ve ders kitabının Toulmin argüman modeline göre değerlendirilmesi. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 16 (USBES Özel Sayı II), 1572-1602.
53. Okumuş, S. (2012). “Maddenin halleri ve ısı” ünitesinin bilimsel tartışma (argümantasyon) modeli ile öğretiminin öğrenci başarısına ve anlama düzeylerine etkisi (Tez No. 321927). [Yüksek lisans tezi, Karadeniz Teknik Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
54. Osborne, A. (2005). Debate and student development in the history classroom. New Directions for Teaching and Learning, 103, 39–50.
55. Öğreten, B. (2014). Argümantasyona (bilimsel tartışma) dayalı öğretim sürecinin akademik başarı ve tartışma seviyelerine etkisi (Tez No. 360682). [Yüksek lisans tezi, Amasya Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
56. Özdemir, O. (2015). Sınıf öğretmen adaylarının kalıtsal benzerlik ve farklılıklarla ilgili argümanları. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 38, 143-155.
57. Öztürk, A., & Doğanay, A. (2019). Development of argumentation skills through socioscientific ıssues in scince course: A collaborative action research. Turkish Online Journal of Qualitative Inquiry (TOJQI). 10(1), 52-89.
58. Rapanta, C. (2019). Argumentation as critically oriented pedagogical dialogue. Informal Logic, 39(1), 1–31. https://doi.org/10.22329/il.v39i1.5116
59. Rapanta, C., Vrikki, M., & Evagorou, M. (2020). Preparing culturally literate citizens through dialogue and argumentation: Rethinking citizenship education. Curriculum Journal, 32(3), 475-494. https://doi.org/10.1002/curj.95
60. Sadler, T. D., & Fowler, S.R. (2006). A threshold model of content knowledge transfer for socioscientific argumentation. Science Education, 90(6), 986-1004. https://doi.org/10.1002/sce.20165
61. Sampson, V., & Clark, D. (2008). The impact of collaboration on the outcomes of scientific argumentation. Science Education, 93(3), 448-484. https://doi.org/10.1002/sce.20306
62. Schuitema, J., van Boxtel, C., Veugelers, W., & ten Dam, G. (2011). The quality of student dialogue in citizenship education. European Journal of Psychology of Education. https://doi.org/10.1007/S10212-010-0038-1
63. Serttaş, F. (2019). Sosyal bilgiler eğitiminde bilim teknoloji ve toplum ünitesinin öğretiminde argümantasyon tabanlı öğrenme sürecinin etkisi (Tez No. 580730). [Yüksek Lisans Tezi, Akdeniz Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
64. Steiss, J., Wang, J., Kim, Y.-S. G., & Booth Olson, C. (2024). U.S. Secondary students’ source-based argument writing in history. Written Communication, 41(4), 693-725. https://doi.org/10.1177/07410883241263549
65. Swan, K., Barton, K., Buckles, S., Burke, F., Charkins, J., Grant, S. G., Hardwick, S., Lee, J., Levine, P., & Levinson, M. (2013). The college, career, and civic life (C3) framework for social studies state standards: Guidance for enhancing the rigor of K-12 civics, economics, geography, and history. National Council for the Social Studies.
66. Şahin, D. (2014). Dördüncü ve beşinci sınıf öğrencilerinin argüman yapıları (Tez No. 381586). [Doktora tezi, Gazi Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
67. Tatar, N., & Demir, Z. (2022). The effects of argumentation-supported 5E learning method on the level of learners’use of argumentation components and on their opinions about argumentation. Cumhuriyet International Journal of Education, 11(1), 193-205.
68. Torun, F. (2015). Sosyal bilgiler dersinde argümantasyon temelli öğretim ve karar verme becerisi arasındaki ilişki düzeyi (Tez No. 421458). [Doktora tezi, Gazi Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
69. Torun, F., & Şahin, S. (2016). Argümantasyon temelli sosyal bilgiler dersinde öğrencilerin argüman düzeylerinin belirlenmesi. Eğitim ve Bilim, 41(186), 233-251.
70. Toulmin, S. E. (2003). The uses of argument. Cambridge University Press.
71. Uluay, G. (2012). İlköğretim 7. sınıf fen ve teknoloji dersi kuvvet ve hareket konusunun öğretiminde bilimsel tartışma (argümantasyon) odaklı öğretim yönteminin öğrenci başarısına etkisinin incelenmesi (Tez No. 350316). [Yüksek lisans tezi, Kastamonu Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
72. Uluçınar-Sağır, Ş. (2008). Fen bilgisi dersinde bilimsel tartışma odaklı öğretimin etkililiğinin incelenmesi (Tez No. 218463). [Doktora tezi, Gazi Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
73. Yalçın-Çelik, A. (2010). Bilimsel tartışma (argümantasyon) esaslı öğretim yaklaşımının lise öğrencilerinin kavramsal anlamaları, kimya dersine karşı tutumları, tartışma isteklilikleri ve kalitesi üzerine etkisinin incelenmesi (Tez No. 278204). [Doktora tezi, Gazi Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
74. Yalçın-Çelik, A., & Kılıç, Z. (2017). Lise öğrencilerinin bireysel ve grup argümanlarının kalitesinin karşılaştırması. Kastamonu Eğitim Dergisi, 25(5), 1865-1880.
75. Yazıcıoğlu, A. (2017). Sosyal bilgiler dersinin Toulmin Tartışma Modeli’ne dayalı öğretimi (Tez No. 481781). [Doktora tezi, Pamukkale Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
76. Yıldırır, H. E. (2013). Sınıf ortamında argümantasyona dayalı öğrenme ortamının değerlendirilmesi: Deneyimli kimya öğretmen adaylarına ilişkin durum çalışması (Tez No. 324653). [Doktora tezi, Balıkesir Üniversitesi]. Yükseköğretim Kurulu Ulusal Tez Merkezi.
77. Zorwick, L. W., & Wade, J. M. (2016). Enhancing civic education through the use of assigned advocacy, argumentation, and debate across the curriculum. Communication Education, 65(4):434-444. https://doi.org/10.1080/03634523.2016.1203005