An Applied Study on the Visual Text-Supported Innovative Item Format in Measuring Emotional Literacy Skills

Abstract

The purpose of this study was to design and evaluate an innovative item format in measuring Emotional Literacy Skills. The usefulness of the studied format, referred to as the visually enhanced item design, was empirically evaluated using data collected for nine administrations each utilizing a different visual text. The included a set of 12 emotional state categories which were ordered from negative to positive. The utility of 12 category response scale as opposed to that of seven categories and the presentation order of the categories were studied to evaluate the feasibility of reordering or combining some adjacent categories to form a more optimal rating scale. The data were supportive of one minor reordering of two adjacent emotional response categories and a 7-point emotional ranking scale. First, graph gradients of the observed cumulative frequency distributions were studied to investigate the theoretical meaningfulness of the resulting 7-point rating scale. Next, the hypothesis that there would be additional and useful information in response data when respondents were asked to provide a secondary emotional response to the visual text supported items was evaluated using graphical analyses and the Wilcoxon signed rank test. Results support the hypothesis that asking respondents to distinguish their primary and secondary reactions when responding to the visual text supported items is most likely to provide meaningful data when the content of the visual text used in the item is emotionally complex enough. The results suggest that the innovative item design is a promising research area and should be studied further.

Keywords

• Innovative item type
• Emotional literacy skill
• Visual text
• Rating scale

Duygusal Okuryazarlık Becerilerinin Ölçülmesinde Görsel Metin Destekli Yenilikçi Madde Formatı Üzerine Uygulamalı Bir Çalışma

Abstract

Bu çalışma, görsel metin destekli yeni bir madde formatının tasarlanmasını ve uygulamalı olarak değerlendirilmesini kapsamaktadır. Bu yenilikçi madde formatının tasarımı, öğretmen adaylarının duygusal okuryazarlık becerilerinin ölçülmesinde görsel metin destekli fotoğrafların kullanıldığı maddelerle uygulamalı bir alan çalışması üzerinden gerçekleştirilmiştir. Araştırma desenini, aynı akademik dönem içinde gerçekleştirilen dokuz ayrı uygulama oluşturmaktadır. İlk olarak, öğretmen adaylarının görsel olarak zenginleştirilmiş maddelere verdikleri tepkileri işaretlemede kullanmak için tasarlanmış 12'li işaretleme skalasında olumsuzdan olumluya uzanan duygu durumlarının sırasının uygunluğu kontrol edilmiştir. Ardından, 12 seçenekten oluşan duygu skalasının içerdiği duygu durumlarının gruplandırıldığı, uygulamada kullanışlı olabilecek ve aynı zamanda bireyler arası farklılıkları ortaya çıkarabilecek nitelikte alternatif bir duygu skalası oluşturulmuştur. Oluşturulan bu 7'li duygu skalasının uygulamada daha kullanışlı olduğu gösterilmiştir. Ayrıca görsel metin destekli madde formatında yer alan farklı duygu durumları içeren görseller için öğretmen adaylarının birincil, ikincil ve genel tepkilerinin sorulduğu maddelere verilen cevaplar incelenmiştir. Grafiksel incelemelere ek olarak, öğretmen adaylarının madde takımında yer alan sorulara (birincil-ikincil-genel tepkiler) verdikleri cevapların benzerlik ya da farklılıklarını istatistiksel açıdan test etmek amacıyla parametrik olmayan yöntemlerden Wilcoxon İşaretli Sıralar Testi kullanılmıştır. Elde edilen bulgular, özellikle kullanılan görsellerin duygusal içeriğinin çok basit olmadığı durumlarda, öğretmen adaylarının birincil ve ikincil tepkilerinin iki ayrı madde olarak ele alınmasının, hem tekli genel bir madde formatının sağladığı bilgileri sağlayabilecek hem de toplanan verilerden elde edilen bilgileri zenginleştirebilecek nitelikte olduğunu göstermektedir. Çalışma sonuçları, görsel metinler kullanılarak hazırlanan bu yenilikçi madde formatlarının duygusal okuryazarlık becerileri gibi karmaşık ve çok boyutlu olduğu düşünülen yapıların ölçülmesinde kullanışlı olabilecekleri önermesini destelemektedir.

Keywords

• Yenilikçi madde formatı
• Duygusal okuryazarlık becerisi
• Görsel metin
• Duygu skalası

References

1. Bacanlı, H. (2006). Duyuşsal davranış eğitimi. Nobel Yayın Dağıtım.
2. Barnfather, N., & Amod, Z. (2012). Empathy and personal experiences of trainees in an Emotional Literacy and Persona Doll programme in South Africa. South African Journal of Psychology, 42(4), 598-607. https://doi.org/10.1177/0081246312042004
3. Brackett, M. A., & Katulak, N. A. (2013). Emotional intelligence in the classroom: Skill-based training for teachers and students. In Applying emotional intelligence (pp. 1-27). Psychology Press.
4. Buschor, C., Proyer, R. T., & Ruch, W. (2013). Self- and peer-rated character strengths: How do they relate to satisfaction with life and orientations to happiness? Journal of Positive Psychology, 8(2), 116- 127. https://doi.org/10.1080/17439760.2012.758305
5. Büyüköztürk, Ş. (2004). Veri analizi el kitabı (4. Baskı). Pegem Akademi.
6. Collier, J., & Collier, M. (1986). Visual anthropology: Photography as a research method. UNM Press.
7. Cristovao, A. M., Candeias, A. A., & Verdasca, J. L. (2020). Development of Socio-Emotional and Creative Skills in Primary Education: Teachers' Perceptions About the Gulbenkian XXI School Learning Communities Project. Frontiers in Education, 4. https://doi.org/ARTN 16010.3389/feduc.2019.00160
8. DeMars, C. (2010). Item response theory. Oxford University Press.

9. Deubler, G., Swaney‐Stueve, M., Jepsen, T., & Su‐Fern, B. P. (2020). The K‐State emoji scale. Journal of Sensory Studies, 35(1), e12545. https://doi.org/10.1111/joss.12573
10. Dolev, N., & Leshem, S. (2017). Developing emotional intelligence competence among teachers. Teacher development, 21(1), 21-39. https://doi.org/10.1080/13664530.2016.1207093
11. Elias, M. J. (2009). Social-emotional and character development and academics as a dual focus of educational policy. Educational Policy, 23(6), 831-846. https://doi.org/10.1177/0895904808330167
12. French, A., & Godwin, J. (1996, April 8-12). Using Multimedia Technology To Create Innovative Items. [Conference presentation]. American Educational Research Association, NY, United States.
13. Gillum, J. (2010). Using emotional literacy to facilitate organisational change in a primary school: A case study [Doctoral Thesis, University of Birmingham].
14. Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory (Vol. 2). Sage.
15. Hatipoğlu, Z. (1999). Sosyal Beceri Eğitiminin İlköğretim Öğrencilerinin Algılanan Sosyal Beceri Boyutlarına ve Sosyometrik Statülerine Etkisi. (Yayın No. 82229)[Doktora Tezi, Ortadoğu Teknik Üniversitesi. YÖK. https://tez.yok.gov.tr
16. Huff, K. L., & Sireci, S. G. (2001). Validity issues in computer‐based testing. Educational measurement: Issues and practice, 20(3), 16-25. https://doi.org/10.1111/j.1745-3992.2001.tb00066.x
17. Jennings, P. A., & Greenberg, M. T. (2009). The prosocial classroom: Teacher social and emotional competence in relation to student and classroom outcomes. Review of educational research, 79(1), 491-525. https://doi.org/10.3102/0034654308325693
18. Jiao, H., Liu, J., Haynie, K., Woo, A., & Gorham, J. (2012). Comparison between dichotomous and polytomous scoring of innovative items in a large-scale computerized adaptive test. Educational and Psychological measurement, 72(3), 493-509. https://doi.org/10.1177/0013164411422903
19. Jodoin, M. G. (2003). Measurement efficiency of innovative item formats in computer‐based testing. Journal of Educational Measurement, 40(1), 1-15. https://doi.org/10.1111/j.1745-3984.2003.tb01093.x
20. Kılıç, A. F., Uysal, İ., & Kalkan, B. (2021). An alternative to likert scale: Emoji. Journal of Measurement and Evaluation in Education and Psychology, 12(2), 182-191. 182-191. https://doi.org/10.21031/epod.864336
21. Kuzucu, Y. (2006). Duyguları fark etmeye ve ifade etmeye yönelik bir psiko-eğitim programının, üniversite öğrencilerinin duygusal farkındalık düzeylerine, duyguları ifade etme eğilimlerine, psikolojik ve öznel iyi oluşlarına etkisi. (Yayın no: 205150).[Doktora tezi, Ankara Üniversitesi]. YÖK. https://tez.yok.gov.tr
22. Leventhal, H. (1979). A perceptual-motor processing model of emotion. Perception of emotion in self and others, 1-46.
23. Liau, A. K., Liau, A. W., Teoh, G. B., & Liau, M. T. (2003). The case for emotional literacy: The influence of emotional intelligence on problem behaviours in Malaysian secondary school students. Journal of Moral Education, 32(1), 51-66. https://doi.org/10.1080/0305724022000073338
24. Marzano, R. J., Marzano, J. S., & Pickering, D. (2003). Classroom management that works: Research-based strategies for every teacher. Pearson Education.
25. Mauss, I. B., & Robinson, M. D. (2009). Measures of emotion: A review. Cognition and emotion, 23(2), 209-237. https://doi.org/10.1080/02699930802204677
26. Mayer, R. E. (2017). Using multimedia for e‐learning. Journal of Computer Assisted Learning, 33(5), 403-423. https://doi.org/https://doi.org/10.1111/jcal.12197
27. MEB. (2021). OECD sosyal ve duygusal beceriler araştırması Türkiye ön raporu.
28. Morris, E. (2002). Emotional literacy training for educators: Developing the whole person—linking hearts and minds in all learners. Gifted Education International, 16(2), 133-137. https://doi.org/10.1177/026142940201600207
29. Palancı, M., Kandemir, M., Dündar, H., & Özpolat, A. (2014). Duygusal okuryazarlık ölçeğinin geçerlilik ve güvenirlik çalışması. International Journal of Human Sciences, 11(1), 481-494.
30. Parshall, C. G., Davey, T., & Pashley, P. J. (2000). Innovative item types for computerized testing. W.J. van der Linden, & C.A.W. Glas (Eds.), Computerized adaptive testing: Theory and practice, 129-148.
31. Parshall, C. G., & Harmes, J. C. (2014). Improving the quality of innovative item types: Four tasks for design and development. Journal of Applied Testing Technology, 10(1), 1-20.
32. Parshall, C. G., Spray, J. A., Kalohn, J., & Davey, T. (2002). Practical considerations in computer-based testing. Springer -Verlag.
33. Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales: reliability, validity, discriminating power, and respondent preferences. Acta psychologica, 104(1), 1-15. https://doi.org/10.1016/s0001-6918(99)00050-5
34. Sharp, P., & Herrick, E. (2002). Promoting emotional literacy: anger management groups. In Clinical Counselling in Schools (pp. 136-153). Routledge.
35. Shimai, S., Otake, K., Park, N., Peterson, C., & Seligman, M. E. P. (2006). Convergence of character strengths in American and Japanese young adults. Journal of Happiness Studies, 7, 311-322.
36. Staats, S. (1987). Hope: Expected positive affect in an adult sample. The Journal of genetic psychology, 148(3), 357-364. https://doi.org/10.1080/00221325.1987.9914565
37. Steiner, C. (2014). Akıllı bir kalp ile duygusal okuryazarlık/emotional literacy.(M.Şahin& F.Erdem, Çev.). Nobel.
38. Swaney-Stueve, M., Jepsen, T., & Deubler, G. (2018). The emoji scale: A facial scale for the 21st century. Food Quality and Preference, 68, 183-190.
39. Taylor, G. J., Ryan, D., & Bagby, M. (1985). Toward the development of a new self-report alexithymia scale. Psychotherapy and Psychosomatics, 44(4), 191-199. https://doi.org/10.1159/000287912.
40. Tekindal, S. (2002). Duyuşsal özelliklerin ölçülmesi için araç oluşturma. Kocaeli Kitap Kulübü.
41. Vygotsky, L. S. (1986). Thought and language-Revised edition. Massachusetts Institute of Technology.
42. Wan, L., & Henly, G. A. (2012). Measurement properties of two innovative item formats in a computer-based test. Applied Measurement in Education, 25(1), 58-78. https://doi.org/10.1080/08957347.2012.635507
43. Watson, D., Clark, L. A., & Tellegen, A. (1988). Development and validation of brief measures of positive and negative affect: the PANAS scales. Journal of personality and social psychology, 54(6), 1063. https://doi.org/10.1037/0022-3514.54.6.1063
44. Wilson, T. P. (1971). Critique of ordinal variables. Social Forces, 49(3), 432-444. https://doi.org/10.1093/sf/49.3.432
45. Yin, H.-b., Lee, J. C. K., & Zhang, Z.-h. (2013). Exploring the relationship among teachers' emotional intelligence, emotional labor strategies and teaching satisfaction. Teaching and teacher education, 35, 137-145.
46. Zeidner, M., Matthews, G., & Roberts, R. D. (2012). What we know about emotional ıntelligence: How it affects learning, work, relationships, and our mental health. Gifted and Talented International, 27(1)161-166. https://doi.org/10.1080/15332276.2012.11673624
47. Zenisky, A. L., & Sireci, S. G. (2014). Technological innovations in large-scale assessment. In Advances in computerized scoring of complex item formats (pp. 337-362). Routledge.