Uç ve Kabullenici Tepki Stilinin TIMSS 2015’teki Etkisi

Abstract

Problem Durumu: Globalleşen dünyada politik gelişmelerle birlikte bilimsel olmayan yapıların belirlenmesine odaklanılmıştır. Bu durumun nedenleri olarak bilişsel yapılar üzerinde etkisinin olması, başarının kestirilmesinde önemli bir rolünün olması, bilişsel yapıların çeşitli bağlamlar ve kültürlerde anlaşılmasını sağlaması sıralanabilir. Özellikle kültürler arası karşılaştırma çalışmalarında, akademik öz-yeterlilik, duyuşsal zeka, tutum gibi çeşitli bilişsel olmayan yapıların ve bu yapıların başarı ile ilgili çıktılarla ilişkisi üzerindeki ilgi giderek artmaktadır. (Richardson, Abraham & Bond, 2012). Bilişsel olmayan yapıların ölçülmesinin avantajlarının yanı sıra, değer, tutum gibi yapıların ölçülmesinde bilişsel yapıların ölçülmesinde söz konusu olmayan bazı sınırlılıklar söz konusudur. Bunlardan biri bu yapıların tepki stillerinin etkisine maruz kalmasıdır (McGrath, Mitchell, Kim, & Hough, 2010). Bilişsel olmayan yapıların ölçülmesinde sıklıkla kullanılan yaklaşım, cevaplayıcılara katılım düzeylerini belirleyecekleri birtakım ifadeler listesi vermektedir. Fakat bu yaklaşım, uç tepki stili (UTS), kabullenici tepki stili (KTS), orta nokta tepki (OTS) stili gibi bazı tepki stillerinin etkisine açıktır (Van Herk, Poortinga, & Verhallen, 2004). Kültürler arası karşılaştırma çalışmalarında sıklıkla karşılaşılan tepki stilleri UTS ve KTS’dir. UTS grup ortalamaların farklılaşmasına, iç tutarlılık anlamında güvenirliğin düşmesine neden olurken KTS tip II hatanın oluşmasına yol açmaktadır. Alan yazında, bu geçerlilik tehdidinin belirlenmesine yönelik kabul edilmiş tek bir yöntem yoktur. Bu yöntemlerden bazılarında çeşitli betimsel istatistikler hesaplanmakta veya bilişsel olmayan yapının ölçülmesinde kullanılan ölçekteki maddelerle ilişkisiz ilave maddeler eklenmektedir. Fakat bu yöntemler, tepki stilinin miktarını belirlemede yetersiz kalmaktadır. Bu yöntemlerin yanı sıra gizil sınıf analiziyle de tepki stillerinin etkisi belirlenebilmektedir. Fakat, bu yöntemin en büyük sınırlılığı tepki stilini süreksiz bir değişken olarak ele almasıdır. Madde tepki kuramına dayalı bazı yöntemlerde ise bu sınırlılık ortadan kaldırılmıştır. Örneğin madde tepki ağacı modellerinde çeşitli tepki stillerinin etkisi rahatlıkla modellenebilmektedir. Fakat, analiz öncesinde oluşturulması gereken ağaç farklı bir şekilde oluşturuldu ise analiz sonuçları yanlış çıkabilmektedir. Böyle bir belirsizlik tepki stilinin etkisinin dahil edildiği kısmi puan modelinde söz konusu değildir. Bu model sayesinde tepki stilinin etkisinin miktarı belirlenebilmektedir. Tepki stilini sürekli bir değişken olarak ele alan bu modelde, bireye ve tepki stiline ilişkin parametreler eş zamanlı olarak kestirilebilmekte ve böylelikle tepki stili ve bireyin tutumu arasındaki ilişkiler belirlenebilmektedir.

Araştırmanın Amacı: Bu çalışmanın amacı, tepki stillerinin etkisinin TIMSS 2015’de uygulan matematiğe yönelik verilen değerle ilgili veri setinde etkisinin olup olmadığını ve bu etkinin öğrencilerin değer puanları ve madde parametrelerinde nasıl bir değişime yol açtığını belirlemektir.

Araştırmanın Yöntemi: Betimsel modelde bu olan bu araştırmanın örneklemini TIMSS 2015 uygulamasına katılan ülkelerden Japonya (n1= 4745), Kore (n2=5309), Tayvan (n3=5711), Türkiye (n4=6079), Umman (n5=9105) ve Ürdün (n6=7861)’deki sekizinci sınıf öğrencileri oluşturmaktadır. Ülkelerin seçiminde matematiğe yönelik çok fazla değer veren öğrencilerin yüzdesinin en fazla ve en düşük olması durumu dikkate alınmıştır. Bir diğer ifade ile matematiğe fazla değer veren öğrencilerin fazla olduğu ve buna karşın başarıların düşük olduğu öğrencilerin yer aldığı ülkeler ile matematiğe değer veren öğrencilerin çok az olduğu ve buna karşın başarıların yüksekk olduğu öğrencilerin yer aldığı ülkeler seçilmiştir. Veri toplama aracı olarak öğrenci anketinin kullanıldığı bu çalışmada öğrencilerin matematiğe değer verme alt ölçeğine ait maddelere verilen cevaplar analiz sürecine dâhil edilmiştir. Bu doğrultuda, UTS’nin ve KTS’nin etkisini belirlemek amacıyla tepki stilinin etkisinin dâhil edildiği kısmi puan modeli ve tepki stilinin etkisinin dahil edilmedi kısmi puan modeli analiz edilmiştir. Tepki stillerinin birey parametreleri üzerindeki etkisini belirlemek amacıyla kovaryans matrisi ve birey parametrelerine ilişkin varyans değerleri hesaplanmıştır. Bunun yanı sıra, tepki stillerinin madde parametreleri üzerindeki etkisini belirlemek amacıyla madde eşik parametrelerinde düzeltme yapılmıştır. Madde ve birey parametrelerinin kestiriminde R programında “PCMRS” paketi (Schauberger, 2018) ve madde tepki eğrilerinin oluşturulmasında “dplyr” (Wickham, François, Henry, & Müller, 2019), “mirt” (Chalmers, 2012) and “mirtCAT” (Chalmers, 2016) paketleri kullanılmıştır.

Keywords

• Kabullenici tepki stili
• kültürler arası çalışma
• uç tepki stili
• TIMSS

Effect of Extreme and Acquiescence Response Style in TIMSS 2015

Abstract

Purpose: Cross-cultural comparisons based on ordinal Likert-type rating scales have been threatened by response style which is systematic tendencies to respond to items regardless of the item content. So, this study aimed to investigate the effect of extreme response style and acquisance response style on TIMSS 2015 data.

Method: The sample of this descriptive study included eighth grade students of the countries Japan, Korea, Taipei, Turkey, Oman and Jordan. Students’ responses to scale regarding value on mathematics were used. To examine the impact of response styles, partial credit model and partial credit model with response style were analyzed. Also, the estimates obtained from these models were compared.

Findings: It was found that response styles existed in TIMSS 2015 data. Furthermore, the number of the students selecting the extreme categories were found to be lower than that of the students selecting relatively middle response categories. Additionally, item thresholds of the extreme categories were found to be distorted leading to biased determination of item response curves.

Implications for Research and Practice: The presence of the response style in the large-scale assessment which guides policy makers in their regulations in the educational systems and gives information to teachers in their practices lead researchers to examine and control the effect of them.

Keywords

• acquiescence response style
• cross-cultural study
• extreme response style
• TIMSS

References

1. Austin, E. J., Deary, I. J.& Egan, V. (2006). Individual differences in response scale use: Mixed Rasch modelling of responses to NEO-FFI items. Personality and Individual Differences, 40, 1235-1245. doi:10.1016/j.paid.2005.10.018
2. Billiet, J. B., & McClendon, M. J. (2000). Modeling acquiescence in measurement models for two balanced sets of items. Structural Equation Modeling: A Multidisciplinary Journal, 7, 608-628. doi:10.1207/S15328007SEM0704_5
3. Bolt, D. M., & Johnson, T. R. (2009). Addressing score bias and differential item functioning due to individual differences in response style. Applied Psychological Measurement, 33,335-352.
4. Bockenholt, U.& Meiser, T. (2017). Response style analysis with threshold and multi-process IRT models: A review and tutorial. British Journal of Mathematical and Statistical Psychology, 70, 159-181. doi:10.1111/bmsp.12086
5. Chalmers, R. P. (2012). mirt: A multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), 1-29. doi:10.18637/jss.v048.i06
6. Chalmers, R. P. (2016). Generating adaptive and non-adaptive test interfaces for multidimensional item response theory Applications. Journal of Statistical Software, 71(5), 1-39. doi:10.18637/jss.v071.i05
7. Cheung, M. W.-L., & Rensvold, R. B. (2000). Assessing extreme and acquiescence response sets in cross-cultural research using structural equation modeling. Journal of Cross-Cultural Psychology, 31(2), 187-212.
8. Chun, K.-T., Campbell, J. B., & Yoo, J. H. (1974). Extreme response style in cross-cultural research: A Reminder. Journal of Cross-Cultural Psychology, 5(4), 465–480. doi: 10.1177/002202217400500407

9. Eid, M., Langeheine, R., & Diener, E. (2003). Comparing typological structures across cultures by multigroup latent class analysis. A primer. Journal of Cross-Cultural Psychology, 34(2), 195- 210.
10. Fischer, R. (2004). Standardization to account for cross-cultural response bias: A classification of score adjustment procedures and review of research in JCCP. Journal of CrossCultural Psychology, 35(3), 263-282.
11. Fischer, R., Fontaine, J. R. J., van de Vijver, F. J. R., & van Hemert, D. A. (2009). An examination of acquiescent response styles in cross-cultural research. In G. Aikaterini & K. Mylonas (Eds.), Quod Erat Demonstrandum: From Herodotus’ ethnographic journeys to cross-cultural research. Proceedings from the 18th International Congress of the International Association for Cross-Cultural Psychology. https://scholarworks.gvsu.edu/iaccp_papers/52/
12. Greenleaf, E.A. (1992). Measuring extreme response style. Public Opinion Quarterly, 56, 328-351.
13. Hambleton, R. K. & Swaminathan, H. (1985). Item response theory: Principles and application. Boston: Kluwer Academic Publishers Group.
14. Harzing, A.W (2006). Response styles in cross-national survey research: a 26-country study. International Journal of Crosscultural Management, 6(2), 1-37.
15. Hofstede, G. H. (2001). Cultures consequences: Comparing values, behaviors, institutions, and organizations across nations (2nd ed.). Thousand Oaks, California: Sage Publications, Inc.
16. Hough, L., & Dilchert, S. (2010). Personality: Its measurement and validity for employee selection. In J. L. Farr & N. T. Tippins (Eds.), Handbook of employee selection (pp. 299- 319). New York, NY, US: Routledge/Taylor & Francis Group.
17. Hutton, A.C. (2017). Assessing acquiescence in surveys using positively and negatively worded questions (Unpublished doctoral dissertation), Virginia Commonwealth University, Richmond, Virginia
18. Hui, C. H., & Triandis, H.C. (1985). The instability of response sets. Public Opinion Quarterly, 49(2), 253–60.
19. Ilgun Dibek, M. (2019). Examination of the extreme response style of students using IRTree: The case of TIMSS 2015. International Journal of Assessment Tools in Education, 6(2), 300-313.
20. Johnson, R. B., & Christensen, L. B. (2008). Educational research: Quantitative, qualitative, and mixed approaches (3rd ed.). Thousand Oaks, CA: Sage.
21. Krosnick, J. A. (1999). Survey research. Annual Review Psychology, 50, 537-567.
22. LaRoche, S., Joncas, M., & Foy, P. (2016). Sample Design in TIMSS 2015. In M. O. Martin, I. V. S. Mullis, & M. Hooper (Eds.), Methods and Procedures in TIMSS 2015 (pp. 3.1-3.37). Retrieved from Boston College, TIMSS & PIRLS International Study Center website: http://timss.bc.edu/publications/timss/2015-methods/chapter-3.html
23. Likert, R. (1932). A technique for the measurement of attitudes. Archives of Personality, 140, 5- 53.
24. Lu, Y., & Bolt, D. M. (2015). Examining the attitude-achievement paradox in PISA using a multilevel multidimensional IRT model for extreme response style. Large-scale Assessments in Education, 3(2), 1-18. doi: 10.1186/s40536-015- 0012-0
25. Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47 (2), 149–174.
26. McGrath, R., Mitchell, M., Kim, B.H., & Hough, L. (2010). Evidence for response bias as a source of error variance in applied assessment. Psychological Bulletin, 136(3), 450-470.
27. Mooi, E., Sarstedt, M., & Mooi-Reci, I. (2018). Market research: The process, data, and methods using Stata. Singapore: Springer
28. Moors, G. (2004). Facts and artefacts in the comparison of attitudes among ethnic minorities. A multi-group latent class structure model with adjustment for response style behavior. European Sociological Review, 20(4), 303-320.
29. Moors, G. (2010). Ranking the ratings: A latent-class regression model to control for overall agreement in opinion research. International Journal of Public Opinion Research, 22, 93-119. doi:10.1093/ijpor/edp036
30. Mullis, I. V. S., Martin, M. O., Foy, P., & Hooper, M. (2016). TIMSS 2015 International Results in Mathematics.Retrieved from Boston College, TIMSS & PIRLS International Study Center website: http://timssandpirls.bc.edu/timss2015/international-results/
31. Nunnally, J. C. (1978). Psychometric theory (2nd ed.). New York: McGraw-Hill
32. Podsakoff, P. M., MacKenzie, S. B., Lee, J.-Y., & Podsakoff, N. P. (2003). Common Method Biases in Behavioral Research: A Critical Review of the Literature and Recommended Remedies. Journal of Applied Psychology, 88(5), 879-903.
33. Pearse, N. (2011). Deciding on the scale granularity of response categories of Likert type scales: The case of a 21-Point scale. The Electronic Journal of Business Research Methods, 9(2), 159-171.
34. Plieninger, H. & Heck, D.W. (2018) A new model for acquiescence at the interface of psychometrics and cognitive psychology. Multivariate Behavioral Research, 53(5), 633-654, doi: 10.1080/00273171.2018.1469966
35. Prediger, D. J. (1999). Basic structure of work-relevant abilities. Journal of Counseling Psychology, 46, 173-184.
36. Reynolds, N., & Smith, A. (2010). Assessing the impact of response styles on cross-cultural service quality evaluation: A simplified approach to eliminating the problem. Journal of Service Research, 13, 230-243.
37. Richardson, M.D., Abraham, C., & Bond, R. (2012). Psychological correlates of university students' academic performance: a systematic review and meta-analysis. Psychological bulletin, 138 2, 353-87
38. Schauberger, G. (2018). PCMRS: Model response styles in partial credit models. R package version 0.1-1. https://CRAN.R-project.org/package=PCMRS
39. Si, S. X., & Cullen, J. B. (1998). Response categories and potential cultural bias: Effects of an explicit middle point in cross-cultural surveys. International Journal of Organizational Analysis, 6, 218-230
40. Tutz, G., G. Schauberger, and M. Berger (2018). Response styles in the partial credit model. Applied Psychological Measurement, 42, 407–427.
41. Van de Vijver, F. J. R., & Leung, K. (1997). Methods and data-analysis for cross-cultural research (Vol. 1). Thousand Oaks, California: Sage Publications.
42. Van de Vijver, F. J. R., & Leung, K. (2000). Methodological issues in psychological research on culture. Journal of Cross-Cultural Psychology, 31(1), 33-51.
43. Van Herk, H., Poortinga, Y. H., & Verhallen, T. M. M. (2004). Response styles in rating scales: Evidence of method bias in data from 6 EU countries. Journal of Cross-Cultural Psychology, 35(3), 346-360.
44. Wickham, H. Francois, R., Henry,L. and Muller,K. (2019). dplyr: A Grammar of Data Manipulation. R package version 0.8.1. https://CRAN.R-project.org/package=dplyr
45. Wigfield, A., & Eccles, J. S. (2000). Expectancy-value theory of achievement motivation. Contemporary Educational Psychology, 25, 68–81.
46. Weijters, B., Geuens, M., & Schillewaert, N. (2010). The individual consistency of acquiescence and extreme response style in self-report questionnaires. Applied Psychological Measurement, 34(2), 105-121. doi: 10.1177/0146621609338593