Examination of Teacher Opinions on Classification by Sato Test Theory

Abstract

The aim of this study is to collect and examine teachers’ opinions about classifications based on the Sato Test Theory (STT) and provide feedback on the functioning of the items and the learning situations of the students. For this purpose, a 12-item questionnaire was applied to 70 teachers who were working at different levels in Turkish National Education Ministry schools, online and face-to-face.  By following a descriptive method, frequency values and percentages of the responses given by the teachers to each item of the questionnaire were reported. The results show that the vast majority of participating teachers (81.4%) are willing to use the STT. However, it was determined that the participants were satisfied with the feedback provided by STT about the functioning of the test items and the learning situations of the students. In addition, the vast majority of teachers believe that the feedbacks of STT encourages them to build an item pool and facilitates their work at the point of improving teaching. However, it was observed that a significant proportion of the teachers participated in this study had an ambiguity about whether the feedbacks related to the items and the students were sufficient. It is also a remarkable finding that 41.4% of the participants expressed their hesitancy about choosing classical methods for substance analysis.

Keywords

• Sato test theory,student-problem chart analysis,item and test analysis

Sato Test Kuramı ile Yapılan Sınıflamalara Yönelik Öğretmen Görüşlerinin İncelenmesi

Abstract

Bu araştırmanın amacı, Sato Test Kuramı (STK)'na dayalı olarak gerçekleştirilen ve maddelerin işlerliği ile öğrencilerin öğrenme durumları hakkında dönüt sağlayan sınıflamalara yönelik öğretmen görüşlerinin toplanması ve incelenmesidir. Bu amaçla MEB’de farklı düzeylerde görev yapan 70 öğretmene çevrimiçi ve yüzyüze olmak üzere 12 maddelik bir anket uygulanmıştır. Betimsel bir yöntem izlenerek öğretmenlerin her bir anket maddesine verdiği yanıtların frekans değerleri ve yüzdelikleri raporlanmıştır. Elde edilen sonuçlar, katılımcı öğretmenlerin büyük çoğunluğunun (%81.4) STK’yı kullanmaya istekli olduklarını göstermektedir. Bununla birlikte katılımcıların, STK ile test maddelerinin işlerliği ve öğrencilerin öğrenme durumları hakkında verilen dönütleri beğendikleri ve işe yarar buldukları belirlenmiştir. Ayrıca öğretmenlerin büyük çoğunluğu dönütleri madde havuzu oluşturma konusunda teşvik edici bulmakta ve öğretimi iyileştirme noktasında işlerini kolaylaştıracağını düşünmektedirler. Buna karşın, bu araştırmaya katılan öğretmenlerin önemli bir kısmının maddeler ve öğrencilerle ilgili dönütlerin yeterli olup olmadığına ilişkin kararsızlık yaşadıkları görülmüştür. Ayrıca katılımcıların %41.4’ü madde analizleri için klasik yöntemleri tercih edip etmeme noktasında kararsızlık yaşadığını ifade etmiştir.

Keywords

• Sato test kuramı,öğrenci-madde çizelgesi analizi,madde ve test analizi

References

1. Acar, T. (2006). Sato uyarı indeksleri ile madde ve başarı analizleri. [Çevrimiçi: http://www.academia.edu/11390990/Sato_Uyarı_İndeksleri_ile_Madde_ve_Başarı_Analizleri, Erişim tarihi: 4 Mayıs 2017.]
2. Bayrak, F. ve Yurdugül, H. (2016). Web-tabanlı öz-değerlendirme sisteminde öğrenci uyarı indeksini temel alan öğrenme analitiği modülünün tasarlanması. Eğitim Teknolojisi Kuram ve Uygulama, 6(2), 85-99.
3. Birnbaum, A. (1957). Efficient design and use of tests of a mental ability for various decision-making problems. Series Report No. 58-16. Project No. 7755-23, USAF School of Aviation Medicine, Randolph Air Force Base, Texas: January.
4. Birnbaum, A. (1958). Further considerations of efficiency in tests of a mental ability. Technical Report No. 17. Project No. 7755-23, USAF School of Aviation Medicine, Randolph Air Force Base, Texas.
5. Crocker, L. ve Algina J. (1986). Introduction to classical and modern test theory. Orlando: Harcourt Brace Jovanovich Inc.
6. Çelen, Ü. ve Aybek, E.C. (2013). Öğrenci başarısının öğretmen yapımı bir testle klasik test kuramı ve madde tepki kuramı yöntemleriyle elde edilen puanlara göre karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 4(2), 64-75.
7. Çüm, S., Gelbal, S. ve Tsai C.P. (2016). Sato test kuramı yöntemleriyle farklı örneklemlerden elde edilen madde parametrelerinin tutarlılığının incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 7(1), 170-181.
8. de Ayala, R. J. (2009). The theory and practice of item response theory. New York: The Guilford Press.

9. DeMars, C. (2016). Madde tepki kuramı. H. Kelecioğlu (Çev. Ed.). Ankara: Nobel.
10. Doğan, N. ve Tezbaşaran, A.A. (2003). Klasik test kuramı ve örtük özellikler kuramının örneklemler bağlamında karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 25, 58-67.
11. Embretson, S. E. ve Reise, S. P. (2000). Item response theory for psychologists. NJ: Lawrence Erlbaum Associates, Inc.
12. Fan, X. (1998). Item response theory and classical test theory: An empirical comparison of their item/response statistics. Educational and Psychological Measurement, 58(3), 357-381.
13. Hambleton, R. K. ve Swaminathan, H. (1985). Item response theory: Principles and applications, New York: Springer.
14. Hambleton, R. K., Swaminathan, H., ve Rogers, H. (1991). Fundamentals of item response theory. CA: Sage.
15. Hulin, C. L., Lissak, R. I., ve Drasgow, F. (1982). Recovery of two and three-parameter logistic item characteristic curves: A Monte Carlo study. Applied Psychological Measurement, 6(3), 249-260.
16. Kiany, G.R. ve Jalali, S. (2009). Theoretical and practical comparison of classical test theory and item response theory. International Journal of Active Learning, 12(1), 167-197.
17. Lin, Y.H., ve Yih, J.M. (2015). Application of IIRS in mathematics instruction to promote pupils decimal concept. The International Conference on Language, Education and Psychology, Taiwan.
18. Lord, F. ve Novick R.M. (1968). Statistical theories of mental test scores. New York: Addison Wesley Publishing Company.
19. MacDonald, P. ve Paunonen, S. (2002). A Monte Carlo comparison of item and person statistics based on item response theory versus classical test theory. Educational and Psychological Measurement, 62(6), 921-943.
20. McArthur, D.L. (1983). Analysis of test score patterns: The student-problem (s-p) technique (Report no: 218). Los Angles: Center for the Study of Evaluation, University of California.
21. Pham, D.H., Sheu, T.W., ve Nagai, M. (2015). PCSP 1.0 software for partial credit S-P chart analysis. International Journal of Hybrid Information Technology, 8(6), 309-322.
22. Ree, M. J., ve Jensen, H. E. (1983). Effects of sample size on linear equating of item characteristic curve parameters: Latent trait test theory and computerized adaptive testing. New York: Academic Press.
23. Sato, T. (1984). The state of art on S-P analysis activities in Japan. Tokyo: NEC Corp.
24. Sheu, T.W., Pham, D.H., Nguyen, P.T., ve Nguyen, P.H. (2013). Amatlab toolbox for student-problem chart and grey student-problem chart and its application. International Journal of Kansei, 4(2), 75-86.
25. Sheu, T.W., Pham, D.H., Tsai, C.P., Nguyen, P.T., Nguyen, P. H. ve Nagai, M. (2014a). Rasch GSP toolbox for assessing academic achievement. Journal of Software, 9(7), 1903-1913.
26. Sheu, T.W., Nguyen, P.T., Pham, D.H., Tsai, C.P. ve Nagai, M. (2014b). A MATLAB toolbox for misconceptions analysis based on S-P chart grey relational analysis and ROC. Transactions on Machine Learning and Artifical Intelligence, 2, 72-85.
27. Suen, H.K. (1990). Principles of test theories. Hillsdale, NJ: Lawrence Erlbaum Associates.
28. Switzer, D. M. ve Connell, M. L. (1990). Practical applications of student response analysis. Educational Measurement: Issue and Practice, 9(2), 15-17.
29. Thompson, B. (1994). Guidelines for authors. Educational and Psychological Measurements Yearbook, 54, 837–847.
30. Traub, R. ve Rowley, G.(1991). Understanding reliability. Educational Measurement: Issues and Practice, 8(1), 8-14.
31. Tsai, C.P., Sheu, T.W., Tzeng, J.W.,Chen, H.J., Chiang, H.J. ve Nagai, M. (2014). Diagnose learning misconceptions based on rough sets. International Journal of Applied Mathematics and Statistics, 52(2), 63-75.
32. van der Linden, W. J. ve Hambleton, R. K. (1997). Handbook of modern item response theory. New York: Springer.
33. Wang, C.H. ve Chen, C.P. (2013). Employing online S-P diagnostic table for qualitative comments on test results. The Electronic Journal of e-Learning, 11(3), 263-271.
34. Yu, M. N. (2011). Educational testing and assessment. Taiwan: Psychology Publisher.