Examination of Teacher Opinions on Classification by Sato Test Theory

Yıl 2018, Cilt: 8 Sayı: 1, 171 - 194, 13.02.2018

Sait Çüm , Elif Kübra Demir Murat Doğan Şahin

Öz

The aim of this study is to collect and examine
teachers’ opinions about classifications based on the Sato Test Theory (STT)
and provide feedback on the functioning of the items and the learning situations
of the students. For this purpose, a 12-item questionnaire was applied to 70
teachers who were working at different levels in Turkish National Education
Ministry schools, online and face-to-face. 
By following a descriptive method, frequency values and percentages of
the responses given by the teachers to each item of the questionnaire were
reported. The results show that the vast majority of participating teachers
(81.4%) are willing to use the STT. However, it was determined that the
participants were satisfied with the feedback provided by STT about the
functioning of the test items and the learning situations of the students. In
addition, the vast majority of teachers believe that the feedbacks of STT
encourages them to build an item pool and facilitates their work at the point
of improving teaching. However, it was observed that a significant proportion
of the teachers participated in this study had an ambiguity about whether the
feedbacks related to the items and the students were sufficient. It is also a
remarkable finding that 41.4% of the participants expressed their hesitancy
about choosing classical methods for substance analysis.

Anahtar Kelimeler

Sato test theory, student-problem chart analysis, item and test analysis

Sato Test Kuramı ile Yapılan Sınıflamalara Yönelik Öğretmen Görüşlerinin İncelenmesi

Öz

Bu araştırmanın amacı, Sato Test Kuramı (STK)'na
dayalı olarak gerçekleştirilen ve maddelerin işlerliği ile öğrencilerin öğrenme
durumları hakkında dönüt sağlayan sınıflamalara yönelik öğretmen görüşlerinin
toplanması ve incelenmesidir. Bu amaçla MEB’de farklı düzeylerde görev yapan 70
öğretmene çevrimiçi ve yüzyüze olmak üzere 12 maddelik bir anket uygulanmıştır.
Betimsel bir yöntem izlenerek öğretmenlerin her bir anket maddesine verdiği
yanıtların frekans değerleri ve yüzdelikleri raporlanmıştır. Elde edilen
sonuçlar, katılımcı öğretmenlerin büyük çoğunluğunun (%81.4) STK’yı kullanmaya
istekli olduklarını göstermektedir. Bununla birlikte katılımcıların, STK ile
test maddelerinin işlerliği ve öğrencilerin öğrenme durumları hakkında verilen
dönütleri beğendikleri ve işe yarar buldukları belirlenmiştir. Ayrıca
öğretmenlerin büyük çoğunluğu dönütleri madde havuzu oluşturma konusunda teşvik
edici bulmakta ve öğretimi iyileştirme noktasında işlerini kolaylaştıracağını
düşünmektedirler. Buna karşın, bu araştırmaya katılan öğretmenlerin önemli bir
kısmının maddeler ve öğrencilerle ilgili dönütlerin yeterli olup olmadığına
ilişkin kararsızlık yaşadıkları görülmüştür. Ayrıca katılımcıların %41.4’ü
madde analizleri için klasik yöntemleri tercih edip etmeme noktasında
kararsızlık yaşadığını ifade etmiştir.

Anahtar Kelimeler

Sato test kuramı, öğrenci-madde çizelgesi analizi, madde ve test analizi

Kaynakça

• Acar, T. (2006). Sato uyarı indeksleri ile madde ve başarı analizleri. [Çevrimiçi: http://www.academia.edu/11390990/Sato_Uyarı_İndeksleri_ile_Madde_ve_Başarı_Analizleri, Erişim tarihi: 4 Mayıs 2017.]
• Bayrak, F. ve Yurdugül, H. (2016). Web-tabanlı öz-değerlendirme sisteminde öğrenci uyarı indeksini temel alan öğrenme analitiği modülünün tasarlanması. Eğitim Teknolojisi Kuram ve Uygulama, 6(2), 85-99.
• Birnbaum, A. (1957). Efficient design and use of tests of a mental ability for various decision-making problems. Series Report No. 58-16. Project No. 7755-23, USAF School of Aviation Medicine, Randolph Air Force Base, Texas: January.
• Birnbaum, A. (1958). Further considerations of efficiency in tests of a mental ability. Technical Report No. 17. Project No. 7755-23, USAF School of Aviation Medicine, Randolph Air Force Base, Texas.
• Crocker, L. ve Algina J. (1986). Introduction to classical and modern test theory. Orlando: Harcourt Brace Jovanovich Inc.
• Çelen, Ü. ve Aybek, E.C. (2013). Öğrenci başarısının öğretmen yapımı bir testle klasik test kuramı ve madde tepki kuramı yöntemleriyle elde edilen puanlara göre karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 4(2), 64-75.
• Çüm, S., Gelbal, S. ve Tsai C.P. (2016). Sato test kuramı yöntemleriyle farklı örneklemlerden elde edilen madde parametrelerinin tutarlılığının incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 7(1), 170-181.
• de Ayala, R. J. (2009). The theory and practice of item response theory. New York: The Guilford Press.
• DeMars, C. (2016). Madde tepki kuramı. H. Kelecioğlu (Çev. Ed.). Ankara: Nobel.
• Doğan, N. ve Tezbaşaran, A.A. (2003). Klasik test kuramı ve örtük özellikler kuramının örneklemler bağlamında karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 25, 58-67.
• Embretson, S. E. ve Reise, S. P. (2000). Item response theory for psychologists. NJ: Lawrence Erlbaum Associates, Inc.
• Fan, X. (1998). Item response theory and classical test theory: An empirical comparison of their item/response statistics. Educational and Psychological Measurement, 58(3), 357-381.
• Hambleton, R. K. ve Swaminathan, H. (1985). Item response theory: Principles and applications, New York: Springer.
• Hambleton, R. K., Swaminathan, H., ve Rogers, H. (1991). Fundamentals of item response theory. CA: Sage.
• Hulin, C. L., Lissak, R. I., ve Drasgow, F. (1982). Recovery of two and three-parameter logistic item characteristic curves: A Monte Carlo study. Applied Psychological Measurement, 6(3), 249-260.
• Kiany, G.R. ve Jalali, S. (2009). Theoretical and practical comparison of classical test theory and item response theory. International Journal of Active Learning, 12(1), 167-197.
• Lin, Y.H., ve Yih, J.M. (2015). Application of IIRS in mathematics instruction to promote pupils decimal concept. The International Conference on Language, Education and Psychology, Taiwan.
• Lord, F. ve Novick R.M. (1968). Statistical theories of mental test scores. New York: Addison Wesley Publishing Company.
• MacDonald, P. ve Paunonen, S. (2002). A Monte Carlo comparison of item and person statistics based on item response theory versus classical test theory. Educational and Psychological Measurement, 62(6), 921-943.
• McArthur, D.L. (1983). Analysis of test score patterns: The student-problem (s-p) technique (Report no: 218). Los Angles: Center for the Study of Evaluation, University of California.
• Pham, D.H., Sheu, T.W., ve Nagai, M. (2015). PCSP 1.0 software for partial credit S-P chart analysis. International Journal of Hybrid Information Technology, 8(6), 309-322.
• Ree, M. J., ve Jensen, H. E. (1983). Effects of sample size on linear equating of item characteristic curve parameters: Latent trait test theory and computerized adaptive testing. New York: Academic Press.
• Sato, T. (1984). The state of art on S-P analysis activities in Japan. Tokyo: NEC Corp.
• Sheu, T.W., Pham, D.H., Nguyen, P.T., ve Nguyen, P.H. (2013). Amatlab toolbox for student-problem chart and grey student-problem chart and its application. International Journal of Kansei, 4(2), 75-86.
• Sheu, T.W., Pham, D.H., Tsai, C.P., Nguyen, P.T., Nguyen, P. H. ve Nagai, M. (2014a). Rasch GSP toolbox for assessing academic achievement. Journal of Software, 9(7), 1903-1913.
• Sheu, T.W., Nguyen, P.T., Pham, D.H., Tsai, C.P. ve Nagai, M. (2014b). A MATLAB toolbox for misconceptions analysis based on S-P chart grey relational analysis and ROC. Transactions on Machine Learning and Artifical Intelligence, 2, 72-85.
• Suen, H.K. (1990). Principles of test theories. Hillsdale, NJ: Lawrence Erlbaum Associates.
• Switzer, D. M. ve Connell, M. L. (1990). Practical applications of student response analysis. Educational Measurement: Issue and Practice, 9(2), 15-17.
• Thompson, B. (1994). Guidelines for authors. Educational and Psychological Measurements Yearbook, 54, 837–847.
• Traub, R. ve Rowley, G.(1991). Understanding reliability. Educational Measurement: Issues and Practice, 8(1), 8-14.
• Tsai, C.P., Sheu, T.W., Tzeng, J.W.,Chen, H.J., Chiang, H.J. ve Nagai, M. (2014). Diagnose learning misconceptions based on rough sets. International Journal of Applied Mathematics and Statistics, 52(2), 63-75.
• van der Linden, W. J. ve Hambleton, R. K. (1997). Handbook of modern item response theory. New York: Springer.
• Wang, C.H. ve Chen, C.P. (2013). Employing online S-P diagnostic table for qualitative comments on test results. The Electronic Journal of e-Learning, 11(3), 263-271.
• Yu, M. N. (2011). Educational testing and assessment. Taiwan: Psychology Publisher.