Investigation of Threshold Values of Four Tier Chemistry Diagnostic Test and Multiple Choice Chemistry Test

Year 2025, Issue: 63, 521 - 548, 27.03.2025

Suat Türkoguz , Canan Başturk Acar

https://doi.org/10.53444/deubefd.1537328

Abstract

Students encounter a test item, they respond to this test item in two ways: the first is quick guessing behavior, the other is solution behavior. It is important to calculate a threshold value to understand whether the participant shows rapid guessing behavior or solution behavior.In this study, it was aimed to determine the internal validity rates of the Four-Tier Chemistry Diagnostic Test (FTCDT) and the Multiple-Choice Chemistry Test (MCCT), response time and threshold values according to the Cox-Hazard model. In this study, descriptive scanning method was used. In this context, data collection tools, the 9-item Four-Tier Chemistry Diagnostic Test (FTCDT) and the Multiple Choice Chemistry Test (MCCT) on the subject of gas pressure were used. FTCDT was developed by Ünsal (2019). MCCT, on the other hand, was adapted from the phased test and the first phase of FTCDT was used as test items. In this study, scientific information reliability KR-20 was calculated for FTCDT and was found to be 0.460. At the same time, the misconception reliability KR-20 for FTCDT was calculated and found to be 0.570. In this study, the KR-20 reliability coefficient of MCCT was found to be 0.52.
The study was carried out with the participation of science teacher candidates studying at Dokuz Eylül University, Buca Faculty of Education in the 2020-2021 academic year. FTCDT was applied to 75 people and MCCT was applied to 74 people. As a result of the study, the threshold values of the internal validity rates of FTCDT are 16 seconds at the level of scientific knowledge, 17 seconds at the false positive level, and 28 seconds at the misconception level. It turned out to be. The threshold value at the false negative level could not be determined. According to MCCT, the response effort of the participants was 18. sec. It was calculated as. Since participants in this study were not given the right to return the test items, each participant had to answer the test items once and did not have the right to change the answer. It is thought that giving the right of return to test items may affect internal validity rates. In future studies, the scope of the study can be expanded depending on the test application method.

Keywords

misconception, diagnostic test, threshold value, Cox-Hazard regression

Ethical Statement

Ethical permission for the research was obtained from the Social and Human Sciences Research and Publication Ethics Board of Dokuz Eylül University. Ethical and implementation permission documents were uploaded to the journal system (Decision No. E. 96816 dated 16.10.2020).

Supporting Institution

This article was produced from the master's thesis of the Science Education program at the Department of Mathematics and Science Education at the Dokuz Eylül University Institute of Educational Sciences.

Dört Aşamalı Kimya Tanı Testi ve Çoktan Seçmeli Kimya Testinin Eşik Değerlerinin İncelenmesi

Abstract

Öğrenciler bir test maddesiyle karşılaştıklarında test maddesine iki şekilde cevap verebilir: hızlı tahmin davranışı, çözüm davranışı. Öğrencilerin hızlı tahmin davranışı veya çözüm davranışı gösterip göstermediğini anlamak için eşik değer hesaplamak önemlidir. Bu çalışmada dört aşamalı kimya tanı testi ve çoktan seçmeli kimya testinin eşik değerlerinin incelenmesi amaçlanmıştır. Bu çalışmada, ilişkisel tarama modelinden yararlanılmıştır. Veri toplama aracı olarak, gaz basıncı konusuyla ilgili 9 maddelik Dört Aşamalı Diagnostik Kimya Testi (DADKT) ve Çoktan Seçmeli Kimya Testi (ÇSKT) kullanılmıştır. DADKT, Ünsal (2019) tarafından geliştirilmiş; ÇSKT ise aşamalı testten uyarlanıp DADKT’nin I. aşamasının test maddelerinden yararlanılmıştır. Bu çalışmada DADKT için bilimsel bilgi güvenirliği KR-20 hesaplanmış 0,460 bulunmuştur. Ayrıca DADKT için kavram yanılgısı güvenirliği KR-20 hesaplanmış ve 0,570 bulunmuştur. Bu çalışmada ÇSKT’nin KR-20 güvenirlik katsayısı 0,520 bulunmuştur. Çalışma 2020-2021 öğretim yılında Dokuz Eylül Üniversitesi, Buca Eğitim Fakültesi’nde öğrenim gören fen bilgisi öğretmen adaylarının katılımıyla gerçekleştirilmiştir. DADKT, 75 kişiye ve ÇSKT 74 kişiye uygulanmıştır. Çalışma sonucunda DADKT’nin iç geçerlik oranlarının eşik değerleri bilimsel bilgi düzeyinde 16. saniye, yanlış pozitif düzeyinde 17. saniye, kavram yanılgısı düzeyinde 28. saniye olduğu ortaya çıkmıştır. Yanlış negatif düzeyinde eşik değeri belirlenememiştir. ÇSTK’ye göre öğrencilerin test yanıtlama performansının eşik değeri 18. saniye olarak hesaplanmıştır. Bu çalışmada katılımcılara test maddelerine geri dönüş hakkı verilmediğinden dolayı her katılımcı test maddelerini bir kez cevaplamış ve cevap değiştirme hakkı olmamıştır. Test maddelerine geri dönüş hakkı verilmesinin iç geçerlik oranlarını etkileyebileceği düşünülmektedir. İleriki çalışmalarda test uygulama biçimine göre çalışmanın kapsamı genişletilebilir.

Keywords

kavram yanılgısı, diagnostik test, eşik değer, Cox-Hazard regresyon

Ethical Statement

Dokuz Eylül Üniversitesinin Sosyal ve Beşeri Bilimler Araştırma ve Yayın Etik Kurulundan araştırmanın etik izni alınmıştır. Etik ve uygulama izin belgeleri dergi sistemine yüklenmiştir (16.10.2020 tarihli E. 96816 sayılı karar).

Supporting Institution

Bu makale Dokuz Eylül Üniversitesi Eğitim Bilimleri Enstitüsü Matematik ve Fen Bilimleri Eğitimi Anabilim Dalı Fen Bilgisi Öğretmenliği programının yüksek lisans tezinden üretilmiştir.

References

• Arbuckle, J. (2008). AMOS 17.0 user’s guide. SPSS Inc.
• Arı, A., & Önder, H. (2013). Farklı veri yapılarında kullanılabilecek regresyon yöntemleri. Anadolu J. Agr. Sci.,28(3):168-174. doi: 10.7161/anajas.2013.28.3.168.
• Ata, N., Karasoy, D.S., & Sözer, M.T. (2007) Orantılı Tehlike Varsayımının İncelenmesinde Kullanılan Yöntemler ve Bir Uygulama. Eskişehir Osmangazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 20(1), 57-80.
• Bal, C. (1997). Tedavi sonrası izlem verilerinin cox regresyon aracılığı ile incelenmesi. (Yayımlanmış Yüksek Lisans Tezi). Eskişehir: Osmangazi Üniversitesi Sağlık Bilimleri Enstitüsü, Türkiye.
• Baştürk, C., & Türkoguz, S. (2024). Dört aşamalı kimya tanı testinin yanıtlama süresi ve yanıtlama performanslarının incelenmesi. International Journal of New Trends in Arts, Sports &Science Education(IJTASE), 13(1), 31-43.
• Bilge, F. (2006). Examining the burnout of academics in relation to job satisfaction and other factors. Social Behavior and Personality: an international journal, 34(9), 1151-1160.
• Bolsinova, M., de Boeck, P., & Tijmstra, J. (2017). Modelling conditional dependence between response time and accuracy. Psychometrika, 82(4), 1126-1148. Doi: 10.1007/s11336-016-9537-6.
• Bugbee A.C. (1996) The equivalence of paper-and-pencil and computer-based testing. Journal of Research on Computing in Education, 28(3), 282- 299, DOI: 10.1080/08886504.1996.10782166.
• Bulut, O. (2015). An empirical analysis of gender-based DIF due to test booklet effect. European Journal of Research on Education, 3(1), 7-16.
• Caleon, I.S., & Subramaniam, R. (2010). Do students know what they know and what they don’t know? Using a four-tier diagnostic test to assess the nature of students’ alternative conceptions. Research in Science Education, 40(3), 313-337.
• Cox, D.R., & Oakes, D. (2018). Analysis of survival data. Chapman and Hall/CRC.
• Çokluk, Ö., Şekercioğlu, G., & Büyüköztürk, Ş. (2012). Sosyal bilimler için çok değişkenli istatistik SPSS ve LISREL uygulamaları (2. baskı). Ankara: Pegem.
• Edgecomb, T.L., Van Schaack, A., & Marggraff, J. (2014). U.S. Patent No. 8,638,319. Washington, DC: U.S. Patent and Trademark Office.
• Guo, H., Rios, J.A., Haberman, S., Liu, O.L., Wang, J., & Paek, I. (2016). A new procedure for detection of students’ rapid guessing responses using response time. Applied Measurement in Education, 29(3), 173-183. doi:10.1080/08957347.2016.1171766.
• Gürçay, D., & Gülbaş, E. (2015). Development of three-tier heat, temperature and internal energy diagnostic test. Research in Science and Technological Education, 33(2), 197-217. doi:10.1080/02635143.2015.1018154.
• Gürel, D.K., Eryılmaz, A., & McDermott, L.C. (2015). A review and comparison of diagnostic ınstruments to ıdentify students’ misconceptions in science. Eurasia Journal of Mathematics, Science & Technology Education, 11(5), 989-1008.
• Haladyna, T.M., & Downing, S.M. (2004). Construct‐irrelevant variance in high‐stakes testing. Educational Measurement: Issues and Practice, 23 (1), 17-27.
• Halkitis, P.N., Jones, J.P., & Pradhan, J. (1996, April). Estimating testing time: The effects of item characteristics on response latency. Paper presented at the annual meeting of the American Educational Research Association, New York.
• Hanley, C. (1962). The “difficulty" of a personality inventory item. Educational and Psychological Measurement, 22(3), 577-584. Hestenes, D., & Halloun, I. (1995). Interpreting the force concept inventory: A response to March 1995 critique by Huffman and Heller. The Physics Teacher, 33, 502-506. doi: 10.1119/1.2344278.
• İnceoğlu, F. (2013). Sağkalım analiz yöntemleri ve karaciğer nakli verileri ile bir uygulama (Yüksek lisans tezi). İnönü Üniversitesi Sağlık Bilimleri Enstitüsü, Türkiye. Kaltakçı, D. (2012). Fizik öğretmen adaylarının geometrik optik ile ilgili kavram yanılgılarını ölçmek amacıyla dört basamaklı bir testin geliştirilmesi ve uygulanması (Yayınlanmamış Doktora Tezi). Orta Doğu Teknik Üniversitesi, Ankara.
• Karasar, N. (2005). Bilimsel araştırma yöntemi (17. Baskı). Ankara: Nobel yayın dağıtım, 81-83.
• Klein, J.P., & Moeschberger, M.L. (2003). Survival analysis techniques for censored and truncated data. New York: Springer-Verlang.
• Kline, R.B. (2011). Principles and practice of structural equation modeling (3rd. Edition). New York, NY: Guilford.
• Kong, X.J., Wise, S.L., & Bhola, D.S. (2007). Setting the Response Time Threshold Parameter to Differentiate Solution Behavior From Rapid-Guessing Behavior. Educational and Psychological Measurement, 67(4), 606– 619. Doi:10.1177/0013164406294779.
• Lasry, N., Watkins, J., Mazur, E., & Ibrahim, A. (2013). Response times to conceptual questions. Am. J. Phys., 81, 703.
• Lawshe, C.H. (1975). A quantitative approach to content validity. Personnel psychology, 28(4), 563-575. doi: 10.1111/j.1744-6570.1975.tb01393.x.
• Lee, E.T., & Wang, J. (2003). Statistical methods for survival data analysis. New Jersey: John Wiley&Sons.
• Lee, Y.H., & Chen, H. (2011). A review of recent response-time analyses in educational testing. Psychological Test and Assessment Modeling, 53(3), 359-379.
• Lunz, M.E., Bergstrom, B.A., & Gershon, R.C. (1994). Computer adaptive testing. International Journal of Educational Research, 21(6), 623-634.
• Ma, L., Wise, S.L., Thum, Y.M., & Kingsbury, G. (2011, April). Detecting response time threshold under the computer adaptive testing environment. In annual meeting of the National Council on Measurement in Education, New Orleans.
• Mehlhorn, S., Parrott, S.D., Mehlhorn, J., Burcham, T. Roberts, J.,& Smartt, P. (Şubat, 2011). Using Digital Learning Objects to Improve Student Problem Solving Skills. Southern Agricultural Economics Association Annual Meeting. Corpus Christi, Texas,United States.
• Meyer, J.P. (2010). A Mixture rasch model with ıtem response time components. Applied Psychological Measurement, 34(7), 521–538.
• Moharkan, Z.A., Choudhury, T., Gupta, S.C., & Raj, G. (2017). Internet of Things and its applications in E-learning. In Proceedings of the 3rd International Conference on Computational Intelligence and Communication Technology (CICT). IEEE, Ghaziabad India, 1–5. Doi: 10.1109/CIACT. 2017.7977333.
• Önsal, G. (2016). Özel görelilik kuramıyla ilgili kavram yanılgılarını belirlemeye yönelik dört aşamalı bir testin geliştirilmesi ve uygulanması (Yüksek lisans tezi). Gazi Üniversitesi, Türkiye.
• Özdamar, K. (2003). SPSS ile biyoistatistik. 5. Baskı. Eskişehir: Kaan Kitapevi Yayınları.
• Peşman, H., & Eryılmaz, A. (2010) Development of a three-tier test to assess misconceptions about simple electric circuits. The Journal of Educational Research, 103(3), 208-222. Doi: 10.1080/00220670903383002.
• Pokropek, A., & Khorramdel, L. (2024). Analyzing Test-Taking Behaviors Through Process Data Using the IRT Explanatory Model for Guessing. PsyArXiv. Doi: 10.31234/osf.io/3krct.
• Ranger, J., & Kuhn, J.T. (2011). A flexible latent trait model for response times in tests. Psychometrika, 77, 31–47.
• Rayner, K. (1998). Eye movements in reading and information processing: 20 years of research. Psychological bulletin, 124(3), 372.
• Scheike T., Klein J.P., Van Houwelingen H.C., & Ibrahim J.G. (2014). Handbook of Survival Analysis. Chapman & Hall: Boca Raton.
• Schnipke, D. L., & Scrams, D. J. (2002). Exploring issues of examinee behavior: Insights gained from response-time analyses (Eds. C.N. Mills, M.T. Potenza, J.J. Fremer, & W.C. Ward). Computer-based testing: Building the foundation for future assessments (pp. 237–266). Lawrence Erlbaum Associates, Inc.: Mahwah, NJ.
• Schnipke, D.L., & Scrams, D.J. (1997). Modeling item response times with a two-state mixture model: A new method of measuring speededness. Journal of Educational Measurement, 34, 213–232.
• Semmes, R., Davison, M.L., & Close, C. (2011). Modeling individual differences in numerical reasoning speed as a random effect of response time limits. Applied Psychological Measurement, 35(6), 433-446.
• Setzer, J.C., Wise, S.L., Van Den Heuvel , J.R., & Ling, G. (2013) An ınvestigation of examinee test-taking effort on a large-scale assessment. Applied Measurement in Education, 26(1), 34-49. Doi:10.1080/08957347.2013.739453.
• Streiner, D.L. (2003). Diagnosing tests: Using and misusing diagnostic and screening tests. Journal of personality assessment, 81(3), 209-219.
• Swanson, D.B., Case, S.M., Ripkey, D.R., Clauser, B.E., & Holtman, M.C. (2001). Relationships among item characteristics, examine characteristics, and response times on USMLE Step 1. Academic Medicine, 76(10), S114-S116.
• Swerdzewski, P.J., Harmes, J.C., & Finney, S.J. (2011). Two approaches for identifying low-motivated students in a low-stakes assessment context. Applied Measurement in Education, 24(2), 162-188.
• Taber K.S. (2017). The Use of Cronbach's Alpha when developing and reporting research instruments in science education. Res. Sci. Educ., 1–24. Doi:10.1007/s11165- 016- 9602-2.
• Terzi, Y. (2003). Sansürlü veriler için sağkalım analizi ve gerçek verilere uygulaması (Yayınlanmamıs doktora tezi). Ondokuz Mayıs Üniversitesi Fen Bilimleri Enstitüsü, Türkiye.
• Therneau T.M., & Grambsch P.M. (2000). Modeling Survival Data: Extending the Cox Model. New York: Springer-Verlag.
• Türkoguz, S. (2020). Comparison of threshold values of three-tier diagnostic and multiple-choice tests based on response time. Anatolian Journal of Education, 5(2), 19-36.
• Ünsal, A.A. (2019). Fen bilgisi öğretmen adaylarının gaz basıncı konusundaki kavram yanılgılarının belirlenmesi (Yayımlanmamış yüksek lisans tezi). Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü, Türkiye.
• van der Linden, W. J., & Glas, C. A. (2010). Elements of Adaptive Testing. New York, NY: Springer.
• Weeks, J.P., Von Davier, M., & Yamamoto, K. (2016). Using response time data to inform the coding of omitted respo nses. Psychological Test and Assessment Modeling, 58(4), 671-701. Wise, S., & Kong, X. (2005). Response time effort: A new measure of examinee motivation in computer-based tests. Applied Measurement in Education, 18(2), 163-183.
• Wise, S.L. Bhola, D., & Yang, S. (2006). Taking the time to improve the validity of low-stakes tests: The effortmonitoring CBT. Educational Measurement: Issues and Practice, 25(2), 21–30.
• Wise, S.L., & DeMars, C.E. (2006). An application of item response time: The effort-moderated IRT model. Journal of Educational Measurement, 43, 19–38.
• Wise, S.L., & Ma, L. (2012, April). Setting response time thresholds for a CAT item pool: The normative threshold method. In annual meeting of the National Council on Measurement in Education, Vancouver, Canada (pp. 163-183).
• Wise, S.L., Kingsbury, G.G., Thomason, J., & Kong, X. (2004, April). An investigation of motivation filtering in a statewide achievement testing program. In annual meeting of the National Council on Measurement in Education, San Diego, CA.
• Yay, M. Çoker, E., & Uysal, Ö. (2007). Yaşam analizinde cox regresyon modeli ve artıkların incelenmesi. Cerrahpaşa Tıp Dergisi, 38, 139 – 145.
• Yetkin, B.B. (2006). Cox Regresyon analizi ve bir uygulaması (Yayınlanmamış yüksek lisans tezi). Mimar Sinan Üniversitesi Fen Bilimleri Enstitüsü, Türkiye.
• Zacks, S. (1992). Introduction to reliability analysis. Probability models and statistical methods. Springer-Verlag, New York.