A Review of Achievement Test Development in Türkiye Regarding the Achievement Test Development Process

Öz

The purpose of this research is to determine to what extent the articles titled achievement test development, published between 2020-2023, meet the steps that should be followed during the achievement test development process. The research is a document review study within the scope of qualitative research. In determining the studies to be included in the research, consideration was given to the fact that the aim and title of the research included '...developing an achievement test', that the full text of the article was accessible, and that the research language was Turkish, and a total of 40 articles were included in the research. In the study, a coding list was created and used by the researcher, based on Turgut and Baykul's (2012) achievement test development steps. Data analysis of the research was carried out using the categorical analysis method, one of the types of content analysis. In the articles examined within the scope of the research, it is seen that there are deficiencies in almost all stages of the achievement test development process, starting from presenting the test plan based on the test plan to including the items to be included in the final test form. In line with the research results, it may be suggested that the achievement test development steps in the literature be taken into consideration in studies.

Anahtar Kelimeler

• Achievement test
• achievement test development steps
• document review

Kaynakça

1. *Aksoy, Ş., & Özcan, H. (2020). Altıncı sınıf öğrencilerinin ses ve özellikleri ünitesi ile ilgili başarılarını ölçmeye yönelik bir test geliştirme çalışması. Eğitimde Kuram ve Uygulama, 16(2), 193-214.
2. *Aydın, E., & Selvi, M. (2020). Ortaokul öğrencilerine yönelik ekosistem, biyolojik çeşitlilik ve çevre sorunları başarı testinin geliştirilmesi. Eğitim ve Toplum Araştırmaları Dergisi, 7(2), 661-682.
3. *Aydın, T., & Faydaoğlu, Ş. (2022). Çember başarı testi geçerlik ve güvenirlik araştırması. International Journal of New Trends in Arts, Sports & Science Education (IJTASE), 11(4), 217-226.
4. *Bayırlı, H., & Köksal, H. (2022). 3. Sınıf hayat bilgisi dersi başarı testi geliştirme: geçerlik ve güvenirlik çalışması. PESA Uluslararası Sosyal Araştırmalar Dergisi, 8(2), 86-99.
5. *Birgin, A., & Özcan, H. (2022). 8. Sınıf öğrencilerinin mevsimlerin oluşumu ile ilgili bilgilerini ölçmeye yönelik bir başarı testinin geliştirilmesi. Trakya Üniversitesi Sosyal Bilimler Dergisi, 24(1), 305-326.
6. *Boz, S., Özcan, H., & Sarıoğlan, A. B. (2023). Ortaokul öğrencilerinin basınç konusu ile ilgili bilgilerini ölçmeye yönelik bir başarı testinin geliştirilmesi. İnönü Üniversitesi Eğitim Bilimleri Enstitüsü Dergisi, 10(19), 14-29.
7. *Çiftcibaşı, F., Karamustafaoğlu, S., & Bolat, A. (2023). ‘Güneş sistemi ve tutulmalar’ünitesine yönelik başarı testi geliştirilmesi. Gaziantep Üniversitesi Eğitim Bilimleri Dergisi, 7(1), 1-26.
8. *Dede, H., & Keleş, İ. H. (2020). Saf madde, karışımlar ve karışımların ayrılması konularında yaşam temelli başarı testinin geliştirilmesi. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 40(3), 797-825.

9. *Doğru, M., & Çepni, S. (2023). Karşılaştırmalı Olarak Geleneksel Çoktan Seçmeli ve Bağlam Temelli Başarı Testi Hazırlama Çalışması: 7. Sınıf Işığın Madde ile Etkileşimi Ünitesi. Fen Matematik Girişimcilik ve Teknoloji Eğitimi Dergisi, 6(1), 74-101.
10. *Elbay, S. (2020). TC İnkılap Tarihi ve Atatürkçülük dersi 2. ünitesine yönelik kazanım odaklı başarı testi geliştirme çalışması. E-Uluslararası Eğitim Araştırmaları Dergisi, 11(1), 53-68.
11. *Emirtekin, E., Kışla, T., Polan, Ş., & Dönmez, O. (2020). Etkileşimli eğitsel video ve başarı testinin geliştirilmesi: IP adresi kavramı örneği. Journal of Instructional Technologies and Teacher Education, 9(1), 42-51.
12. *Eren, A. A., Önal, N. T., & Büyük, U. (2020). Elementler ve bileşikler konusu için geçerli ve güvenilir bir başarı testi geliştirme çalışması. Pearson Journal, 5(6), 152-167.
13. *Eroğlu, P., & Girgin, S. (2020). Ortaokul öğrencilerine yönelik biyoçeşitlilik başarı testi geliştirilmesi. Uluslararası Sosyal ve Beşeri Bilimler Araştırma Dergisi, 7(58), 2319-2326.
14. *Gül, A. C., Apaydın, Z., & Çobanoğlu, E. O. (2021). Canlılar dünyasına yolculuk konu alanına yönelik başarı testi geliştirme çalışması. Ordu Üniversitesi Sosyal Bilimler Enstitüsü Sosyal Bilimler Araştırmaları Dergisi, 11(1), 74-84.
15. *Güven, Ç., & Selvi, M. (2021). Beşinci sınıf ''Elektrik Devre Elemanları'' ünitesine yönelik başarı testi geliştirme. International Journal of Current Approaches in Language, Education and Social Sciences, 3(1).
16. *Hançer, M., Aydoğan, N., & Çankaya, Ö. (2021). Fen bilgisi öğretmen adaylarının temel laboratuvar fen bilgilerinin ölçülmesine yönelik başarı testi geliştirilmesi: geçerlik ve güvenirlik analizleri. Uluslararası Eğitim Bilim ve Teknoloji Dergisi, 7(1), 57-76.
17. *Kahtalı, B. D., & Erdem, İ. (2020). Farklı tür metinler için dinlediğini anlama başarı testlerinin geliştirilmesi. Electronic Turkish Studies, 15(2).
18. *Kaplan, E., Bektas, O., & Karaca, M. (2022). Madde ve ısı ünitesi başarı testi geliştirme çalışması. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, (63), 78-116. DOI: 10.21764/maeuefd.985968
19. *Karakuyu, A., & Ocak, G. (2022). Dijital vatandaşlığa yönelik başarı testi geliştirme çalışması. İnönü Üniversitesi Eğitim Bilimleri Enstitüsü Dergisi, 9(18), 32-42.
20. *Kargın, P. D., & Gül, Ş. (2021). Altıncı sınıf “Vücudumuzdaki Sistemler ve Sağlığı” ünitesine yönelik bir başarı testi geliştirilmesi. Ihlara Eğitim Araştırmaları Dergisi, 6(1), 1-26.
21. *Kaya, S., & Gül, Ş. (2020). 11. Sınıflar için ‘Sindirim Sistemi’ konusuna yönelik başarı testi geliştirme çalışması. Uluslararası Sosyal ve Eğitim Bilimleri Dergisi, 7(13), 72-97.
22. *Kılıç, Ç., & Girgin, S. (2022). 7. Sınıf hücre ve bölünmeler ünitesi akademik başarı testi geliştirilmesi: geçerlik ve güvenirlik analizi. International Journal Of Socıal Humanıtıes Scıences Research, 9(81), 407-420.
23. *Kurt, A., Aydın, M., & Bekereci, Ü. (2023). 6. Sınıf ses ve özellikleri ünitesine yönelik başarı testi geliştirme çalışması: geçerlik ve güvenirlik analizi. E-International Journal of Educational Research, 14(3).
24. *Laçin, E. (2022). Okul öncesi öğretmenlerinin erken okuryazarlık bilgi düzeyini ölçmeye yönelik bilgi testi geliştirme çalışması. Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, (53), 150-172.
25. *Meriçelli, M., & Güyer, T. (2020). Enformatik dersi için başarı testi geliştirme çalışması: Güvenilirlik ve geçerlilik işlemleri. Kastamonu Eğitim Dergisi, 28(1), 549-557.
26. *Nacaroğlu, O., Bektaş, O., & Kızkapan, O. (2020). Madde döngüleri ve çevre sorunları konusunda başarı testi geliştirme: Geçerlik ve güvenirlik çalışması. Kastamonu Eğitim Dergisi, 28(1), 36-51.
27. *Özcan, H., Boz, C., & Özkaya, A. (2020). 7. Sınıf öğrencilerinin hücre konusuyla ilgili anlayışlarını ölçmeye yönelik bir test geliştirme çalışması. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 17(46), 203-233.
28. *Özcan, H., Çetinkaya, İ., & Arık, S. (2021). Ortaokul öğrencilerinin basit makineler ünitesi ile ilgili anlayışlarını ölçmeye yönelik bir test geliştirme çalışması. Muğla Sıtkı Koçman Üniversitesi Eğitim Fakültesi Dergisi, 8(1), 16-36.
29. *Özkan, S., & Yadigaroğlu, M. (2020). Başarı testi geliştirme: asit-baz başarı testi geçerlik ve güvenirlik araştırması, Turkish Studies-Education, 15(2), 1141-1163. https://dx.doi.org/10.29228/TurkishStudies.41734
30. *Özkılıç, G. E., Bektas, O., & Karaca, M. (2023). Sindirim Sistemi Ünitesine Yönelik Başarı Testi Geliştirme: Geçerlik ve Güvenirlik Çalışması. Araştırma ve Deneyim Dergisi, 8(1), 115-154.
31. *Pazar, B., & Karamustafaoğlu, S. (2023). “Saf Madde ve Karışımlar” Ünitesi başarı testi geliştirme: Geçerlik ve güvenirlik. Anadolu University Journal of Education Faculty, 7(2), 404-432.
32. *Sevim, S., Uysal, İ., & Demirci, E. (2021). Fen bilimleri dersi 5. sınıf “Işığın Yayılması” ünitesine yönelik başarı testi geliştirme çalışması. Caucasian Journal of Science, 8(2), 224-246.
33. *Sontay, G., & Karamustafaoğlu, O. (2020). Fen bilimleri dersi “Güneş, Dünya ve Ay” ünitesine yönelik başarı testinin geliştirilmesi. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 40(2), 511-551.
34. *Süslü, A., & Ötken, Ş. (2020). Uluslararası yolcu taşımacılığı (SRC1) sürücü mesleki yeterlilik sınavlarına ait bir başarı testi geliştirilmesi: Geçerlik ve güvenirlik çalışması. Stratejik ve Sosyal Araştırmalar Dergisi, 4(1), 135-145.
35. *Şentürk, Ö. Ç., & Selvi, M. (2021). Fen bilimleri dersi “İnsan ve Çevre” ünitesi akademik başarı testi geliştirme: güvenirlik ve geçerlik çalışması. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 41(2), 601-630.
36. *Topay, N., & Yılmaz, M. (2023). Biyoloji ve fen bilgisi öğretmenlerine yönelik tamamlayıcı ölçme ve değerlendirme teknikleri başarı testi geliştirilmesi. Gazi Eğitim Bilimleri Dergisi, 9(2), 214-240.
37. *Uçar, R., & Aktamış, H. (2019). Astronomi’ye yönelik tutum ölçeği ve 7. sınıf “Güneş Sistemi ve Ötesi” ünitesine yönelik başarı testi geliştirme çalışması, Batı Anadolu Eğitim Bilimleri Dergisi, 10(1), 57-79.
38. *Üçüncü, G., & Sakiz, G. (2020). Başarı testi geliştirme süreci: İlkokul dördüncü sınıf maddeyi tanıyalım ünitesi örneği. Kastamonu Eğitim Dergisi, 28(1), 82-94.
39. *Yılmaz, İ., & Yılmaz, E. (2021). 4. Sınıf matematik dersi doğal sayılar alt öğrenme alanına ilişkin başarı testi geliştirme çalışması. Kesit Akademi Dergisi, 7(26), 295-310.
40. *Zeyrek, A. Ş., Kurban, N. K., & Arslan, S. (2020). Bir başarı testi geliştirme çalışması: hemşirelik öğrencilerinin intramüsküler enjeksiyon becerilerini ölçme. Gümüşhane Üniversitesi Sağlık Bilimleri Dergisi, 9(2), 133-141.
41. Açıkgöz, M., & Karslı, F. (2015). Alternatif Ölçme-Değerlendirme Yaklaşımları Kullanılarak İş ve Enerji Konusunda Geliştirilen Başarı Testinin Geçerlilik ve Güvenirlik Analizi. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 4(1), 1-25.
42. Airasian, P. W. (2001). Classroom assessment: Concepts and applications. McGraw-Hill.
43. Akbulut, H. İ., & Çepni, S. (2013). Bir üniteye yönelik başarı testi nasıl geliştirilir?: İlköğretim 7. sınıf kuvvet ve hareket ünitesine yönelik bir çalışma. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 2(1), 18-44.
44. Akkuş, R., & Akkaş, E. N. (2021). Ortaokul 5., 6. ve 7. sınıf seviyelerinde matematik genel başarı testleri geliştirme çalışması. Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, (51), 180-209.
45. Allen, D. D. (2012). Validity and Reliability of the Movement Ability Measue: A Self-Report Instrument Proposed for Assessing Movement Across Diagnoses and Ability Levels. Physical Thearapy, 87(7), 899-916
46. Anderson, L. W., Krathwohl, D. R., Airasian, P. W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., Wittrock, M. C. (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s Taxonomy of educational objectives. Longman.
47. Anderson, R. C. (1972). How to construct achievement tests to assess comprehension. Review of educational research, 42(2), 145-170. https://doi.org/10.3102/00346543042002145.
48. Anderson, L.W. (2003). Classroom assessment: Enhancing the quality of teacher decision making. Lawrence Erlbaum Associates, Inc.
49. Armağan, F. Ö., & Demir, N. (2019). Astronomi başarı testi geliştirme: Geçerlik ve güvenirlik çalışması. Maarif Mektepleri Uluslararası Eğitim Bilimleri Dergisi, 3(1), 52-70.
50. Atılgan, H., Kan, A., ve Doğan, N. (2015). Eğitimde ölçme ve değerlendirme. Hakan Atılgan (Ed.), Test geliştirme (316-348). Anı Yayıncılık.
51. Aydin, F. (2018). L2 metalinguistic knowledge and L2 achievement among intermediate-level adult Turkish EFL learners. Journal of Language and Linguistic Studies, 14(1), 28-49.
52. Ayvacı, H. Ş., & Durmuş, A. (2016). Bir başarı testi geliştirme çalışması: Isı ve sıcaklık başarı testi geçerlik ve güvenirlik araştırması. Ondokuz Mayis University Journal of Education Faculty, 35(1), 87-103.
53. Baykul, Y. (2000). Eğitimde ve Psikolojide Ölçme: Klasik Test Teorisi ve Uygulaması. ÖSYM Yayınları.
54. Bolat, A., & Karamustafaoğlu, S. (2019). “Vücudumuzdaki Sistemler” Ünitesi başarı testi geliştirme: geçerlik ve güvenirlik. Gazi Eğitim Bilimleri Dergisi, 5(2), 131-159.
55. Boyraz, C. (2018). Investigation of achievement tests used in doctoral dissertations department of primary education (2012-2017). Inonu University Journal of the Faculty of Education, 19(3), 14-28. doi: 10.17679/inuefd.327321.
56. Brookhart, S. M., & Nitko, A. J. (2011). Strategies for Constructing Assessments of Higher-Order Thinking Skills. Assessment of Higher Order Thinking Skills, 1, 327-59.
57. Brookhart, S. M., & Nitko, A. J. (2019). Educational assessment of students. Pearson.
58. Büyüköztürk, Ş. (2011). Sosyal bilimler için veri analizi el kitabı. Pegam Akademi Yayıncılık.
59. Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş. ve Demirel, F. (2012). Bilimsel araştırma yöntemleri (13. Baskı). Pegem Akademi.
60. Chatterji, M. (2003). Designing and using tools for educational assessment. Allyn and Bacon.
61. Cheung, D. (2003). Guidelines for writing multiple-choice items. Hong Kong Science Teachers’ Journal, 21(2), 1-11.
62. Cohen, R. J., & Swerdlik, M. E. (2010). Psychological testing and assessment. McGrawHill Higher Education.
63. Cristobal, E., Flavian, C., & Guinaliu, M., (2007). Perceived e-service quality (PeSQ): measurement validation and effects on consumer satisfiction and web site loyalty, Journal of Service Theory and Practice, 17(3), 317-340
64. Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Harcourt Brace.
65. Davis L.L. (1992). Instrument review: Getting the most from a panel of experts. Applied Nursing Research, 5, 194-197.
66. De Grutijter, D. N., & Van der Kamp, L. J. (2008). Statistical Test Theory for the Behavioral Sciences. Chapman&Hall, London, 280p.
67. Debeer, D., & Janssen, R. (2013). Modeling item‐position effects within an IRT framework. Journal of Educational Measurement, 50(2), 164-185.
68. Demirel, Ö. (2006). Öğretimde planlama ve değerlendirme öğretme sanatı. Pegem Yayıncılık.
69. DeVellis, R. F. (2006). Quantitative and ıssues and approaches: Classical Test Theory (CTT) and Item Response Theory (IRT). Medical Care, 44(11), 50-59.
70. Doğan Gül, Ç., & Çokluk Bökeoğlu, Ö. (2018). The comparison of academic success of students with low and high anxiety levels in tests varying in item difficulty. Inonu University Journal of the Faculty of Education, 19(3), 252-265. https://doi.org/10.17679 /inuefd.341477
71. Ebel, R. L. (1956). Essentials of educational measurement (1st Ed.). Prentice-Hall.
72. Ersoy, E., & Bayraktar, G. (2018). İlkokul 4. sınıf matematik dersi “Ondalık Gösterim” alt öğrenme alanına ilişkin başarı testi geliştirilmesi. Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, (46), 240-266.
73. Fellenz, M. R. (2004). Using assessment to support higher level learning: the multiple choice item development assignment. Assessment & Evaluation in Higher Education, 29(6), 703-719.
74. Gömleksiz, M., & Erkan, S. (2010). Eğitimde ölçme ve değerlendirme (2. Baskı). Nobel Yayın Dağıtım.
75. Gronlund, N. E. (1977). Constructing achievement test. Prentice Hall, Inc.
76. Gronlund, N.E., & Waugh, C.K. (2009). Assessment of Student Achievement. Pearson Education.
77. Güven, E. (2013). Çevre sorunları başarı testinin geliştirilmesi ve öğretmen adaylarının bilgi düzeylerinin belirlenmesi. Trakya Üniversitesi Eğitim Fakültesi Dergisi, 3(2).
78. Haladyna, T. M. (1997). Writing test items to evaluate higher order thinking. Allyn and Bacon
79. Haladyna, T. M., & Downing, S. M. (1989). A taxonomy of multiple-choice item-writing rules. Applied measurement in education, 2(1), 37-50.
80. Haladyna, T. M., (2016). Item analysis for selected response test ıtems. Handbook of Test Development. Lane, S., Raymond, M. and Haladyna, T. (Eds.), Routledge, 392-409.
81. Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied measurement in education, 15(3), 309-333.
82. Haladyna, T.M. (2004). Developing and validating multiplechoice test items, Lawrence Erlbaum Associates, Publishers.
83. Haynes, S. N., Richard, D., & Kubany, E. S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological assessment, 7(3), 238.
84. Heckman J.J., & Kautz T. (2012). Hard evidence on soft skills. Labour Econ 19(4), 451–464.5.
85. Heckman J.J., & Kautz T. (2014). Fostering and measuring skills: Interventions that improvecharacter and cognition. In Heckman JJ, Humphries JE, & Kautz T. (Eds.), The Myth of Achievement Tests: The GED and the Role of Character in American Life, 341–430. Univ of Chicago Press.
86. Hingorjo, M. R., & Jaleel, F., 2012. Analysis of one best MCQs: The difficulty, discrimination ındex and discrimination efficiency, Journal of Pakistan Medical Association, 62(2), 142-147.
87. Irwing P., & Hughes D. J. (2018). Test development. In Irwing P., Booth T., & Hughes D. J. (Eds.), The Wiley handbook of psychometric testing: A multidisciplinary reference on survey, scale and test development, 3–48. Hoboken, Wiley Blackwell. https://doi.org/10.1002/9781118489772.ch1.
88. Karaboğaz, Y., & Ergene, Ö. (2023). Beceri Temelli Orantısal Akıl Yürütme Başarı Testinin Geliştirilmesi. Journal of Individual Differences in Education, 5(1), 31-47.
89. Karadağ, E. (2011). Eğitim bilimleri doktora tezlerinde kullanılan ölçme araçları: Nitelik düzeyleri ve analitik hata tipleri. Kuram ve Uygulamada Eğitim Bilimleri, 11(1), 311-334.
90. Kimberlin, C. L., & Winterstein, A. G. (2008). Validity and reliability of measurement instruments used in research. American journal of health-system pharmacy, 65(23), 2276-2284.
91. Kline, P. (2000). Handbook of psychological testing. Routledge.
92. Koç, N. (1985). Standart başarı testlerinin, bir eğitim sisteminde verilen çeşitli kararlardaki yeri ve önemi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi. 17(01),159-172. https://doi.org/10.1501/Egifak_0000001047
93. Kubiszyn, T., & Borich, G. (1996). Educational testing and measurement: Classroom application and practice. Harper Collins.
94. Kutlu, Ö., & Altıntaş, Ö. (2021). Psikolojik ölçmelerin kısa tarihi ve 21. Yüzyılda sınıf içi durum belirleme anlayışı. Trakya Eğitim Dergisi, 11(3), 1599-1620.
95. Lane, S., Raymond, M. R., & Haladyna, T. M. (Eds.). (2015). Handbook of test development. Routledge.
96. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel psychology, 28(4), 563-575.
97. Lehmann, I. J., & Mehrens, W. A. (1991). Measurement and evaluation in education and psychology. Holt.
98. Linn, R. L. (2011). Handbook of test development. Routledge.
99. Lissitz, R. W., & Samuelsen, K. (2007). A suggested change in terminology and emphasis regarding validity and education. Educational researcher, 36(8), 437-448.
100. Mayring, P. (2004). Qualitative content analysis. A companion to qualitative research, 1(2), 159-176.
101. Mehrens, W. A. & Lehmann, I.J. (1991), Measurement and Evaluation in Education and Psychology. Harcourt Brace Jonanovich: Forth Worth.
102. Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook. Sage.
103. Miller, M., Linn, R., & Gronlund, N. (2012). Measurement and assessment in teaching (11th Ed.). Pearson
104. Moses, T. (2017). A review of developments and applications in item analysis. Advancing Human Assessment: The Methodological, Psychological and Policy Contributions of ETS, 19-46.
105. Mutluer, C., & Yandı, A. (2012, September). Türkiye’deki üniversitelerde 2010-2012 yılları arasında yayımlanan tezlerdeki başarı testlerin incelenmesi. Paper presented at the Eğitimde ve Psikolojide Ölçme ve Değerlendirme III. Ulusal Kongresi, Turkey: Bolu. Abstract retrieved from https://www.epodder.org/wpcontent/uploads/2020/07/EPOD-2012.pdf.
106. Narlı, S., & Başer, N. (2008). "Küme, Bağıntı, Fonksiyon" konularında bir başarı testi geliştirme ve bu başarı testi ile üniversite matematik bölümü 1. sınıf öğrencileirnin bu konulardak hazırbulunuşluklarını betimleme üzerine nicel bir araştırma. Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, 24, 147-158.
107. Nunnally J.C., & Bernstein I.H. (1994). Psychometric theory. McGrawHill.
108. Özçelik, D. A. (1997). Test Hazırlama Klavuzu (3. Baskı). ÖSYM Eğitim Yayınları.
109. Özçelik, D. A. (2010). Ölçme ve değerlendirme. Pegem
110. Pallant, J. (2007). SPSS survival manual: A step by step guide to data analysis using SPSS for windows (3rd ed.). Open University Press.
111. Popham, W. J. (2008). Transformative assessment. ASCD. Porter, A. C. (2002). Measuring the content of instruction: Uses in research and practice. Educational researcher, 31(7), 3-14.
112. Qian, J. (2014). An investigation of position effects in large-scale writing assessments. Applied Psychological Measurement, 38(7), 518-534. https://doi.org/10.1177/014662161453431 2
113. Saadat, S., Noori, M., Alipour-Anbarani, M., Mousavi Bazaz, N., Babakhanian, M., Montazeri KHadem, A., & Azadi, H. (2021). Students' Challenge in Answer-changing on Multiple-choice Exams; Doubting the Answer or Not? A Systematic Review. Medical Education Bulletin, 2(1), 137-144.
114. Saraç, H. (2018). Fen bilimleri dersi ‘maddenin değişimi’ünitesi ile ilgili başarı testi geliştirme: Geçerlik ve güvenirlik çalışması. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 18(1), 416-445.
115. Singh, C., & Rosengrant, D. (2003). Multiple-choice test of energy and momentum concepts. American Journal of Physics, 71(6), 607-617.
116. Şahin, M. G., Yıldırım, Y., & Öztürk, N. B. (2023). Examining the Achievement Test Development Process in the Educational Studies. Participatory Educational Research, 10(1), 251-274.
117. Şahin, M., Başkurt, İ., & Deringöl, Y. (2023). İlkokul 3. Sınıf Öğrencilerine Yönelik Matematik Problem Çözme Başarı Testinin Geliştirilmesi. Bayburt Eğitim Fakültesi Dergisi, 18(39), 811-838.
118. Şen, H. C., & Eryılmaz, A. (2011). Bir başari testi geliştirme çalişması: Basit elektrik devreleri başari testi geçerlik ve güvenirlik araştirması. Van Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 8(1), 1-39.
119. Tavşancıl, E., & Aslan, E. (2001). Sözel, yazılı ve diğer materyaller için içerik analizi ve uygulama örnekleri. Epsilon Yayınevi. Thissen, D., Steinberg, L., & Mooney, J. (1989). Trace lines for testlets: A use of multiple-categorical response models. Journal of Educational Measurement, 26, 247- 260.
120. Thorndike, R. M., & Thorndike-Christ, T. M. (2013). Measurement and evaluation in psychology and education. Pearson Higher Ed.
121. Turgut, M. F., & Baykul, Y. (2012). Eğitimde ölçme ve değerlendirme (4. Baskı). Pegem Akademi.
122. Webb, N. L. (1997). Criteria for alignment of expectations and assessments in mathematics and science education. research monograph no. 6. National İnstitute Science Education.
123. Weirich, S., Hecht, M., & Böhme, K. (2014). Modeling item position effects using generalized linear mixed models. Applied Psychological Measurement, 38, 535-548. https://doi.org/ 10.1177/0146621614534955.
124. Weirich, S., Hecht, M., Penk, C., Roppelt, A., & Böhme, K. (2017). Item position effects are moderated by changes in test-taking effort. Applied Psychological Measurement, 41(2), 115-129. https://doi.org/10.1177/0146621616676791.
125. Yeşilyurt, E. (2012). Öğretmen adaylarının bilişsel alanla ilgili sınama durumu soruları yazma yeterliklerinin değerlendirilmesi. Kastamonu Eğitim Dergisi, 20(2), 519-53.
126. Yıldırım, A., & Şimşek, H. (2013). Sosyal bilimlerde nitel araştırma yöntemleri. (9. Baskı). SeçkinYayıncılık.
127. Yin, R. K. (2014). Case study research: Design and methods. Sage Publication