Bilgisayar Okuryazarlığı Testinin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Geliştirilmesi

Durmuş Özbaşı; Nükhet Demirtaşlı

doi:10.21031/epod.79491

Bilgisayar Okuryazarlığı Testinin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Geliştirilmesi

Abstract

Bu araştırmanın amacı, Ankara Üniversitesi’nde tüm fakültelerde birinci sınıf öğrencilerine uygulanmakta olan Bilgi ve İletişim Teknolojileri dersi muafiyet sınavı testinin bilgisayar ortamında bireye uyarlanmış test (BOBUT) olarak uygulanabilirliğini araştırmaktır. Araştırmada iki temel aşamada gerçekleştirilmiştir. İlk aşamada, hazırlanan maddeleri denemek ve simülatif BOBUT uygulamasında üzerinde çalışılacak verileri elde etmek üzere 1366 üniversite öğrencisiyle çalışılmıştır. İkinci aşamada ise, 142 üniversite birinci sınıf öğrencisiyle canlı (live) BOBUT ve kâğıt-kalem testi uygulaması gerçekleştirilmiştir. Araştırmada veri toplama aracı olarak Bilgisayar Okuryazarlık (BİLOKUR) testi kullanılmıştır. Araştırmada toplanan verilerin madde tepki kuramı’nın (MTK) 3 parametreli lojistik modeline uyum sağladığı tespit edilen 136 maddelik soru havuzu ile canlı BOBUT uygulaması yapılmıştır. Araştırmanın bulgularına göre, simülatif BOBUT uygulamasında kestirilen yeterlik kestirimlerine ilişkin en yüksek güvenirlik ölçüsü, sabit madde sayısına göre test sonlandırma koşulunda bulunmuştur. Ayrıca kullanılan madde sayısı bakımından, en az madde kullanımı, test sonlandırma koşulunun SH<0.50 olduğu durumda gerçekleşmiştir. En yüksek olabilirlik yöntemine (EYOY) göre yeterlik kestiriminin uygulandığı BOBUT testinde öğrencilerin yeterlik ölçüleri, kâğıt-kalem testinden elde edilenlere göre, özellikle uç değerlerde daha güvenilir ölçme sonuç vermiş, standart hata değeri açısından da BOBUT uygulamasıyla daha düşük hata kestirimleri elde edilmiştir. Canlı BOBUT uygulamasından elde edilen ortalama güvenirlik (test bilgi değeri), kâğıt-kalem testinden elde edilen güvenirlik değerinden daha yüksek bulunmuştur. Bu araştırmanın sonuçlarına göre, SH<0.30 test sonlandırma kuralı kullanıldığında EYOY; SH<0.50 ve sabit madde (30) test durdurma kuralı kullanıldığında ise, beklenen sonsal dağılıma (BSD) dayalı yeterlik kestirim değerlerinin daha güvenilir olduğu bulunmuştur. Ayrıca canlı BOBUT uygulamasında elde edilen test bilgi miktarı, kâğıt-kalem testinden elde edilen güvenirlikten anlamlı düzeyde yüksek bulunmuştur.

References

KAYNAKLAR
Babcock, B., & Weiss, J. (2009, June 2). Termination criteria in computerized adaptive tests: variable-length cats are not biased. Kasım 12, 2011 tarihinde Realities of CAT Paper Session: http://www.psych.umn.edu/psylabs/catcentral/ adresinden alındı
Barrada, J. R., Olea, J., Ponsoda, V., & Abad, F. J. (2010). A Method for the comparison of item selection rules in computerized adaptive testing. Applied Psychological Measurement(34), 438-452.
Baykul, Y. (2010). Eğitimde ve psikolojide ölçme: klasik test teorisi ve uygulaması (2 b.). Ankara: Pegem Akademi yayınevi.
Bulut, O., & Kan, A. (2012). Application of computerized adaptive testing to Entrance Examination for Graduate Studies in Turkey. Eurasian Journal of Educational Research(49), 61-80.
Chae, S., Kang, U., Jeon, E., & Linarce, J. M. (2000). Development of computerized middle school achievement test. Seuol, South Korea: Komesa Press.
Çıkrıkçı- Demirtaşlı, N. (2002). A study of Raven Standard Progressive Matrices Test’s item measures under classical and item response models: an empirical comparison. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 35(1-2), 71-79.
Çıkrıkçı-Demirtaşlı, N. (1999). Psikometride yeni ufuklar: Bilgisayar ortamında bireye uyarlanmış test. Türk Psikoloji Bülteni, 5(13), 31-36.

Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Philadelphia: Harcourt Brace Jovanovich College Publishers.
De Ayala, R. (2009). The Theory and practise of item response theory. New York Kondon: The Guilford Press.
ECDL. (2007). European Computer Driving Licence 5.0 Müfredat Versiyonu. Ocak 1, 2012 tarihinde European Computer Driving Licence Foundation: www.ecdl.com adresinden alındı
Eggen, , T. J. (2004). Contributions to the theory and practice of computerized adaptive testing. Arnhem, NL.: Omslag: Roel Ottow / Harold Kainama, Druk: Print Partners Ipskamp B.V., Enschede, Citogroep.
Embretson, E., & Reise, P. (2000). Item response theory for psychologists. New Jersey: Lawrence ErlbaumAssociates, Publishers Mahwah.
Fan, X. (1998). Item response theory and classical test theory: An Empirical comparison of their ıtem-person statistics. Educational and Pscyhological Measurement, 58(3), 357-382.
Frick, T. (1992). Computerized adaptive mastery tests as a expert systems. Journal of Educational Computing Research, 8(2), 182-213.
Hambleton, K., & Swaminathan, H. (1985). Item response theory : Principles and applications. Hingham, MA, U.S.A. : Distributors for North America, Kluwer Boston.: Kluwer-Nijhoff Pub.
Hambleton, K., Swaminathan, H., & Rogers, H. (1991). Fundamentals of item response theory (volume 2 b.). Newbury, London.
Han, K. T. (2010, Mart 20). SimulCAT: Simulation software for computerized adaptive testing [computer program]. Eylül 17, 2013 tarihinde SimulCat: http://www.hantest.net/ adresinden alındı
İşeri, İ. (2002). Assessment of students’ mathematics achievement through computer adaptive testing procedures. Yayınlanmamış Doktora Tezi. Ankara: ODTÜ Ortaöğretim Fen ve Matematik Alanları Eğitimi Bölümü.
Kalender, İ. (2009). Başarı ve yetenek kestirimlerinde yeni bir yaklaşım: Bilgisayar ortamında bireyselleştirilmiş testler (computerized adaptive tests-CAT). CITO Egitim Kuram ve Uygulama(5), 39-48.
Kalender, İ. (2011). Effects of different computerized adaptive testing strategies on recovery of ability. Yayınlanmamış Doktora Tezi. Ankara: ODTU.
Kaptan, F. (1993). Yetenek Kestiriminde adaptive (bireyselleştirilmiş) test uygulaması ile geleneksel kağıt-kalem testi uygulamasının karşılaştırılması. Yayınlamamış Doktora Tezi. Ankara: Hacettepe Üniversitesi.
Karasar, N. (2011). Bilimsel araştırma yöntemi (22 b.). Ankara: Nobel yayın Dağıtım.
Kelecioğlu, H. (2001). Örtük özellikler teorisindeki b ve a parametreleri ile klasik test teorisindeki p ve r istatistikleri arasındaki ilişki. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi(20), 104-110.
Keller, A. (2000). Ability estimation procedures in computerized adaptive testing. USA: American Institute of Certified Public Accountants-AICPA Research Concortium-Examination Teams.
Kezer, F. (2013). Bilgisayar ortamında bireye uyarlanmış test stratejilerinin karşılaştırılması. Yayınlamamış Doktora Tezi. Ankara: Ankara Üniversitesi Eğitim Bilimleri Enstitüsü.
Kingsbury, G. G., & Zara, A. R. (1989). Procedures for selecting items forcomputerized adaptive tests. Applied Measurement in Education,, 2(4), 359-375.
Kline, P. (2000). An easy guide to factor anaylsis. Routledge, Taylor and Franchis groups.
Köklü, N. (1990). Klasik test teorisinie gore gelistirilen tailored test ile grup testi arasında bir karşılaştırma. Yayınlanmamış Doktora Tezi. Ankara: Hacettepe Üniversitesi.
Koşan-Aytuğ, M. (2013). Tıp eğitiminde gelişim sınavı soru bankası oluşturulması ve benzetim verileri ile bilgisayar uyarlamalı test uygulaması. Yayınlanmamış Doktora Tezi. Ankara: Ankara Üniversitesi Eğitim Bilimleri Enstitüsü.
Lord, F. (1980). Applications of Item Response Theory to Practical Testing: Problems. New Jersey: Lawrence Erlbaum.
Lord, F., & Stocking, M. (1988). Item response theory. J. Keeves içinde, Educational Research, Methodology, And Measurement: An International Handbook (s. 269-272). NewYork: Pergamon press.
Mcdonald, P. (2002). Computer adaptive test for measureing personality factors using item response theory. Unpublished Doctoral Dissertaion. London: The University Western of Ontario.
Mcglohen, M., & Chang, H. H. (2008). Combining computer adaptive testing technology with cognitively diagnostic assessment. Behavior Research Methods, 40(3), 808-821.
Miller, D. (2003). Assessment of student achievement: A comparative study of student achievement using paper and pencil assessment and computerized adaptive testing (CAT). Unpublished Dissertation. Mich: Graduate School of Wayne State University.
Mills, N., & Steffen, M. (2000). The GRE computer adaptive test: operational issues. V. d. Glass içinde, Computerized adaptive testing: Theory and practice. Netherlands: Kluwer Academic Publishers.
Mills, N., & Stocking, L. (1996). Practical issues in large-scale computerized adaptive testing. Applied Measurement in Education, 9(4), 287-304.
Öztuna, D. (2008). Kas-İskelet sistemi sorunlarının özürlülük değerlendiriminde bilgisayar uyarlamalı test yönteminin uygulanması. Yayınlanmamış Doktora Tezi. Ankara: Ankara Üniversitesi Sağlık Bilimleri Ensititüsü.
Reise, P. (1990). A Comparison of item and person fit methods of assessing model data fit in IRT. Applied Psychological Measurement, 14(2), 127-137.
Rudner, L. ( 2002). An Examination of decision-theory adaptive testing procedures. Paper presented at the annual meeting of the American Educational Research Association, April 1-5. New Orleans, LA.
Rudner, L. (1998, Kasım). An On-line, Interactive, Computer Adaptive Testing Tutorial. Ocak 12, 2012 tarihinde Measurement Resources from EdRes.org: http://edres.org/scripts/cat adresinden alındı
Rudner, L., & Guo, F. (2011). Computerized adaptive testing for small scale programs and instructional systems. Graduate Management Admission Council-GMAC.
Scfhaer, A., Steffen, M., Golub-Smith, L., Mills, N., & Durso, R. (1995). The introduction and comparability of the computer adaptive GRE general Test. GRE Board Professional Report No 88-08a.
Sheskin, D. (2004). Handbook of parametric and nonparametric statistical Procedures. Ewyork, Chapman&Hall/CRC.
Smits, N., Cuijer, P., & Straten, A. (2011). Applying computerized adaptive testing to the CES-D Scale: A simülation study. Psychiatry Research(188), 145-155.
Stark, S., & Chernyshenko, O. S. (2001). Examining model-data fit using graphical and statistical methods. 16th annual conference for the Society of Industrial and Organizational Psychology. San Diego, CA.
Stocking, M. (1990). Specifying optimum examinees for item parameter estimation in item response theory. Psychometrika(55), 461-475.
Thompson, A., & Weiss, D. (2011). A Framework for the Development of Computerized Adaptive Tests. Practical Assessment Research & Evaluation, 16(1), 1-9.
Tian, J.-Q., Miao, D.-M., Zhu, X., & Gong, J.-J. (2007). An ıntroduction to the computerized adaptive testing. US-China Education Review, 4(1).
Tomei, A. (2005). Taxonomy For The Technology Domain. Hersbe: Information Science Publishing: ISBN 1-59140-526-2.
van Rijn, P., Eggen, T. J., Hemker, B. T., & Sanders, P. F. (2002). Evaluation of selection procedures for computerized adaptive testing with polytomous items. Applied Psychological Measurement(26), 393-411.
Wainer, H., Dorans, J., Flaugher, R., Green, F. B., Mislevy, R., Steinberg, L., et al. (1990). Computerized adaptive testing: A Primer. Hillsdale, NJ: Lawrence Erlbaum Associates.
Wang, T., Hanson, B., & Lau, C. (1999). Reducing bias in cat trait estimation: A Comparison of approaches. Applied Psychological Measurement, 23(3), 263-278.
Weis, J. D., & Betz, E. N. (1973). Ability measurement: Conventional or adaptive. Minnesota, USA: Psychometric Methods Program Department of Psychology University of Minnesota.
Weiss, D. (2004). Computerized adaptive testing for effective and efficient measurement in counseling and education. Measurement and Evaluation in Counseling and Development, 37(2), 70-84.
Yaşar, M. (1999). Bireyselleştirilmiş testler üzerine bir çalışma. Yayınlanmamış Doktora Tezi. Ankara: Hacettepe Üniversitesi.
Zimowski, M., Muraki, E., Mislevy, R. J., & Bock, R. D. (2003). BILOG-MG (Version 3.0) [computer program]. Mooresville, IN: Scientific Software.
Zitny, P., Halama, P., Jelinek, M., & Kveton, P. (2012). Validity of cognitive ability tests-comparison of computerized adaptive testing with paper and pencil computer-based forms of administrations. Studia Psychologicia, 54(3), 181-194.

Details

Primary Language

English

Subjects

-

Journal Section

-

Authors

Durmuş Özbaşı

Nükhet Demirtaşlı

Publication Date

January 2, 2016

Submission Date

June 9, 2015

Acceptance Date

-

Published in Issue

Year 2015 Volume: 6 Number: 2

DOI

https://doi.org/10.21031/epod.79491

IZ

https://izlik.org/JA56FK57KS

Cite

RIS / Bibtex

APA

Özbaşı, D., & Demirtaşlı, N. (2016). Bilgisayar Okuryazarlığı Testinin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Geliştirilmesi. Journal of Measurement and Evaluation in Education and Psychology, 6(2). https://doi.org/10.21031/epod.79491

AMA

1.Özbaşı D, Demirtaşlı N. Bilgisayar Okuryazarlığı Testinin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Geliştirilmesi. JMEEP. 2016;6(2). doi:10.21031/epod.79491

Chicago

Özbaşı, Durmuş, and Nükhet Demirtaşlı. 2016. “Bilgisayar Okuryazarlığı Testinin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Geliştirilmesi”. Journal of Measurement and Evaluation in Education and Psychology 6 (2). https://doi.org/10.21031/epod.79491.

EndNote

Özbaşı D, Demirtaşlı N (January 1, 2016) Bilgisayar Okuryazarlığı Testinin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Geliştirilmesi. Journal of Measurement and Evaluation in Education and Psychology 6 2

IEEE

[1]D. Özbaşı and N. Demirtaşlı, “Bilgisayar Okuryazarlığı Testinin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Geliştirilmesi”, JMEEP, vol. 6, no. 2, Jan. 2016, doi: 10.21031/epod.79491.

ISNAD

Özbaşı, Durmuş - Demirtaşlı, Nükhet. “Bilgisayar Okuryazarlığı Testinin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Geliştirilmesi”. Journal of Measurement and Evaluation in Education and Psychology 6/2 (January 1, 2016). https://doi.org/10.21031/epod.79491.

JAMA

1.Özbaşı D, Demirtaşlı N. Bilgisayar Okuryazarlığı Testinin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Geliştirilmesi. JMEEP. 2016;6. doi:10.21031/epod.79491.

MLA

Özbaşı, Durmuş, and Nükhet Demirtaşlı. “Bilgisayar Okuryazarlığı Testinin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Geliştirilmesi”. Journal of Measurement and Evaluation in Education and Psychology, vol. 6, no. 2, Jan. 2016, doi:10.21031/epod.79491.

Vancouver

1.Durmuş Özbaşı, Nükhet Demirtaşlı. Bilgisayar Okuryazarlığı Testinin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Geliştirilmesi. JMEEP. 2016 Jan. 1;6(2). doi:10.21031/epod.79491

Cited By

Development of a Computerized Adaptive Version of the Turkish Driving Licence Exam

International Journal of Assessment Tools in Education

https://doi.org/10.21449/ijate.716177

Investigation of Measurement Precision and Test Lengths in Computerized Adaptive Tests in Different Conditions

Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi

https://doi.org/10.21031/epod.1068572