Kendini Değerlendirme Envanteri’nin Bilgisayar Ortamında Bireye Uyarlanmış Test Olarak Uygulanabilirliği

Yıl 2018, Cilt: 8 Sayı: 50, 117 - 141, 01.09.2018

Eren Can Aybek , R. Nükhet Çıkrıkçı

Öz

Bu çalışmada, Kendini Değerlendirme Envanteri –KDE–‘nin Bilgisayar Ortamında Bireye Uyarlanmış Test (BOBUT) olarak uygulanabilirliği araştırılmıştır. Bu amaçla simülatif ve canlı BOBUT uygulamaları, 1144 lise öğrencisinden toplanan verilere dayalı olarak yürütülmüştür. Simülasyonlarda, farklı test sonlandırma kurallarına ve çoklu puanlanan maddelere uygun farklı madde tepki kuramı modelleri ve madde seçim yöntemlerine göre karşılaştırmalar yapılmıştır. Bu karşılaştırmalara göre; madde tepki modeli olarak Genelleştirilmiş Kısmi Puan Modeli, madde seçim yöntemi olarak Fisher En Yüksek Bilgi, durdurma kuralı olarak .40 ölçme standart hatasının KDE için en uygun BOBUT uygulaması ortaya koyduğuna karar verilmiştir. Bu uygulamayla, kağıt-kalem formu 230 madde olan KDE, simülasyonda 113 madde ile sonlanmış ve kağıt-kalem formundan alınan puanlar ile simülasyonla kestirilen özellik düzeyleri arasında .90 ile .96 arasında korelasyon katsayıları elde edilmiştir. Bunun yanında, 25 öğrencinin katıldığı canlı BOBUT uygulaması gerçekleştirilmiştir.

Sonuçlar, KDE’nin BOBUT olarak uygulanabilir olduğunu ve KDE’nin bu uygulama yöntemiyle
öğrenci rehberlik hizmetlerinde daha etkili kullanılabileceğini göstermektedir.

Anahtar Kelimeler

Bilgisayar Ortamında Bireye Uyarlanmış Test, Madde Tepki Kuramı, Kendini Değerlendirme Envanteri, Mesleki Rehberlik

Kaynakça

• Babcock, B., ve Weiss, D. (2012). Termination criteria in computerized adaptive tests: Do variable - length CATs provide efficient and effective measurement? Journal of Computerized Adaptive Testing, 1(1), 1–18. doi:10.7333/1212-0101001
• Betz, N. E., ve Turner, B. M. (2011). Using item response theory and adaptive testing in online career assessment. Journal of Career Assessment, 19(3), 274–286. doi:10.1177/1069072710395534
• Cheng, Y. (2008). Computerized adaptive testing – new developments and applications. Doktora Tezi. Illionis Üniversitesi.
• Chien, T.W., Lai, W.P., Lu, C.W., Wang, W.C., Chen, S.C., Wang, H.Y., ve Su, S.B. (2011). Web-based computer adaptive assessment of individual perceptions of job satisfaction for hospital workplace employees. BMC medical research methodology, 11, 47.
• Chien, T.W., Wang, W.C., Wang, H.Y., ve Lin, H.J. (2009). Online assessment of patients’ views on hospital performances using Rasch model's KIDMAP diagram. BMC health services research, 9, 135.
• Choi, S. W., Grady, M. W., ve Dodd, B. G. (2011). A new stopping rule for computerized adaptive testing. Educational Psychological Measurement, 70(6), 1–17. doi:10.1177/0013164410387338.A
• Choi, S. W. (2009). Firestar: Computerized adaptive testing simulation program for polytomous item response theory models. Applied Psychological Measurement, 33(8), 644–645. doi:10.1177/0146621608329892
• Choi, S. W., ve Swartz, R. J. (2009). Comparison of CAT item selection criteria for polytomous items. Applied Psychological Measurement, 33(6), 419–440. doi:10.1177/0146621608327801
• Davey, T. (2011). A guide to computer adaptive testing systems. Council of Chief State School Officers.
• Downing, S. M., ve Haladyna, T. M. (2006). Handbook of test development. New Jersey: Lawrance Erlbaum Assoc.
• Elhan, A. H., Öztuna, D., Kutlay, Ş., Küçükdeveci, A. A., & Tennant, A. (2008). An initial application of computerized adaptive testing (CAT) for measuring disability in patients with low back pain. BMC musculoskeletal disorders, 9(1), 1.
• Gardner, W., Shear, K., Kelleher, K. J., Pajer, K. A., Mammen, O., Buysse, D., ve Frank, E. (2004). Computerized adaptive measurement of depression: a simulation study. BMC Psychiatry, 4(1).
• Gibbons, R. D., Weiss, D. J., Kupfer, D. J., Frank, E., Fagiolini, A., Grochocinski, V. J., ... & Immekus, J. C. (2008). Using computerized adaptive testing to reduce the burden of mental health assessment. Psychiatric Services.
• Gibbons, R. D., Weiss, D. J., Pilkonis, P. a, Frank, E., Moore, T., Kim, J. B., ve Kupfer, D. J. (2012). Development of a computerized adaptive test for depression. Archives of General Psychiatry, 69(11), 1104–1112.
• Haley, S. M., Coster, W. J., Andres, P. L., Kosinski, M., & Ni, P. (2004). Score comparability of short forms and computerized adaptive testing: simulation study with the activity measure for post-acute care. Archives of physical medicine and rehabilitation, 85(4), 661-666.
• Haley, S. M., Ni, P., Jette, A. M., Tao, W., Moed, R., Meyers, D., & Ludlow, L. H. (2009). Replenishing a computerized adaptive test of patient-reported daily activity functioning. Quality of Life Research, 18(4), 461-471.
• Hart, D. L., Mioduski, J. E., ve Stratford, P. W. (2005). Simulated computerized adaptive tests for measuring functional status were efficient with good discriminant validity in patients with hip, knee, or foot/ankle impairments.Journal of clinical epidemiology, 58(6), 629-638.
• Hart, D. L., Cook, K. F., Mioduski, J. E., Teal, C. R., & Crane, P. K. (2006). Simulated computerized adaptive test for patients with shoulder impairments was efficient and produced valid measures of function. Journal of Clinical Epidemiology, 59(3), 290-298.
• Hol, a. M., Vorst, H. C. M., ve Mellenbergh, G. J. (2007). Computerized adaptive testing for polytomous motivation items: Administration mode effects and a comparison with short forms. Applied Psychological Measurement, 31(5), 412–429.
• Hooper, D., Coughlan, J., ve Mullen, M.: Structural equation modelling: Guidelines for determining model fit. Electronic Journal of Business Research Methods, 6(1), 53-60.
• Hu, L., Bentler, P. M. (1995). Evaluating model fit in R. Hoyle (Ed.), Structural equation modeling: Concepts, issues and applications. London: Sage Publications.
• Kaya, A. (2011). Kariyer danışmanlığında değerlendirme. B. Yeşilyaprak (Ed.). Mesleki rehberlik ve kariyer danışmanlığı: Kuramdan uygulamaya. Ankara:Pegem Akademi.
• Kocalevent, R. D., Rose, M., Becker, J., Walter, O. B., Fliege, H., Bjorner, J. B., ... & Klapp, B. F. (2009). An evaluation of patient-reported outcomes found computerized adaptive testing was efficient in assessing stress perception. Journal of Clinical Epidemiology, 62(3), 278-287.
• Kline, R.B. (2005). Principles and practices of structural equation modelling. New York: The Guilford Press.
• Kuzgun, Y. (2004). Meslek rehberliği ve danışmanlığına giriş. Ankara: Nobel Yayıncılık.
• Kuzgun, Y. (2014). Kendini değerlendirme envanteri el kitabı. Ankara: Nobel Yayıncılık.
• Linacre, J.M. (2000). Computer-adaptive testing: a methodology whose time has come. MESA memorandum no. 69. S. Chae, U. Kang, E. Jeon ve J. M. Linacre (Ed.). Development of computerised middle school achievement test, Seoul, South Korea: Komesa Press.
• Linden, W., ve Glas, G. (2002). Computerized adaptive testing: Theory and practice.New York: Kluver Academic Pub.
• Magis, D., Raiche, G., ve Barrada, J.R. (2016). Package ‘catR’. 15 Mart 2016 tarihinde https://cran.r-project.org/web/packages/catR/catR.pdf adresinden erişilmiştir.
• Milli Eğitim bakanlığı (MEB) (2015). Okullarda rehberlik ve psikolojik danışma hizmetleri kılavuzu. Ankara: Milli Eğitim Bakanlığı.
• Oswald, F. L., Shaw, A., ve Farmer, W. L. (2015). Comparing simple scoring with IRT scoring of personality measures the navy computer adaptive personality scales. Applied Psychological Measurement, 39(2), 144-154.
• Özbaşı, D., ve Demirtaşlı, N. (2015). Bilgisayar okuryazarlığı testinin bilgisayar ortamında bireye uyarlanmış test olarak geliştirilmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(2), 218-237.
• Scalise, K., ve Allen, D. D. (2015). Use of open‐source software for adaptive measurement: Concerto as an R‐based computer adaptive development and delivery platform. British Journal of Mathematical and Statistical Psychology, 68(3), 478-496.
• Schmitt, N. (1996). Uses and abuses of coefficient alpha. Psychological assessment, 8(4), 350.