Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi

Kadriye Belgin Demirus; Selahattin Gelbal

doi:10.21031/epod.56218

Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi

Abstract

Bu araştırmada ortak maddelerin tamamı cinsiyete göre TB-DMF’li/DMF’siz olduğunda Madde Tepki Kuramı'na dayalı yapılan eşitleme yöntemlerinin performansını karşılaştırmak amaçlanmıştır. Araştırmada DMF’li maddelerin test eşitlemeye etkisi gerçek veri üzerinden, ayrı kalibrasyon yöntemleri ve eşdeğer gruplarda ortak test deseni kullanılarak yatay eşitleme ile ortaya konulmuştur. Araştırmada DMF analizleri “Mantel-Haenszel” yöntemi için EASYDIF programında ve “lojistik regresyon” yöntemi için Zumbo tarafından hazırlanan syntax ile SPSS’de yapılmıştır. Test eşitleme yöntemleri olarak lineer ölçek dönüştürme (moment) yöntemlerinden "ortalama-ortalama" ile "ortalama-sigma" ve karakteristik eğrisi dönüştürme yöntemlerinden "Haebara" ile "Stocking-Lord" kullanılmıştır. Eşitleme yöntemlerinin performansı yetenek kestirimleri arası farka dayalı RMSD eşitleme hataları hesaplanarak değerlendirilmiştir. Madde parametrelerinin ve yeteneğin kestiriminde BILOG-MG, test eşitlemede IRTEQ yazılımı işe koşulmuştur. Çalısmanın verisi oluşturulan fen testi formlarının 1350 8.sınıf öğrencisine uygulamasından elde edilmiştir. Araştırmanın sonucunda ortak maddeler erkekler lehine TB-DMF’li olduğunda en büyük RMSD eşitleme hatasını ortalama-ortalama yöntemi, en küçük hatayı ise ortalama-sigma yöntemi üretmiştir. Ortak maddeler DMF’siz olduğunda ise en büyük hata ortalama-sigma yönteminde, en küçük RMSD eşitleme hatası karakteristik eğrisi yöntemlerinde (Stocking-Lord ve Haebara) birbirine eşit olarak elde edilmiştir.

References

Angoff, W.H. (1971). Scales, Norms, and Equivalent Scores. In
Thorndike, R.L. (Ed.) Educational Measurement, 508-600. American Council on Education, US: Washington D.C.
Atalay Kabasakal, K. (2014). Değişen madde fonksiyonunun test eşitlemeye etkisi. Yayımlanmamış Doktora Tezi, Ankara: Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü.
Babcock, B., & Albano, A. D. (2012). Rasch scale stability in the presence of item parameter and trait drift. Applied Psychological Measurement, 36(7), 565-580.
Bakan Kalaycıoğlu, D. (2008). Öğrenci Seçme Sınavı’nın madde yanlılığı açısından incelenmesi. Yayımlanmamış Doktora Tezi, Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
Baker, F.B., & Al-Karni, A. (1991). A comparison of two procedures for computing IRT equating coefficients. Journal of Educational Measurement, 28(2), 147-162.
Bozdağ, S. (2007). Şans başarısının test eşitlemeye etkisi. Yayımlanmamış Yüksek Lisans Tezi, Mersin: Mersin Üniversitesi, Sosyal Bilimler Enstitüsü.
Büyüköztürk, Ş. (2005). Sosyal bilimler için veri analizi el kitabı. 5. Baskı Ankara: Pegema Yayıncılık.

Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş. & Demirel, F. (2008). Bilimsel araştırma yöntemleri. 2. Baskı Ankara: Pegem Akademi.
Camilli, G., & Shepard, L. A. (1994). Methods for identifying biased test items. Volume 4, Thousand Oaks, CA: Sage Publications.
Carmines, E.G., & McIver, S.P. (1981). Analyzing models with unobserved variables: Analysis of covariance structures. In G. W. Bohrnstedt and E.F. Borgatta (Eds.), Social measurement: current issues, 65-115. Beverly Hills, California: Sage Publications, Inc.
Chu, K. (2002). Equivalent group test equating with the presence of differential item functioning. Unpublished Doctoral Dissertation. US: Florida State University.
Cook, L. L., Eignor, D. R., & Taft, H. L. (1985). A comparative study of curriculum effects on the stability of IRT and conventional item parameter estimates. Princeton NJ: Educational Testing Service.
Cook, L. L., & Paterson, N. S. (1987). Problems related to the use of conventional and item response theory equating methods in less than optimal circumstances. Applied Psychological Measurement, 11, 225-244.
Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. FL, Orlando: Harcourt Brace Jovanovich, Inc.
Çepni, Z. (2011). Değişen madde fonksiyonlarının sibtest, Mantel Haenzsel, lojistik regresyon ve madde tepki kuramı yöntemleriyle incelenmesi. Yayımlanmamış Doktora Tezi. Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
Çetin, E. (2009). Dikey ölçeklemede klasik test ve madde tepki kuramına dayalı yöntemlerin karşılaştırılması. Yayımlanmamış Doktora Tezi. Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. USA: Lawrence Erlbaum Associates.
Embretson, S. E. (2007). Construct validity: A universal validity system or just another test evaluation prosedure? Educational Researcher, 36(8), 449-455.
Goldstein, H. (1983). Measuring changes in educational attainment over time: problems and possibilities. Journal of Educational Measurement, 20(4), 369-377.
González, A.; Padilla, J.L.; Hidalgo, M.D. Gómez-Benito , J. & Benítez, I. (2011). Easydif: Software for analysing differential item functioning using the Mantel-Haenszel and standardization procedures. Applied Psychological Measurement, 35, 483-484.
Gök, B. (2012). Denk olmayan gruplarda ortak madde deseni kullanılarak madde tepki kuramına dayalı eşitleme yöntemlerinin karşılaştırılması. Yayımlanmamış Doktora Tezi, Ankara: Hacettepe Üniversitesi.
Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and applications. US: Kluwer-Nijhoff Publishing.
Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage Publications.
Han, K.T. (2008). Impact of item parameter drift on test equating and proficiency estimates. Unpublished Doctoral Dissertation. US: University of Massachusetts.
Han, K. T. (2009). IRTEQ: Windows application that implements IRT scaling and equating (computer programme). Applied Psychological Measurement, 33(6), 491-493.
Hanson, B.A., & Béguin, A. A. (2002). Obtaining a common scale for item response theory item parameters using separate versus concurrent estimation in the common-item equating design. Applied Psychological Measurement, 26(1), 3-24.
Harris, D. J., & Crouse, J. D. (1993). A study of criteria used in equating. Applied Measurement in Education, 6(3), 195-240.
Hidalgo Montesinos, M. D., & Lopez Pina, J. A. (2002). Two-stage equating in differential item functioning detection under the graded response model with the Raju area measures and Lord statistic. Educational and Psychological Measurement. 62(1), 32.
Holland, P. W., & Dorans, N. J. (2006). Linking and equating. In R. L. Brennan (Ed.), Educational Measurement (4th Edition). 187-220. Westport, CT: American Council on Education and Praeger.
Huggins, A. C. (2014). The effect of differential item functioning in anchor items on population invariance of equating. Educational and Psychological Measurement. 74(4), 627-658.
Jöreskog, K.G., & Sorböm, D. (1986). Prells a program for multivariate data screening and data summarization: A preprocessor for Lisrel. Mooresville, Ind.: Scientific Software Inc.
Kan, A. (2010). Test eşitleme: Aynı davranışları ölçen, farklı madde formlarına sahip testlerin istatistiksel eşitliğinin sınanması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(1), 16-21.
Kan, A. (2011). Test eşitleme: OKS testlerinin istatistiksel eşitliğinin sınanması. Eğitim ve Bilim, 36(160), 38-51.
Kang, T., & Cohen, A. S. (2007). IRT model selection methods for dichotomous items. Applied Psychological Measurement, 31(4), 331-358.
Karkee, T. B., & Wright, K. R. (2004). Evaluation of linking methods for placing three-parameter logistic item parameter estimates onto a one parameter scale. Paper presented at the Annual Meeting of the American Educational Research, US: San Diego, California, April 16.
Kaskowitz, G. S., & De Ayala, R. J. (2001). The effect of error in item parameter estimates on the test response function method of linking. Applied Psychological Measurement, 25, 39-52.
Kelecioğlu, H. (1994). Öğrenci seçme sınavı puanlarının eşitlenmesi üzerine bir çalışma. Yayımlanmamış Doktora Tezi, Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
Kilmen, S. (2010). Madde tepki kuramına dayalı test eşitleme yöntemlerinden kestirilen eşitleme hatalarının örneklem büyüklüğü ve yetenek dağılımına göre karşılaştırılması. Yayımlanmamış Doktora Tezi, Ankara: Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü.
Kim, S., & Cohen, A. S. (1991). Effects of linking methods on detection of DIF. Paper presented at the Annual Meeting of the National Council on Measurement in Education, US: Chicago, IL.
Kim, S., & Cohen, A. S. (1998). A comprasion of linking and concurrent calibration under item response theory. Applied Psychological Measurement, 22, 131-143.
Kim, S., & Lee, W. C. (2004). IRT scale linking methods for mixed-format tests. ACT Research Report 2004–5. US: IA, ACT Inc.
Kim, S., & Lee, W. C. (2006). An extension of four IRT linking methods for mixed-format tests. Journal of Educational Measurement, 43(1), 53–76.
Kim, S., & Kolen, M. J. (2006). Robustness to format effects of IRT linking methods for mixed-format tests. Applied Measurement in Education, 19(4), 357-381.
Kolen, M. J., & Brennan, R. L. (2004). Test equating, scaling and linking: Methods and practices. (2nd Edition). New York: Springer- Verlag.
Mcdonald, Roderick P.(1999). Test theory: A unified treatment. New Jersey: Lawrence Erlbaum Associates, Publishers.
Mutluer, C. (2013). Yıl içinde farklı dönemlerde yapılan akademik personel ve lisansüstü eğitimi giriş sınavı (ales) puanlarına ilişkin bir test eşitleme çalışması. Bolu: Abant İzzet Baysal Üniversitesi, Eğitim Bilimleri Enstitüsü.
Ogasawara, H. (2001a). Item response theory true score equating and their standard errors. Journal Of Educational Behavioral Statistics, 26(1), 31-50.
Ogasawara, H. (2001b). Least square estimations of item response theory linking coefficients. Applied Psychological Measurement, 25(4), 3-21.
Özdemir, D. (2004). Çoktan seçmeli testlerin klasik test teorisi ve örtük özellikler teorisine göre hesaplanan psikometrik özelliklerinin iki kategorili ve ağırlıklandırılmış puanlanması yönünden karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, Sayı: 26,117-123.
Öztürk, N. (2010). Akademik personel ve lisansüstü eğitimi giriş sınavı puanlarının eşitlenmesi üzerine bir çalışma. Yayımlanmamış Yüksek Lisans Tezi, Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
Paek, I., & Young, M. J. (2005). Investigation of student growth recovery in a fixed-item linking procedure with a fixed-person prior distribution for mixed-format test data. Applied Measurement in Education, 18(2), 199-215.
Şahhüseyinoğlu, D. (2005). İngilizce yeterlik sınavı puanlarının üç farklı eşitleme yöntemine göre karşılaştırılması. Yayımlanmamış Doktora Tezi, Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
Tekin, H. (1991). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınları.
Turhan, A. (2006). Multilevel 2PL item response model vertical equating with the presence of differential item functioning. Unpublished Doctoral Dissertation. US: Florida State University.
Uysal, İ. (2014). Madde tepki kuramı’na dayalı test eşitleme yöntemlerinin karma modeller üzerinde karşılaştırılması. Yayımlanmamış Yüksek Lisans Tezi, Bolu: Abant İzzet Baysal Üniversitesi, Eğitim Bilimleri Enstitüsü.
Wells, C. S., Subkoviak, M. J., & Serlin, R. C. (2002). The effect of item parameter drift on examinee ability estimates. Applied Psychological Measurement. 26(1), 77–87.
Zumbo, B.D.A. (1999). Handbook on the theory and methods of differantial item functioning: Logistic regression modelling as a unitary framework for binary and likert-type item scores. Ottowa: Directorate of Human Resources Research and Evaluation, Department of National Defense.
Zimowski, M. F., Muraki, E., Mislevy, R. J., & Bock, R. D. (1996). Bilog–mg: Multiple-group IRT analysis and test maintenance for binary items. Chicago: Scientific Software International.

Details

Primary Language

English

Subjects

-

Journal Section

-

Authors

Kadriye Belgin Demirus This is me

Selahattin Gelbal

Publication Date

June 15, 2016

Submission Date

April 12, 2016

Acceptance Date

-

Published in Issue

Year 2016 Volume: 7 Number: 1

DOI

https://doi.org/10.21031/epod.56218

IZ

https://izlik.org/JA92BR54FA

Cite

RIS / Bibtex

APA

Demirus, K. B., & Gelbal, S. (2016). Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi. Journal of Measurement and Evaluation in Education and Psychology, 7(1), 182-201. https://doi.org/10.21031/epod.56218

AMA

1.Demirus KB, Gelbal S. Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi. JMEEP. 2016;7(1):182-201. doi:10.21031/epod.56218

Chicago

Demirus, Kadriye Belgin, and Selahattin Gelbal. 2016. “Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi”. Journal of Measurement and Evaluation in Education and Psychology 7 (1): 182-201. https://doi.org/10.21031/epod.56218.

EndNote

Demirus KB, Gelbal S (June 1, 2016) Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi. Journal of Measurement and Evaluation in Education and Psychology 7 1 182–201.

IEEE

[1]K. B. Demirus and S. Gelbal, “Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi”, JMEEP, vol. 7, no. 1, pp. 182–201, June 2016, doi: 10.21031/epod.56218.

ISNAD

Demirus, Kadriye Belgin - Gelbal, Selahattin. “Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi”. Journal of Measurement and Evaluation in Education and Psychology 7/1 (June 1, 2016): 182-201. https://doi.org/10.21031/epod.56218.

JAMA

1.Demirus KB, Gelbal S. Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi. JMEEP. 2016;7:182–201.

MLA

Demirus, Kadriye Belgin, and Selahattin Gelbal. “Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi”. Journal of Measurement and Evaluation in Education and Psychology, vol. 7, no. 1, June 2016, pp. 182-01, doi:10.21031/epod.56218.

Vancouver

1.Kadriye Belgin Demirus, Selahattin Gelbal. Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi. JMEEP. 2016 Jun. 1;7(1):182-201. doi:10.21031/epod.56218

Cited By

A Comparison of Linking Methods for Two Groups for the Two-Parameter Logistic Item Response Model in the Presence and Absence of Random Differential Item Functioning

Foundations

https://doi.org/10.3390/foundations1010009

Investigation of the Missing Data Imputation Methods on Characteristic Curve Transformation Methods Used in Test Equating

Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi

https://doi.org/10.21031/epod.1029044

Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi

Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi

Abstract

References

Details

Primary Language

Subjects

Journal Section

Authors

Publication Date

Submission Date

Acceptance Date

Published in Issue

DOI

IZ

Cite

Cited By

A Comparison of Linking Methods for Two Groups for the Two-Parameter Logistic Item Response Model in the Presence and Absence of Random Differential Item Functioning

Investigation of the Missing Data Imputation Methods on Characteristic Curve Transformation Methods Used in Test Equating

Investigation of Delta and Bootstrap Methods for Calculating Error of Test Equation in IRT in Terms of Some Variables

Comparison of Test Equating Methods Based on Classical Test Theory and Item Response Theory

Investigation of the Relationship between Visual Measurements and Test and Item Statistics