-

Abstract

The aim of this research is to compare various variance component estimations procedures with using signal noise ratio and error tolerance ratio which is offered with generalizabiity and Phi coefficients in non-normal distrubitions (Brennan, 2001; Kane, 1999). This research compares variance components estimations with using ANOVA and bootstrap procedures in non-normal disturbitions in one facet design G studies. Data were gathered with using two seperate procedures (a) data simulation and (b) sampling simulation. In data simulation part, it’s been simulated a non-normal dichotomous data set which fits to unidimensional personitem matrix 60x5 which fits to b x m design. All the simulations replicated 25 times. In sampling simulation sections datas, gathered from data simulation sections has been bootstrapped 1000 times according to the each facet. Standart errors, variance components, relative and absolute error are estimated according to the each facets with using ANOVA and bootstrap procedures. The results also show that in non-normal dichotomously scored datas best signal-noise ratio has estimated in boot b procedure, and best error-tolerance ratio has been estimated in boot m procedure. Thus, boot m procedures gives more valid estimations and boot bprocedure gives more reliable and precise estimations of universe scores in G studies rather than other procedures

Keywords

• Generalizability theory, variance component estimation, bootstrap

Genellenebilirlik Kuramı Karar Çalışmalarında Kullanılan Farklı Katsayıların Karşılaştırılması

Abstract

Bu araştırmanın amacı; verilerin normal dağılım varsayımına sahip olmadığı durumlarda farklı varyans bileşenleri kestirme yöntemlerini, genellenebilirlik ve karar katsayılarının yanında kullanılması önerilen (Brennan, 2001; Kane, 1999) evren puanı-hata oranı ve hata-tolerans indisleri yardımı ile karşılaştırmaktır. Araştırma; iki değişkelik kaynaklı bir verinin normal dağılım varsayımına sahip olmadığı durumda varyans bileşenlerini belirlemede ANOVA yöntemi ile bootstrap yöntemlerini farklı katsayı ve indisler yardımı karşılaştırmaktadır. Araştırmada bxm desenine uygun ve birey-madde matrisi oluşturacak şekilde tek faktörlü olarak 60 x 5 şeklinde normal dağılıma sahip olmayan iki kategorili puanlanan veri seti üretilmiş, elde edilen veriler 25 replikasyon sonucu nihai halini almıştır. Örnekleme simülasyonu aşamasında ise verilerin simülasyonundan elde edilen veriler,   desenine uygun olarak değişkenlik kaynaklarına göre 1000 kere yeniden örneklenmiştir (bootstrap). Tüm değişkenlik kaynaklarına göre ANOVA ve bootstrap yöntemleri kullanılarak standart hatalar, varyans bileşenleri, mutlak ve bağıl hatalar kestirilmiştir.Araştırma sonuçlarına göre normal dağılım göstermeyen ve iki kategorili puanlanan veriler üzerinde hesaplanan evren puanı-hata değeri en iyi boot-b prosedüründe kestirilirken, hata tolerans değeri en iyi boot-m prosedüründe kestirilmiştir. Bu bakımdan boot-m prosedürünün daha geçerli bilgiler verdiği, boot-b prosedürünün de G Kuramı çalışmalarında evren puanlarını belirlemede daha kesin kestirimler yaptığı sonucuna varılmıştır.

Keywords

• Genellenebilirlik kuramı, varyans bileşenleri kestirimi, yeniden örnekleme

References

1. Brennan, R. L., Kane, M. T. (1977). An Index of Dependability for Mastery Tests. Journal of Educational Measurement, 14, 277-289.
2. Brennan, R. L., Harris, D. J., Hanson, B. A. (1987). The bootstrap and other procedures for examining the variability of estimated variance components in testing contexts. ACT Research Report Series 87-7. Iowa City, lA: American College Testing Program
3. Brennan, R. L. (2001). Generalizability Theory. New York: Springer
4. Brennan, R. L. (2003). Coefficients and Indices in Generalizability Theory. (CASMA Research Report No.1). Iowa City: Center for Advanced Studies in Measurement and Assessment, The University of Iowa.
5. Brennan R. L. (2007) Unbiased Estimates of Variance Components with Bootstrap Procedures. Educational and Psychological Measurement, 67, 784-803.
6. Cohen A. S., Kane M. T., Kim S. (2001). The Precision of Simulation Study Results. Applied Psychological Measurement, 25, 136-145.
7. Crocker, L., Algina, J. (1986). Introduction to Classical and Modem Test Theory. Fort Worth, FL: Harcourt Brace Jovanovich College Publishers
8. Cronbach, L. J., Rajarantnam, N., Gieser, G. C. (1963). Theory of Generalizability: A Liberalization of Reliability Theory. British Journal of Statistical Psychology, 16, 137-163.

9. Cronbach, L. J., Gieser, G. C., Nanda, H., Rajarantnam, N. (1972). The Dependability of Behavioral Measurements: Theory of Generalizability for Scores and Profiles. New York: Wiley
10. Efron, B., Tibshirani, R. (1993). An Introduction to the Bootstrap. New York: Chapman & Hall.
11. Hagvet K. A., Hoglend P. A. (2008). Assessing Precision of Change Scores in Psychodynamic Psychotherapy: A Generalizabiiity Theory Approach. Measurement and Evaluation in Counseling and Development, 41, 162-178.
12. Kane, M. T. (1996). The precision of measurements. Applied Measurement in Education, 9, 355–379.
13. Kane, M. (1999). The Role of Generalizability in Validity. Annual Meeting of the National Council on Measurement in Education. Montreal, Canada.
14. Leucht, R. M., & Smith, P. L. (1989). The Effects of Bootstrapping Strategies on the Estimation of Variance Components. Annual Meeting of the American Educational Research Association, San Francisco, California.
15. Meyer, J. P. (2010). Reliability. Oxford. Oxford University Press
16. Moore. J. L. (2010). Estimating Standard Errors of Estimated Variance Components in Generalizability Theory Using Bootstrap Procedures. Yayınlanmamış Doktora tezi, University of Iowa.
17. Othman, A. R. (1995). Examining Task Sampling Variability in Science Performance Assessments. Yayınlanmamış Doktora Tezi, University of California, Santa Barbara.
18. Rentz, J. O. (1987). Generalizability Theory: A Comprehensive Method for Assessing and Improving the Dependability of Marketing Measures. Journal of Marketing Research, 24, 19-28.
19. Revelle, W. (2012). Package “psych”: Procedures for Psychological, Psychometric, and Personality Research. Version: 1.2.4.
20. Searle, S. R. (1987), Linear Models for Unbalanced Data, New York: John Wiley & Sons Publications.
21. Shavelson, J. R. ve Webb N. M. (1991). Generalizability Theory: A Primer. Newbury Park. CA: Sage Publications.
22. Shavelson, R. J. ve Webb, N. M. (2004). Generalizability Theory. Encyclopedia of Social Measurement. New York: Academic Press.
23. Wiley, E. W. (2001). Bootstrap strategies for variance component estimation: Theoretical and empirical results. Yayınlanmamış Doktora tezi, Stanford University.