CONTEMPORARY DEVELOPMENTS AND NEW STANDARDS IN MEASUREMENT AND RESEARCH METHODOLOGY 2: REJECTION OF THE TRINITARIAN (CONTENT, CRITERION-RELATED, AND CONSTRUCT VALIDITIES) DOCTRINE IN VALIDITY AND SOURCES OF VALIDITY EVIDENCE

Year 2017, Volume: 4 Issue: 1, 81 - 97, 23.06.2017

Vahit Bademci

Abstract

The most authoritative source regarding the development and evaluation of educational and psychological tests is published by name of the Standards for Educational and Psychological Testing and briefly referred to as the Standards. This study is related to validity. Here, the Standards were utilized as the documents regarding the evolution of validity.  Advocated in the 1966 Standards, the view of content validity, criterion-related validity, and construct validity was abandoned in the 1999 Standards. In the 1999 Standards, the sources of validity evidence were identified as evidence based on test content, evidence based on response processes, evidence based on internal structure, evidence based on relations to other variables, and evidence based on consequences of testing.  The last edition of the Standards was published in 2014.

Keywords

Validity, validation, new Standards, sources of validity evidence, educational and psychological testing, Bademci’s paradigm shift

ÖLÇME VE ARAŞTIRMA YÖNTEMBİLİMİNDE ÇAĞDAŞ GELİŞMELER VE YENİ STANDARTLAR 2: GEÇERLİKTE ÜÇLEME (KAPSAM, ÖLÇÜT İLİŞKİLİ VE YAPI GEÇERLİKLERİ) ÖĞRETİSİNİN REDDİ VE GEÇERLİK KANITININ KAYNAKLARI

Abstract

Eğitimsel ve psikolojik testlerin geliştirilmesi ve değerlendirilmesine ilişkin en otoriter kaynak Standards for Educational and Psychological Testing adıyla yayımlanmaktadır ve kısaca, Standartlar olarak anılmaktadır. Bu çalışma geçerlikle ilgilidir. Burada, Standartlardan geçerliğin evrimine ilişkin belgeler biçiminde yararlanıldı. 1966 Standartlarında savunulan kapsam geçerliği, ölçüt ilişkili geçerlik, yapı geçerliği görüşü, 1999 Standartlarında terk edildi. 1999 Standartlarında,  test içeriği üzerine temellenmiş kanıt, yanıt süreçleri üzerine temellenmiş kanıt, iç yapı üzerine temellenmiş kanıt, diğer değişkenlerle ilişkiler üzerine temellenmiş kanıt ve test etmenin sonuçları üzerine temellenmiş kanıt biçiminde geçerlik kanıtının kaynakları tanımlandı. Standartların son sürümü, 2014’de yayımlandı.

Keywords

Geçerlik, geçerleme, yeni Standartlar, geçerlik kanıtının kaynakları, eğitimsel ve psikolojik test etme, Bademci’nin paradigma değişikliği

References

• Aiken, L. S., West, S. G., Sechrest, L., & Reno, R. R. with Roediger, H. L., Scarr, S., Kazdin, A. E., & Sherman, S. J. (1990). Graduate training in statistics, methodology, and measurement in psychology. American Psychologist, 45(6), 721-734.
• Algina, J., & Penfield, R. D. (2009). Classical test theory. In R. Millsap, & A. Maydeu-Olivares (Eds.), The Sage handbook of quantitative methods in psychology (pp. 93-122). Los Angeles: Sage.
• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (AERA, APA, & NCME) (1985). Standards for educational and psychological testing. Washington, DC: American Psychological Association.
• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (AERA, APA, & NCME) (1999). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (AERA, APA, & NCME) (2014). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
• American Psychological Association (APA) (1954). Technical recommendations for psychological tests and diagnostic techniques. Psychological Bulletin, 51, 201-238.
• American Psychological Association, American Educational Research Association, & National Council on Measurement in Education (APA, AERA, & NCME) (1966). Standards for educational and psychological tests and manuals. Washington, DC: American Psychological Association.
• American Psychological Association, American Educational Research Association, & National Council on Measurement in Education (APA, AERA, & NCME) (1974). Standards for educational & psychological tests. Washington, DC: American Psychological Association.
• Anastasi, A. (1986). Evolving concepts of test validation. Annual Review of Psychology, 37, 1-15.
• Angoff, W. H. (1988). Validity: An evolving concept. In H. Wainer, & H. I. Braun (Eds.),Test validity (pp. 19-32). Hillsdale, New Jersey: Lawrence Erlbaum.
• Bademci, V. (1999). Türkiye’de eğitim fakülteleri ve öğretmen yetiştirme. Panel. Düzenleyen: ESEF İşletme Araştırma Topluluğu. Ankara: G.Ü. Mesleki Eğitim Fakültesi Konferans Salonu, 21 Mayıs 1999. Bademci, V. (2001a). Düşünmenin öğretilmesi ve öğretimde kullanılan yöntemler-teknikler. Konferans. Düzenleyen: TÜRMOB. Bursa: Bursa SMMM Odası Konferans Salonu, 9 Kasım 2001.
• Bademci, V. (2001b). Türkiye'deki okullar ne işe yarar? Konferans. Düzenleyen: Ankara Türk Telekom Anadolu Teknik L. Ankara: Başkent Öğretmenevi Konferans Salonu, 9 Aralık 2001.
• Bademci, V. (2002). Türkiye'deki okullar ne işe yarar? Türkiye'nin anomi, yabancılaşma, ekonomik büyüme, demokratikleşme sorunlarına çözüm önerisi. Konferans. Düzenleyen: ESEF Öğrenci Bilimsel Faal. Org. Kom. Ankara: G.Ü. Mesleki Eğitim Fakültesi Konferans Salonu, 30 Mayıs 2002.
• Bademci, V. (2005). Araştırmalarda ölçme ile ilgili bazı büyük hataları düzeltmek ve bir reformu başlatmak: Güvenirlik, testlerin bir özelliği değildir. Eğitim Fakültelerinde Yeniden Yapılandırmanın Sonuçları ve Öğretmen Yetiştirme Sempozyumu. Ankara: Gazi Üniversitesi, Gazi Eğitim Fakültesi, 22-23-24 Eylül 2005.
• Bademci, V. (2006). Paradigma değişikliği: Testler güvenilir değildir. Konferans. Düzenleyen: Gazi Üniversitesi, Endüstriyel Sanatlar Eğitim Fakültesi Dekanlığı. Ankara: G.Ü. Mesleki Eğitim Fakültesi Konferans Salonu, 28 Nisan 2006. [Konferansın bir kısmı ile ilgili haber için; Gazi Haber, Nisan 2006, Sayı 66, Sayfa 64.]
• Bademci, V. (2007). Ölçme ve araştırma yöntembiliminde paradigma değişikliği: Testler güvenilir değildir / Güvenirlik ve geçerlik üzerine çağdaş düşünceler: Araştırmada yöntembilimle ilgili bazı büyük hataların düzeltilmesi. Ankara: Yenyap.
• Bademci, V. (2010). Türk eğitim ve biliminde paradigma değişikliği: Testler veya ölçekler güvenilir ve geçerli değildir. Konferans. Düzenleyen: Gazi Üniversitesi, Endüstriyel Sanatlar Eğitim Fakültesi Dekanlığı. Ankara: G.Ü. Gazi Eğitim Fakültesi, Resim-İş Eğitimi Anabilim Dalı Konferans Salonu, 26 Nisan 2010. [Konferansın genel özeti şeklindeki ilgili haber için; Gazi Haber, Nisan 2010, Sayı 104, Sayfa 48-49.]
• Bademci, V. (2011a). Türk eğitim ve biliminde bilimsel devrim: Testler ya da ölçme araçları güvenilir ve geçerli değildir. Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi, 16, 116-132.
• Bademci, V. (2011b). Kuder-Richardson 20, Cronbach’ın alfası, Hoyt’un varyans analizi, genellenirlik kuramı ve ölçüm güvenirliği üzerine bir çalışma. Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi, 17, 173-193.
• Bademci, V. (2013). Yeni tez önerisi hazırlama kılavuzu. Gazi Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara. Bademci, V. (2014). Cronbach’s alpha is not a measure of unidimensionality or homogeneity. Journal of Computer and Educational Research / Bilgisayar ve Eğitim Araştırmaları Dergisi, 2(3), 19-27.
• Bademci, V. (2016). Ölçme ve araştırma yöntembiliminde çağdaş gelişmeler ve yeni standartlar 1: Geçerlik, ölçümlerin kullanımlarının ve önerilen yorumlarının bir özelliğidir. Yayına hazırlanmış makale.
• Bonner, S. M. (2013). Validity in classroom assessment: Purposes, properties, and principles.In J. H. McMillan (Ed.), Sage handbook of research on classroom assessment (pp. 87-106). Los Angeles: Sage.
• Chatterji, M. (2003). Designing and using for educational assessment. Boston: Pearson Education.
• Cizek, G. J. (2016). Validating test score meaning and defending test score use: Different aims, different methods. Assessment in Education: Principles, Policy & Practice, 23(2), 212-225.
• Creswell, J. W. (2012). Educational research: Planning, conducting, and evaluating quantitative and qualitative research (4th ed.). Boston: Pearson Education.
• Cronbach, L. J. (1971). Test validation. In R. L. Thorndike (Ed.), Educational measurement (2nd ed.) (pp. 443-507). Washington, DC: American Council on Education.
• Cronbach, L. J. (1980). Validity on parole: How can we go straight. In B. Schrader (Ed.), New directions for testing and measurement. Measuring achievement: Progress over a decade (pp. 99-108). San Francisco: Jossey-Bass.
• Cronbach, L. J. (1988). Five perspectives on the validity argument. In H. Wainer, & H. I. Braun (Eds.), Test validity. Hillsdale, New Jersey: Lawrence Erlbaum.
• Ferrara, S., & DeMauro, G. E. (2006). Standardized assessment of individual achievement in K-12. In R. L. Brennan (Ed.), Educational measurement (4th ed.) (pp. 579-621). Westport, CT: American Council on Education & Praeger.
• Frisbie, D. A. (2005). Measurement 101: Some fundamentals revisited. Educational Measurement: Issues and Practice, 24(3), 21-28.
• Furr, R. M., & Bacharach, V. R. (2008). Psychometrics: An introduction. Los Angeles: Sage.
• Gazi Haber (2010). Türk eğitim ve biliminde paradigma değişikliği: Testler veya ölçekler güvenilir ve geçerli değildir. Sayı 104 (2010 Nisan), 48-49.
• Gall, M. D., Gall, J. P., & Borg, W. R. (2007). Educational research: An introduction (8th ed.). Boston: Pearson Education.
• Geisinger, K. F. (1992). The metamorphosis of test validation. Educational Psychologist, 27(2), 197-222.
• Goodwin, L. D., & Leech, N. L. (2003). The meaning of validity in the new Standards for Educational and Psychological Testing: Implications for measurement courses. Measurement and Evaluation in Counseling and Development, 36(3), 181-191.
• Gronlund, N. E. (1998). Assessment in education (6th ed.). Boston: Allyn & Bacon.
• Guilford, J. P. (1946). New standards for test evaluation. Educational and Psychological Measurement, 6(4), 427-438.
• Guion, R. M. (1980). On trinitarian doctrines of validity. Professional psychology, 11(3), 385-398.
• Guion, R. M., & Highhouse, S. (2006). Essentials of personel assessment and selection. New York: Lawrence Erlbaum.
• Hubley, A. M., Zhu, S. M., Sasaki, A., & Gadermann, A. M. (2014). Synthesis of validation practices in two assessment journals: Psychological Assessment and European Journal of Psychological Assessment. In B. D. Zumbo, & E. K. H. Chan (Eds.), Validity, validation in social, behavioral, and health sciences (pp. 193-213). New York: Springer.
• Jonson, J. L., & Plake, B. S. (1998). A historical comparison of validity standards and validity practices. Educational and Psychological Measurement, 58(5), 736-753.
• Kane, M. T. (1990). An argument-based approach to validation. ACT Research Report Series, 90-13. Iowa City, Iowa: ACT.
• Kane, M. T. (1992). An argument-based approach to validity. Psychological Bulletin, 112(3), 527-535.
• Kane, M. T. (2006). Validation. In R. L. Brennan (Ed.), Educational measurement (4th ed.) (pp. 17-64). Westport, CT: American Council on Education & Praeger.
• Kane, M. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50 (1), 1-73.
• Linn, R. L. (2006). The Standards for Educational and Psychological Testing: Guidance in test development. In S. M. Downing, & T. M. Haladyna (Eds.), Handbook of test development (pp. 27-37). Mahwah, New Jersey: Lawrence Erlbaum.
• Linn, R. L. (2010). Validity. In P. Peterson, E. Baker, & B. McGaw (Eds.), International encyclopedia of education, Volume 4 (pp. 181-185). Oxford: Elsevier.
• Linn, R. L., & Miller, M. D. (2005). Measurement and assessment in teaching (9th ed.).Upper Saddle River, New Jersey: Pearson.
• Messick, S. (1975). The Standard problem: Meaning and values in measurement and evaluation. American Psychologist, 30, 955-966.
• Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed.) (pp. 13-103). New York: American Council on Education and Macmillan Publishing Company.
• Messick, S. (1995). Validity of psychological assessment. American Psychologist, 50(9), 741-749.
• Moss, P. A., Girard, B. J., & Haniford, L. C. (2006). Validity in educational assessment. Review of Research in Education, 30(1), 109-162.
• Nitko, A. J. (2001). Educational assessment of students (3rd ed.). Upper Saddle River, New Jersey: Prentice-Hall.
• Odendahl, N. V. (2011). Testwise. Lanham: Rowman & Littlefield Education.
• Osterlind, S. J. (2006). Modern measurement: Theory, principles, and applications of menta lappraisal. Upper Saddle River, New Jersey: Pearson.
• Pedhazur, E. J., & Schmelkin, L. P. (1991). Measurement, design, and analysis: An integrated approach. Hillsdale, New Jersey: Lawrence Erlbaum.
• Reynolds, C. R., Livingston, R. B., & Willson, V. (2006). Measurement and assessment in education. Boston: Pearson.
• Rogers, T. B. (1995). The psychological testing enterprise: An introduction. Pasific Grove, California: Brooks/Cole.
• Rothman, R., Slattery, J. B., Vranek, J. L., & Resnick, L. B. (2002). Benchmarking and alignment of standards and testing. Los Angeles: National Center for Research on Evaluation, Standards, and Student Testing (CRESST).
• Shepard, L. A. (1993). Evaluating test validity. In L. Darling-Hammond (Ed.), Review of research in education (pp. 405-450). Washington, DC: American Educational Research Association.
• Silva, F. (1993). Psychometric foundations and behavioral assessment. Newbury Park, California: Sage.
• Sireci, S. G. (2009). Packing and unpacking sources of validity evidence. In R. W. Lissitz (Ed.), The Concept of validity: Revisions, new directions, and applications (pp. 19-37). Charlotte, NC: Information Age Publishing.
• Sireci, S., & Faulkner-Bond, M. (2014). Validity evidence based on test content. Psicothema, 26(1), 100-107.
• Sireci, S. G., Han, K. T., & Wells, C. S. (2008). Methods for evaluating the validity of test scores for English language learners. Educational Assessment, 13, 108-131.
• Sireci, S. G., & Parker, P. (2006). Validity on trial: Psychometric and legal conceptualizations of validity. Educational Measurement: Issues and Practice, 25(3), 27-34.
• Suen, H. K., & Rzasa, S. E. (2004). Psychometric foundations of behavioral assessment. In S.N. Haynes, & E. M. Heiby (Eds.), M. Hersen (Series Ed.), Comprehensive handbook of psychological assessment, Volume 3 (pp. 37- 56). Hoboken, New Jersey: John Wiley & Sons.
• Urbina, S. (2014). Essentials of psychological testing (2nd ed.). Hoboken, New Jersey: Wiley.
• Zumbo, B. D. (2014). What role does, and should, the test Standards play outside of the United States of America? Educational Measurement: Issues and Practice, 33(4), 31-33.