NEW STANDARDS AND CONTEMPORARY DEVELOPMENTS IN MEASUREMENT AND RESEARCH METHODOLOGY 1: VALIDITY IS A PROPERTY OF THE PROPOSED INTERPRETATIONS AND USES OF SCORES

Year 2017, Volume: 4 Issue: 1, 63 - 80, 23.06.2017

Vahit Bademci

Abstract

Tests or measurement instruments are not valid. Because, validity
is a property of the proposed interpretations and uses of scores. Thus, such
statements as “the test is valid” or “the scores are valid” should not be used.
Validity has evolved in the last 70 years. Meanwhile, the types of content
validity, criterion-related [predictive, concurrent] validity, and construct
validity were rejected. Sources of validity evidence in the 1999 Standards replaced these types of
validity. In current Standards, the sources
of validity evidence are specified as evidence based on test content, evidence
based on response processes, evidence based on internal structure, evidence
based on relations to other variables, and evidence based on consequences of
testing. Besides, validity is a unitary concept.

Keywords

Validity, validation, new Standards, sources of validity evidence, educational and psychological testing, Bademci’s paradigm shift

ÖLÇME VE ARAŞTIRMA YÖNTEMBİLİMİNDE ÇAĞDAŞ GELİŞMELER VE YENİ STANDARTLAR 1: GEÇERLİK, ÖLÇÜMLERİN KULLANIMLARININ VE ÖNERİLEN YORUMLARININ BİR ÖZELLİĞİDİR

Abstract

Testler ya da ölçme araçları geçerli değildir. Çünkü, geçerlik,
ölçümlerin kullanımlarının ve önerilen yorumlarının bir özelliğidir. Böylece,
“test geçerlidir” veya “ölçümler geçerlidir” benzeri ifadeler
kullanılmamalıdır. Geçerlik, son 70 yılda evrim geçirmiştir. Bu süre zarfında,
kapsam geçerliği, ölçüt ilişkili [yordayıcı, eşzamanlı] geçerlik ile yapı
geçerliği türleri reddedildi. Geçerliğin
bu türlerinin yerini, 1999 Standartlarında,
geçerlik kanıtının kaynakları aldı. Güncel Standartlarda,
geçerlik kanıtının kaynakları, test içeriği üzerine temellenmiş kanıt, yanıt
süreçleri üzerine temellenmiş kanıt, iç yapı üzerine temellenmiş kanıt, diğer
değişkenlerle ilişkiler üzerine temellenmiş kanıt ve test etmenin sonuçları
üzerine temellenmiş kanıt şeklinde belirtilmektedir. Bununla birlikte, geçerlik,
bütüncül bir kavramdır.

Keywords

Geçerlik, geçerleme, yeni Standartlar, geçerlik kanıtının kaynakları, eğitimsel ve psikolojik test etme, Bademci’nin paradigma değişikliği

References

• Algina, J., & Penfield, R. D. (2009). Classical test theory. In R. Millsap, & A. Maydeu- Olivares (Eds.), The Sage handbook of quantitative methods in psychology (pp. 93-122). Los Angeles: Sage.
• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (AERA, APA, & NCME) (1985). Standards for educational and psychological testing. Washington, DC: American Psychological Association.
• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (AERA, APA, & NCME) (1999). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (AERA, APA, & NCME) (2014). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
• American Psychological Association (APA) (1954). Technical recommendations for psychological tests and diagnostic techniques. Psychological Bulletin, 51, 201-238.
• American Psychological Association, American Educational Research Association, & National Council on Measurement in Education (APA, AERA, & NCME) (1974). Standards for educational and psychological tests. Washington, DC: American Psychological Association.
• Angoff, W. H. (1988). Validity: An evolving concept. In H. Wainer, & H. I. Braun (Eds.), Test validity (pp. 19-32). Hillsdale, New Jersey: Lawrence Erlbaum.
• Bademci, V. (1999). Türkiye’de eğitim fakülteleri ve öğretmen yetiştirme. Panel. Düzenleyen: ESEF İşletme Araştırma Topluluğu. Ankara: G.Ü. Mesleki Eğitim Fakültesi Konferans Salonu, 21 Mayıs 1999.
• Bademci, V. (2001a). Düşünmenin öğretilmesi ve öğretimde kullanılan yöntemler-teknikler. Konferans. Düzenleyen: TÜRMOB. Bursa: Bursa SMMM Odası Konferans Salonu, 9 Kasım 2001.
• Bademci, V. (2001b). Türkiye'deki okullar ne işe yarar? Konferans. Düzenleyen: Ankara Türk Telekom Anadolu Teknik L. Ankara: Başkent Öğretmenevi Konferans Salonu, 9 Aralık 2001.
• Bademci, V. (2002). Türkiye'deki okullar ne işe yarar? Türkiye'nin anomi, yabancılaşma, ekonomik büyüme, demokratikleşme sorunlarına çözüm önerisi. Konferans. Düzenleyen: ESEF Öğrenci Bilimsel Faal. Org. Kom. Ankara: G.Ü. Mesleki Eğitim Fakültesi Konferans Salonu, 30 Mayıs 2002.
• Bademci, V. (2005). Araştırmalarda ölçme ile ilgili bazı büyük hataları düzeltmek ve bir reformu başlatmak: Güvenirlik, testlerin bir özelliği değildir. Eğitim Fakültelerinde Yeniden Yapılandırmanın Sonuçları ve Öğretmen Yetiştirme Sempozyumu. Ankara: Gazi Üniversitesi, Gazi Eğitim Fakültesi, 22-23-24 Eylül 2005.
• Bademci, V. (2006). Paradigma değişikliği: Testler güvenilir değildir. Konferans. Düzenleyen: Gazi Üniversitesi, Endüstriyel Sanatlar Eğitim Fakültesi Dekanlığı. Ankara: G.Ü. Mesleki Eğitim Fakültesi Konferans Salonu, 28 Nisan 2006. [Konferansın bir kısmı ile ilgili haber için; Gazi Haber, Nisan 2006, Sayı 66, Sayfa 64.]
• Bademci, V. (2007). Ölçme ve araştırma yöntembiliminde paradigma değişikliği: Testler güvenilir değildir / Güvenirlik ve geçerlik üzerine çağdaş düşünceler: Araştırmada yöntembilimle ilgili bazı büyük hataların düzeltilmesi. Ankara: Yenyap.
• Bademci, V. (2010). Türk eğitim ve biliminde paradigma değişikliği: Testler veya ölçekler güvenilir ve geçerli değildir. Konferans. Düzenleyen: Gazi Üniversitesi, Endüstriyel Sanatlar Eğitim Fakültesi Dekanlığı. Ankara: G.Ü. Gazi Eğitim Fakültesi, Resim-İş Eğitimi Anabilim Dalı Konferans Salonu, 26 Nisan 2010. [Konferansın genel özeti şeklindeki ilgili haber için; Gazi Haber, Nisan 2010, Sayı 104, Sayfa 48-49.]
• Bademci, V. (2011a). Türk eğitim ve biliminde bilimsel devrim: Testler ya da ölçme araçları güvenilir ve geçerli değildir. Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi, 16, 116-132.
• Bademci, V. (2011b). Kuder-Richardson 20, Cronbach’ın alfası, Hoyt’un varyans analizi, genellenirlik kuramı ve ölçüm güvenirliği üzerine bir çalışma. Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi, 17, 173-193.
• Bademci, V. (2013a). Yeni tez önerisi hazırlama kılavuzu. Gazi Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
• Bademci, V. (2013b). Değerbiçiciler arası (interrater) ölçüm güvenirliğinin Cronbach’ın alfası ile kestirilmesi. Gazi Üniversitesi Endüstriyel Sanatlar Eğitim Fakültesi Dergisi, 30, 55-62.
• Bonner, S. M. (2013). Validity in classroom assessment: Purposes, properties, and principles. In J. H. McMillan (Ed.), Sage handbook of research on classroom assessment (pp. 86-106). Los Angeles: Sage.
• Brookhart, S. M. (2003). Developing measurement theory for classroom assessment purposes and uses. Educational Measurement: Issues and Practice, 22(4), 5-12.
• Cizek, G. J. (2016). Validating test score meaning and defending test score use: Different aims, different methods. Assessment in Education: Principles, Policy & Practice, 23(2), 212-225.
• Creswell, J. W. (2012). Educational research: Planning, conducting, and evaluating quantitative and qualitative research (4th ed.). Boston: Pearson Education.
• Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Fort Worth: Holt, Rinehart and Winston.
• Cronbach, L. J. (1971). Test validation. In R. L. Thorndike (Ed.), Educational measurement (2nd ed.) (pp. 443-507). Washington, DC: American Council on Education.
• Cronbach. L. J. (1980). Validity on parole: How can we go straight. In B. Schrader (Ed.), New directions for testing and measurement. Measuring achievement: Progress over a decade (pp. 99-108). San Francisco: Jossey-Bass.
• Cronbach, L. J. (1988). Five perspectives on the validity argument. In H. Wainer, & H. I. Braun (Eds.), Test validity. Hillsdale, New Jersey: Lawrence Erlbaum.
• Cronbach, L. J. (1989). Construct validation after thirty years. In R. L. Linn (Ed.), Intelligence: Measurement, theory, and public policy (pp. 147-171). Urbana: University of Illinois Press.
• Diri, M. (2014). Sıra dışı sanatsal yaratıcılık ile sıra dışı bilimsel yaratıcılık üzerine bir araştırma: Bingül Başarır ile Vahit Bademci durum (örnek olay) çalışmaları (Yayımlanmamış yüksek lisans tezi). Gazi Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
• Ebel, R. L., & Frisbie, D. A. (1991). Essentials of educational measurement (5th ed.). Englewood Cliffs, New Jersey: Prentice Hall.
• Ferrara, S., & DeMauro, G. E. (2006). Standardized assessment of individual achievement in K-12. In R. L. Brennan (Ed.), Educational measurement (4th ed.) (pp. 579-621). Westport, CT: American Council on Education & Praeger.
• Furr, R. M., & Bacharach, V. R. (2008). Psychometrics: An introduction. Los Angeles: Sage.
• Gall, M. D., Gall, J. P., & Borg, W. R. (2007). Educational research: An introduction (8th ed.). Boston: Pearson Education.
• Garrett, H. E. (1939). Statistics in psychology and education (2nd ed.). New York: Longmans, Green.
• Gazi Haber (2010). Türk eğitim ve biliminde paradigma değişikliği: Testler veya ölçekler güvenilir ve geçerli değildir. Sayı 104 (2010 Nisan), 48-49.
• Gronlund, N. E. (1998). Assessment in education (6th ed.). Boston: Allyn & Bacon.
• Gronlund, N. E., & Linn, R. L. (1990). Measurement and evaluation in teaching (6th ed.). New York: Macmillan.
• Guion, R. M. (1974). Open a new window: Validities and values in psychological measurement. American Psychologist, 29(5), 287-296.
• Guion, R. M. (1980). On trinitarian doctrines of validity. Professional psychology, 11(3), 385- 398.
• Kane, M. T. (1990). An argument-based approach to validation. ACT Research Report Series, 90-13. Iowa City, Iowa: ACT.
• Kane, M. T. (1992). An argument-based approach to validity. Psychological Bulletin, 112(3), 527-535.
• Kane, M. T. (2001). Currents concerns in validity theory. Journal of Educational Measurement, 38(4), 319-342.
• Kane, M. (2004). Certification testing as an illustration of argument-based validation. Measurement, 2(3), 135-170.
• Kane, M. T. (2006). Validation. In R. L. Brennan (Ed.), Educational measurement (4th ed.) (pp. 17-64). Westport, CT: American Council on Education & Praeger.
• Kane, M. (2009). Validating the interpretations and uses of test scores. In R. W. Lissitz (Ed.), The Concept of validity: Revisions, new directions, and applications (pp. 39-64). Charlotte, NC: Information Age Publishing.
• Kane, M. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50 (1), 1-73.
• Kane, M. T. (2016). Explicating validity. Assessment in Education: Principles, Policy & Practice, 23(2), 198-211.
• Koretz, D. (2008). Measuring up: What educational testing really tells us. Cambridge, Massachusetts: Harvard University Press.
• Korkmaz, A. (2010). Vahit Bademci’nin paradigma değişikliği üzerine bir araştırma: “Testler değil, ölçümler güvenilirdir” (Yayımlanmamış yüksek lisans tezi). Zonguldak Karaelmas Üniversitesi Sosyal Bilimler Enstitüsü, Zonguldak.
• Linn, R. L. (2010). Validity. In P. Peterson, E. Baker, & B. McGaw (Eds.), International encyclopedia of education, Volume 4 (pp. 181-185). Oxford: Elsevier.
• Linn, R. L., & Gronlund, N. E. (2000). Measurement and assessment in education (8th ed.). Upper Saddle River, New Jersey: Prentice-Hall.
• Linn, R. L., & Miller, M. D. (2005). Measurement and assessment in teaching (9th ed.). Upper Saddle River, New Jersey: Pearson.
• Markus, K. A. (1998). Science, measurement, and validity: Is completion of Samuel Messick’s synthesis possible. Social Indicators Research, 45, 7-34.
• Markus, K. A., & Borsboom, D. (2013). Frontiers of test validity theory: Measurement, causation, and meaning. New York: Routledge.
• Messick, S. (1975). The standard problem: Meaning and values in measurement and evaluation. American Psychologist, 30, 955-966.
• Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed.) (pp. 13- 103). New York: American Council on Education and Macmillan Publishing Company.
• Messick, S. (1995). Validity of psychological assessment. American Psychologist, 50(9), 741- 749.
• Messick, S. (1998). Test validity: A matter of consequence. Social Indicators Research, 45, 35-44.
• Moss, P. A. (2003). Reconceptualizing validity for classroom assessment. Educational Measurement: Issues and Practice, 22(4), 13-25.
• Neuman, W. L. (2006). Social research methods: Qualitative and quantitative approaches (6th ed.). Boston: Pearson Education.
• Nitko, A. J. (2001). Educational assessment of students (3rd ed.). Upper Saddle River, New Jersey: Prentice-Hall.
• Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). New York: McGraw-Hill.
• Odendahl, N. V. (2011). Testwise. Lanham: Rowman & Littlefield Education.
• Osterlind, S. J. (2006). Modern measurement: Theory, principles, and applications of mental appraisal. Upper Saddle River, New Jersey: Pearson.
• Reynolds, C. R., & Livingston, R. B. (2012). Mastering modern psychological testing: Theory & methods. Boston: Pearson.
• Reynolds, C. R., Livingstone, R. B., & Willson, V. (2006). Measurement and assessment in education. Boston: Pearson.
• Shepard, L. A. (1993). Evaluating test validity. In L. Darling-Hammond (Ed.), Review of research in education (pp. 405-450). Washington, DC: American Educational Research Association.
• Sijtsma, K. (2009). Correcting fallacies in validity, reliability, and classification. International Journal of Testing, 9, 167-194.
• Silva, F. (1993). Psychometric foundations and behavioral assessment. Newbury Park, California: Sage.
• Sireci, S. G. (2007). On validity theory and test validation. Educational Researcher, 36(8), 477-481.
• Sireci, S. G. (2009). Packing and unpacking sources of validity evidence. In R. W. Lissitz (Ed.), The Concept of validity: Revisions, new directions, and applications (pp. 19-37). Charlotte, NC: Information Age Publishing.
• Sireci, S. G. (2016). On the validity of useless tests. Assessment in Education: Principles, Policy & Practice, 23(2), 226-235.
• Suen, H. K. (1990). Principles of test theories. Hillsdale, New Jersey: Lawrence Erlbaum.
• Thompson, B. (1994). It is incorrect to say “the test is reliable”: Bad language habits can contribute to incorrect or meaningless research conclusions. (ERIC Document Reproduction Service No. ED 367 707).
• Thompson, B. (Ed.) (2003). Score reliability. Contemporary thinking on reliability issues. Thousand Oaks, California: Sage.
• Thompson, B., & Vacha-Haase, T. (2000). Psychometrics is datametrics : The test is not reliable. Educational and Psychological Measurement, 60, 174-195.
• Worthen, B. R., White, K. R., Fan, X., & Sudweeks, R. R. (1999). Measurement and assessment in schools (2nd ed.). New York: Longman.
• Zumbo, B. D. (2007). Validity: Foundational issues and statistical methodology. In C. R. Rao, & S. Sinharay (Eds.), Handbook of statistics, Volume 26: Psychometrics (pp. 45-79). Amsterdam: Elsevier Science B. V.