Analysis of Theses on Scale Development According to Scale Development Standards

Yıl 2024, Cilt: 60 Sayı: 60, 190 - 206, 28.06.2024

Esra Eminoğlu Özmercan , Buket Kemer

Öz

The purpose of this research is to analyse the scales developed in the field of educational science and psychology according to the standards for educational and psychological testing of AERA, APA and NCME. Between 2010 and 2021, 50 theses constitute the sample of the research. A rating scale prepared according to the standards published by AERA, APA and NCME was used to anaylse theses. The rating scale consists of 27 items and three main headings. Content analysis method was used in the study. According to findings, it was determined that in the majority of theses the structure or domain to be measured, the examinee population, the purpose of the scale and the reasons for its development, the procedures used to develop and review the items, information that items tried out, the procedures used to select items from the item pool, expert review, the information about the sample’s representativeness of the population, the directions for test administration, reliability and validity properties, and the purpose of the test were defined adequately. It has been determined that no information is given about documenting the model used for evaluating the psychometric properties of items and extent to which the content domain of a test represents the domain. According to this result, it may be recommended to get opinions from measurement and evaluation specialists in scale development studies and to give instructions detailly.

Anahtar Kelimeler

Scale, scale development, AERA, APA and NCME testing standarts, content analysis, education and psychology

Ölçek Geliştirme Konulu Tezlerin Ölçek Geliştirme Standartlarına Göre İncelenmesi

Öz

Bu araştırmanın amacı eğitim bilimleri ve psikoloji alanında geliştirilmiş ölçeklerin ölçek geliştirme süreçlerinin AERA, APA ve NCME tarafından yayınlanan ölçek geliştirme standartlarına göre uygunluğunun incelenmesidir. 2010 ile 2021 yılları arasında Türkiye’de eğitim bilimleri ve psikoloji alanında yayınlanan 50 yüksek lisans ve doktora tezi araştırmanın örneklemini oluşturmaktadır. Tezlerin incelenmesinde AERA, APA ve NCME tarafından yayınlanan standartlara göre hazırlanmış dereceleme ölçeği kullanılmıştır. Dereceleme ölçeği “Ölçek Yönergesi Standartları”, “Madde Geliştirme ve Gözden Geçirme Standartları” ve “Ölçek Uygulama, Puanlama Prosedürü ve Materyallerin Standartları” olmak üzere üç ana başlıktan ve 27 maddeden oluşmaktadır. Çalışmada içerik analizi yöntemi kullanılmıştır. Elde edilen veriler doğrultusunda incelenen tezlerin büyük çoğunluğunda ölçülmek istenen yapı veya alan, araştırma evreni, ölçeğin kullanım amacı ve geliştirme gerekçeleri, maddelerin geliştirilme ve gözden geçirilme aşaması, ön deneme uygulamasının yapıldığı, madde havuzundan nasıl madde seçildiği, uzman görüşleri, örneklem özellikleri, yönergelerin yeterli açıklıkta sunulduğu, güvenirlik ve geçerlik kanıtlarının verildiği, ölçeğin ne amaçla kullanılacağı uygun bir şekilde verildiği belirlenmiştir. Ölçek geliştirme sürecinde kullanılan kuram ve ölçeğin içeriğinin yönergede tanımlanan alanı ne ölçüde temsil ettiği hakkında neredeyse hiç bir bilgiye verilmediği belirlenmiştir. Buna göre ölçek geliştirme çalışmalarında ölçme ve değerlendirme uzmanlarından görüş alınması ve yönergelerin ayrıntılı bir şekilde verilmesi önerilebilir.

Anahtar Kelimeler

Ölçek, ölçek geliştirme, AERA, APA ve NCME ölçek geliştirme standartları, içerik analizi, eğitim ve psikoloji

Etik Beyan

Ölçek Geliştirme Konulu Tezlerin Ölçek Geliştirme Standartlarına Göre İncelenmesi makalesinde doküman incelemesi yapıldığından etik kurul izni alınmamıştır.

Kaynakça

• Aktaş, M. (2023). Ölçek geliştirme üzerine bir bibliyometrik analiz. Batı Anadolu Eğitim Bilimleri Dergisi, 14(2), 1273-1292. https://doi.org/10.51460/baebd.1275572
• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (Eds.). (2014). Standards for educational and psychological testing. [Eğitim ve psikolojide ölçme standartları]. American Educational Research Association.
• Barış Pekmezci, F. & Ayan, C. (2020). Confusion of scale development: Investigation of self-efficacy scales. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 48, 130-151. https://doi.org/10.9779/pauefd.529986
• Baykul, Y. (2021). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Pegem Akademi.
• Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104
• Cohen, R. J. & Swerdlik, M. E. (2018). Psychological testing and assessment: An introduction to tests and measurement.(9th ed.) McGraw-Hill Education.
• Comrey, A. L., & Lee, E. B. (2013). A first course in factor analysis. (2. Baskı). New York: Psychology.
• Crocker, L. ve Algina, J. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart and Winston, Inc.
• Çelik, D. & Yüksel, G. (2020). Müzik Eğitimi Kapsamında Yapılan Ölçek Geliştirme Çalışmalarının Çok Yönlü İncelenmesi. İnsan ve Toplum Bilimleri Araştırmaları Dergisi, 9(5) , 4059-4087. https://doi.org/10.15869/itobiad.793488
• Çüm, S. & Koç, N. (2013). Türkiye’de psikoloji ve eğitim bilimleri dergilerinde yayımlanan ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. Journal of Educational Sciences & Practices, 12(24), 115-135. http://ebuline.com/pdfs/24Sayi/EBU24_3.pdf sayfasından erişilmiştir.
• DeVellis, R. F., & Thorpe, C. T. (2021). Scale development: Theory and applications. Sage publications.
• Ergene, Ö. (2020). Matematik eğitimi alanında ölçek geliştirme ve ölçek uyarlama makaleleri: Betimsel içerik analizi. Yaşadıkça Eğitim, 34(2), 360-383. https://doi.org/10.33308/26674874.2020342207
• Erkuş, A. (2012). Psikolojide ölçme ve ölçek geliştirme. Ankara: Pegem Akademi.
• Erkuş, A. (2016). Ölçek geliştirme ve uyarlama çalışmalarındaki sorunlar ile yazım ve değerlendirilmesi. Ö. Demirel & S. Dinçer (Ed.), Eğitim bilimlerinde yenilik ve nitelik arayışı içinde (s. 1212 - 1224). Ankara: Pegem Akademi.
• Eze, P. O., Victor-Aigbodion, V., Ossai, O. V., Ugwoezuonu, A. U., Egenti, N. T., & Eseadi, C. (2017) Procedures for the construction and development of psychological test. European Journal of Scientific Research, 145(2), 146 - 151. https://www.researchgate.net/publication/319330667_Procedures_for_the_Construction_and_Development_of_Psychological_Test_published_by_European_Journal_of_Scientific_Research sayfasından erişilmiştir.
• Gül, Ş. & Sözbilir, M. (2015). Fen ve matematik eğitimi alanında gerçekleştirilen ölçek geliştirme araştırmalarına yönelik tematik içerik analizi. Eğitim ve Bilim, 40(178), 85-102. https://doi.org/10.15390/EB.2015.4070
• Güler, G. & Ayan, C. (2020). Review of Attitude Scales Developed in Turkey Between 2002-2018 Regarding the Scale Development Process. Journal of Faculty of Educational Sciences, 53(3), 839-863. https://doi.org/10.30964/auebfd.658488
• Hinkin, T. R. (1995). A review of scale development practices in the study in organizations. Journal of Management, 21(5), 967-988. https://doi.org/10.1177/014920639502100509
• İlic, U., & Haseski, H. İ. (2019). Bilgi işlemsel düşünmeyi ölçmeye yönelik geliştirilen veri toplama araçlarının incelenmesi. I. Uluslararası Bilim Eğitim Sanat ve Teknoloji Sempozyumu’nda sunulmuş bildiri, Dokuz Eylül Üniversitesi, İzmir. https://www.researchgate.net/profile/Ali-Ilhan3/publication/337114093_9_Sinif_Cografya_Dersi_Ogretim_Programi_Kazanimlarinin_Yenilenmis_Bloom_Taksonomisine_Bilissel_Alan_Gore_Degerlendirilmesi/links/5dfc710192851c83648b16ee/9-Sinif-Cografya-Dersi-Oegretim-Programi-Kazanimlarinin-Yenilenmis-Bloom-Taksonomisine-Bilissel-Alan-Goere-Degerlendirilmesi.pdf sayfasından erişilmiştir.
• Karasar, N. (2010). Bilimsel araştırma yöntemi-kavramlar, ilkeler, teknikler. (23. Baskı). Ankara: Nobel.
• Kaya Uyanık, G., Güler, N., Taşdelen Teker, G. & Demir, S. (2017). Türkiye’de eğitim alanında yayımlanan ölçek geliştirme çalışmalarının uygunluğunun çok yüzeyli Rasch modeli ile incelenmesi. Journal of Measurement and Evaluation in Education and Psychology, 8(2), 183-199. https://doi.org/10.21031/epod.291367
• Korkmaz, İ. (2020). Nicel araştırmalarda evren, örneklem, örnekleme teknikleri. B. Oral, & A. Çoban içinde, Kuramdan uygulamaya eğitimde bilimsel araştırma yöntemleri içinde (s. 147-159). Ankara: Pegem Akademi.
• Krippendorff, K. (1995). On the reliability of unitizing continuous data. Sociological Methodology, 25, 47-76. https://doi.org/10.2307/271061
• Landis, J, R., & Koch, G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-174. https://doi.org/10.2307/2529310
• Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook. Sage.
• Mor Dirlik, E. (2014). Ölçek geliştirme konulu doktora tezlerinin test ve ölçek geliştirme standartlarına uygunluğunun incelenmesi. Journal of Measurement and Evaluation in Education and Psychology, 5(2), 62-78. https://doi.org/10.21031/epod.63138
• Mor Dirlik, E. & Koç, N. (2017). The Analysis of the Psychological Tests Using In Educational Institutions According To the Testing Standards. Journal of Measurement and Evaluation in Education and Psychology, 8(4), 453-468. https://doi.org/10.21031/epod.365141
• Nunnally, J. C. (1978). Psychometric theory. New York: McGraw-Hill.
• Olgun, G. & Alatlı, B. (2021). Türkiye’de ergenlere yönelik ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. Türk Eğitim Bilimleri Dergisi, 19(1), 568-592. https://doi.org/10.37217/tebd.849954
• Slavec, A. & Drnovsek, M. (2012). A perspective on scale development in entrepreneurship research. Economic and Business Review, 14(1), 39-62. https://doi.org/10.15458/2335-4216.1203
• Soycan, M., & Babacan, E. (2019). Müziksel İşitme Okuma ve Yazma İle İlgili Geliştirilmiş Ölçme Araçlarının İncelenmesi: İçerik Analizi Çalışması. Elektronik Sosyal Bilimler Dergisi, 18(69), 343-353. https://doi.org/10.17755/esosder.409006
• Stevens, S. S. (1946). On the theory of scales of measurement. Science, 103(2684), 677-680. https://doi.org/10.1126/science.103.2684.677
• Şahin, M.G. & Boztunç Öztürk, N. (2018). Eğitim alanında ölçek geliştirme süreci: Bir içerik analizi çalışması. Kastamonu Eğitim Dergisi, 26(1), 191-199. https://doi.org/10.24106/kefdergi.375863
• Tatlı Harmancı, S. & Güngör Aytar, A. F. (2021). Duygu düzenleme ile ilgili Türkiye’de geliştirilen veya uyarlanan ölçek çalışmalarının incelenmesi. Pearson Journal of Social Sciences - Humanities, 6(13), 170-184. https://doi.org/10.46872/pj.291
• Tavşancıl, E. ve Aslan, E. (2001). Sözel, yazılı ve diğer materyaller için içerik analizi ve uygulama örnekleri. Epsilon Yayınevi, İstanbul.
• Tezbaşaran, A. (2008). Likert tipi ölçek hazırlama kılavuzu. Ankara: Türk Psikologlar Derneği Yayınları, 27-48.
• Tosun, C. & Taşkesenligil, Y. (2015). The instruments used in science education in Turkey: a descriptive content analysis. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 15(2), 364- 383. https://doi.org/10.17240/aibuefd.2015.15.2-5000161329
• Worthington, R. L. & Whittaker, T. A. (2006). Scale development research: A content analysis and recommendations for best practices. The Counseling Psychologist, 34(6), 806-838. https://doi.org/10.1177/0011000006288127
• Yıldırım, A. & Şimşek, H. (2013). Sosyal bilimlerde nitel araştırma yöntemleri. Ankara: Seçkin Yayıncılık.