A RECOMMENDATION TO USE OF PLAUSIBLE VALUES IN LARGE-SCALE ASSESSMENTS: THE GREY RELATIONAL ANALYSIS

Abstract

10 plausible values are presented for the achievement scores in the fields of science literacy, mathematics literacy and reading in the PISA 2015 (Programme for International Student Assessment) which is one of the large scale assessments and in which Turkey also participates. This study aimed at examining the uncertainty regarding how these 10 plausible values to tackle for the Turkish students participating in PISA 2015. In order to solve this uncertainty through Grey Relationship Analysis, the grey relational degrees produced from 10 plausible values in the fields of science literacy, mathematics literacy and reading skills of Turkish students in the PISA 2015 and their relations with the plausible values were examined. All students who participated in the PISA 2015 in Turkey (N=5895) were included in this correlational study and science literacy, mathematics literacy and reading achievement scores were used. The data were analysed using descriptive statistics, Grey Relational Analysis (GRA), Pearson Moment Correlation Coefficient and independent samples t-test. As a result of the analysis, it was determined that the relationships between the grey relational level predicted from the 10 plausible reading points of the students and the plausible values were higher and more significant than the relationship among the plausible values in all three skill areas. The findings of this study show that using the single value produced by the researchers among 10 plausible values via GRA provides better results than using any of these values.

Keywords

• plausible values
• grey relational analysis
• PISA

GENİŞ ÖLÇEKLİ DEĞERLENDİRMELERDE OLASI DEĞERLERİN KULLANIMINA İLİŞKİN BİR ÖNERİ: GRİ İLİŞKİ ANALİZİ

Abstract

Bu çalışmada, Türkiye’nin de katıldığı geniş ölçekli uygulamalardan biri olan PISA (Programme for International Student Assessment) 2015 uygulamasına katılan Türk öğrencilerin fen bilimleri okuryazarlığı, matematik okuryazarlığı ve okuma becerisi alanlarındaki başarı puanı için sunulan 10 olası değerin (plausible value) başarı puanı olarak nasıl ele alınması gerektiğine karar vermedeki belirsizlik ele alınmıştır. Bu belirsizliğin Gri İlişki Analizi aracılığıyla çözülebilmesi için, PISA 2015 uygulamasına katılan Türk öğrencilerin fen bilimleri okuryazarlığı, matematik okuryazarlığı ve okuma becerisi alanlarındaki 10 olası değerinden üretilen gri ilişki dereceleri ve bunların olası değerlerle ilişkileri incelenmiştir. Korelasyonel nitelikte olan bu çalışmaya PISA 2015 Türkiye uygulamasına katılan tüm öğrenciler (N=5895) dâhil edilmiş ve fen bilimleri okuryazarlığı, matematik okuryazarlığı ve okuma becerisi başarı puanları kullanılmıştır. Veriler, betimsel istatistikler, gri ilişki analizi (GİA), Pearson Momentler Çarpımı Korelasyon Katsayısı ve bağımsız örneklemler t-testi kullanılarak çözümlenmiştir. Analizler sonucu, üç beceri alanında da, öğrencilerin olası 10 okuma puanından kestirilen gri ilişki derecesi ile olası değerler arasındaki ilişkilerin, olası değerlerin kendi aralarındaki ilişkilerden daha yüksek ve manidar olduğu tespit edilmiştir. Bu araştırmanın bulguları, araştırmacıların GİA ile 10 olası değerden tek bir değer üreterek kullanılmasının bu değerlerden herhangi birini kullanmaktan daha iyi sonuçlar elde edildiğini göstermektedir.

Keywords

• Olası değerler
• Gri ilişki analizi
• PISA

References

1. AGASISTI, T., AVVISATI, F., BORGONOVI, F. & LONGOBARDI, S. (2018). Academic Resilience: What Schools and Countries Do to Help Disadvantaged Students Succeed in PISA. OECD Working Paper No. 167.
2. ALOISI, C. & TYMMS, P. (2017). “PISA trends, social changes, and education reforms.” Educational Research and Evaluation, 23(5-6), 180-220. DOI: 10.1080/13803611.2017.1455290.
3. ARIKAN, S., ÖZER, F., ŞEKER, V., & ERTAŞ, G. (2020). “Comparative findings of the study showed that without using sample weights and plausible values there is a high probability to get incorrect results.” Journal of Measurement and Evaluation in Education and Psychology, 11(1), 43-60.
4. AYDEMİR, E., BEDİR, F. ve ÖZDEMİR, G. (2013). “Gri sistem teorisi ve uygulamaları: Bilimsel yazın taraması.” Süleyman Demirel Üniversitesi İktisadi İdari Bilimler Fakültesi Dergisi, 18, 187-200.
5. AYRIÇAY, Y., ÖZÇALICI, M. ve KAYA, M. (2013). “Gri ilişkisel analizin finansal kıyaslama aracı olarak kullanılması: IMKB-30 endeksindeki finansal olmayan firmalar üzerine bir uygulama.” Kahramanmaraş Sütçü İmam Üniversitesi Sosyal Bilimler Dergisi, 10(1), 223-227.
6. BAŞ, M. & ÇAKMAK, Z. (2012). “Gri ilişkisel analiz ve lojistik regresyon analizi ile işletmelerde finansal başarısızlığın belirlenmesi ve bir uygulama.” Anadolu Üniversitesi Sosyal Bilimler Dergisi, 12(3), 63-81.
7. BEKTAŞ, H. & TUNA, K. (2013). “Borsa İstanbul gelişen işletmeler piyasasında işlem gören firmaların gri ilişkisel analiz ile performans ölçümü.” Çankırı Karatekin Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 3(2), 185-198.
8. BÜYÜKGEBİZ, E. (2013). Ülke Performanslarının Gri İlişkisel Analiz Yöntemi İle Değerlendirilmesi, (Yayınlanmamış Yüksek Lisans Tezi), Süleyman Demirel Üniversitesi, Sosyal Bilimler Enstitüsü, Isparta, Türkiye.

9. CHAN, J. W. K. & TONG, T. K. L. (2007). “Multi-criteria material selections and endof-life product strategy: Grey relational analysis approach.” Materials and Design, 28(5), 1539–1546. doi:10.1016/j.matdes.2006.02.016
10. COERTJENS, L., BOEVE-DE PAUW, J., DE MAEYER, S., & VAN PETEGEM, P. (2010). “Do schools make a difference in their students’ environmental attitudes and awareness? Evidence from PISA 2006.” International Journal of Science and Mathematics Education, 8, 497-522.
11. ÇAKMAK, Z., BAŞ, M. & YILDIRIM, E. (2012). “Gri İlişkisel analiz ve uyum analizi ile bir işletmede karşılaşılan üretim hatalarının incelenmesi.” Süleyman Demirel Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 17(1), 123-142.
12. ÇELEBİ, N. (2008). “Gri İlişkisel Analiz Yöntemiyle Personel Seçimi.” VIII. Ulusal Üretim Araştırmaları Sempozyumu, İstanbul, ss. 21-29.
13. DELGADO, A. & PERU, L. (2017). “Why do any Secondary Students Prefer the Mathematics? A Response Using Grey Systems.” International Symposium on Engineering Accreditation(ICACIT).Doi:10.1109/ICACIT.2017.8358082.
14. DOĞAN, M. (2013). “Gri ilişkisel analiz yöntemi ile banka performansının ölçülmesi: Türkiye örneği.” Ege Akademik Bakış, 13(2), 215-225.
15. EĞİTİMİ ARAŞTIRMA ve GELİŞTİRME DAİRESİ BAŞKANLIĞI (EARGED). (2010). PISA 2009 ulusal ön rapor. Ankara: Milli Eğitim Basımevi.
16. ELİTAŞ, C., ELEREN, A., YILDIZ, F., & DOĞAN, M. (2012). “Gri İlişkisel Analiz İle Sigorta Şirketlerinin Performanslarının Belirlenmesi.” 16. Finans Sempozyumu, 521-530.
17. ERDEN, C., & CEVİZ, E. (2015). “Gri sistem teorisi kullanılarak Türkiye’nin büyüme oranı faktörlerinin analizi.” Sakarya Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 19(3), 361-369.
18. FRAENKEL, J. R., WALLEN, N. E., & HYUN, H. H. (2012). How to Design and Evaluate Research in Education (Eight Edition). New York: McGraw-Hill.
19. GONZÁLEZ DE SAN ROMÁN, A. & DE LA RICA, S. (2016). “Gender gaps in PISA test scores: The impact of social norms and the mother’s transmission of role attitudes.” Estudios De Economía Aplicada, 34(1), 79 -108.
20. HAMILTON, L. (2003). “Assessment as a policy tool.” Review of research in education, 27(1), 25-68.
21. JERRIM, J., LOPEZ-AGUDOB, L. A., MARCENARO-GUTİERREZB, O. D., & SHUREA, N. (2017). “What happens when econometrics and psychometrics collide? An example using the PISA data.” Economics of Education Review. 61, 51- 58.
22. JU-LONG, D. (1982).” Control problems of grey systems.” Systems & Control Letters, 1(5), 288-294. https://doi.org/10.1016/S0167-6911(82)80025-X.
23. KARAATLI, M., ÖMÜRBEK, N., BUDAK, İ. & DAĞ, O. (2015). “Çok kriterli karar verme yöntemleri ile yaşanabilir illerin sıralanması.” Selçuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 33, 215-228.
24. KARADAĞ-ALBAYRAK, Ö. (2015). Gri İlişkisel Analizi Yöntemi İle Personel Değerlendirme Üzerine Bir Çalışma, (Yayınlanmamış Yüksek Lisans Tezi). Kafkas Üniversitesi Sosyal Bilimler Enstitüsü, İşletme Anabilim Dalı. Kars.
25. KOĞAR, H. (2015). “PISA 2012 matematik okuryazarlığını etkileyen faktörlerin aracılık modeli ile incelenmesi.” Eğitim ve Bilim, 40(179), 45-55.
26. KUO, Y., TAHO, Y., & HUANG, G. (2008). “The use of grey relational analysis in solving multiple attribute decision-making problems.” Computer & Industrial Engineering, 55, 80-93.
27. LAROCHE, S. & CARTWRİGHT, F. (2010). Independent Review of the 2009 PISA Results for Ireland. Report prepared for the Educational Research Centre. Dublin: Department of Education and Skills.
28. LİN, Y., MİAN-YUN, C. & SİFENG, L. (2004). Theory of Grey Systems: Capturing Uncertainties of Grey Information, Grey Systems Theory and Applications, Mian-Yun, Chen, Sifeng, Liu ve Yi, Lın, (Ed.), Kybernetes, The International Journal of Systems and Cybernetics, 33(2), 196-218.
29. LİU, S., & LİN, Y. (2006). Grey Systems Theory and Applications. Springer-Verlag, London Ltd, London.
30. LİU, S. & LİN, Y. (2011). Grey Systems: Theory and Applications. Chapter I: Introduction to Grey Systems Theory. Berlin, Heidelberg: Springer.
31. ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT (OECD). (2012). PISA Data Analysis Manual: SPSS. Paris: OECD Publishing.
32. ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT (OECD). (2016). PISA 2015 Results (volume I): Excellence and Equity in Education. Paris: OECD Publishing.
33. ÖZDEMİR, A. İ. ve DESTE, M. (2009). “Gri ilişkisel analiz ile çok kriterli tedarikçi seçimi: Otomotiv sektöründe bir uygulama.” İstanbul Üniversitesi İşletme Fakültesi Dergisi, 38(2), 147-156.
34. ÖZGÜRLÜK, B., OZARKAN, H. B., ARICI, Ö. & TAŞ, U. E. (2016). Uluslararası Öğrenci Değerlendirme Programı-PISA 2015 Ulusal Raporu. Milli Eğitim Bakanlığı Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü, Ankara.
35. PAN, W., JIAN, L. & LIU, T. (2019). “Grey system theory trends from 1991 to 2018: A bibliometric analysis and visualization.” Scientometrics, 121, 1407–1434. https://doi.org/10.1007/s11192-019-03256-z
36. PANDA, A., SAHOO, A. K., & ROUT, A. K. (2016). “Multi-attribute decision making parametric optimization and modeling in hard turning using ceramic insert through grey relational analysis: A case study.” Decision Science Letters, 5, 581–592.
37. RUTKOWSKI, L., GONZALEZ, E., JONCAS, M., & VON DAVIER, M. (2010). “International large-scale assessment data: Issues in secondary analysis and reporting.” Educational Researcher, 39(2), 142-151. https://doi.org/10.3102/0013189X10363170
38. SARAR, Y., UĞUR, L. O., & AKBIYIKLI, R. (2017). “Uluslararası İhaleler içi̇n İş Geli̇şti̇rme Elemanı Seçi̇mi̇: Bi̇r Gri̇ İli̇şki̇sel Anali̇z Yaklaşımı Uygulaması.” Uluslararası Katılımlı 7. İnşaat Yönetimi Kongresi Bildirileri, 475-486.
39. SOUSA, S., PARK, E. J. & ARMOR, D. J. (2012). “Comparing effects of family and school factors on cross-national academic achievement using the 2009 and 2006 PISA surveys.” Journal of Comparative Policy Analysis: Research and Practice, 14(5), 449-468. DOI: 10.1080/13876988.2012.726535.
40. SPIEZIA, V. (2010). Does Computer Use Increase Educational Achievements? Student-Level Evidence from PISA. OECD Journal: Economic Studies.
41. ŞENGÜL, Ü., ve ŞENGÜL, A. B. (2017). “Akademik Performans Değerlendirmesinde Gri İlişkisel Analiz Yöntemi.” 3nd International Congress on Political, Economic and Social Studies (ICPESS), 09-11 November 2017.
42. ŞİŞMAN, B., ve ELEREN, A. (2013). “En uygun otomobilin gri ilişkisel analiz ve electre yöntemleri ile seçimi.” Süleyman Demirel Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 18(3), 411-429.
43. TAYYAR, N., AKCANLI, F., GENÇ, E. ve EREM, I. (2014). “BİST’e kayıtlı bilişim ve teknoloji alanında faaliyet gösteren işletmelerin finansal performanslarının analitik hiyerarşi projesi (AHP) ve gri ilişkisel analiz (GİA) yöntemiyle değerlendirilmesi.” Muhasebe Finansman Dergisi, 61, 19-40.
44. TEKTAŞ, N. (2014). “Performance evaluation of instructors through grey relational analysis method.” International Journal of Social Science, 23, 465-475.
45. TEKTAŞ, N. ve AYDIN, M. (2014). “Gri ilişkisel analiz ile öğrencilerin teknoloji ve tasarım dersi tutumları.” Uluslararası Sosyal Araştırmalar Dergisi, 7(31), 714-19.UÇKUN, N. ve GİRGİNER, N. (2011). “Türkiye’deki kamu ve özel bankaların performanslarının gri ilişki analizi ile incelenmesi.” Akdeniz İktisadi ve İdari Bilimler Fakültesi Dergisi, 21, 46-66.
46. UYSAL, Ş. (2015). “Factors affecting the mathematics achievement of Turkish students in PISA 2012.” Educational Research and Reviews, 10(12), 1670-1678. Doi: 10.5897/ERR2014.2067.
47. ÜSTÜNIŞIK, N. Z. (2007). Türkiye'deki İller ve Bölgeler Bazında Sosyo-Ekonomik Gelişmişlik Sıralaması Araştırması: Gri İlişkisel Analiz Yöntemi ve Uygulaması, (Yayınlanmamış Yüksek Lisans Tezi), Gazi Üniversitesi Fen Bilimleri Enstitüsü, Endüstri Mühendisliği. Ankara.
48. WEN, K. L. (2004). “The grey system analysis and its application in gas breakdown and var compensator finding.” International Journal of Computational Computing, 2(1), 21-44.
49. WU, M. (2005). “The role of plausible values in large-scale surveys.” Studies in Educational Evaluation, 31, 114-128.
50. YANG, W. & FAN, G. (2019). “Post-PISA education reforms in China: Policy response beyond the digital governance of PISA.” ECNU Review of Education, 2(3), 297–310. https://doi.org/10.1177/2096531119878557
51. YILMAZ, E. ve GÜNGÖR, F. (2010). “Gri İlişkisel Analiz Yöntemine Göre Farklı Sertliklerde Optimum Takım Tutucusunun Belirlenmesi.” 2. Ulusal Tasarım İmalat ve Analiz Kongresi, Balıkesir Üniversitesi Mühendislik Mimarlık Fakültesi. Balıkesir, Türkiye (pp.1-9).
52. ZİYA, E., DOĞAN, N. & KELECİOĞLU, H. (2010). “What is the predict level of which computer using skills measured in PISA for achievement in mathematics.” TOJET: The Turkish Online Journal of Educational Technology, 9(4), 185-191.