Yükseköğretime Geçiş Sınavının Sınıflama Tutarlılığının Farklı Yöntemlerle Elde Edilen Kesme Puanlarına Göre İncelenmesi

Year 2018, Volume: 8 Issue: 2, 188 - 199, 01.08.2018

Erdem Boduroğlu , Devrim Alıcı

Abstract

Bireylerin ve bir toplumun geleceğine yön veren yüksek riskli sınavlarda geçerli olan standartlar (kesme puanı ya da baraj puan); başarılı/başarısız, geçti/kaldı gibi sınıflamaların güvenilir ve geçerli bir biçimde gerçekleştirilmesi açısından önemli bir yere sahiptir. Bu çalışmada, ülkemizde üniversite giriş sınavlarında dikkate alınan kesme puanına (180.00) dayalı olarak adaylar hakkında verilen "lisans yerleştirme sınavına girebilir/giremez" şeklindeki kararların tutarlılığının, Sınır Grup, Karşıt Grup ve İşlem Karakteristik Eğrisi yöntemi elde edilen kesme puanlarının sınıflama tutarlıkları ile karşılaştırmalı olarak incelenmesi amaçlanmıştır. Araştırmanın verileri, on ikinci sınıfta öğrenim görmekte olan ve 2015 Yükseköğretime Geçiş Sınavına (YGS) katılan 167 adaydan ve bu adayları değerlendiren yedi uzmandan elde edilmiştir. Sınav öncesinde uzmanlardan, adayların 2015 YGS'de başarılı olarak ikinci aşama sınavı olan Lisans Yerleştirme Sınavına (LYS) girip giremeyeceği hakkında görüş alınmış ve bu görüşler doğrultusunda adaylar "barajı geçer/geçemez" ve "sınırda" olmak üzere sınıflandırılmıştır. Sınav sonrasında, adayların 2015 YGS'de aldıkları farklı puan türlerinden en yüksek olanı, uzman görüşleriyle karşılaştırılmıştır. Analiz aşamasında, öncelikle uzmanlar arası uyum incelenmiş, daha sonra farklı yöntemler aracılığıyla ayrı ayrı kesme puanları elde edilmiştir. Araştırmanın bulguları, farklı yöntemlerle elde edilen kesme puanlarının birbirine yakın değerler verdiğini; YGS kesme puanı ölçütüne göre tüm yöntemlerle elde edilen kesme puanlarının sınıflama tutarlılığı indekslerinin yüksek olduğunu; uzman görüşleri ölçüt olarak alındığı durumda ise sınıflama tutarlılığı indekslerinin daha düşük sonuçlar verdiğini ortaya koymuştur. Yükseköğretim Kurulu 2018 yılından itibaren uygulanmak üzere, üniversite giriş sınav sisteminde yeni bazı düzenlemelere gitmiş ve iki oturumlu tek aşamalı bir sınav uygulamasına geçiş yapılmıştır. Yeni sistemde lisans yerleştirme sınavı olarak planlanan Alan Yeterlik Testi!ne girebilmenin koşulu yine ilk oturumdaki testten "en az 180.00 puan almış olmak" şeklindedir. Kesme puanının değişmemesi nedeniyle, araştırma bulgularının yeni sınav düzenlemesi ile ilgili tartışmalara farklı bir bakış açısı sunması beklenmektedir.

Keywords

Karşıt grup, kesme puanı, ROC analizi, sınıflama tutarlılığı, sınır grup, standart belirleme, yükseköğretim giriş sınavı

The study of classification consistency of transition to higher education examination according to the cut-off scores obtained from different methods

Abstract

The way in which the passing standards of the examinations that lead to the future of students and a society are determined has an important place in terms of the reliability and validity of classifications such as successful/unsuccessful or passed/failed and objective evaluation of educational outputs. It was aimed in this study to examine the consistency of decisions taken for the candidates as "can enter LYS (Undergraduate Placement Exam)/cannot enter LYS" based on the cutoff score (180.00) used in YGS (Transition to Higher Education Exam) in Turkey in comparison with the classification consistency of cutoff scores obtained from Borderline Group, Contrasting Group and Receiver Operating Characteristic Curve method. The data of the study were obtained from a group of 167 candidates who were studying in the twelfth grade participating in the 2015 YGS, and a group of seven experts who evaluated these candidates. Before the exam, the expert group asked whether these candidates could pass the second LYS successfully in the 2015 YGS and, accordingly, they were classified as successful, unsuccessful or in-borderline. After the exam, the highest of the different score types the candidates received in the 2015 YGS was selected and the level of concordance between the expert opinions was examined and later the cutoff scores were obtained separately for the different standardization methods. The findings of the research revealed that the cutoff scores obtained by different methods had similar values, that the indexes of classification consistency of cutoff points obtained by all methods according to the YGS cutoff score criteria were high, and that the classification consistency indices gave lower results when expert opinions were taken as criteria. The Higher Education Council has gone to some new regulations in the university entrance examination system to be implemented starting from 2018 and a transition to a one-stage examination with two sessions has been made. In the new system, the condition of entering the Domain Proficiency Test is again "the minimum score of 180.00" from the test in the first session. Due to the fact that the cut-off score remains unchanged, research findings are expected to present a different perspective on the debate on the preparation of new examinations.

Keywords

Borderline group, classification consistency, contrasting groups, cut-off scores, higher education examination, ROC analysis, standard setting

References

• Akçay, A. ve Demirel, A. (2011). Pyometralı köpeklerde bazı kan parame- trelerinin optimal pozitiflik eşiğinin özgün oranlar ve ROC (Receiver Operating Characteristic) eğrisi yöntemi ile belirlenmesi. Erciyes Üniversitesi Veteriner Fakültesi Dergisi, 8(3), 153–163.
• Alpar, R. (2010). Spor, sağlık ve eğitim bilimlerinden örneklerle uygulamalı ista- tistik ve geçerlik-güvenirlik. Ankara: Detay Yayıncılık.
• Baykal, A. (2012). LYS 2012 barajının temelleri zayıf. Artı Eğitim, 8(91), 48–49.
• Bejar, I. I. (2008). Standard setting: What is it? Why is it important? R&D Connections, 7, 1–6.
• Chatterji, M. (2003). Designing and using tools for educational assessment. Boston, MA: Allyn & Bacon/Pearson.
• Cohen, R. J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
• Crocker, L., and Algina, J. (1986). Introduction to classical and modern test the- ory. New York, NY: CBS College Publishing Company.
• Çetin, S. ve Gelbal, S. (2010). Farklı standart belirleme yöntemlerinin geçme puanları üzerine etkisi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 43(1), 79–95.
• De Jesus Mari, J., and Williams, P. (1985). A comparison of the validity of two psychiatric screening questionnaires (GHQ-12 and SRQ-20) in Brazil, using relative operating characteristic (ROC) analysis. Psychological Medicine, 15(3), 651–659.
• Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382.
• Güçlü, A. (2017). Yeni sınav sisteminin artıları eksileri? 24 Mart 2018 tari- hinde <http://www.egitimajansi.com/haber/yeni-sinav-sisteminin-arti- lari-eksileri-haberi-61323h.html> adresinden erişildi.
• Gündeğer, C. ve Doğan, N. (2014). Angoff, Yes/No ve Ebel standart belir- leme yöntemlerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 53–60.
• Habertürk (2017). Üniversiteye girişte yeni sistem: Yükseköğretim Kurumları Sınavı. 26 Mart 2018 tarihinde <http://www.haberturk.com/universite- icin-yeni-sistem-1669767> adresinden erişildi.
• Hanley, J. A., and McNeil, B. J. (1983). A method of comparing the areas under receiver operating characteristic curves derived from the same cases. Radiology, 148(3), 839–843.
• Hürriyet (2017). Uzmanlar YKS’yi değerlendirdi: Coğrafya bilmeyen tıpçılar yetişecek. 26 Nisan 2018 tarihinde < http://www.hurriyet.com.tr/egit- im/uzmanlar-yksyi-nasil-buldu-40608170> adresinden erişildi.
• Impara, C. J., and Plake, B. S. (1998). Teachers ability to estimate item dif- ficulty: A test of the assumptions in the Angoff standard setting method. Journal of Educational Measurement, 35(1), 69–81.
• Jeager, R. M. (1989). Certification of student competence: In R. L. Linn (Ed), Educational measurement (pp. 485–514). New York, NY: Macmillan.
• Kanık, E. A. ve Erden, S. (2003). Tanı testlerinin değerlendirilmesinde ROC eğrisinin kullanımı. Mersin Üniversitesi Tıp Fakültesi Dergisi, 3, 260–264.
• Landis, J. R., and Koach, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.
• Livingston, S. A., and Zieky, M. J. (1982). Passing scores: A manual for setting standards of performance on educational and occupational tests. Princeton, NJ: Educational Testing Service.
• Livingston, S. A., and Zieky, M. J. (1983). A comparative study of standard-set- ting methods. Princeton, NJ: Educational Testing Service.
• Livingston, S. A., and Zieky M. J. (1989). A comparative study of standard setting methods. Applied Measurement in Education, 2(2), 121–141.
• Lusted, L. B. (1984). ROC recollected. Medical Decision Making, 4(2), 131–135.
• Näsström, G., and Nyström, P. (2008). A comparison of two different methods for setting performance standart for a test with constructed- response items. Practical Assessment Research and Evaluation, 13(9), 1–12.
• Nilsen, T., and Olsen, R. V. (2015). Standard setting in PISA and TIMSS. CEMO 2015 Conference, September 21–23, 2015, Oslo, Norway.
• ÖSYM (2012). 2012-ÖSYS sonuç açıklama sonrasında gündeme getirilen konu- lar hakkında açıklamalar. 28 Nisan 2018 tarihinde <http://www.osym. gov.tr/TR,969/2012-osys-sonuc-aciklama-sonrasinda-gundeme-getir- ilen-konular-hakkinda-aciklamalar-31072012.html> adresinden erişildi.
• ÖSYM (2016). 2015 YGS sayısal bilgiler. 20 Ekim 2016 tarihinde bilgiler19032015.pdf> adresinden erişildi.
• ÖSYM (2017). 2017 YGS sayısal bilgiler. 20 Eylül 2017 tarihinde <http:// dokuman.osym.gov.tr/pdfdokuman/2017/OSYS/YGS/SAYISAL 28032017.pdf> adresinden erişildi.
• Özkan, G. (2017). Uzmanlardan YKS’de ‘nitelik’ uyarısı. 02 Mayıs 2018 tari- hinde <http://www.hurriyet.com.tr/egitim/uzmanlardan-yksde-nitelik- uyarisi-40610014> adresinden erişildi.
• Öztürk, F. (2017). Üniversiteye giriş sınavında neler değişti, eğitimciler ne diyor? 2 Mayıs 2018 tarihinde <https://www.bbc.com/turkce/haberler-turkiye- 41596790> adresinden erişildi.
• Peterson, W. W., Birdsall, T. G., and Fox, W. C. (1954) The theory of signal detectability. Proceedings of the IRE Professional Group on Information Theory, 4, 171–212.
• Solberg, H. E. (1983). Statistical treatment of reference values. Bulletin of Molecular Biology and Medicine, 8, 13–9.
• Tanrıverdi, S. (2006). Standart belirleme yöntemlerinin geçme puanları üzerine etkisi. Yayımlanmamış yüksek lisans tezi, Hacettepe Üniversitesi, Ankara.
• Taşdemir, F. (2013). Angoff (1-0), Nedelsky ve sınır değerleri saptama yöntem- leri ile bir testin sınıflama doğruluklarının incelenmesi. Yayımlanmamış doktora tezi, Ankara Üniversitesi, Ankara.
• Taşdelen, G., Kelecioğlu, H. ve Güler, N. (2010). Nedelsky ve Angoff stan- dart belirleme yöntemleri ile elde edilen kesme puanlarının genel- lenebilirlik kuramı ile karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(1), 22–28
• Tülübaş, G. (2009). Psikolojik testlerde Angoff ve sınır grup yöntemleri ile kesme puanlarının belirlenmesi. Yayımlanmamış yüksek lisans tezi, Hacettepe Üniversitesi, Ankara.
• YÖK (2016). Basın açıklaması: “YÖK, ön lisans, açıköğretim ön lisans ve lisans programları ile özel yetenekle öğrenci alan lisans programlara girişte kullanılan YGS baraj puanını yükseltme kararı aldı”. 10 Nisan 2018 tari- hinde <http://www.yok.gov.tr/documents/18755141/.../01_YGS_ Baraj_Puanlari_Artirildi.doc> adresinden erişildi.
• YÖK (2018a). Yükseköğretim kurumları sınavı hakkında genel bilgi. 10 Nisan 2018 tarihinde <http://www.yok.gov.tr/documents/10279/36772609/ Yuksekogretim_Kurumlari_Sinavi_Hakk%C4%B1nda_Genel_Bilgi.pdf> adresinden erişildi.
• YÖK (2018b). Yükseköğretim kurumları sınavı ile ilgili sıkça sorulan sorular ve cevapları. 10 Nisan 2018 tarihinde <http://www.yok.gov.tr/web/guest/ yks-sss-ve-cevaplari-ile-puan-turleri> adresinden erişildi.
• Zırhlıoğlu, G. (2013). Determining cutoff points of factors affecting scores of private skill tests: ROC curve approach. Eurasian Journal of Educational Research, 53/A, 119–130.
• Zweig, M. H., and Campbell, G. (1993). Receiver-operating characteristic (ROC) plots: A fundamental evaluation tool in clinical medicine. Clinical Chemistry, 39(4), 561–577.