Weighting the Indicators of Turkish University Rankings: The Example of University Ranking by Academic Performance (URAP) Turkey General Rankings

Year 2018, Volume: 1 Issue: 2, 62 - 70, 01.08.2018

Durmuş Özbaşı , Barış Uslu

https://doi.org/10.32329/uad.414967

Cited By: 4

Abstract

The purpose of this research is to identify the statistically significant indicators in the URAP Turkey General Rankings and to weight these significant indicators as a percentage. This research was designed as a regression model based on the secondary usage of URAP data. The data set was generated from the scores in the URAP Turkey General Rankings between 2010 and 2018. Five indicators in the URAP Turkish Universities Ranking are Article, Total Citation, Total Scientific Document, The Number of Doctoral Graduates and Faculty/Student scores. For each indicator, the mean score of first seven years was determined, and these mean scores were assigned as independent variables to explain universities’ total scores in the URAP Turkey General Rankings. Stepwise Regression Analysis was performed to establish the most comprehensive statistical model including all significant indicators together in order to attain the highest determinant (R2) coefficient close to one. This analysis adjusted the regression model that explains nearly the entire variance (R2=.942) for the 2017-18 URAP Turkey General Rankings. Among five indicators, only Total Scientific Document Score (p>.05) is not a significant indicator in this model. As significant indicators, Article, Total Citation, The Number of Doctoral Graduates, and Faculty/Student scores were weighted using standardised beta (β) coefficients for the mean scores of these four indicators. The weights for significant indicators were calculated 47.83% for Article, 33.61% for The Number of Doctoral Graduate, 13.48% for Total Citation, and 5.08% for Faculty/Student scores. Two rankings were formed based on the sum of weighted 2017-18 scores for significant indicators and the sum of unweighted 2017-18 scores for significant indicators, and then these rankings were compared. The comparison revealed that 19 universities take same places in these two rankings, but the order of 102 universities in these rankings differ from one to 22 places.

Keywords

University rankings, URAP Turkey General Rankings, Stepwise Regression Model, percentage weighting, weighted scoring

Türk Üniversiteleri Sıralama Göstergelerinin Ağırlıklandırılması: University Ranking by Academic Performance (URAP) Türkiye Genel Sıralaması Örneği

Abstract

Bu araştırmanın amacı, URAP Türkiye Genel Sıralaması’nda kullanılan
puanlama göstergelerinden istatistiksel olarak anlamlı olanların belirlenmesi
ve belirlenen göstergelerin yüzdelik olarak ağırlıklandırılmasıdır. Araştırma, URAP
verilerinin ikincil kullanımına dayalı, regresyon modellemesi olarak
tasarlanmıştır. Araştırmada kullanılan veri seti, 2010-2018 arası URAP Türkiye
Genel Sıralamaları’na ait puanlar kullanılarak oluşturulmuştur. Türk
üniversiteleri sıralaması için URAP tarafından kullanılan beş gösterge Makale, Toplam
Atıf, Toplam Bilimsel Doküman, Doktora Mezun Öğrenci Sayısı ve Öğretim
Üyesi/Öğrenci puanlarıdır. Bu göstergelere ait ilk yedi yılki puan ortalamaları
hesaplanmış ve bu ortalamalar 2017-18 URAP Türkiye Genel Sıralaması toplam
puanlarını açıklamak amacıyla bağımsız değişkenler olarak atanmıştır. Anlamlı göstergelerin
hepsinin bir arada bulunduğu ve determinant katsayısı (R²) bire
yakın en kapsamlı istatistiksel modelin belirlenmesi için Aşamalı [Stepwise] Regresyon
Analizi kullanılmıştır. Analiz sonucunda, 2017-18 URAP Türkiye Genel Sıralaması
toplam puanlarına ait varyansın tamamına yakınını (R²=,942)
açıklayan bir regresyon modeli elde edilmiştir. Beş göstergeden yalnızca Toplam
Bilimsel Doküman Puanı bu modelde anlamlı (p>.05) gösterge olarak yer
almamaktadır. Anlamlı göstergeler olan Makale, Toplam Atıf, Doktora Mezun
Öğrenci Sayısı ve Öğretim Üyesi/Öğrenci puan ortalamalarına ait standardize
edilmiş beta (β) katsayıları kullanılarak bu göstergeler ağırlıklandırılmıştır.
Anlamlı göstergelere ilişkin ağırlıklar Makale Puanı için %47,83, Doktora Mezun
Öğrenci Sayısı Puanı için %33,61, Toplam Atıf Puanı için %13,48 ve Öğretim
Üyesi/Öğrenci Puanı için %5,08 olarak hesaplanmıştır. Anlamlı göstergelere ait
ağırlıklar kullanılarak yeniden hesaplanan 2017-18 gösterge puanlarının toplamı
ile ağırlıklandırma işlemi yapılmadan aynı göstergelere ait puanların toplamı
üzerinden Türk üniversiteleri sıralamaları oluşturularak karşılaştırılmıştır.
Yapılan karşılaştırmada, 19 üniversitenin aynı sırada yer aldığı ve 102
üniversitenin sıralamalarının bir ile 22 basamak arasında değiştiği
belirlenmiştir.

Keywords

üniversite sıralamaları, URAP Türkiye Genel Sıralaması, Aşamalı Regresyon Modeli, yüzdelik ağırlıklandırma, ağırlıklı puanlama

References

• Alaşehir, O., Çakır, M. P., Acartürk, C., Baykal, N., & Akbulut, U. (2014). URAP-TR: A national ranking for Turkish universities based on academic performance. Scientometrics, 101, 159-178. doi:10.1007/s11192-014-1333-4
• Altbach, P. G., & Salmi, J. (Eds.). (2011). The road to academic excellence: The making of worldclass research universities. Washington, DC: The World Bank.
• Arkalı-Olcay, G., & Bulu, M. (2016). Uluslararası üniversite sıralama endekslerinde Türk üniversitelerinin yeri. Yükseköğretim Dergisi, 6, 95-103. doi:10.2399/yod.16.003
• Bougnol, M.-L., & Dula, J. H. (2015). Technical pitfalls in university rankings. Higher Education, 69, 859–866. doi:10.1007/s10734-014-9809-y
• Chen, L.-H. (2008). Internationalization or international marketing? Two frameworks for understanding international students’ choice of Canadian universities. Journal of Marketing for Higher Education, 18, 1-33. doi:10.1080/08841240802100113
• Çakır, M. P., Acartürk, C., Alaşehir, O., & Çilingir, C. (2015). A comparative analysis of global and national university ranking systems. Scientometrics, 103, 813-848. doi:10.1007/s11192-015-1586-6
• DET (Department of Education and Training). (2017). Enrolment count by citizenship category. 22 Aralık 2017 tarihinde http://highereducationstatistics.education.gov.au/ adresinden erişilmiştir.
• Douglass, J. A. (Ed.). (2016). The new flagship university changing the paradigm from global ranking to national relevancy. London: Palgrave Macmillan.
• Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate data analysis (7th ed.). Upper Saddle River, NJ: Pearson Prentice Hall.
• Harley, D., & Acord, S. K. (2011). Peer review in academic promotion and publishing: Its meaning, locus, and future. University of California, Berkeley: Center for Studies in Higher Education.
• Harvey, L. (2008). Rankings of higher education institutions: A critical review. Quality in Higher Education, 14, 187-207. doi:10.1080/13538320802507711
• Hazelkorn, E. (2015). Rankings and the reshaping of higher education: The battle for world-class excellence. New York: Palgrave MacMillan.
• Karadağ, N. (2016). Examining the branding of Turkish universities in the context of socio-economic development of their cities. International Journal of Higher Education, 5, 173-182. doi:10.5430/ijhe.v5n4p173
• Karadağ, E., & Yücel, C. (2016). Devlet üniversiteleri sıralaması: 2016 yılı. 06 Nisan 2018 tarihinde https://www.enginkaradag.net/dus adresinden erişilmiştir.
• Karadağ, E., & Yücel, C. (2017). Devlet üniversiteleri ve fakülteleri sıralaması [DÜS] 2017. Eskişehir. 06 Nisan 2018’de https://www.uniar.net/dus adresinden erişilmiştir.
• Karadağ, E., & Yücel, C. (2018). Devlet üniversiteleri ve fakülteleri sıralaması [DÜS] 2018. Üniversite Araştırmaları Laboratuvarı Yayınları. doi:10.13140/RG.2.2.17310.84804
• Karadağ, E., Yücel, C., & Belenkuyu, C. (2018). Üniversite sıralamasında akademik teşvik puanlarının kullanılması: Devlet Üniversiteleri ve Fakülteleri Sıralaması [DÜS-2018]. Üniversite Araştırmaları Dergisi, 1, 31-35. doi:10.26701/uad.401249
• Konan, N., & Yılmaz, S. (2017). Üniversitelerin sıralanma ölçütleri ve Türkiye üniversiteleri için öneriler. Yükseköğretim ve Bilim Dergisi, 7, 200-210. doi:10.5961/jhes.2017.199
• Mampaey, J., Huisman, J., & Seeber, M. (2015). Branding of Flemish higher education institutions: A strategic balance perspective. Higher Education Research & Development, 34, 1178-1191. doi:10.1080/07294360.2015.1024634
• McGrail, M. R., Rickard, C. M., & Jones, R. (2006). Publish or perish: A systematic review of interventions to increase academic publication rates. Higher Education Research & Development, 25, 19-35. doi:10.1080/07294360500453053
• Moed, H. F. (2005). Citation analysis in research evaluation. Dordrecht: Springer.
• Saka, Y., & Yaman, S. (2011). Üniversite sıralama sistemleri; Kriterler ve yapılan eleştiriler. Yükseköğretim ve Bilim Dergisi, 1, 72-79. doi:10.5961/jhes.2011.012
• Salmi, J. (2009). The challenge of establishing world-class universities. Washington, DC: The World Bank.
• Shattock, M. (2017). The ‘world class’ university and international ranking systems: What are the policy implications for governments and institutions? Policy Reviews in Higher Education, 1, 4-21. doi:10.1080/23322969.2016.1236669
• Shehatta, I., & Mahmood, K. (2016). Correlation among top 100 universities in the major six global rankings: Policy implications. Scientometrics, 109, 1231-1254. doi:10.1007/s11192-016-2065-4
• Shin, J. C., & Khem, B. M. (Eds.). (2013). Institutionalization of world-class university in global competition. Dordrecht: Springer.
• Shin, J. C., Toutkoushian, R. K., & Teichler, U. (Eds.). (2011). University rankings: Theoretical basis, methodology and impacts on global higher education. Dordrecht: Springer.
• Soh, K. C. (2011). Don’t read university rankings like reading football league tables: Taking a close look at the indicators. Higher Education Review, 44, 15-29.
• Soh, K. (2013a). Misleading university rankings: Cause and cure for discrepancies between nominal and attained weights. Journal of Higher Education Policy and Management, 35, 206-214. doi:10.1080/1360080X.2013.775929
• Soh, K. (2013b). Rectifying an honest error in world university rankings: A solution to the problem of indicator weight discrepancies. Journal of Higher Education Policy and Management, 35, 574-585. doi:10.1080/1360080X.2013.844670
• Soh, K. (2017). The seven deadly sins of world university ranking: A summary from several papers. Journal of Higher Education Policy and Management, 39, 104-115. doi:10.1080/1360080X.2016.1254431
• Strauss, V. (2017, Ağustos 17). U.S. News’s College Rankings face competition and criticism. The Washington Post. 22 Aralık 2017 tarihinde http://www.washingtonpost.com/wp-dyn/content/article/2007/08/16/AR2007081602537.html adresinden erişilmiştir.
• URAP. (2017a). World Ranking Indicators. 22 Aralık 2017 tarihinde http://urapcenter.org/2017/methodology.php?q=3 adresinden erişilmiştir.
• URAP. (2017b). 2017-2018 Türkiye Genel Sıralaması Göstergeleri. 02 Ekim 2017 tarihinde http://tr.urapcenter.org/2017/2017.php adresinden erişilmiştir.
• Uslu, B. (2017). Appearing in international rankings: How do academics from high-ranked universities comment? The 2 International Higher Education Studies Conference [II. Uluslararası Yükseköğretim Çalışmaları Konferansı], 12-14 Ekim, Antalya, Türkiye.
• US News. (2017). How U.S. News calculated the 2018 Best Colleges Rankings? 22 Aralık 2017 tarihinde https://www.usnews.com/education/best-colleges/articles/how-us-news-calculated-the-rankings adresinden erişilmiştir.
• Williams, R., Leahy, A., Rassenfosse, G., & de Jensen, P. (2016). U21 ranking of national higher education systems 2016. Melbourne: University of Melbourne.