Weighting the Indicators of Turkish University Rankings: The Example of University Ranking by Academic Performance (URAP) Turkey General Rankings

Abstract

The purpose of this research is to identify the statistically significant indicators in the URAP Turkey General Rankings and to weight these significant indicators as a percentage. This research was designed as a regression model based on the secondary usage of URAP data. The data set was generated from the scores in the URAP Turkey General Rankings between 2010 and 2018. Five indicators in the URAP Turkish Universities Ranking are Article, Total Citation, Total Scientific Document, The Number of Doctoral Graduates and Faculty/Student scores. For each indicator, the mean score of first seven years was determined, and these mean scores were assigned as independent variables to explain universities’ total scores in the URAP Turkey General Rankings. Stepwise Regression Analysis was performed to establish the most comprehensive statistical model including all significant indicators together in order to attain the highest determinant (R2) coefficient close to one. This analysis adjusted the regression model that explains nearly the entire variance (R2=.942) for the 2017-18 URAP Turkey General Rankings. Among five indicators, only Total Scientific Document Score (p>.05) is not a significant indicator in this model. As significant indicators, Article, Total Citation, The Number of Doctoral Graduates, and Faculty/Student scores were weighted using standardised beta (β) coefficients for the mean scores of these four indicators. The weights for significant indicators were calculated 47.83% for Article, 33.61% for The Number of Doctoral Graduate, 13.48% for Total Citation, and 5.08% for Faculty/Student scores. Two rankings were formed based on the sum of weighted 2017-18 scores for significant indicators and the sum of unweighted 2017-18 scores for significant indicators, and then these rankings were compared. The comparison revealed that 19 universities take same places in these two rankings, but the order of 102 universities in these rankings differ from one to 22 places.

Keywords

• University rankings,URAP Turkey General Rankings,Stepwise Regression Model,percentage weighting,weighted scoring

Türk Üniversiteleri Sıralama Göstergelerinin Ağırlıklandırılması: University Ranking by Academic Performance (URAP) Türkiye Genel Sıralaması Örneği

Abstract

Bu araştırmanın amacı, URAP Türkiye Genel Sıralaması’nda kullanılan puanlama göstergelerinden istatistiksel olarak anlamlı olanların belirlenmesi ve belirlenen göstergelerin yüzdelik olarak ağırlıklandırılmasıdır. Araştırma, URAP verilerinin ikincil kullanımına dayalı, regresyon modellemesi olarak tasarlanmıştır. Araştırmada kullanılan veri seti, 2010-2018 arası URAP Türkiye Genel Sıralamaları’na ait puanlar kullanılarak oluşturulmuştur. Türk üniversiteleri sıralaması için URAP tarafından kullanılan beş gösterge Makale, Toplam Atıf, Toplam Bilimsel Doküman, Doktora Mezun Öğrenci Sayısı ve Öğretim Üyesi/Öğrenci puanlarıdır. Bu göstergelere ait ilk yedi yılki puan ortalamaları hesaplanmış ve bu ortalamalar 2017-18 URAP Türkiye Genel Sıralaması toplam puanlarını açıklamak amacıyla bağımsız değişkenler olarak atanmıştır. Anlamlı göstergelerin hepsinin bir arada bulunduğu ve determinant katsayısı (R²) bire yakın en kapsamlı istatistiksel modelin belirlenmesi için Aşamalı [Stepwise] Regresyon Analizi kullanılmıştır. Analiz sonucunda, 2017-18 URAP Türkiye Genel Sıralaması toplam puanlarına ait varyansın tamamına yakınını (R²=,942) açıklayan bir regresyon modeli elde edilmiştir. Beş göstergeden yalnızca Toplam Bilimsel Doküman Puanı bu modelde anlamlı (p>.05) gösterge olarak yer almamaktadır. Anlamlı göstergeler olan Makale, Toplam Atıf, Doktora Mezun Öğrenci Sayısı ve Öğretim Üyesi/Öğrenci puan ortalamalarına ait standardize edilmiş beta (β) katsayıları kullanılarak bu göstergeler ağırlıklandırılmıştır. Anlamlı göstergelere ilişkin ağırlıklar Makale Puanı için %47,83, Doktora Mezun Öğrenci Sayısı Puanı için %33,61, Toplam Atıf Puanı için %13,48 ve Öğretim Üyesi/Öğrenci Puanı için %5,08 olarak hesaplanmıştır. Anlamlı göstergelere ait ağırlıklar kullanılarak yeniden hesaplanan 2017-18 gösterge puanlarının toplamı ile ağırlıklandırma işlemi yapılmadan aynı göstergelere ait puanların toplamı üzerinden Türk üniversiteleri sıralamaları oluşturularak karşılaştırılmıştır. Yapılan karşılaştırmada, 19 üniversitenin aynı sırada yer aldığı ve 102 üniversitenin sıralamalarının bir ile 22 basamak arasında değiştiği belirlenmiştir.

Keywords

• üniversite sıralamaları,URAP Türkiye Genel Sıralaması,Aşamalı Regresyon Modeli,yüzdelik ağırlıklandırma,ağırlıklı puanlama

References

1. Alaşehir, O., Çakır, M. P., Acartürk, C., Baykal, N., & Akbulut, U. (2014). URAP-TR: A national ranking for Turkish universities based on academic performance. Scientometrics, 101, 159-178. doi:10.1007/s11192-014-1333-4
2. Altbach, P. G., & Salmi, J. (Eds.). (2011). The road to academic excellence: The making of worldclass research universities. Washington, DC: The World Bank.
3. Arkalı-Olcay, G., & Bulu, M. (2016). Uluslararası üniversite sıralama endekslerinde Türk üniversitelerinin yeri. Yükseköğretim Dergisi, 6, 95-103. doi:10.2399/yod.16.003
4. Bougnol, M.-L., & Dula, J. H. (2015). Technical pitfalls in university rankings. Higher Education, 69, 859–866. doi:10.1007/s10734-014-9809-y
5. Chen, L.-H. (2008). Internationalization or international marketing? Two frameworks for understanding international students’ choice of Canadian universities. Journal of Marketing for Higher Education, 18, 1-33. doi:10.1080/08841240802100113
6. Çakır, M. P., Acartürk, C., Alaşehir, O., & Çilingir, C. (2015). A comparative analysis of global and national university ranking systems. Scientometrics, 103, 813-848. doi:10.1007/s11192-015-1586-6
7. DET (Department of Education and Training). (2017). Enrolment count by citizenship category. 22 Aralık 2017 tarihinde http://highereducationstatistics.education.gov.au/ adresinden erişilmiştir.
8. Douglass, J. A. (Ed.). (2016). The new flagship university changing the paradigm from global ranking to national relevancy. London: Palgrave Macmillan.

9. Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate data analysis (7th ed.). Upper Saddle River, NJ: Pearson Prentice Hall.
10. Harley, D., & Acord, S. K. (2011). Peer review in academic promotion and publishing: Its meaning, locus, and future. University of California, Berkeley: Center for Studies in Higher Education.
11. Harvey, L. (2008). Rankings of higher education institutions: A critical review. Quality in Higher Education, 14, 187-207. doi:10.1080/13538320802507711
12. Hazelkorn, E. (2015). Rankings and the reshaping of higher education: The battle for world-class excellence. New York: Palgrave MacMillan.
13. Karadağ, N. (2016). Examining the branding of Turkish universities in the context of socio-economic development of their cities. International Journal of Higher Education, 5, 173-182. doi:10.5430/ijhe.v5n4p173
14. Karadağ, E., & Yücel, C. (2016). Devlet üniversiteleri sıralaması: 2016 yılı. 06 Nisan 2018 tarihinde https://www.enginkaradag.net/dus adresinden erişilmiştir.
15. Karadağ, E., & Yücel, C. (2017). Devlet üniversiteleri ve fakülteleri sıralaması [DÜS] 2017. Eskişehir. 06 Nisan 2018’de https://www.uniar.net/dus adresinden erişilmiştir.
16. Karadağ, E., & Yücel, C. (2018). Devlet üniversiteleri ve fakülteleri sıralaması [DÜS] 2018. Üniversite Araştırmaları Laboratuvarı Yayınları. doi:10.13140/RG.2.2.17310.84804
17. Karadağ, E., Yücel, C., & Belenkuyu, C. (2018). Üniversite sıralamasında akademik teşvik puanlarının kullanılması: Devlet Üniversiteleri ve Fakülteleri Sıralaması [DÜS-2018]. Üniversite Araştırmaları Dergisi, 1, 31-35. doi:10.26701/uad.401249
18. Konan, N., & Yılmaz, S. (2017). Üniversitelerin sıralanma ölçütleri ve Türkiye üniversiteleri için öneriler. Yükseköğretim ve Bilim Dergisi, 7, 200-210. doi:10.5961/jhes.2017.199
19. Mampaey, J., Huisman, J., & Seeber, M. (2015). Branding of Flemish higher education institutions: A strategic balance perspective. Higher Education Research & Development, 34, 1178-1191. doi:10.1080/07294360.2015.1024634
20. McGrail, M. R., Rickard, C. M., & Jones, R. (2006). Publish or perish: A systematic review of interventions to increase academic publication rates. Higher Education Research & Development, 25, 19-35. doi:10.1080/07294360500453053
21. Moed, H. F. (2005). Citation analysis in research evaluation. Dordrecht: Springer.
22. Saka, Y., & Yaman, S. (2011). Üniversite sıralama sistemleri; Kriterler ve yapılan eleştiriler. Yükseköğretim ve Bilim Dergisi, 1, 72-79. doi:10.5961/jhes.2011.012
23. Salmi, J. (2009). The challenge of establishing world-class universities. Washington, DC: The World Bank.
24. Shattock, M. (2017). The ‘world class’ university and international ranking systems: What are the policy implications for governments and institutions? Policy Reviews in Higher Education, 1, 4-21. doi:10.1080/23322969.2016.1236669
25. Shehatta, I., & Mahmood, K. (2016). Correlation among top 100 universities in the major six global rankings: Policy implications. Scientometrics, 109, 1231-1254. doi:10.1007/s11192-016-2065-4
26. Shin, J. C., & Khem, B. M. (Eds.). (2013). Institutionalization of world-class university in global competition. Dordrecht: Springer.
27. Shin, J. C., Toutkoushian, R. K., & Teichler, U. (Eds.). (2011). University rankings: Theoretical basis, methodology and impacts on global higher education. Dordrecht: Springer.
28. Soh, K. C. (2011). Don’t read university rankings like reading football league tables: Taking a close look at the indicators. Higher Education Review, 44, 15-29.
29. Soh, K. (2013a). Misleading university rankings: Cause and cure for discrepancies between nominal and attained weights. Journal of Higher Education Policy and Management, 35, 206-214. doi:10.1080/1360080X.2013.775929
30. Soh, K. (2013b). Rectifying an honest error in world university rankings: A solution to the problem of indicator weight discrepancies. Journal of Higher Education Policy and Management, 35, 574-585. doi:10.1080/1360080X.2013.844670
31. Soh, K. (2017). The seven deadly sins of world university ranking: A summary from several papers. Journal of Higher Education Policy and Management, 39, 104-115. doi:10.1080/1360080X.2016.1254431
32. Strauss, V. (2017, Ağustos 17). U.S. News’s College Rankings face competition and criticism. The Washington Post. 22 Aralık 2017 tarihinde http://www.washingtonpost.com/wp-dyn/content/article/2007/08/16/AR2007081602537.html adresinden erişilmiştir.
33. URAP. (2017a). World Ranking Indicators. 22 Aralık 2017 tarihinde http://urapcenter.org/2017/methodology.php?q=3 adresinden erişilmiştir.
34. URAP. (2017b). 2017-2018 Türkiye Genel Sıralaması Göstergeleri. 02 Ekim 2017 tarihinde http://tr.urapcenter.org/2017/2017.php adresinden erişilmiştir.
35. Uslu, B. (2017). Appearing in international rankings: How do academics from high-ranked universities comment? The 2 International Higher Education Studies Conference [II. Uluslararası Yükseköğretim Çalışmaları Konferansı], 12-14 Ekim, Antalya, Türkiye.
36. US News. (2017). How U.S. News calculated the 2018 Best Colleges Rankings? 22 Aralık 2017 tarihinde https://www.usnews.com/education/best-colleges/articles/how-us-news-calculated-the-rankings adresinden erişilmiştir.
37. Williams, R., Leahy, A., Rassenfosse, G., & de Jensen, P. (2016). U21 ranking of national higher education systems 2016. Melbourne: University of Melbourne.