Towards a New Appoach in Scientific Impact Analysis Article Level Metrics and an Application in Turkey

Abstract

Journal Impact Factor (IF), designed initially for the assessment of relative quality of scientific journals, is being used recently also to assess the impact of individual articles and their authors. But, IF is increasingly being questioned regarding its suitability for that purpose. Therefore alternative approaches started to appear which make use of the interactive capabilities of web technology. These are called article level metrics. During the last few years, some of the international publishers of scientific journals have initiated services which provide this kind of metrics. It would not be wrong to assume that the article level metrics will gain importance in the future in line with the growing need for a reliable method of assessing the quality of individual works. This article deals with this issue within the framework of kaynakca.info, a web based reference management service that provides these metrics in Turkey. It is hoped that this work would lead to a serious questioning of existing practices of impact assessment based almost solely on citation counts. 

Keywords

• Bibliometrics, Citation Analysis, Journal Impact Factor, Article Level Metrics, kaynakca.info

Bilimsel Etki Analizinde Yeni Bir Yaklaşıma Doğru Eser Seviyesi Metrikler ve Türkiye’de Bir Uygulama

Abstract

Başlangıçta sadece dergilerin göreli etkisini ortaya çıkarmak için kullanılmak üzere tasarlanan ve temelinde atıfların sayılmasına dayalı dergi Etki Değeri (ED) yöntemi, sonradan makalelerin ve yazarların bireysel düzeyde etkilerini değerlendirmek için de kullanılır olmuştur. Ancak, yöntemin bireysel düzeyde etki değerlendirmedeki geçerliliği tartışmalıdır. O yüzden, son yıllarda makale seviyesi metrikler adı altında çoğu web teknolojisinin sağladığı etkileşim imkânlarına dayanan alternatif yaklaşım ve uygulamalar ortaya çıkmaya başlamıştır. Gerçekten de, son birkaç yıldır, bazı büyük uluslararası yayıncılar makale seviyesi metrik hizmeti veren uygulamalarını hayata geçirmişlerdir. Türkiye’de bireysel düzeyde bilimsel etki değerlendirmesi konusunda ilk kapsamlı uygulama kaynakca.info’dur. Bu makalede, kaynakca.info’nun uluslararası diğer uygulamaların makalelerle sınırlı metriklerine karşılık, kitap, makale, tez ve konferans bildirisi türünden eserlerin hepsini kapsayan “eser seviyesi” metrikleri örneklerle açıklanmaktadır. Amaç, Türkiye’de atıflara dayalı mevcut etki değerlendirme usullerinin ilk etapta sıkı bir sorgulanmasına yol açmaktır.

Keywords

• Etki Analizi, Dergi Etki Değeri, Makale Seviyesi Metrikler, kaynakca.info

References

1. ACUN, Ramazan. “Türkiye’de Online İşbirliği Ağ Modeline Dayalı Bir Kay- nakça Yönetim Uygulaması”. Gazi Akademik Bakış Dergisi, 4.8, 2011, 1-12.
2. ACUN, Ramazan. “Öğrenme Nesneleri Modelinin Sosyal ve Beşeri Bilimlere Bir Uygulaması: Kaynakca.info”, Proceedings of 9th International EducationalTechno- logy Conference. Ankara: Hacettepe University, 2009. 78-85. http://www.kaynakca. info/tr/?Sayfa= EserDetay&EserId=2151911.
3. ACUN, Ramazan. “Sosyal Ağlar Yoluyla Katılım Kültürü Oluşturma: kaynak- ca.info Örneği,” I. Uluslararası Avrupa Birliği, Demokrasi, Vatandaşlık ve Vatandaş- lık Eğitimi Sempozyumu, 27-30 Haziran 2009, Uşak: Uşak Üniversitesi, 365-370. http://www.kaynakca.info/tr/?Sayfa= EserDetay&EserId=2154304.
4. BLOCH, Sidney and Gary Walter, “The Impact Factor: time for change”. Aust N Z J Psychiatry, 35,2001, 563-568. DOI: 10.1046/j.1440-1614.2001.00918.x
5. BOLLEN. Johan vd. “Clickstream data yields high-resolution maps of scien- ce”. PLoS One 4, 2009: e4803. doi:10.1371/journal.pone.0004803.
6. COLEMAN, Raymond. “Impact Factors: use and abuse in biomedical re- search”. Anat Rec, 257, 1999, 54-57.http://onlinelibrary.wiley.com/doi/10.1002/ (SICI)1097-0185(19990415)257:2%3C54::AID-AR5%3E3.0.CO;2-P/pdf
7. EASE statement on inappropriate use of impact factors http://www.ease. org.uk/statements/index.shtml (12.01.2011).
8. EGGHE, L. (2006) Theory and practise of the g-index, Scientometrics, 69(1), 131–152. doi:10.1007/s11192-006-0144-7

9. GARFIELD, Eugene, “Citation analysis as a tool in journal evaluation”. Science 178, 1972, 471–479
10. GARFIELD, Eugene, “Journal impact factor: a brief review”. Canadian Medical Association Journal 161(8), 1999, 979-80. http://www.ncbi.nlm.nih.gov/pmc/artic- les/PMC1230709/pdf/cmaj_161_8_979.pdf
11. GRAFTON, Anthony, Footnotes. A Curious History. Cambridge, Massacussetts: Harvard University Press, 1999.
12. GRAY, Edward & Sarah Z. Hodkinson. “Comparison of Journal Citation Re- ports and Scopus Impact Factors for Ecology and Environmental Sciences Jo- urnals”. Issues in Science and Technology Librarianship, 54, 2008, http://www.library. ucsb.edu/istl/08-summer/index.html
13. HEFCE 2010. Bibliometrics. http://www.hefce.ac.uk/research/ref/Biblio/ (12.01.2011).
14. HIRSCH, J. E. (2005). “An index to quantify an individual’s scientific rese- arch output”. PNAS 102 (46): 16569–16572.
15. HORATA, Osman. “Sonuç Raporu”. Sosyal Bilimlerde Süreli Yayınlar ve Bilgi Tek- nolojileri Sempozyumu, Ankara 2005, 220-228.
16. NEYLON, Cameron & Wu Shirley. “Article-Level Metrics and the Evolution of Scientific Impact”, PLoS Biol 7/11, 2009: e1000242. doi:10.1371/journal.pbio.1000242.
17. PLOS Article-Level Metrics Information http://www.plosone.org/static/al- mInfo.action (12.01.2011).
18. C. Scully & H. Lodge. “Impact factors and their significance; overrated or misused?” British Dental Journal, 198, 2005, 391-393.
19. SEGLEN, Per O. “Why the impact factor of journals should not be used for evaluating research”. British Medical Journal, 314/7079,1997. 497. http://www. ncbi.nlm.nih.gov/pmc/articles/PMC2126010/pdf/9056804.pdf
20. TALAMANCA A, Figà, “The impact factor in the evaluation of research”. Bull Group Int Rech Sci Stomatol Odontol 44, 2002. 2-9.
21. TÜİK Türkiye İstatistik Yıllığı 2010. http://www.tuik.gov.tr/yillik/yillik.pdf. (12.01.2011).
22. ULAKBİM Sosyal Bilimler Veri Tabanına Giren Dergi Listesi. http://www.ulak- bim.gov.tr/cabim/vt/uvt/sbvt/uvt_journal_index.php?the_db=4 (12.01.2011).
23. WALTER, Garry, Sidney Bloch, Glenn Hunt & Karen Fisher. “Counting on citati- ons: a flawed way to measure quality”. The Medical Journal of Australia 178/6 9, 2003, 280-281. http://www.mja.com.au/public/issues/178_06_170303/wal10537_fm.html
24. YALGIN, Çağrı. Bilimde atıf, “etki değeri” ve diğer göstergeler. http:// bilimguncesi.org/2010/01/02/atif/ (11.01.2011).
25. http://www.uak.gov.tr/beyannameler/sbib.doc (12.01.2011)
26. http://personel.yok.gov.tr/AkademikDuyuru/?sayfa=akademikyukselme (12.01.2011).
27. http://f1000.com (13.03.2011).
28. http://www.90-9-1.com (13.03.2011).
29. http://www.google.com/analytics/ (30.03.2011).
30. http://stackoverflow.com (26.12.2011).