Generating Predictions for Academic Databases using Machine Learning Models

Yıl 2024, Cilt: 7 Sayı: 2, 225 - 251, 31.12.2024

Ertuğrul Burak Eroğlu , Kasım Binici

https://doi.org/10.33721/by.1491489

Öz

Machine learning has become a widely used technology in almost every field today, empowering many applications. Machine learning applications, which aim to transfer the tasks performed by human hands to computer systems as a result of programming a machine trained with various data sets using appropriate algorithms, power autonomous systems. In this study, in which it is aimed to determine useful machine learning algorithms for the autonomous execution of library reference services using machine learning techniques, the performance levels of the answers given by a machine learning model trained with academic databases to natural language questions describing the information source requirement on any subject are examined within the framework of various machine learning algorithms. For this, first of all, T.R. Academic databases listed in the National Library were taken as reference, a training data set was created by defining their attributes, and the model was trained using various data mining techniques. Then, a list of 7300 questions was created to reveal the test data set needed to test the model. These artificial questions, which describe the need for information sources on a subject and have the potential to be asked to library information units, were processed using natural language processing and text mining techniques. The performance levels of seven different machine learning algorithms, which were found to be suitable for the data matrices in the study, were tested with both default and optimized hyperparameter settings, and the most suitable algorithm was determined to be Support Vector Machine. Alternative algorithms to this are determined as Deep Learning and Probabilistic Neural Network.

Anahtar Kelimeler

Machine Learning, Library Advisory Services, Artificial Intelligence

Makine Öğrenmesi Modellerini Kullanarak Akademik Veri Tabanlarına İlişkin Tahminler Oluşturma

Öz

Makine öğrenmesi, birçok uygulamayı güçlendirerek günümüzde hemen her alanda yaygın kullanılan bir teknoloji haline gelmiştir. Temel anlamda türlü veri kümeleriyle eğitilen bir makinenin amaca uygun algoritmalar kullanarak programlanması neticesinde insan eliyle gerçekleştirilen işlerin bilgisayar sistemlerine devredilmesini hedefleyen makine öğrenmesi uygulamaları, otonom sistemlere güç vermektedir. Kütüphane danışma hizmetlerinin makine öğrenmesi teknikleriyle otonom biçimde yürütülmesinde kullanışlı makine öğrenmesi algoritmalarının belirlenmek istendiği bu çalışmada, akademik veri tabanlarıyla eğitilen bir makine öğrenmesi modelinin, herhangi bir konudaki bilgi kaynağı gereksinimini betimleyen doğal dil sorularına verdiği yanıtların başarım düzeyleri çeşitli makine öğrenmesi algoritmaları çerçevesinde incelenmektedir. Bunun için öncelikle T.C. Millet Kütüphanesi’nde listelenen akademik veri tabanları referans alınmış, öznitelikleri tanımlanarak bir eğitim veri seti oluşturulmuş ve çeşitli veri madenciliği teknikleri kullanılarak model eğitilmiştir. Ardından modeli sınamak amacıyla gereksinim duyulan test veri setinin ortaya çıkarılması amacıyla 7300 soruluk bir liste oluşturulmuştur. Bir konu hakkındaki bilgi kaynağı gereksinimini betimleyen ve kütüphane danışma birimlerine sorulma potansiyeli bulunan bu yapay sorular, doğal dil işleme ve metin madenciliği teknikleri kullanılarak işlenmiştir. Çalışmadaki veri matrislerine uygun olduğu tespit edilen yedi farklı makine öğrenmesi algoritmasının başarım düzeyleri hem varsayılan hem de optimize edilmiş hiper parametre ayarlarıyla test edilmiş ve en uygun algoritmanın %92,7 oranında doğru tahminde bulunan Destek Vektör Makinesi olduğu tespit edilmiştir. Buna alternatif algoritmalar ise Derin Öğrenme ve Olasılıksal Sinir Ağı olarak belirlenmiştir. Bu algoritmalar sırasıyla %72,3 ve %70,5 oranında doğru tahminde bulunmuştur.

Anahtar Kelimeler

Makine Öğrenmesi, Kütüphane Danışma Hizmetleri, Yapay Zekâ

Kaynakça

• Alweshah, M., Rababa, L., Ryalat, M. H., Al Momani, A. ve Ababneh, M. F. (2022). African Buffalo algorithm: training the probabilistic neural network to solve classification problems. Journal of King Saud University-Computer and Information Sciences, 34(5), 1808-1818.
• Asemi, A., Ko, A. ve Nowkarizi, M. (2020). Intelligent libraries: a review on expert systems, artificial intelligence, and robot. Library Hi Tech, 39(2), 412-434. https://doi.org/10.1108/LHT-02-2020-0038
• Awad, W. A., ve ELseuofi, S. M. (2011). Machine learning methods for spam e-mail classification. International Journal of Computer Science & Information Technology (IJCSIT), 3(1), 173-184. https://doi.org/10.5121/ijcsit.2011.3112
• Aydın, F. ve Aslan, Z. (2017). Yapay öğrenme yöntemleri ve dalgacık dönüşümü kullanılarak nöro dejeneratif hastalıkların teşhisi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 32(3), 749-766. https://doi.org/10.17341/gazimmfd.337621
• Binici, K. (2019). Makine öğrenmesi yaklaşımıyla e-belgelere standart dosya plan numaralarının otomatik olarak atanması üzerine bir çalışma. Bilgi Yönetimi Dergisi, 2(2), 116-126. https://doi.org/10.33721/by.654464
• Boateng, E. Y., Otoo, J. ve Abaye, D. A. (2020). Basic tenets of classification algorithms K-nearest-neighbor, support vector machine, random forest and neural network: a review. Journal of Data Analysis and Information Processing, 8(4), 341-357. https://doi.org/10.4236/jdaip.2020.84020
• Bray, M. ve Han, D. (2004). Identification of support vector machines for run off modelling. Journal of Hydroinformatics, 6(4): 265–280. https://doi.org/10.2166/hydro.2004.0020
• Cervantes, J., Garica-Lamont, F., Rodriguez-Mazahua, L. ve Lopez, A. (2020). A comprehensive survey on support vector machine classification: Applications, challenges and trends. Neurocomputing, 408, 189-215. https://doi.org/10.1016/j.neucom.2019.10.118
• Chaki, S., Routray, A. ve Mohanty, W. K. (2022). A probabilistic neural network (PNN) based framework for lithology classification using seismic attributes. Journal of Applied Geophysics, 199, 104578. https://doi.org/10.1016/j.jappgeo.2022.104578
• Coşkun, F. ve Gülleroğlu, H. D. (2021). Yapay zekanın tarih içindeki gelişimi ve eğitimde kullanılması. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 54(3), 947-966. https://doi.org/10.30964/auebfd.916220
• Cox, A. M., Pinfield, S. ve Rutter, S. (2019). The intelligent library: Thought leaders’ views on the likely impact of artificial intelligence on academic libraries. Library Hi Tech, 37(3), 418-435. https://doi.org/10.1108/LHT-08-2018-0105
• Cox, A. (2022). How artificial intelligence might change academic library work: Applying the competencies literature and the theory of the professions. Journal of the Association for Information Science and Technology, 1– 14. https://doi.org/10.1002/asi.24635
• Daniel. (2021, 11 Ocak). 7 ways artificial intelligence is changing libraries. IRIS AI. https://iris.ai/academics/7-ways-ai-changes-libraries/
• Demirhan, T. (2015). Makine öğrenmesi algoritmalarının karmaşıklık ve doygunluk analizinin bir veri kümesi üzerinde gerçekleştirilmesi (Doktora tezi). Trakya Üniversitesi, Fen Bilimleri Enstitüsü.
• Domingos, P. (2017). Master algoritma: Yapay öğrenme hayatımızı nasıl değiştirecek? (Çev. Tufan Göbekçin). İstanbul: Paloma Yayınevi.
• Emeç, M. ve Özcanhan, M. H. (2023). Makine Öğrenmesi Algoritmalarında Hiper Parametre Belirleme. Mühendislikte Öncü ve Çağdaş Çalışmalar içinde, 71-98. https://as-books.com/index.php/mocc/article/download/39/33
• Fernandez, P. (2016). “Through the looking glass: envisioning new library technologies” how artificial intelligence will impact libraries. Library Hi Tech News, 33(5), 5-8. https://doi.org/10.1108/LHTN-05-2016-0024
• Golub, K., Hagelback, J. ve Ardö, A. (2020). Automatic Classification of Swedish Metadata Using Dewey Decimal Classification: A Comparison of Approaches. Journal of Data and Information Science, 5(1), 2020, 18–38. https://doi.org/10.2478/jdis-2020-0003
• Gökalp, Ö. M. (2022). Makine öğrenmesi. https://www.academia.edu/68874574/Machine_Learning
• Görmez, B. (2021). Adli bilişimde makine öğrenmesi: Makine öğrenmesi algoritmaları ile terör olaylarının tahmin edilmesi çalışması (Yayımlanmamış yüksek lisans tezi). Ankara Üniversitesi Sağlık Bilimleri Enstitüsü, Ankara.
• Jin. (2019, 25 Aralık). 7 methods to evaluate your classification models. (Medium).
• Kaya, E. (2017). Değişen kullanıcı alışkanlıkları doğrultusunda bir web keşif aracı model önerisi (Yayımlanmamış doktora tezi). Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
• Khanzode, K. C. A. ve Sarode, R. D. (2020). Advantages and disadvantages of artificial intelligence and machine learning: a literature review. International Journal of Library and Information Science (IJLIS), 9(1), 30-36. https://sdbindex.com/Documents/index/00000018/00000-09008
• Landis, J. R. ve Koch, G. G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33 (1), 159-174. https://dionysus.psych.wisc.edu/iaml/pdfs/landis_1977_kappa.pdf
• Marr, B. (2023, 28 Şubat). Beyond ChatGPT: 14 mind-blowing aı tools everyone should be trying out now. https://www.forbes.com/sites/bernardmarr/2023/02/28/beyond-chatgpt-14-mind-blowing-ai-tools-everyone-should-be-trying-out-now/
• Mathew, A., Amudha, P., ve Sivakumari, S. (2021). Deep learning techniques: an overview. İçinde Advanced Machine Learning Technologies and Applications: Proceedings of AMLTA 2020, 599-608. https://link.springer.com/chapter/10.1007/978-981-15-3383-9_54#Sec3
• Minaee, S., Kalchbrenner, N., Cambria, E., Nikzad, N., Chenaghlu, M., ve Gao, J. (2021). Deep learning--based text classification: a comprehensive review. ACM computing surveys (CSUR), 54(3), 1-40.
• Mohamed, A. E. (2017). Comparative study of four supervised machine learning techniques for classification. International Journal of Applied, 7(2), 1-15. https://www.academia.edu/download/54482697/2.pdf
• Nawaz, N., Gomes, A. M., ve Saldeen, M. A. (2020). Artificial intelligence (AI) applications for library services and resources in COVID-19 pandemic. Artificial intelligence (AI), 7(18), 1951-1955.
• Osisanwo, F. Y., Akinsola, J. E. T., Awodele, O., Hinmikaiye, J. O., Olakanmi, O. ve Akinjobi, J. (2017). Supervised machine learning algorithms: classification and comparison. International Journal of Computer Trends and Technology (IJCTT), 48(3), 128-138. https://doi.org/10.14445/22312803/IJCTT-V48P126
• Özhan, E. (2020). Makine Öğrenmesi Yöntemleri ile Web’den Bilgi Çıkarımı Sürecinin İyileştirilmesi. Afyon Kocatepe Üniversitesi Uluslararası Mühendislik Teknolojileri ve Uygulamalı Bilimler Dergisi, 3(2), 52-59. https://dergipark.org.tr/en/download/article-file/1252531
• Patterson, J. ve Gibson, A. (2017). Deep learning: A practitioner’s approach. O’Reilly Books.
• Shah, K., Patel, H., Sanghvi, D. ve Shah, M. (2020). A Comparative Analysis of Logistic Regression, Random Forest and KNN Models for the Text Classification. Augmented Human Research, 5(12), 1-16. https://doi.org/10.1007/s41133-020-00032-0
• Şeyranlıoğlu, O. (2022). Şirket değerlemesinde makine öğrenmesi algoritmalarının kullanımı: Holding şirketleri üzerine bir araştırma (Yayımlanmamış doktora tezi). Giresun Üniversitesi Sosyal Bilimler Enstitüsü, Giresun.
• Talaei Khoei, T. ve Kaabouch, N. (2023). Machine Learning: Models, Challenges, and Research Directions. Future Internet, 15, 1-29. https://doi.org/10.3390/fi15100332
• Tektaş, M., Akbaş, A., ve Topuz, V. (2002). Yapay zekâ tekniklerinin trafik kontrolünde kullanılması üzerine bir inceleme. Uluslararası Trafik ve Yol Güvenliği Kongresi, Gazi Üniversitesi, Ankara.
• Uddin, S., Khan, A., Hossain, M. E., Moni, M. A. (2019). Comparing different supervised machine learning algorithms for disease prediction. BMC Medical Informatics and Decision Making, 19(281), 1-16. https://doi.org/10.1186/s12911-019-1004-8
• Wagstaff, K. L. ve Liu, G. Z. (2018). Automated Classification to Improve the Efficiency of Weeding Library Collections. The Journal of Academic Librarianship, 44(2), 238-247. https://doi.org/10.1016/j.acalib.2018.02.001
• Waqas, M., Anjum, N. ve Afzal, M. T. (2023). A hybrid strategy to extract metadata from scholarly articles by utilizing support vector machine and heuristics. Scientometrics, 128(8), 4349-4382. https://econpapers.repec.org/article/sprscient/v_3a128_3ay_3a2023_3ai_3a8_3ad_3a10.1007_5fs11192-023-04774-7.htm
• Wheatley, A. ve Hervieux, S. (2019). Artificial intelligence in academic libraries: An environmental scan. Information Services & Use, 39(4), 347-356. https://doi.org/10.3233/ISU-190065
• Widmann, M. (2020, 21 Eylül). Cohen's Kappa: Learn It, Use It, Judge It. (KNIME). https://www.knime.com/blog/cohens-kappa-an-overview
• Yılmaz, E. (2021). Bilgi Merkezlerinin Varlık Sebebi ve Müşterisi Olarak Kullanıcı. Bilgi Merkezlerinde Yönetim-1 içinde. İstanbul: Hiper Yayın.