Performance Evaluation of the Extractive Methods in Automatic Text Summarization Using Medical Papers

Teknolojinin hızlı ilerlemesi, mevcut dijital veri miktarında büyük bir artışa neden olmuştur. Bu durum, bu kapsamlı veri koleksiyonu içinde belirli bilgileri bulmada yardıma ihtiyaç duyan kullanıcılar için bir sorun yaratır ve zaman alıcı bir süreçle sonuçlanır. Bu sorunu ele almak ve kullanıcıların bilgilere daha etkili bir şekilde erişmelerini sağlamak amacıyla Otomatik Metin Özetleme sistemleri, geleneksel özetleme tekniklerine bir alternatif olarak geliştirilmiştir. Bilindiği üzere, sağlık bilimleri alanındaki araştırmacılar, yoğun programları nedeniyle güncel literatürü takip etmekte zorlanmaktadır. Bu çalışmanın amacı, sağlık bilimleri alanındaki Türkçe bilimsel makalelerin kapsamlı özetlerini oluşturmaktır. Bilimsel makalelerde hâli hazırda özetler bulunmasına rağmen, daha detaylı özetlere ihtiyaç duyulmaktadır. Bildiğimiz kadarıyla, Türkçe yazılan akademik tıp makalelerini otomatik olarak özetleyen bir çalışma daha önce yapılmamıştır. Bu amaçla, DergiPark'tan 105 adet Türkçe makale içeren bir veri kümesi toplanmıştır. Çıkarımsal metin özetleme algoritmaları olarak, bu alanda sıkça kullanılan Terim Frekansı, Terim Frekansı-Tersine Doküman Frekansı, Gizli Anlamsal Analiz, TextRank ve Gizli Dirichlet Ayırımı algoritmaları seçilmiştir. Metin özetleme modellerinin başarımı Duyarlılık, Kesinlik ve F-skor metrikleri kullanılarak değerlendirilmiş ve algoritmalar tatmin edici sonuçlar vermiştir.

The rapid advancement of technology has resulted in a surge in the volume of digital data available. This situation creates a problem for users who need assistance locating specific information inside this massive data collection, resulting in a time-consuming process. Automatic Text Summarizing systems have been developed as a more effective solution to conventional summary techniques to address this issue and improve users' access to relevant information. It is well known that, because of their busy schedules, researchers in the field of health sciences find it challenging to keep up with the most recent literature. The goal of this study is to generate comprehensive summaries of Turkish-language scientific papers in the field of health sciences. Although abstracts are already present in scientific papers, more thorough summaries are still required. To the best of our knowledge, no previous attempt has been made to automatically summarize academic papers on health in the Turkish language. For this, a dataset of 105 Turkish papers from DergiPark was collected. Term Frequency, Term Frequency-Inverse Document Frequency, Latent Semantic Analysis, TextRank, and Latent Dirichlet Allocation algorithms were chosen as extractive text summarization methods due to their frequent usage in this field. The performance of the text summarization models was evaluated using Recall, Precision, and F-score metrics, and the algorithms gave satisfying results for Turkish.