Araştırma Makalesi
BibTex RIS Kaynak Göster

Determination of the Semantic Similarity of Turkish Texts Using Probabilistic Methods

Yıl 2018, Cilt: 3 Sayı: 2, 66 - 78, 28.12.2018
https://doi.org/10.33484/sinopfbd.350445

Öz

Text mining is the
process to deriving useful information from unstructured text data. During this
process, text mining uses statistical and mathematical methods. Major text
mining tasks include text categorization, text clustering, concept extraction,
document summarization, semantic similarity and author identification. In this study,
semantic similarity issues have been examined. Semantic similarity analysis
aims to determine semantic similarity between texts. Probabilistic latent
semantic analysis and latent Dirichlet allocation are probabilistic methods to
determine semantic similarity between texts. In this study, semantic analysis
using probabilistic latent semantic analysis and latent Dirichlet allocation
methods is examined. Also, an application which is conducted to analyze
semantic similarity and classify Turkish textual data chosen from different
news agencies is discussed. R statistical programming language and Matlab are
used in the application.

Kaynakça

  • Hoffman T, 2015. Unsupervised Learning by Probabilistic Latent Semantic Analysis. Machine Learning, 42: 177-196.
  • Deerwester S, Dumais ST, Furnas GW, Landauer TK, Harshman R, 1990. Indexing by latent semantic analysis. Journal of the American society for information science, 41(6): 391-407.
  • Blei DM, Ng AY, Jordan MI, 2003. Latent dirichlet allocation. Journal of Machine Learning Research, 3: 993-1022.
  • Dempster AP, Laird NM, Rubin, DB, 1977. Maximum likelihood from incomplete data via the EM algorithm. Journal of the royal statistical society: 1-38.
  • Zemberek NLP, http://zemberek-web.appspot.com/ [erişim 03/2014]
  • Hornik K, Grün B, 2011. topicmodels: An R package for fitting topic models. Journal of Statistical Software, 40 (13): 1-30.
  • Porter MF, 1980. An algorithm for suffix stripping. Program, 14 (3): 130-137

Olasılıksal Yöntemler ile Türkçe Metinlerin Anlamsal Benzerliğinin Belirlenmesi

Yıl 2018, Cilt: 3 Sayı: 2, 66 - 78, 28.12.2018
https://doi.org/10.33484/sinopfbd.350445

Öz

Metin madenciliğinde, yapısal olmayan metin verilerinden matematiksel ve
istatistiksel yöntemler ile anlamlı bilgiler çıkartmak amaçlanır.  Metin sınıflama, kümeleme, görüş belirleme,
özetleme, anlamsal benzerlik bulma ve yazar tanıma, başlıca metin madenciliği
çalışma alanlarıdır. Bu çalışmanın konusu olan anlamsal benzerlik analizi,
metinler arasındaki anlamsal yakınlığı belirlemeye çalışır.  Olasılıksal gizli anlam analizi ve gizli
Dirichlet ataması, metinler arasındaki anlamsal benzerliğin belirlenmesinde
kullanılan olasılıksal yöntemlerdir.  Bu
çalışmada olasılıksal gizli anlam analizi ve gizli Dirichlet ataması ile
anlamsal benzerlik konusu incelenmiş ve farklı haber ajanslarından seçilen
Türkçe metinleri anlamsal benzerliklerine göre sınıflamak için yapılan uygulama
tartışılmıştır. Uygulamada R istatistiksel programlama dili ve Matlab kullanılmıştır.

Kaynakça

  • Hoffman T, 2015. Unsupervised Learning by Probabilistic Latent Semantic Analysis. Machine Learning, 42: 177-196.
  • Deerwester S, Dumais ST, Furnas GW, Landauer TK, Harshman R, 1990. Indexing by latent semantic analysis. Journal of the American society for information science, 41(6): 391-407.
  • Blei DM, Ng AY, Jordan MI, 2003. Latent dirichlet allocation. Journal of Machine Learning Research, 3: 993-1022.
  • Dempster AP, Laird NM, Rubin, DB, 1977. Maximum likelihood from incomplete data via the EM algorithm. Journal of the royal statistical society: 1-38.
  • Zemberek NLP, http://zemberek-web.appspot.com/ [erişim 03/2014]
  • Hornik K, Grün B, 2011. topicmodels: An R package for fitting topic models. Journal of Statistical Software, 40 (13): 1-30.
  • Porter MF, 1980. An algorithm for suffix stripping. Program, 14 (3): 130-137
Toplam 7 adet kaynakça vardır.

Ayrıntılar

Konular Mühendislik
Bölüm Araştırma Makaleleri
Yazarlar

Engin Yıldıztepe

Volkan Uzun Bu kişi benim

Yayımlanma Tarihi 28 Aralık 2018
Gönderilme Tarihi 10 Kasım 2017
Yayımlandığı Sayı Yıl 2018 Cilt: 3 Sayı: 2

Kaynak Göster

APA Yıldıztepe, E., & Uzun, V. (2018). Olasılıksal Yöntemler ile Türkçe Metinlerin Anlamsal Benzerliğinin Belirlenmesi. Sinop Üniversitesi Fen Bilimleri Dergisi, 3(2), 66-78. https://doi.org/10.33484/sinopfbd.350445


Sinopfbd' de yayınlanan makaleler CC BY-NC 4.0 ile lisanslanmıştır.