Determination of the Semantic Similarity of Turkish Texts Using Probabilistic Methods

Abstract

Text mining is the process to deriving useful information from unstructured text data. During this process, text mining uses statistical and mathematical methods. Major text mining tasks include text categorization, text clustering, concept extraction, document summarization, semantic similarity and author identification. In this study, semantic similarity issues have been examined. Semantic similarity analysis aims to determine semantic similarity between texts. Probabilistic latent semantic analysis and latent Dirichlet allocation are probabilistic methods to determine semantic similarity between texts. In this study, semantic analysis using probabilistic latent semantic analysis and latent Dirichlet allocation methods is examined. Also, an application which is conducted to analyze semantic similarity and classify Turkish textual data chosen from different news agencies is discussed. R statistical programming language and Matlab are used in the application.

Keywords

• Semantic similarity,Latent semantic analysis,Latent Dirichlet Allocation,Text mining

Olasılıksal Yöntemler ile Türkçe Metinlerin Anlamsal Benzerliğinin Belirlenmesi

Abstract

Metin madenciliğinde, yapısal olmayan metin verilerinden matematiksel ve istatistiksel yöntemler ile anlamlı bilgiler çıkartmak amaçlanır.  Metin sınıflama, kümeleme, görüş belirleme, özetleme, anlamsal benzerlik bulma ve yazar tanıma, başlıca metin madenciliği çalışma alanlarıdır. Bu çalışmanın konusu olan anlamsal benzerlik analizi, metinler arasındaki anlamsal yakınlığı belirlemeye çalışır.  Olasılıksal gizli anlam analizi ve gizli Dirichlet ataması, metinler arasındaki anlamsal benzerliğin belirlenmesinde kullanılan olasılıksal yöntemlerdir.  Bu çalışmada olasılıksal gizli anlam analizi ve gizli Dirichlet ataması ile anlamsal benzerlik konusu incelenmiş ve farklı haber ajanslarından seçilen Türkçe metinleri anlamsal benzerliklerine göre sınıflamak için yapılan uygulama tartışılmıştır. Uygulamada R istatistiksel programlama dili ve Matlab kullanılmıştır.

Keywords

• Anlamsal benzerlik,Gizli anlam analizi,Gizli Dirichlet ataması,Metin madenciliği

References

1. Hoffman T, 2015. Unsupervised Learning by Probabilistic Latent Semantic Analysis. Machine Learning, 42: 177-196.
2. Deerwester S, Dumais ST, Furnas GW, Landauer TK, Harshman R, 1990. Indexing by latent semantic analysis. Journal of the American society for information science, 41(6): 391-407.
3. Blei DM, Ng AY, Jordan MI, 2003. Latent dirichlet allocation. Journal of Machine Learning Research, 3: 993-1022.
4. Dempster AP, Laird NM, Rubin, DB, 1977. Maximum likelihood from incomplete data via the EM algorithm. Journal of the royal statistical society: 1-38.
5. Zemberek NLP, http://zemberek-web.appspot.com/ [erişim 03/2014]
6. Hornik K, Grün B, 2011. topicmodels: An R package for fitting topic models. Journal of Statistical Software, 40 (13): 1-30.
7. Porter MF, 1980. An algorithm for suffix stripping. Program, 14 (3): 130-137