COMPARISION OF SIMILARITY AND DISTANCE MEASURES’ PERFORMANCES IN WEB DOCUMENTS CLUSTERING

Year 2008, Volume: 20 Issue: 1, 35 - 49, 25.11.2011

Meltem Işık Ali Yılmaz Çamurcu

Abstract

The number of web pages in Internet is increased by day by. New techniques are developed to reach or retrieve information from the documents in those web pages. Clustering is one of techniques used on web documents. In this study, the techniques such as Euclidean, Cosine, Pearson and Extended Jaccard used to find document similarities in web pages were tested by two data sets and performances were studied. In the experiments done for web documents clustering, found that Euclidean distance measure has high fault rates. The best performance in the similarity measures are provided by Cosine and Extended Jaccard measures. According to results of experiments that Cosine similarity measure was found suitable to use in the web documents clustering.

Keywords

Similarity measures, document clustering, document mining, data mining

Web belgeleri kümelemede benzerlik ve uzaklık ölçütleri başarılarının karşılaştırılması

Abstract

İnternetteki web sayfalarının boyutları her geçen gün artmaktadır. Bu sayfalar içerisinde bulunan belgelere erişimde ya da bir belgeyi getirmede yeni teknikler geliştirilmektedir. Bu tekniklerden birisi de web belgelerini kümelemedir. Bu çalışmada, web sayfaları kümelemede belgelerin benzerliklerini bulan tekniklerden Öklid, Kosinüs, Pearson ve Genişletilmiş Jaccard iki ayrı veri setinde test edildi ve başarıları araştırıldı. Web belgelerini kümelemede yapılan testlerde, Öklid uzaklığının yüksek hata oranlarına neden olduğu gözlenmiştir. Benzerlik ölçütlerinde en iyi performansı sağlayan Kosinüs ve Genişletilmiş Jaccard benzerlikleridir. Yapılan deneylerin sonuçlarına göre, web belgeleri kümelemede Kosinüs benzerlik ölçütünün kullanılmasının uygun olduğu bulunmuştur.

Keywords

Benzerlik ölçütleri, belge kümeleme, belge madenciliği, veri madenciliği

References

• Steinbach, M.; Karypis, G.; Kumar, V.: “A Comparison of Document Clustering Techniques”. In KDD Workshop on Text Mining, 2000.
• Zamir, O.; Etzioni, O.: “Web Document Clustering: A Feasibility Demonstration,” Proceedings of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 46-54, 1998.