Yaramaz E-Postaların Süzülmesinde, Karar Destek Makineleri, Naïve Bayes ve Bellek Tabanlı Öğrenme Yöntemlerinin Karşılaştırılması

Yıl 2005, Cilt: 1 Sayı: 1 - Cilt: 1 Sayı: 1, - , 24.06.2016

G. Eryiğit C. Tantuğ E. Adalı

Öz

This paper presents a comparison of support
vector machines (SVM), memory-based learning
(MBL) and Naïve Bayes (NB) techniques for the
classification of legitimate and spam mails.
Although there are a number of methodcomparative
studies regarding spam mail
filtering, most of the studies are tested on
separate data sets. In order to evaluate the
effectiveness of SVM, MBL and NB methods, we
have used a common publicly available corpus
(LINGSPAM). As MBL and NB methods are
previously tested with this corpus, the obtained
best parameters are used in the experiments with
few changes. On the other hand, intense
experiments are made to find the best attribute
dimensions with SVMs. Results show that SVM
has significantly better performance for no-cost
and high-cost cases, but NB performs best when
the cost is extremely high.

Anahtar Kelimeler

Yaramaz, E-Posta, Karar Destek Makineleri

Yaramaz E-Postaların Süzülmesinde, Karar Destek Makineleri, Naïve Bayes ve Bellek Tabanlı Öğrenme Yöntemlerinin Karşılaştırılması

Öz

Bu makalenin amacı, yaramaz (spam) epostaları, normal e-postalardan ayırma süreci için, karar destek makineleri (Support Vector Machines - SVM), bellek tabanlı öğrenme (Memory Based Learning - MBL) ve Naïve Bayes (NB) yöntemlerinin karşılaştırmalı değerlendirmesini yapmaktır. Yaramaz e-posta-ların süzülmesinde kullanılan yöntemleri karşılaştıran birçok çalışma olmasına karşın, bu çalışmaların büyük çoğunluğu, farklı veri kümeleri kullandıklarından karşılaştırılabilir nitelikte değildir. Bu çalışmada, SVM, MBL ve NB yöntemleri karşılaştırılırken, herkesin erişimine açık olan ortak bir derlem (corpus) olan LINGSPAM derlemi kullanılmıştır. MBL ve NB yöntemleri, önceki çalışmalarda bu veri kümesi üzerinde sınandığı için, önceki deneylerden elde edilen en iyi parametreler ufak değişikliklerle kullanılmıştır. Ancak SVM yönteminin en iyi sonucu vermesini sağlamak için çok sayıda deney yapılmıştır. Çalışmamızda bir e-postanın, yaramaz olarak tanınması durumunda, bu e-postaya nasıl davranılacağına ilişkin senaryo önerileri verilmiş ve gerçeklenen sınıflandırıcıların hatalı çalışması durumunda ilgili senaryolara göre ortaya çıkabilecek hataların bedeli göz önüne alınarak bu üç sınıflandırma yöntemi değerlendirilmiştir. Ortaya çıkan sonuçlarda, SVM yönteminin hata bedelinin sıfır olduğu ya da yüksek olduğu senaryolar için başarımının diğer yöntemlerden daha iyi olduğu görülmüştür. Ancak hata bedelinin çok yüksek olması durumunda ise NB yöntemi en iyi sonucu vermiştir.

Anahtar Kelimeler

Yaramaz, E-Posta, Naïve Bayes

Kaynakça

• 1 Horvitz. 1998. “A Bayesian Approach to Filtering Junk E-Mail”. Learning for Text Categorization – Papers from the AAAI Workshop, pages 55–62, Madison Wisconsin. AAAI Technical Report WS-98-05.
• [2] Androutsopoulos I., Koutsias J., Chandrinos K.V., Paliouras G., Spyropoulos C.D., 2000. “An Evaluation of Naive Bayesian Anti-Spam Filtering“. Proceedings of the workshop on machine Learning in the New Information Age, 11th European Conference on Machine Learning (ECML 2000), Barcelona, Spain, pp. 9-17.
• [3] Sakkis G., Androutsopoulos I., Paliouras G., Karkaletsis V., Spyropoulos C.D., Stamatopoulos P., 2003, “A Memory-Based Approach to Anti-Spam Filtering for Mailing Lists”, Information Retrieval 6(1), 49-73, Kluwer Publishing
• [4] Xavier Carreras, Lluís Marquez, Boosting Trees for Anti-Spam Email Filtering (2001), Proceedings of RANLP-01, 4th International Conference on Recent Advances in Natural Language Processing
• [5] Drucker H., Wu D., Vapnik V.N., 1999. “Support Vector Machines for Spam Categorization”, IEEE Transactions On Neural Networks, pages 1048-1054.
• [6] Karl-Michael Schneider, A Comparison of Event Models for Naive Bayes Anti-Spam EMail Filtering, 10th Conference of the European Chapter of the Association for Computational Linguistics (EACL 03), pp. 207-314, 2003.
• [7] Androutsopoulos I., Paliouras G., Karkaletsis V., Sakkis G., Spyropoulos C.D., Stamatopoulos P., 2000, “Learning to filter Spam E-Mail: AComparison of a Naïve Bayesian and a Memory-Based Approach ”, Proc. of the workshop on Machine Learning and Textual Information Access, 4th European Conference on Principles and Practice of Knowledge Discovery in Databases, France
• [8] Duda, R.O. and P.E. Hart. 1973. “Bayes Decision Theory”. Chapter 2 in Pattern Classification and Scene Analysis, pages 10–43. John Wiley.
• [9] Chih-Chung Chang and Chih-Jen Lin, LIBSVM : a library for support vector machines, 2001. Software available at http://www.csie.ntu.edu.tw/~cjlin/libsvm
• [10] Vapnik, 1995. “The Nature of Statistical Learning Theory”. Springer-Verlag, 1995.
• [11] J. C. Platt, 1998. “Sequential minimal optimization: A fast algorithm for training support vector machines,” in Advances in Kernel Method: Support Vector Learning, Scholkopf, Burges, and Smola, Eds. Cambridge, MA: MIT Press, pp. 185–208.
• [12] E. Osuna, R. Freund, F. Girosi, 1997. “Improved training algorithm for support vector machines,” in Proc. IEEE NNSP’97.