Quantity-Based Negative Association Rule Mining Using Unsupervised Machine Learning Techniques

Abstract

Association rules are defined as the relationships between objects in the dataset where the existence of one object in a certain condition affects the probability of the existence of the other object. These rules are widely investigated in the analysis of shopping baskets, to examine the effect of one item on the other in the same transaction. These rules may appear in two terms, positive and negative association rules. The negative association rule indicated that the existence of an item decreases the chance that the other item may appear in the same transaction. Mining positive association rules is relatively easy by simply investigating frequent patterns in earlier transactions. Mining negative association rule faces the main challenge of mining uninteresting rules between unrelated items, when earlier transactions are investigated. To avoid the extraction of such rules, existing negative association rule mining techniques rely on a predefined domain knowledge provided to the mining techniques. So that, this knowledge is used to ensure that the extracted rules are for related items. In this study, a novel technique is proposed that has the ability to mine interesting negative association rules between items in the transactions dataset, by automatically extracting knowledge from that dataset based on the purchased quantities. As miningassociation rules is an unsupervised data mining technique, the provided dataset is unlabeled data. The use of DBSCAN clustering method has shown better negative association rule mining results of 4,086 rules, with an average of 0.21% support and 91.84% confidence, when tested on a real-life transactions dataset. Mining negative association rules based on the domain knowledge extracted using the K-means clustering method has 1,780 rules with an average of 0.19% support and 85.84% confidence, while mining negative rules without any domain knowledge results in 9,066 rules with an average support of 0.12% and average confidence of 99.37%, using the same dataset.

Keywords

• Data mining
• Association rules
• Negative association rules
• Clustering
• Unsupervised machine learning

Gözetimsiz Makine Öğrenme Teknikleri ile Miktara Dayalı Negatif Birliktelik Kural Madenciliği

Abstract

Birliktelik kuralları, veri kümesindeki nesnelerin varlığının diğer nesnelerin varlığını nasıl etkilediğini tanımlanmaktadır. Bu kurallar, alış veriş sepeti analizinde, bir ürünün aynı işlemdeki diğer ürün üzerindeki etkisini incelemek için kullanılmaktadır. Pozitif ve negatif birliktelik kuralları olarak iki şekilde ifade edilebilirler. Pozitif birliktelik kuralı, bir ürün varlığının aynı işlemde diğer ürünü bulma olanağını arttırdığını gösterirken, negatif birliktelik kuralı, bir çeşidin bulunmasının, diğer ürünün aynı işlemde olabilme ihtimalini düşürdüğünü göstermektedir. Daha önceki işlemlerdeki sıklıkları araştırdığı için pozitif birliktelik kuralı madenciliği, negatif birliktelik kuralları madenciliğine göre daha kolaydır. Negatif birlikteki kuralı madenciliğinde daha önceki işlemler araştırıldığında, ilgisiz ürünler arasındaki ilgisizlik kurallarının madenciliği ile karşılaşılır. Bu kuralların çıkarımından kaçınmak için, mevcut negatif birliktelik kuralı, madencilik tekniklerine sağlanan önceden tanımlı alan bilgisine dayanır. Dolayısıyla bu bilgi, bulunan kuralların ilgili ürünlere ait olması için kullanılır. Bu çalışmada, satın alınan miktarlara dayalı veri kümesinden otomatik olarak bilgi alınması ile veri kümesindeki ürünler arasındaki negatif birliktelik kurallarını bulma kabiliyetine sahip yeni bir teknik önerilmektedir. Birliktelik kuralı madenciliği, gözetimsiz veri madencilik tekniği olduğundan, sağlanan veri kümesi etiketsiz verilerden oluşmaktadır. DBSCAN kümeleme yönteminin kullanımı, gerçek yaşam işlem veri tabanında test edildiğinde %0,21 destek ve %91,84 güven ortalama değerleri ile 4.086 şeklinde daha iyi negatif birliktelik kuralı sonucu göstermiştir. K-ortalama kümeleme yönteminin kullanımı ile çıkarılan alan bilgisine dayalı negatif birliktelik kuralları madenciliği sonucu, %0,19 destek ve %85,84 güven ortalama değerine sahip 1.780 iken, önerilen alan bilgisiz negatif birliktelik kuralı sonucu %0,12 destek ve %99,37 güven ortalama değerli 9.066 sonucunu vermiştir.

Keywords

• Veri madenciliği
• Birliktelik kuralları
• Negatif birliktelik kuralları
• Kümeleme

References

1. [1] A. L. Buczak and E. Guven, "A survey of data mining and machine learning methods for cyber security intrusion detection," IEEE Communications Surveys & Tutorials, vol. 18, pp. 1153-1176, 2016.
2. [2] A. Holzinger and I. Jurisica, "Knowledge discovery and data mining in biomedical informatics: The future is in integrative, interactive machine learning solutions," in Interactive knowledge discovery and data mining in biomedical informatics, ed: Springer, 2014, pp. 1-18.
3. [3] M. Hahsler and R. Karpienko, "Visualizing association rules in hierarchical groups," Journal of Business Economics, vol. 87, pp. 317-335, 2017.
4. [4] Y. Zhao and S. S. Bhowmick, "Association Rule Mining with R," A Survey Nanyang Technological University, Singapore, 2015.
5. [5] P. Kazienko, Associations: discovery, analysis and applications: Oficyna Wydawnicza Politechniki Wrocławskiej, 2008.
6. [6] G. Suchacka and G. Chodak, "Using association rules to assess purchase probability in online stores," Information Systems and e-Business Management, vol. 15, pp. 751-780, 2017.
7. [7] S. Datta and S. Bose, "Discovering association rules partially devoid of dissociation by weighted confidence," in Recent Trends in Information Systems (ReTIS), 2015 IEEE 2nd International Conference on, 2015, pp. 138-143.
8. [8] S. Brin, R. Motwani, and C. Silverstein, "Beyond market baskets: Generalizing association rules to correlations," in Acm Sigmod Record, 1997, pp. 265-276.

9. [9] A. Savasere, E. Omiecinski, and S. Navathe, "Mining for strong negative associations in a large database of customer transactions," in Data Engineering, 1998. Proceedings, 14th International Conference on, 1998, pp. 494-502.
10. [10] X. Yuan, B. P. Buckles, Z. Yuan, and J. Zhang, "Mining negative association rules," in Computers and Communications, 2002. Proceedings. ISCC 2002. Seventh International Symposium on, 2002, pp. 623-628.
11. [11] L.-M. Tsai, S.-J. Lin, and D.-L. Yang, "Efficient mining of generalized negative association rules," in Granular Computing (GrC), 2010 IEEE International Conference on, 2010, pp. 471-476.
12. [12] L. Aliahmadipour, V. Torra, and E. Eslami, "On hesitant fuzzy clustering and clustering of hesitant fuzzy data," in Fuzzy Sets, Rough Sets, Multisets and Clustering, ed: Springer, 2017, pp. 157-168.
13. [13] M. B. Cohen, S. Elder, C. Musco, C. Musco, and M. Persu, "Dimensionality reduction for k-means clustering and low rank approximation," in Proceedings of the forty-seventh annual ACM symposium on Theory of computing, 2015, pp. 163-172.
14. [14] T. M. Kodinariya and P. R. Makwana, "Review on determining number of Cluster in K-Means Clustering," International Journal, vol. 1, pp. 90-95, 2013.