Olay tabanlı sistemlerde karmaşık olayların tespiti amaçlı gerçek zamanlı izleme alt yapısı

Öz

Günümüzdeki birçok yeni uygulamada; veri, sınırlı saklama ortamlarına yönetilemeyecek büyüklüklere varabilmektedir. Bu tür uygulamalarda verinin sürekli veri akışı formatında olduğu görülmektedir. Bu veri üzerindeki sorgulamalar, klasik veri tabanlarından farklı olarak, bildirim sorguları kullanılarak gerçekleştirilmektedir. Bildirim sorguları, sürekli veri akışı üzerinde filtreleme yapma olanağı sağlamaktadır. Bunun yanı sıra sorgulardaki koşullara uygun verilerin, izlenebilmesi yeteneğini kazandırmaktadır. Sürekli veri akış formatında veri yapısı içeren sistemler,  birim verinin gerçekleşen bir olay olarak değerlendirilebileceği, Olay-tabanlı Sistemler olarak değerlendirilebilir. Bu tür sistemlerde; iş süreçlerinin tetiklenmesini sağlayacak karmaşık olayların gerçek zamanlı tespit edilmesi, bir ihtiyaç haline gelmektedir. Bu araştırma kapsamında, bu eksikliğin giderilmesine yönelik Karmaşık Olay İzleme Altyapısı önerilmektedir. Önerilen altyapı, Olay-tabanlı Sistemlerdeki iş süreçlerinin başlatılma ön koşullarını oluşturan, karmaşık olayların tespit edilmesini sağlamaktadır. Önerilen altyapının kullanılabilirliğini göstermek adına, tıklama verilerinin sürekli veri akışı formatında üretildiği e-ticaret web siteleri için bir prototip uygulama geliştirilmiştir. Prototip uygulama, ticaretin gerçekleştiği sahadan (e-ticaret ortamı) toplanan müşteri hareket verilerini sürekli olarak izlemektedir. Zaman damgası ile etiketlenmiş her bir tıklama verisi gerçekleşen bir olay verisidir. Belirli bir zaman aralığında gerçekleşen temel olayların bir araya gelmesiyle oluşan karmaşık olaylar tespit edilerek, gerçekleşen ticari aktiviteler için uygun iş süreçlerinin çalıştırılması sağlanmaktadır. Geliştirilen uygulama, performans ve ölçeklenebilirlik açısından değerlendirilmiş, önerilen altyapının kullanılabilirliğini gösteren sonuçlar elde edilmiştir.

Anahtar Kelimeler

• Karmaşık olay işleme,Olay tabanlı sistemler,Sürekli veri akışı,Gerçek zamanlı izleme sistemleri

Detecting complex events with real time monitoring infrastructure on event-based systems

Abstract

Nowadays, in many recent applications; the data size become too large to be managed within the limited storage environments. In such applications, the data is a streaming data and has a continuously flowing data format. Queries on streaming data are performed using declarative queries, as opposed to queries made on classical databases. Declarative queries provide the ability to filter on a continuous data stream. In addition, they provide the ability to follow the data that match the conditions in the queries. Systems with a data structure in a continuous data flow format can be considered Event-based Systems, in which unit data can be considered as a real event. In such systems; real-time detection of complex events that will trigger business processes is becoming an important need. Within the scope of this research, a Complex Event Monitoring Infrastructure is proposed to address this deficiency. The proposed infrastructure provides the detection of complex events, which form the preconditions for initiating business processes in Event-based Systems. In order to demonstrate the usability of the proposed infrastructure, a prototype application has been developed for e-commerce web sites, where the click-stream data is generated in a streaming data format. Prototype application continuously monitors customer click-stream data collected from the Web site, where the trade takes place (e-commerce environment). Each click-stream data, labeled with a timestamp, is considered as an event data. By combining the basic events, occurring within a certain time period, complex events are identified and the appropriate business processes for corresponding commercial activities are triggered. The developed application was evaluated from the perspective of performance and scalability, and positive results were obtained indicating the usability of the proposed infrastructure.

Keywords

• Complex event processing,Event-Based systems,Continuous data streaming,Real-Time monitoring systems

References

1. Bifet A. ”Mining big data in real time”. Journal of Informatica, 37(1), 15-20, 2013.
2. Scott M. Real-Time Marketing and PR, Revised: How to Instantly Engage Your Market, Connect with Customers, and Create Products that Grow Your Business Now, Wiley Desktop Editions Series, John Wiley & Sons, 2011.
3. Mishra N, Meyerson A, Guha S, Motwani R. “Streaming-data algorithms for high-quality clustering”. Proceedings of the 18th International Conference on Data Engineering, ICDE-2002, San Jose, CA, USA, 26 February-1 March 2002.
4. Leskovec J, Rajaraman A. Ullman J. Mining of Massive Datasets, Cambridge University Press, www.mmds.org, 2010.
5. Shanahan G, Laing D. “Large scale distributed data science using apache spark”. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Sydney, NSW, Australia, 10-13 August, 2015.
6. Surshanov, S. “Using apache storm for big data”. Computer Modelling & New Technologies, 19(3B), 14-17, 2015.
7. Tas Y, Baeth MJ, Aktas M. “An Approach to Standalone Provenance Systems for Big Social Provenance Data”, 12th International Conference on Semantics, Knowledge and Grids, Beijing, China, 15-17 August 2016.
8. White T. Hadoop: The Definitive Guide. 3rd ed. Sebastopol, CA, O’Reilly, 2015.

9. Baeth M, Aktas M. “Detecting misinformation in social networks using provenance data”. Concurrency and Computation: Practice and Experience, doi: 10.1002/cpe.4263, 31(3), 1-9, 2019.
10. Dean J, Ghemavat S. "MapReduce: Simplified data processing on large clusters". 6th Symposium on Operating System Design and Implementation (OSDI-2004), San Francisco, CA, 3 October 2004.
11. Husain M, Jalab H, Rohani V. Optimized-Memory Map-Reduce Algorithm for Mobile Learning. Editors: Zaman HB, Robinson P, Smeaton AF, Shih TK, Velastin S, Jaafar A, Ali NM. Advances in Visual Informatics, 249-256, Boston, MA, Springer, 2015.
12. Ranjan, R. “Streaming big data processing in data center clouds”. IEEE Cloud Computing, 1(1), 78-83, 2014.
13. Aktas M. “Hybrid cloud computing monitoring software architecture”. Concurrency and Computation: Practice and Experience, 4694, 30(21), 1-9, 2018.
14. Aktas M, Astekin M. "Provenance aware run-time verification of things for self-healing Internet of Things applications". Concurrency and Computation: Practice and Experience, 4263, 31(3), 1-9, 2019.
15. Fox G, Aktas M, Aydin G, Bulut H, Pallickara S, Pierce M, Sayar A, Wu W, Zhai G. Real Time Streaming Data Grid Applications. Editors: Davoli F, Palazzo S, Zappatore S. Distributed Cooperative Laboratories: Networking, Instrumentation and Measurements, 253-267, Boston, MA, Springer, 2006.
16. Fox G, Aktas M, Aydin G, Gadgil H, Pallickara S, Pierce M, Sayar A. “Algorithms and the Grid”. Computing and visualization in science, 12(3), 115-124, 2009.
17. Baeth M, Aktas M. “An approach to custom privacy policy violation detection problems using big social provenance data”. Concurrency and Computation: Practice and Experience, 30(21), 1-9, 2018.
18. Chen P, Plale B, Aktas M. “Temporal representation for mining scientific data provenance”. Future generation computer systems, 36, 363-378, 2014.
19. Chen P, Plale B, Aktas M. “Temporal representation for scientific data provenance”. IEEE 8th International Conference on E-Science (e-Science), Chicago, IL, USA, 8-12 October 2012.
20. Baloglu A, Aktas M. “BlogMiner: Web blog mining application for classification of movie reviews”. 5th International Conference on Internet and Web Applications and Services (ICIW), Barcelona, Spain, 9-15 May, 2010.
21. Aktas M, Plale B, Leake D, Mukhi N. Unmanaged workflows: Their provenance and use. Editors: Liu Q, Bai Q, Giugni S, Williamson D, Taylor J. Data Provenance and Data Management in e-Science, 59-81, Berlin, Heidelberg, Springer, 2012.
22. Jensen S, Plale B, Aktas M, Luo Y, Chen P, Conover H. “Provenance capture and use in a satellite data processing pipeline”. IEEE Transactions on Geoscience and Remote Sensing, 51(11), 5090-5097, 2013.
23. Palmer J. “Web site usability, design, and performance metrics”. Information systems research, 13(2), 151-167, 2002.
24. Kaushik A. Web Analytics: An Hour A Day, 1st Edition, Indianapolis, Indiana, USA, Wiley Publishing, 2007.
25. Aktas M, Pierce M, “High-performance hybrid information service architecture”. Concurrency and Computation: Practice and Experience, 22(15), 2095-2123, 2010.