Büyük veri saklama ortamlarının izlenmesine yönelik yazılım mimarisi

Öz

Büyük Veri NoSQL saklama platformları, aynı temel fonksiyonel özellikleri sağlamakla birlikte, birbirlerinden ayrılan geniş özellik setleri de sunabilmektedir. Örneğin, doküman-tabanlı NoSQL saklama ortamları dokümanların organizasyonu için kullanılırken, çizge veri tabanları, veriler arasındaki ilişkilerin çizgeler olarak tanımlanabildiği veriler için kullanabilmektedir. Bunun sonucu olarak, farklı platformlar, sağladıkları ayrıştırıcı işlevselliklerinden dolayı birlikte kullanılabilmektedir. Ancak, farklı büyük veri saklama platformları üzerinde gerçek zamanlı olarak izleme işlemlerini yapabilecek, tek bir programlama ara yüzü üzerinden kullanılabilen, bir platformun eksikliğinin olduğu görülmektedir. Bu eksikliği gidermek amacıyla, bir sistem mimarisi önerilmektedir. Önerilen sistem birbirinden farklı NoSQL platformları üzerinde üzerinde eklenti olarak çalışmakta ve izleme işlemlerinin yapılabilmesine olanak sağlamaktadır. Çalışma kapsamında önerilen sistem mimarisinin prototipi gerçekleştirilmiştir ve elde edilen deneyim detaylarıyla sunulmaktadır. Prototip uygulama, sistemin dağıtık mimari yapısını ve veri yapısını, bellek kullanımını ve sabit disk kullanımını takip etmek odaklı olarak geliştirilmiştir. Önerdiğimiz sistem mimarisinin doğruluğu ve pratik kullanımını ortaya koymak amacıyla prototip uygulama üzerinde performans testleri uygulanmış ve olumlu olarak elde edilen sonuçlar paylaşılmıştır.

Anahtar Kelimeler

• NoSQL,Büyük veri,Hibrit platform,İzleme platformu,Hibrit mimari yapısı,Büyük veri yönetimi

A software architecture for monitoring big data storage platforms

Abstract

NoSQL-based big data storage platforms provide similar fundamental big data management functionalities in addition to various other functionalities that differ for each platform. For example, document-oriented NoSQL big data storage platforms are commonly used for organizing and managing documents, while graph-based databases are designed for data whose relations are represented by graphs. In turn, different NoSQL-based platforms are often used together, as each provides distinct capabilities. Within this study based on our literature review, it is seen that a hybrid platform, which could perform real-time monitoring tasks on top of different big data NoSQL platforms, is lacking. In order to address this issue, this paper proposes a novel system architecture. The proposed system architecture runs as a piece of add-on software one layer above the NoSQL platforms and provides monitoring tasks on these platforms. Within the research, a prototype of the recommended system architecture is made and the testing results are provided in detail. The prototype of the proposed architecture focused on monitoring the system's distributed structure and data structure, memory usage, and disk usage. In order to prove the practical usage of the proposed system architecture, various performance experiments were applied to the prototype application. In this paper, we report on the promising results of the performance experiment.

Keywords

• NoSQL,Big data,Hybrid platform,Monitoring platform,Hybrid architectural structure,Management of big data

References

1. Han J. “Survey on NoSQL database”. 6th International Conference on Pervasive Computing and Applications, Port Elizabeth, South Africa, 26-28 October 2011.
2. Leavitt N. “Will NoSQL databases live up to their promise?”. Computer Magazine, 43(2), 12-14, 2010.
3. Muthukkaruppan K. “Storage ınfrastructure behind facebook messages”. Proceedings of International Workshop on High Performance Transaction Systems, New york, NY, 2011.
4. Pritchett D. “BASE: An acid alternative”. File Systems and Storage, 6(3), Pages 48-55, 2008.
5. Wei-ping Z, Ming-xin L, Huan C. “Using mongoDB to implement textbook management system instead of MySQL”. 3rd IEEE International Conference on Communication Software and Networks, Xi'an, China, 2011.
6. Yishan L. “A performance comparison of SQL and NoSQL databases”. IEEE Pacific Rim Conference, Victoria, BC, Canada, 2013.
7. Angles R. “A Comparison of current graph database models”. IEEE 28th International Conference on Data Engineering Workshops, Arlington, VA, USA, 2012.
8. Tudorica B, Bucur C. "A comparison between several NoSQL databases with comments and notes". 10th Roedunet International Conference, Iasi, Romania, 2011.

9. Mishra V. Beginning Apache Cassandra Development, 1st Edition, New York, NY, Apress, 2014.
10. Griffin M. A Preliminary Exploration of Database Performance for Use With ‘big data’ projects in the aviation industry. Master Thesis, School of Science LYIT, Gortlee, Letterkenny, Co. Donegal, Ireland 2014.
11. Robin L, Gibbs C, Coady Y. “MADAPT: managed aspects for dynamic adaptation based on profiling techniques”. Proceedings of the 3rd workshop on Adaptive and reflective middleware, New York, NY, 2004.
12. Prechelt L, Unger-Lamprecht B, Philippsen M, Tich W. “Two controlled experiments assessing the usefulness of design pattern documentation in program maintenance”. IEEE Transactions on Software, 28(6), 595-606, 2002.
13. Aydın O, Onder Y, Aktas M. “NoSQL büyük veri yapılarının izlenmesine yönelik hibrit sistem platformu”. Basarim-15 Conference, Ankara, Turkey, 2015.
14. Lee J K, Lee J Y. “Android programming techniques for improving performance”. 3rd International Conference on Awareness Science and Technology, Dalian, China, 2011.