Büyük veri saklama ortamlarının izlenmesine yönelik yazılım mimarisi

Yıl 2017, Cilt: 23 Sayı: 5, 597 - 601, 20.10.2017

Mehmet Sıddık Aktaş

Öz

Büyük
Veri NoSQL saklama platformları, aynı temel fonksiyonel özellikleri sağlamakla
birlikte, birbirlerinden ayrılan geniş özellik setleri de sunabilmektedir.
Örneğin, doküman-tabanlı NoSQL saklama ortamları dokümanların organizasyonu
için kullanılırken, çizge veri tabanları, veriler arasındaki ilişkilerin
çizgeler olarak tanımlanabildiği veriler için kullanabilmektedir. Bunun sonucu
olarak, farklı platformlar, sağladıkları ayrıştırıcı işlevselliklerinden dolayı
birlikte kullanılabilmektedir. Ancak, farklı büyük veri saklama platformları
üzerinde gerçek zamanlı olarak izleme işlemlerini yapabilecek, tek bir
programlama ara yüzü üzerinden kullanılabilen, bir platformun eksikliğinin
olduğu görülmektedir. Bu eksikliği gidermek amacıyla, bir sistem mimarisi
önerilmektedir. Önerilen sistem birbirinden farklı NoSQL platformları üzerinde
üzerinde eklenti olarak çalışmakta ve izleme işlemlerinin yapılabilmesine
olanak sağlamaktadır. Çalışma kapsamında önerilen sistem mimarisinin prototipi
gerçekleştirilmiştir ve elde edilen deneyim detaylarıyla sunulmaktadır.
Prototip uygulama, sistemin dağıtık mimari yapısını ve veri yapısını, bellek
kullanımını ve sabit disk kullanımını takip etmek odaklı olarak
geliştirilmiştir. Önerdiğimiz sistem mimarisinin doğruluğu ve pratik
kullanımını ortaya koymak amacıyla prototip uygulama üzerinde performans
testleri uygulanmış ve olumlu olarak elde edilen sonuçlar paylaşılmıştır.

Anahtar Kelimeler

NoSQL, Büyük veri, Hibrit platform, İzleme platformu, Hibrit mimari yapısı, Büyük veri yönetimi

A software architecture for monitoring big data storage platforms

Öz

NoSQL-based
big data storage platforms provide similar fundamental big data management
functionalities in addition to various other functionalities that differ for
each platform. For example, document-oriented NoSQL big data storage platforms
are commonly used for organizing and managing documents, while graph-based
databases are designed for data whose relations are represented by graphs. In
turn, different NoSQL-based platforms are often used together, as each provides
distinct capabilities. Within this study based on our literature review, it is
seen that a hybrid platform, which could perform real-time monitoring tasks on
top of different big data NoSQL platforms, is lacking. In order to address this
issue, this paper proposes a novel system architecture. The proposed system
architecture runs as a piece of add-on software one layer above the NoSQL
platforms and provides monitoring tasks on these platforms. Within the
research, a prototype of the recommended system architecture is made and the
testing results are provided in detail. The prototype of the proposed
architecture focused on monitoring the system's distributed structure and data
structure, memory usage, and disk usage. In order to prove the practical usage
of the proposed system architecture, various performance experiments were
applied to the prototype application. In this paper, we report on the promising
results of the performance experiment.

Anahtar Kelimeler

NoSQL, Big data, Hybrid platform, Monitoring platform, Hybrid architectural structure, Management of big data

Kaynakça

• Han J. “Survey on NoSQL database”. 6th International Conference on Pervasive Computing and Applications, Port Elizabeth, South Africa, 26-28 October 2011.
• Leavitt N. “Will NoSQL databases live up to their promise?”. Computer Magazine, 43(2), 12-14, 2010.
• Muthukkaruppan K. “Storage ınfrastructure behind facebook messages”. Proceedings of International Workshop on High Performance Transaction Systems, New york, NY, 2011.
• Pritchett D. “BASE: An acid alternative”. File Systems and Storage, 6(3), Pages 48-55, 2008.
• Wei-ping Z, Ming-xin L, Huan C. “Using mongoDB to implement textbook management system instead of MySQL”. 3rd IEEE International Conference on Communication Software and Networks, Xi'an, China, 2011.
• Yishan L. “A performance comparison of SQL and NoSQL databases”. IEEE Pacific Rim Conference, Victoria, BC, Canada, 2013.
• Angles R. “A Comparison of current graph database models”. IEEE 28th International Conference on Data Engineering Workshops, Arlington, VA, USA, 2012.
• Tudorica B, Bucur C. "A comparison between several NoSQL databases with comments and notes". 10th Roedunet International Conference, Iasi, Romania, 2011.
• Mishra V. Beginning Apache Cassandra Development, 1st Edition, New York, NY, Apress, 2014.
• Griffin M. A Preliminary Exploration of Database Performance for Use With ‘big data’ projects in the aviation industry. Master Thesis, School of Science LYIT, Gortlee, Letterkenny, Co. Donegal, Ireland 2014.
• Robin L, Gibbs C, Coady Y. “MADAPT: managed aspects for dynamic adaptation based on profiling techniques”. Proceedings of the 3rd workshop on Adaptive and reflective middleware, New York, NY, 2004.
• Prechelt L, Unger-Lamprecht B, Philippsen M, Tich W. “Two controlled experiments assessing the usefulness of design pattern documentation in program maintenance”. IEEE Transactions on Software, 28(6), 595-606, 2002.
• Aydın O, Onder Y, Aktas M. “NoSQL büyük veri yapılarının izlenmesine yönelik hibrit sistem platformu”. Basarim-15 Conference, Ankara, Turkey, 2015.
• Lee J K, Lee J Y. “Android programming techniques for improving performance”. 3rd International Conference on Awareness Science and Technology, Dalian, China, 2011.