Big Data Based Archiving Management System

Öz

The size of data in institutions such as banks is increasing rapidly due to the fact that the number of new products is put into service, the number of customers is increasing rapidly, the number of new applications is put into use due to regulations, and the data that must be kept compulsory such as audit trail records are excessive. When these data remain in existing systems for years, systems and applications become heavy, and the costs of operational processes such as backup and system maintenance increase. For all these problems, the data should be classified and categorized according to the frequency of access, those that do not need instant access to the categorized data should be archived by moving them to secondary and less costly systems and deleted from the source system. The large data-based archiving management system will be developed as a software product, providing more effective access to structural or unstructured data to be archived in the Hadoop ecosystem and bringing cheaper storage costs.

Anahtar Kelimeler

• Hadoop
• big data
• archiving
• data archiving management
• unstructured data archiving
• structred data archiving
• big data archiving

Büyük Veri Tabanlı Arşivleme Yönetim Sistemi

Öz

Yeni ürünlerin hizmete sunulması, müşteri sayısının hızla artması, denetim iz kayıtları gibi zorunlu olarak tutulması gereken verilerin boyutlarının fazla olması nedeniyle banka gibi kurumlarda veri büyüklüğü hızlı bir şekilde artmaktadır. Bu veriler mevcut sistemlerde yıllarca kaldığı zaman sistemleri ve uygulamaları ağırlaştırmakta, yedekleme ve sistem bakımı gibi operasyonel işlemlerin maliyetlerini arttırmaktadır. Bütün bu sorunlar için verilerin sınıflandırılarak erişim sıklığına göre kategorize edilmesi, sınıflandırılan verilerin anlık erişim gereksinimi olmayanlarının ikincil ve daha az maliyetli sistemlere taşınarak arşivlenmesi ve arşivlendikten sonra kaynak sistemden silinmesi gerekmektedir. Bu gereksinimleri karşılamak için yazılan büyük veri tabanlı arşivleme yönetim sistemi, bir yazılım ürünü olarak geliştirilmiştir. Yapısal ve yapısal olmayan verilerin Hadoop ekosisteminde arşivlenmesi verilere daha etkin erişim sağlayacak ve daha ucuz saklama maliyetleri getirecektir. Bu bağlamda yapılan çalışmada veri erişim katmanı, hizmet ve uygulama katmanından oluşan verileri, HDFS (Hadoop Distributed File System) dosya sistemi yapısında dağıtık olarak üç kopya halinde tutan ve fiziksel sunucular üzerinde sanallaştırma teknolojileri kullanılarak kurulan bir büyük veri tabanlı arşivleme yönetim sistemi geliştirilmiştir. Sonrasında ise ilişkisel veri tabanlarındaki yapısal tabloların erişimi ve aktarımı için Sqoop, yapısal olmayan kaynaklardan yapılan aktarımların gerçekleştirilmesi ve zamanlanması için Nifi araçları kullanılmıştır. İlişkisel veri tabanlarından büyük veri arşivleme sistemine aktarılan ve HDFS dosya yapısında tutulan verilerde hacimsel büyüklükte çok büyük oranda azalma gerçekleşmiştir. Veri erişim katmanı üzerinden yapılan veri sorgulama işlemlerinde ise özellikle sayısal olmayan verilerin erişiminde yüksek performans artışları gözlemlenmiştir. Bu çalışmada, büyük veri arşivleme ve veri analitiği kavramları incelenmiş ve bu kavramlar üzerine yapılan çalışmalar araştırılmıştır. Bu kapsamda gerçekleştirilen kaynak taramasından çıkarılan bilgiler neticesinde; veri büyüklüğünün ve veriye erişim hızı gereksinimin hızla arttığı kurumlarda kullanılabilecek olan, yüksek hız, yüksek verimlilik, daha az maliyet ve daha fazla çeşitlilik gereksinimlerini karşılayan bir arşivleme yönetim sistemi büyük veri platformu üzerinde gerçekleştirilmiştir.

Anahtar Kelimeler

• Hadoop
• büyük veri
• arşivleme
• veri arşivleme yönetimi
• yapısal olmayan veri arşivleme
• yapısal veri arşivleme
• büyük veri aşivleme

Kaynakça

1. RODADB long term digital preservation, https://www.keep.pt/en/produts/roda-long-term-digital-preservation-repository-solution/
2. Heuscher, S., Jaermann, S., Keller-Marxer, P., Moehle, F., Providing authentic long-term archive access to complex relational data, 2004, DL/0408054, https://arxiv.org/abs/cs/0408054.
3. Brandl, S., Keller-Marxer, P., Long-term archiving of relational databases with chronos. First International Workshop on Database Preservation, March 2007, https://www.researchgate.net/publication/ 304374749_Long-term_Archiving_of_Relational_Databases_with_Chronos.
4. ZISMAN, A. An overview of XML. Computing & Control Engineering Journal, 2000, 11.4: 165-167.
5. CSV, https://en.wikipedia.org/wiki/Comma-separated_values.
6. Swiss Federal Archives, https://www.bar.admin.ch/bar/en/home.html.
7. XSD XML Schema Definition, https://www.ibm.com/docs/en/iis/11.5?topic=SSZJPZ_11.5.0/ com.ibm.swg.im.iis.metadata.common.doc/topics/c_xml_schema_definition_assets.html.
8. ZIP64 compression format, https://www.artpol-software.com/ZipArchive/KB/0610051629.aspx.

9. SIARD file format, https://www.loc.gov/preservation/digital/formats/fdd/fdd000426.shtml.
10. Fitzgerald, N., Using data archiving tools to preserve archival records in business systems - a case study, International Conference on Preservation of Digital Objects, 10, Lisboa, 2013, https://purl.pt/24107/1/ iPres2013_PDF/Using data archiving tools to preserve archival records in business systems – a case study.pdf.
11. SIARD SUITE, https://www.bar.admin.ch/bar/en/home/archiving/tools/siard-suite.html.
12. SIARD SUITE user experiences, https://coptr.digipres.org/index.php/SIARD_Suite.
13. Preserving databases using SIARD, https://dilcis.eu/images/2020review /9_Draft_SIARD_Case_Study_1.pdf - P.10.
14. M. Farwell, Y. Fain on Angular, 13 November 2017, https://ieeexplore.ieee.org/document/8106872.
15. .netCore Entity Framework, https://docs.microsoft.com/tr-tr/ef/core/.
16. The Apache Hadoop Project, https://hadoop.apache.org/.
17. Dwivedi, K., Dubey S. K.. Analytical review on Hadoop Distributed file System, 2014, https://ieeexplore.ieee.org/abstract/document/6949336.
18. Windows Communication Foundation (WCF) Architecture, https://docs.microsoft.com/tr-tr/dotnet/framework/wcf/architecture.
19. The Apache Nifi, https://nifi.apache.org/.
20. Aravinth S. S., Begam A. H., Shanmugapriyaa S., Sowmya S.. An efficient HADOOP frameworks SQOOP and ambari for big data processing, International Journal for Innovative Research in Science and Technology 1.10, 2015, http://www.ijirst.org/articles/IJIRSTV1I10027.pdf.
21. Master Node, https://www.geeksforgeeks.org/hadoop-cluster-properties-and-its-types/.
22. Worker Node, https://databricks.com/glossary/hadoop-cluster.
23. Hadoop cluster, https://www.simplilearn.com/what-is-a-hadoop-cluster-article.
24. Loganathan A., Sinha A., Muthuramakrishnan V. S. Natarajan. A Systematic Approach to Big Data Exploration of the Hadoop Framework, International Journal of Information & Computation Technology, 2014, ISSN 0974-2239 Volume 4, Number 9, http://ripublication.com/irph/ijict_spl/ijictv4n9spl_01.pdf.
25. Hortonworks Data Platform, https://www.cloudera.com/products/hdp.html.
26. Dean J., Ghemawat S.. MapReduce: a flexible data processing tool, Communications of the ACM, January 2010, https://doi.org/10.1145/1629175.1629198.
27. The Apache Hive, https://hive.apache.org/
28. Shaw S., Vermeulen A.F., Gupta A., Kjerrumgaard D.. Hive Security. In: Practical Hive. Apress, Berkeley, CA. , 2016, https://doi.org/10.1007/978-1-4842-0271-5_10.
29. Haloi S., Apache ZooKeeper Essentials, Packt Publishing Ltd, 2015
30. Lindley A. Database Preservation Evaluation Report SIARD vs. CHRONOS, International Conference on Preservation of Digital Objects, 10, Lisboa, 2013, https://www.researchgate.net/publication/ 267652385_Database_Preservation_Evaluation_Report_-SIARD_vs_CHRONOS_Preserving_complex_ structures_as_databases_through_a_record_centric_approach.
31. The Apache Hadoop YARN, https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html.
32. The Apache Spark, http://spark.apache.org/
33. The Apache Tez, https://tez.apache.org/
34. The Apache Solr, https://solr.apache.org
35. The Apache Orc, https://orc.apache.org/
36. The Apache Parquet, https://parquet.apache.org/