Veri Gölleri ve Türkiye'deki Kurumların Veri Mimarisi Geliştirme Süreçlerine Entegrasyonu: Bir Model Önerisi

Yıl 2024, Cilt: 7 Sayı: 2, 272 - 304, 31.12.2024

Ela Ankaralı , Özgür Külcü

https://doi.org/10.33721/by.1563153

Öz

Bu makalede, dijital dönüşüm süreciyle birlikte büyük veri yönetiminde karşılaşılan zorluklara çözüm olarak veri gölü yaklaşımı ele alınmakta ve bu yaklaşımın Türkiye'deki kurumsal veri mimarisi geliştirme süreçlerine entegrasyonu incelenmektedir. Veri göllerinin, yapılandırılmamış ve yarı yapılandırılmış verileri esnek bir şekilde yönetebilme kabiliyeti sayesinde, Türkiye'nin büyük veri yönetimi kabiliyetini artırabileceği vurgulanmaktadır. Çalışmanın kapsamı, Türkiye'deki mevcut veri yönetim sistemlerinin analizi, veri göllerinin potansiyel faydaları ve uygulama zorluklarının değerlendirilmesi; araştırma sorusu ise “Veri göllerinin Türkiye'deki kurumsal veri mimarilerine entegrasyonu nasıl gerçekleştirilebilir ve bu amaçla nasıl bir entegrasyon modeli uygulanabilir?” olarak belirlenmiştir. Bu çalışma kapsamında, Türkiye’deki mevcut veri yönetim sistemleri analiz edilerek veri göllerinin potansiyel faydaları ile uygulama sırasında karşılaşılabilecek zorluklar tartışılmaktadır. Ayrıca çalışmada veri göllerinin doğru üst veri yönetimi, etkili veri yönetişim politikaları ve güvenlik önlemleri çerçevesinde nasıl uygulanabileceğine dair bir model önerisi sunulmaktadır. Bu model, fonksiyonel ve olgunluk temelli mimarilerin birleşiminden oluşmaktadır. Önerilen bu yaklaşımın, Türkiye'deki kurumların veri yönetimi kabiliyetlerini artırarak büyük veri analitiği ve karar alma süreçlerine önemli katkılar sağlayacağı öngörülmektedir.

Anahtar Kelimeler

Veri Gölleri, Veri Ambarı, Veri Mimarisi

Integrating Data Lakes into the Data Architecture Development Processes of Institutions in Türkiye: A Proposed Model

Öz

This article addresses the data lake approach as a solution to the challenges encountered in big data management alongside the digital transformation process, and examines its integration into the development of institutional data architecture in Türkiye. It emphasizes that data lakes, with their ability to flexibly manage unstructured and semi-structured data, could enhance Türkiye’s big data management capabilities. The scope of the study involves the analysis of existing data management systems in Türkiye, the evaluation of the potential benefits of data lakes, and the challenges encountered during their implementation. The research question is defined as: "How can data lakes be integrated into institutional data architectures in Türkiye, and which integration model would be suitable for this purpose?" As part of this study, existing data management systems in Türkiye are analyzed, and the potential benefits of data lakes, as well as the challenges that may arise during implementation, are discussed. Additionally, the study proposes a model for implementing data lakes within the framework of proper metadata management, effective data governance policies, and security measures.

Anahtar Kelimeler

Data Lakes, Data Warehouse, Data Architechture

Kaynakça

• Alharthi, A., Krotov, V. ve Bowman, M. (2017). Addressing barriers to big data. Business Horizons, 60(3), 285-292.
• Amazon Web Services. (2024). What is a data lake? - Introduction to data lakes and analytics. https://aws.amazon.com/what-is/data-lake/
• Ayvaz, S. ve Salman, Y. B. (2020). Türkiye'de büyük veri kullanım olgunluğunun belirlenmesi. Bilişim Teknolojileri Dergisi, 13(3), 297-310.
• Baker, R. S. ve Inventado, P. S. (2014). Educational data mining and learning analytics. J. A. Larusson ve B. White (Ed.). Learning analytics: From research to practice (s. 61-75) içinde. Springer.
• Beheshti, A., Benatallah, B., Sheng, Q. Z. ve Schiliro, F. (2020). Intelligent knowledge lakes: the age of artificial intelligence and big data. U, L., Yang, J., Cai, Y., Karlapalem, K., Liu, A. ve Huang, X. (Edt.) Web Information Systems Engineering: Communications in Computer and Information Science, vol 1155. Springer, Singapore.
• Bertino, E. (2016). Data security and privacy: Concepts, approaches, and research directions. IEEE 40th Annual Computer Software and Applications Conference içinde (400-407). IEEE
• Boyko, N. (2018). Machine learning on data lake. LAP LAMBERT Academic Publishing
• Chavan, V. D. ve Yalagi, P. S. (2023). A Review of Machine Learning Tools and Techniques for Anomaly Detection. International Conference on Information and Communication Technology for Intelligent Systems içinde (395-406). Springer Nature Singapore.
• Cloudian. (y.t.). Data Lake Security: Challenges and 6 critical best practices. https://cloudian.com/guides/data-lake/data-lake-security-challenges-and-6-critical-best-practices/
• Collectiv. (2021). Change Management: The other half of an enterprise data strategy. https://gocollectiv.com/blog/enteprise-data-strategy-change-management/
• Cumhurbaşkanlığı Dijital Dönüşüm Ofisi. (2024). Ulusal Veri Stratejisi. https://cbddo.gov.tr/ulusal-veri-stratejisi/
• DATAVERSITY. (t.y.). Data lake strategy: Its benefits, challenges, and implementation. https://www.dataversity.net/data-lake-strategy-its-benefits-challenges-and-implementation/
• Dixon, J. (2010). Pentaho, Hadoop, and data lakes. James Dixon Blog. https://jamesdixon.wordpress.com/2010/10/14/pentaho-hadoop-and-data-lakes/
• El Assouri, A. (2024, May 2). Data lake revolution in higher education. Stalks. https://www.stalks-app.com/en/2024/05/02/data-lake-revolution-in-higher-education/
• Fang, H. (2015). Managing data lakes in big data era: What's a data lake and why has it became popular in data management ecosystem. 2015 IEEE International Conference on Cyber Technology in Automation, Control, and Intelligent Systems içinde (820-824). https://doi.org/10.1109/CYBER.2015.7288049
• Farhan, M. S., Youssef, A. ve Abdelhamid, L. (2024). A model for enhancing unstructured big data warehouse execution time. Big Data and Cognitive Computing, 8(2), 17.
• Gelir İdaresi Başkanlığı. (t.y.). Hizmetlerimiz GİB Teknoloji. https://teknoloji.gib.gov.tr/teknoloji/hizmetlerimiz.html
• Giebler, C., Gröger, C., Hoos, E., Eichler, R., Schwarz, H. ve Mitschang, B. (2021). The data lake architecture framework: A foundation for building a comprehensive data lake architecture. Fachtagung für Datenbanksysteme für Business, Technologie und Web içinde (351-370). Gesellschaft für Informatik, Bonn.
• Giebler, C., Gröger, C., Hoos, E., Schwarz, H. ve Mitschang, B. (2019). Leveraging the data lake: Current state and challenges. T. Welzer, J. Eder, V. Podgorelec ve A. K. Latific (Edt.). Big data analytics and knowledge discovery, 21st International Conference, DaWaK 2019 içinde (179-188). Springer. https://doi.org/10.1007/978-3-030-27520-4_13
• Gökalp, E., Gökalp, M. O., Çoban, S. ve Eren, P. E. (2018). Analysing opportunities and challenges of integrated blockchain technologies in healthcare. S. Wrycza ve J. Maślankowski (Yay. haz.). Information Systems: Research, Development, Applications, Education. SIGSAND/PLAIS 2018. Lecture Notes in Business Information Processing vol 333, içinde (s. 399-416). Springer, Cham. https://doi.org/10.1007/978-3-030-00060-8_13
• Grosser, T., Bloeme, J., Mack, M. ve Vitsenko, J. (2016). Hadoop and data lakes: Use cases, benefits and limitations. Business Application Research Center (BARC GmbH). https://info.talend.com/rs/talend/images/WP_EN_BD_BARC_Hadoop_DataLakes.pdf
• Gupta, B. B., Yamaguchi, S. ve Agrawal, D. P. (2017). Advances in security and privacy of multimedia big data in mobile and cloud computing. Multimedia Tools and Applications, 76(21), 22391-22398.
• Hai, R., Geisler, S. ve Quix, C. (2016). Constance: An intelligent data lake system. 2016 International Conference on Management of Data içinde (2097-2100).
• Halevy, A., Ferrer, C. C., Ma, H., Ozertem, U., Pantel, P., Saeidi, M., Silvestri, F. ve Stoyanov, V. (2022). Preserving Integrity in Online Social Networks. Communications of the ACM, 65(2), 92-98.
• Halevy, A., Korn, F., Noy, N. F., Polyzotis, N., Roy, S. ve Whang, S. E. (2016). Goods: Organizing Google’s datasets. SIGMOD, 795-806.
• Hashem, I. A. T., Yaqoob, I., Anuar, N. B., Mokhtar, S., Gani, A. ve Khan, S. U. (2015). The rise of “big data” on cloud computing: Review and open research issues. Information Systems, 47, 98-115.
• Hu, V. C., Ferraiolo, D., Kuhn, R., Schnitzer, A., Sandlin, K., Miller, R. ve Scarfone, K. (2015). Guide to attribute based access control (ABAC) definition and considerations. NIST Special Publication, 800(162), 1-54.
• IDC Türkiye. (2024). IDC Türkiye CIO Summit 2024. https://www.idc.com/mea/events/71258-idc-turkiye-cio-summit-2024
• Inmon, W. H. (2016). Data lake architecture: Designing the data lake and avoiding the garbage dump. Technics Publications.
• John, T. ve Misra, P. (2017). Data lake for enterprises: Lambda architecture for building enterprise data systems. Packt Publishing.
• Karaarslan, E. ve Akbaş, M. F. (2017). Blok zinciri tabanlı siber güvenlik sistemleri. Uluslararası Bilgi Güvenliği Mühendisliği Dergisi, 3(2), 16-21.
• Khan, N., Uddin, M. F. ve Gupta, N. (2014). Seven V’s of big data understanding big data to extract value. American Society for Engineering Education içinde, (1-6). IEEE
• Kimball, R. ve Ross, M. (2013). The data warehouse toolkit: The definitive guide to dimensional modeling. John Wiley ve Sons.
• Kişisel Verileri Koruma Kurumu. (2023). 6698 sayılı Kişisel Verilerin Korunması Kanunu. https://www.kvkk.gov.tr/Icerik/6649/6698-SAYILI-KISISEL-VERILERIN-KORUNMASI-KANUNU
• Kişisel Verileri Koruma Kurumu (t.y.). Veri Güvenliğine İlişkin Yükümlülükler. https://www.kvkk.gov.tr/Icerik/2040/Veri-Guvenligine-Iliskin-Yukumlulukler
• Köseoğlu, Ö. ve Demirci, Y. (2017). Türkiye’de Büyük Veri Ve Veri Madenciliğine İlişkin Politika Ve Stratejiler: Ulusal Politika Belgelerinin İçerik Analizi. Süleyman Demirel Üniversitesi İktisadi Ve İdari Bilimler Fakültesi Dergisi, 22(15), 2223-2239.
• LaPlante, A. ve Sharma, B. (2016). Architecting data lakes data management architectures for advanced business use cases. O’Reilly Media Inc.
• LeCun, Y., Bengio, Y. ve Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444. Losee, R. (2006). Browsing mixed structured and unstructured data. Information Processing and Management, 42(2), 440–452.
• Madera, C. ve Laurent, A. (2016). The next information architecture evolution: The data lake wave. International Conference on Enterprise Information Systems (ICEIS) içinde (191-197). https://doi.org/10.5220/0005749801910197
• Mathis, J. (2017). Data lakes. Datenbank Spektrum, 17, 289–293. Miloslavskaya, N. ve Tolstoy, A. (2016). Big data, fast data and data lake concepts. Procedia Computer Science, 88, 300-305.
• Mishra, S ve Misra, A. (2017). Structured and unstructured big data analytics. IEEE International Conference on Current Trends in Computer, Electrical, Electronics and Communication içinde (740-746). IEEE
• Müller, H. J., & Hübner, A. (2019). Data Lakes: Concepts and Applications. Data Management in the Cloud: Challenges and Opportunities içinde (123-145). Springer. https://doi.org/10.1007/978-3-319-97506-0_7
• Orobor, I. A. (2016). Integration and analysis of unstructured data for decision making: Text analytics approach. International Journal of Open Information Technologies, 4(1), 82–88.
• Pathlock. (t.y.). 5 Data masking techniques and why you need them. https://pathlock.com/learn/5-data-masking-techniques-and-why-you-need-them/
• Qi, Q. ve Tao, F. (2018). Digital twin and big data towards smart manufacturing and industry 4.0: 360 degree comparison. IEEE Access, 6, 3585-3593.
• Quix, C., Hai, R., & Vatov, I. (2016). Metadata Extraction and Management in Data LakesWith GEMMS. Complex Systems Informatics and Modeling Quarterly, 9, 67–83.
• Raghupathi, W. ve Raghupathi, V. (2014). Big data analytics in healthcare: promise and potential. Health Information Science and Systems, 2(1), 3. https://doi.org/10.1186/2047-2501-2-3
• Resmî Gazete. (2016). Kişisel Verilerin Korunması Kanunu (7 Nisan, 2016). https://www.resmigazete.gov.tr/eskiler/2016/04/20160407-8.htm
• Sabancı Üniversitesi Veri Analitiği Araştırma ve Uygulama Merkezi (VERİM). (2024). Projeler. https://verim.sabanciuniv.edu/tr/projeler
• Sağıroğlu, Ş. ve Koç, O. (2017). Büyük Veri ve Açık Veri Analitiği: Yöntemler ve Uygulamalar. Grafikeryayın
• Sawadogo, P. ve Darmont, J. (2020). On data lake architectures and metadata management. Journal of Intelligent Information Systems, 56(1), 9-120.
• Sigmund, J. (2021). Advanced Analytics and Big Data in Supply Chain Planning. Disrupting Logistics: Startups, Technologies, and Investors Building Future Supply Chains, 121-135.
• Sivarajah, U., Kamal, M. M., Irani, Z. ve Weerakkody, V. (2017). Critical analysis of big data challenges and analytical methods. Journal of Business Research, 70, 263-286.
• Snowflake. (t.y.). Cloud Data Lake. https://www.snowflake.com/guides/cloud-data-lake/
• Suriarachchi, I. ve Plale, B. (2016). Crossing analytics systems: A case for integrated provenance in data lakes. 2016 IEEE International Conference on Big Data (Big Data) içinde. Washington, DC, USA. https://doi.org/10.1109/BigData.2016.7840676
• Tasarruf Mevduatı Sigorta Fonu (TMSF). (t.y.). Turkey: Financial sector assessment program. https://www.tmsf.org.tr/File/Download?fileId=3b79c30a-04dd-42a6-a6e1-58285abdc3f2&typeId=1
• T.C. Çevre, Şehircilik ve İklim Değişikliği Bakanlığı. (2024). Akıllı Şehirler Portalı. https://www.akillisehirler.gov.tr
• T.C. Sağlık Bakanlığı Sağlık Bilgi Sistemleri Genel Müdürlüğü. (2024a). Veri ambarı ve büyük veri birimi. https://sbsgm.saglik.gov.tr/TR-32358/veri-ambari-ve-buyuk-veri-birimi.html
• T.C. Sağlık Bakanlığı Sağlık Bilgi Sistemleri Genel Müdürlüğü. (2024b). Büyük veri uygulamaları ve veri yönetimi koordinatörlüğü. https://sbsgm.saglik.gov.tr/TR-104968/buyuk-veri-uygulamalari-ve-veri-yonetimi-koordinatorlugu.html
• Teradata. (t.y.). What Is Data Lake Security? https://www.teradata.com/insights/data-security/what-is-data-lake-security
• Terrizzano, I., Schwarz, P., Roth, M. ve Colino, J. E. (2015). Data wrangling: The challenging journey from the wild to the lake. 7th Biennial Conference on Innovative Data Systems Research (CIDR'15) içinde.
• Truică, C.-O., Apostol, E., Darmont, J. ve Pedersen, T. (2021). The forgotten document-oriented database management systems: An overview and benchmark of native XML DODBMSes in comparison with JSON DODBMSes. ArXiv, 30, abs/2102.02246.
• TÜBİTAK ULAKBİM. (t.y.). Veri Ambarı. https://ulakbim.tubitak.gov.tr/tr/hizmetlerimiz/veri-ambari-0
• Türkiye İstatistik Kurumu (TÜİK). (t.y.). Mikro Veri. https://www.tuik.gov.tr/Kurumsal/Mikro_Veri
• Türkyılmaz-van der Velden, Y. (2021). Research data management and FAIR data principles. Creative Commons Türkiye Webinar Series içinde. https://creativecommons.org.tr/cctrwebinar-fair-veri-prensipleri-ve-arastirma-verilerinin-yonetimi/
• United Nations Development Programme (UNDP). (2024). Data Governance Framework Recommendation Report for Türkiye. https://www.undp.org/sites/g/files/zskgke326/files/2024- 04/data_governance_framework_recommendation_report_for_turkiye_2024-final-13_march.pdf
• Uslu, H. (2023). Dijital Dönüşüm ve Kamu Hizmetleri Yönetimde Yenilikçi Yaklaşımlar ve Zorluklar. Uluslararası Politik Araştırmalar Dergisi, 9(3), 15-31. https://doi.org/10.25272/icps.1354693
• Wieder, P., ve Nolte, H. (2022). Toward data lakes as central building blocks for data management and analysis. Frontiers in big Data, 5, 945720.
• Yafooz, W. M., Abidin, S. Z., Omar, N. ve Idrus, Z. (2013). Managing unstructured data in relational databases. 2013 IEEE Conference on Systems, Process & Control (ICSPC) içinde (198-203).