EXAMINING THE IMPORTANCE OF ARTIFICIAL INTELLIGENCE IN THE SINGULARIZATION OF BIG DATA WITH THE DEVELOPMENT OF CLOUD COMPUTING

Year 2023, , 170 - 180, 30.06.2023

Serkan Keskin , Ali Hakan Isık

https://doi.org/10.47933/ijeir.1261330

Cited By: 1

Abstract

With the start of Industry 4.0 in 2011, new concepts and technologies have entered the IT literature. Some of these technologies are virtualization, modularity, big data and deduplication. Big data can be defined as data of a magnitude that exceeds the ability of traditional database systems to collect, store, manage and analyze data. Today, data is diverse, large and rapidly changing. This situation cannot be solved with the traditional database structure. With the emergence of big data, it has become difficult to process data with the algorithms used for data processing. Therefore, new algorithms and technologies have been developed. The most important of these technologies is data deduplication. Deduplication backs up data by dividing it into variable or fixed sizes. In this way, it aims to save storage space by storing only one copy of many repeated data. Today, "deduplication and compression" is an indispensable feature for data storage in both server-storge and hyper-converged architecture systems. Recently, artificial intelligence technologies are advancing very rapidly and their application areas are expanding. Therefore, Artificial Intelligence is a technology that will be very important for the industry and our lives in the future. The purpose of this paper is to give an idea about the relationship between deduplication technology and artificial intelligence by examining various deduplication systems and algorithms. Studies in the literature show that deduplication provides significant savings in storage space, the importance of data security, and the use of artificial intelligence and deduplication as a whole.

Keywords

artificial intelligence, big data, Cloud computing, deduplication

Bulut Bilişimin Gelişmesi ile Büyük Verinin Tekilleştirilmesinde Yapay Zekâ Öneminin İncelenmesi

Abstract

2011 yılında Endüstri 4.0’ın başlaması ile bilişim literatürüne yeni kavramlar ve teknolojiler girmiştir. Bu teknolojilerden bazıları sanallaştırma, modülerlik, büyük veri ve veri tekilleştirilmesidir. Büyük veri, geleneksel veritabanı sistemlerinde verilerin toplanması, saklanması, yönetilmesi ve çözümleme yeteneklerini aşan büyüklükteki veriler olarak ifade edilebilir. Günümüzde veriler çok çeşitli, büyük ve hızlı bir şekilde yer değiştirmektedir. Bu durum geleneksel veri tabanı yapısı ile çözülememektedir. Büyük verinin ortaya çıkmasıyla verinin işlenmesi için kullanılan algoritmalar ile verilerin işlenmesi zorlaşmıştır. Bu nedenle yeni algoritmalar ve teknolojiler geliştirilmiştir. Bu teknolojilerin en başında da veri tekilleştirilmesi gelmektedir. Veri tekilleştirme, verileri değişken veya sabit büyüklüklere bölerek yedeklemektedir. Bu sayede tekrarlanan birçok verinin yalnızca bir kopyasını saklayarak depolama alanından tasarruf sağlamayı amaçlamaktadır. Günümüzde hem server-storge, hemde hyper-converged (bütünleşik sistem) mimarisi sistemlerde veri depolama için “tekilleştirme ve sıkıştırma” vazgeçilmez bir özelliktir. Son zamanlarda Yapay zekâ teknolojileri çok hızlı ilerleme göstermekte ve uygulama alanları da genişlemektedir. Bu nedenle Yapay Zekâ, gelecekte endüstri ve hayatlarımız için çok önemli olacak bir teknoloji olmaktadır. Bu çalışmamın amacı çeşitli veri tekilleştirme sistemleri ve algoritmaları inceleyerek veri tekilleştirme teknolojisi ile yapay zekâ arasındaki ilişki hakkında fikir vermektir. Literatürdeki çalışmalar, veri tekilleştirmesi ile depolama alanında önemli ölçüde tasarruf sağlandığını, veri güvenliğinin önemini, yapay zekâ ile tekilleştirmenin bir bütün olarak kullanılmakta olduğunu göstermektedir.

Keywords

Bulut bilişim, yapay zekâ, büyük veri, veri tekilleştirmesi

References

• [1] Keleş, Ü., & Nevcihan, D. U. R. U. (2021). Metin Benzerliği Algoritmaları ile Veri Tekilleştirme: Oteller Veri Tabanında Bir Uygulama. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 14(2), 86-98.
• [2] PG, S., RK, N., Menon, V. G., Abbasi, M., & Khosravi, M. R. (2020). A secure data deduplication system for integrated cloud-edge networks. Journal of Cloud Computing, 9(1), 1-12.
• [3] Jiang, S., Jiang, T., & Wang, L. (2017). Secure and efficient cloud data deduplication with ownership management. IEEE Transactions on Services Computing, 13(6), 1152-1165.
• [4] Yang, X., Lu, R., Choo, K. K. R., Yin, F., & Tang, X. (2017). Achieving efficient and privacy-preserving crossdomain big data deduplication in cloud. IEEE transactions on big data, 8(1), 73-84.
• [5] Barik, R. K., Patra, S. S., Patro, R., Mohanty, S. N., & Hamad, A. A. (2021, March). GeoBD2: Geospatial big data deduplication scheme in fog assisted cloud computing environment. In 2021 8th International Conference on Computing for Sustainable Global Development (INDIACom) (pp. 35-41). IEEE.
• [6] Vijayalakshmi, K., & Jayalakshmi, V. (2021, April). Analysis on data deduplication techniques of storage of big data in cloud. In 2021 5th International Conference on Computing Methodologies and Communication (ICCMC) (pp. 976-983). IEEE.
• [7] Manogar, E., & Abirami, S. (2014, December). A study on data deduplication techniques for optimized storage. In 2014 Sixth International Conference on Advanced Computing (ICoAC) (pp. 161-166). IEEE.
• [8] Leesakul, W., Townend, P., & Xu, J. (2014, April). Dynamic data deduplication in cloud storage. In 2014 IEEE 8th International Symposium on Service Oriented System Engineering (pp. 320-325). IEEE.
• [9] Fan, C. I., Huang, S. Y., & Hsu, W. C. (2015, May). Encrypted data deduplication in cloud storage. In 2015 10th Asia Joint Conference on Information Security (pp. 18-25). IEEE.
• [10] Park, J., Kim, J., Kim, Y., Lee, S., & Mutlu, O. (2022). {DeepSketch}: A New Machine {Learning-Based} Reference Search Technique for {Post-Deduplication} Delta Compression. In 20th USENIX Conference on File and Storage Technologies (FAST 22) (pp. 247-264).
• [11] Tarun, S., Batth, R. S., & Kaur, S. (2021, December). A Scheme for Data Deduplication Using Advance Machine Learning Architecture in Distributed Systems. In 2021 International Conference on Computing Sciences (ICCS) (pp. 53-60). IEEE.
• [12] Dokuz, A. Ş., & Çelik, M. (2017). Bulut Bilişim Sistemlerinde Verinin Farklı Boyutları Üzerine Derleme.Niğde Ömer Halisdemir Üniversitesi Mühendislik Bilimleri Dergisi, 6(2), 316-338.
• [13] Çelik, K. (2021). Bulut Bilişim Teknolojileri. Bartın Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 12(24), 436-450.
• [14] Jamsa, K. (2022). Cloud computing. Jones & Bartlett Learning. Keskin and Işık, International Journal of Engineering and Innovative Research 5:2 (2023) 170-180 180
• [15] Hurwitz, J. S., & Kirsch, D. (2020). Cloud computing for dummies. John Wiley & Sons.
• [16] Singhal, S., Sharma, P., Aggarwal, R. K., & Passricha, V. (2018). A global survey on data deduplication. International Journal of Grid and High Performance Computing (IJGHPC), 10(4), 43-66.
• [17] Alonso, J. M., & Casalino, G. (2019, June). Explainable artificial intelligence for human-centric data analysis in virtual learning environments. In International workshop on higher education learning methodologies and technologies online (pp. 125-138). Springer, Cham.
• [18] Gill, S. S., Tuli, S., Xu, M., Singh, I., Singh, K. V., Lindsay, D., ... & Garraghan, P. (2019). Transformative effects of IoT, Blockchain and Artificial Intelligence on cloud computing: Evolution, vision, trends and open challenges. Internet of Things, 8, 100118.
• [19] Demirol, D., Das, R., & Hanbay, D. (2019, September). Büyük veri üzerine perspektif bir bakış. In 2019 International Artificial Intelligence and Data Processing Symposium (IDAP) (pp. 1-9). IEEE.
• [20] Süzen, A. A., & Kayaalp, K. (2019). Büyük Verilerde Gizlilik Tabanlı Yaklaşım: Federe Öğrenme. International Journal of 3d Printing Technologies and Digital Industry, 3(3), 297-304.
• [21] Xu, L. J., Hao, R., Yu, J., & Vijayakumar, P. (2021). Secure deduplication for big data with efficient dynamic ownership updates. Computers & Electrical Engineering, 96, 107531.
• [22] Premkamal, P. K., Pasupuleti, S. K., Singh, A. K., & Alphonse, P. J. A. (2021). Enhanced attribute based access control with secure deduplication for big data storage in cloud. Peer-to-Peer Networking and Applications, 14(1), 102-120.
• [23] Kumar, N., & Jain, S. C. (2019). Efficient data deduplication for big data storage systems. In Progress in Advanced Computing and Intelligent Engineering (pp. 351-371). Springer, Singapore.
• [24] Savić, I., & Lin, X. (2021, November). The Analysis and Implication of Data Deduplication in Digital Forensics. In International Symposium on Cyberspace Safety and Security (pp. 198-215). Springer, Cham.
• [25] Wu, H., Wang, C., Fu, Y., Sakr, S., Zhu, L., & Lu, K. (2017). Hpdedup: A hybrid prioritized data deduplication mechanism for primary storage in the cloud. arXiv preprint arXiv:1702.08153.
• [26] URL-1 (2022). https://www.hsb.nl/the-importance-of-deduplication-and-adjudication-in-identitymanagement- solutions/ (Erişim tarihi 12.02.2022)