HADOOP MAP/REDUCE YÖNTEMİ İLE KLASİK VERİ OKUMA TEKNİĞİ ARASINDA BİR PERFORMANS KARŞILAŞTIRILMASI

Year 2018, Volume: 10 Issue: 3, 10 - 19, 01.01.2019

Mustafa Kaya , Tuncay Aydoğan

Abstract

Günümüzde teknolojinin hızlı gelişimine paralel olarak elde edilen muazzam sayıdaki bilgilerin işlenmesi büyük
önem arz etmektedir. Bu “Büyük Veri”’lerin analizi için farklı yazılım araçları geliştirilmiştir. Büyük verileri
işlemede kullanılan araçlardan biri olan Hadoop, yüksek maliyetli bilgisayarlar yerine sıradan bilgisayarlardan
oluşan küme (cluster) üzerinde büyük verileri işleyen bir sistem olması sebebiyle tercih edilmekte ve kullanımı
yaygınlaşmaktadır. Bu çalışmada, kelime sayma amacıyla Hadoop Map/Reduce tekniği kullanılarak geliştirilen
bir uygulama ile Java dilinde geliştirilen diğer uygulamanın çalışma performansları işlem süresi açısından ortaya
konulmuştur. Hadoop kullanılarak geliştirilen uygulamanın 1.000.000 adet kelimeyi Java uygulamasına göre 481
kat daha hızlı işlediği görülmüştür.

Keywords

Hadoop, Map/Reduce, Veri analizi

A PERFORMANCE COMPARISON BETWEEN HADOOP MAP / REDUCE AND CLASSIC TECHNIQUES OF TEXT DATA

Abstract

Keywords

Hadoop, Map/Reduce, data analysis

References

• Alewiwi, M. 2015. Efficient And Secure Document Similarity Search Over Cloud Utilizing Mapreduce. Sabancı Üniversitesi, Mühendislik Ve Doğa Bilimleri Enstitüsü, Doktora Tezi, 133s, İstanbul, 2015.
• Alkan, S. 2010. A Distributed Graph Mining Framework Based On Mapreduce, Middle East Technical University, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 47s, Ankara, 2010.
• Cisco 2017. Cisco Visual Networking Index: Global Mobile Data Traffic Forecast Update, 2016–2021 White Paper, 2016–2021, https://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networkingindex-vni/mobile-white-paper-c11-520862.html, 24.12.2018.
• Çetin, Y. 2014. Mapreduce Kullanarak RDFS Üzerinde Dağıtık Çıkarsama. TOBB Ekonomi ve Teknoloji Üniversitesi, Fen Bilimleri Enstitüsü, 68s, Ankara, 2014.
• Çetinkaya, S. 2016. Hadoop/Mapreduce Teknolojisi Kullanılarak Hızlı Tüketim Sektöründe Büyük Veri Analizi. İstanbul Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 82s, İstanbul, 2016.
• Dean, J. J. and Ghemawat, S. 2008. “MapReduce: Simplified data processing on large clusters,” Communications of the ACM, 2008, 51, 107–113, 2008.
• Demir, İ. 2012. Hadoop Tabablı Büyük Ölçekli Görüntü İşleme Altyapısı. Kocaeli Üniversitesi Fen Bilimleri Enstitüsü Yüksek Lisans Tezi, 87s, Kocaeli, 2012.
• Er, H. R. 2013. Gezgin Satıcı Probleminin Hadoop Üzerinde Çalışan Paralel Genetik Algoritma İle Çözümü. Kocaeli Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 83s, Kocaeli, 2013.
• Ghemawat, S., Gobioff, H., Leung, S. 2003. The Google File System, Proc. of the 19th ACM Symp. on Operating System Principles, 29–43, 2003.
• Gurbuz S., Aydın G., 2017. Büyük Veri Teknolojileri ile Bilimsel Makalelerin Sınıflandırılması, (UBMK’17) 2nd International Conference on Computer Science and Engineering.
• Krishna, M., Kannan, B., Ramani, A., Sathish, S. J. 2010. Implementation and Performance Evaluation of a Hybrid Distributed System for Storing and Processing Images from the Web. Cloudcom, 2010 IEEE Second International Conference on Cloud Computing Technology and Science, 762-767, 2010.
• Kumar, A. 2018. Basics Of Big Data Analytics Hadoop, https://www.slideshare.net/AmbujKumar4/basics-of-big-data-analytics-hadoop, 30.04.2018.
• Lam, C. 2010. Hadoop in Action. Manning Publications Co., 301p, Stamford,USA, 2010. Oracle, 2016. An Enterprise Architect’s Guide to Big Data, 49p.
• Padhy,P. R. 2013. Big Data Processing With Hadoop-MapReduce In Cloud Systems. International Journal of Cloud Computing and Services Science, 2(1), 16-27, 2013.
• Yılmaz, R. A. 2015. Düşük Maliyet İle Mikro Süper Bilgisayar Oluşturma Ve Apache Hadoop Entegrasyonu. Maltepe Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 106s, İstanbul, 2015.
• White, T. 2009. Hadoop: The Definitive Guide. O’Reilly Media, Inc., 625p, Sebastopol, USA, 2009.
• Wiley, K., Connolly, A., Krugho, S., Gardner, J., Balazinska, M., Howe, B., Kwon, Y. Y. and Bu Y, 2011. Astronomical Image Processing with Hadoop, 2011.