Research Article
BibTex RIS Cite

HADOOP MAP/REDUCE YÖNTEMİ İLE KLASİK VERİ OKUMA TEKNİĞİ ARASINDA BİR PERFORMANS KARŞILAŞTIRILMASI

Year 2018, Volume: 10 Issue: 3, 10 - 19, 01.01.2019

Abstract

Günümüzde teknolojinin hızlı gelişimine paralel olarak elde edilen muazzam sayıdaki bilgilerin işlenmesi büyük
önem arz etmektedir. Bu “Büyük Veri”’lerin analizi için farklı yazılım araçları geliştirilmiştir. Büyük verileri
işlemede kullanılan araçlardan biri olan Hadoop, yüksek maliyetli bilgisayarlar yerine sıradan bilgisayarlardan
oluşan küme (cluster) üzerinde büyük verileri işleyen bir sistem olması sebebiyle tercih edilmekte ve kullanımı
yaygınlaşmaktadır. Bu çalışmada, kelime sayma amacıyla Hadoop Map/Reduce tekniği kullanılarak geliştirilen
bir uygulama ile Java dilinde geliştirilen diğer uygulamanın çalışma performansları işlem süresi açısından ortaya
konulmuştur. Hadoop kullanılarak geliştirilen uygulamanın 1.000.000 adet kelimeyi Java uygulamasına göre 481
kat daha hızlı işlediği görülmüştür.

References

  • Alewiwi, M. 2015. Efficient And Secure Document Similarity Search Over Cloud Utilizing Mapreduce. Sabancı Üniversitesi, Mühendislik Ve Doğa Bilimleri Enstitüsü, Doktora Tezi, 133s, İstanbul, 2015.
  • Alkan, S. 2010. A Distributed Graph Mining Framework Based On Mapreduce, Middle East Technical University, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 47s, Ankara, 2010.
  • Cisco 2017. Cisco Visual Networking Index: Global Mobile Data Traffic Forecast Update, 2016–2021 White Paper, 2016–2021, https://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networkingindex-vni/mobile-white-paper-c11-520862.html, 24.12.2018.
  • Çetin, Y. 2014. Mapreduce Kullanarak RDFS Üzerinde Dağıtık Çıkarsama. TOBB Ekonomi ve Teknoloji Üniversitesi, Fen Bilimleri Enstitüsü, 68s, Ankara, 2014.
  • Çetinkaya, S. 2016. Hadoop/Mapreduce Teknolojisi Kullanılarak Hızlı Tüketim Sektöründe Büyük Veri Analizi. İstanbul Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 82s, İstanbul, 2016.
  • Dean, J. J. and Ghemawat, S. 2008. “MapReduce: Simplified data processing on large clusters,” Communications of the ACM, 2008, 51, 107–113, 2008.
  • Demir, İ. 2012. Hadoop Tabablı Büyük Ölçekli Görüntü İşleme Altyapısı. Kocaeli Üniversitesi Fen Bilimleri Enstitüsü Yüksek Lisans Tezi, 87s, Kocaeli, 2012.
  • Er, H. R. 2013. Gezgin Satıcı Probleminin Hadoop Üzerinde Çalışan Paralel Genetik Algoritma İle Çözümü. Kocaeli Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 83s, Kocaeli, 2013.
  • Ghemawat, S., Gobioff, H., Leung, S. 2003. The Google File System, Proc. of the 19th ACM Symp. on Operating System Principles, 29–43, 2003.
  • Gurbuz S., Aydın G., 2017. Büyük Veri Teknolojileri ile Bilimsel Makalelerin Sınıflandırılması, (UBMK’17) 2nd International Conference on Computer Science and Engineering.
  • Krishna, M., Kannan, B., Ramani, A., Sathish, S. J. 2010. Implementation and Performance Evaluation of a Hybrid Distributed System for Storing and Processing Images from the Web. Cloudcom, 2010 IEEE Second International Conference on Cloud Computing Technology and Science, 762-767, 2010.
  • Kumar, A. 2018. Basics Of Big Data Analytics Hadoop, https://www.slideshare.net/AmbujKumar4/basics-of-big-data-analytics-hadoop, 30.04.2018.
  • Lam, C. 2010. Hadoop in Action. Manning Publications Co., 301p, Stamford,USA, 2010. Oracle, 2016. An Enterprise Architect’s Guide to Big Data, 49p.
  • Padhy,P. R. 2013. Big Data Processing With Hadoop-MapReduce In Cloud Systems. International Journal of Cloud Computing and Services Science, 2(1), 16-27, 2013.
  • Yılmaz, R. A. 2015. Düşük Maliyet İle Mikro Süper Bilgisayar Oluşturma Ve Apache Hadoop Entegrasyonu. Maltepe Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 106s, İstanbul, 2015.
  • White, T. 2009. Hadoop: The Definitive Guide. O’Reilly Media, Inc., 625p, Sebastopol, USA, 2009.
  • Wiley, K., Connolly, A., Krugho, S., Gardner, J., Balazinska, M., Howe, B., Kwon, Y. Y. and Bu Y, 2011. Astronomical Image Processing with Hadoop, 2011.

A PERFORMANCE COMPARISON BETWEEN HADOOP MAP / REDUCE AND CLASSIC TECHNIQUES OF TEXT DATA

Year 2018, Volume: 10 Issue: 3, 10 - 19, 01.01.2019

Abstract

References

  • Alewiwi, M. 2015. Efficient And Secure Document Similarity Search Over Cloud Utilizing Mapreduce. Sabancı Üniversitesi, Mühendislik Ve Doğa Bilimleri Enstitüsü, Doktora Tezi, 133s, İstanbul, 2015.
  • Alkan, S. 2010. A Distributed Graph Mining Framework Based On Mapreduce, Middle East Technical University, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 47s, Ankara, 2010.
  • Cisco 2017. Cisco Visual Networking Index: Global Mobile Data Traffic Forecast Update, 2016–2021 White Paper, 2016–2021, https://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networkingindex-vni/mobile-white-paper-c11-520862.html, 24.12.2018.
  • Çetin, Y. 2014. Mapreduce Kullanarak RDFS Üzerinde Dağıtık Çıkarsama. TOBB Ekonomi ve Teknoloji Üniversitesi, Fen Bilimleri Enstitüsü, 68s, Ankara, 2014.
  • Çetinkaya, S. 2016. Hadoop/Mapreduce Teknolojisi Kullanılarak Hızlı Tüketim Sektöründe Büyük Veri Analizi. İstanbul Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 82s, İstanbul, 2016.
  • Dean, J. J. and Ghemawat, S. 2008. “MapReduce: Simplified data processing on large clusters,” Communications of the ACM, 2008, 51, 107–113, 2008.
  • Demir, İ. 2012. Hadoop Tabablı Büyük Ölçekli Görüntü İşleme Altyapısı. Kocaeli Üniversitesi Fen Bilimleri Enstitüsü Yüksek Lisans Tezi, 87s, Kocaeli, 2012.
  • Er, H. R. 2013. Gezgin Satıcı Probleminin Hadoop Üzerinde Çalışan Paralel Genetik Algoritma İle Çözümü. Kocaeli Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 83s, Kocaeli, 2013.
  • Ghemawat, S., Gobioff, H., Leung, S. 2003. The Google File System, Proc. of the 19th ACM Symp. on Operating System Principles, 29–43, 2003.
  • Gurbuz S., Aydın G., 2017. Büyük Veri Teknolojileri ile Bilimsel Makalelerin Sınıflandırılması, (UBMK’17) 2nd International Conference on Computer Science and Engineering.
  • Krishna, M., Kannan, B., Ramani, A., Sathish, S. J. 2010. Implementation and Performance Evaluation of a Hybrid Distributed System for Storing and Processing Images from the Web. Cloudcom, 2010 IEEE Second International Conference on Cloud Computing Technology and Science, 762-767, 2010.
  • Kumar, A. 2018. Basics Of Big Data Analytics Hadoop, https://www.slideshare.net/AmbujKumar4/basics-of-big-data-analytics-hadoop, 30.04.2018.
  • Lam, C. 2010. Hadoop in Action. Manning Publications Co., 301p, Stamford,USA, 2010. Oracle, 2016. An Enterprise Architect’s Guide to Big Data, 49p.
  • Padhy,P. R. 2013. Big Data Processing With Hadoop-MapReduce In Cloud Systems. International Journal of Cloud Computing and Services Science, 2(1), 16-27, 2013.
  • Yılmaz, R. A. 2015. Düşük Maliyet İle Mikro Süper Bilgisayar Oluşturma Ve Apache Hadoop Entegrasyonu. Maltepe Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 106s, İstanbul, 2015.
  • White, T. 2009. Hadoop: The Definitive Guide. O’Reilly Media, Inc., 625p, Sebastopol, USA, 2009.
  • Wiley, K., Connolly, A., Krugho, S., Gardner, J., Balazinska, M., Howe, B., Kwon, Y. Y. and Bu Y, 2011. Astronomical Image Processing with Hadoop, 2011.
There are 17 citations in total.

Details

Primary Language Turkish
Journal Section Articles
Authors

Mustafa Kaya

Tuncay Aydoğan This is me

Publication Date January 1, 2019
Published in Issue Year 2018 Volume: 10 Issue: 3

Cite

IEEE M. Kaya and T. Aydoğan, “HADOOP MAP/REDUCE YÖNTEMİ İLE KLASİK VERİ OKUMA TEKNİĞİ ARASINDA BİR PERFORMANS KARŞILAŞTIRILMASI”, IJTS, vol. 10, no. 3, pp. 10–19, 2019.

Dergi isminin Türkçe kısaltması "UTBD" ingilizce kısaltması "IJTS" şeklindedir.

Dergimizde yayınlanan makalelerin tüm bilimsel sorumluluğu yazar(lar)a aittir. Editör, yardımcı editör ve yayıncı dergide yayınlanan yazılar için herhangi bir sorumluluk kabul etmez.