APACHE HADOOP VE DAĞITIK SİSTEMLER ÜZERİNDEKİ ROLÜ

Year 2012, Issue: 027, 43 - 54, 16.04.2012

Gürcan Yavuz Sevcan Aytekin Muammer Akçay

Abstract

Distributed systems have emerged because of the need
for sharing of sources. Sharing of sources can be hardware component and
software properties. Especially distributed systems can be useful for safe,
fast and scalable process for a large amount of data. For this reason, Apache Hadoop software is
being started to be mostly used especially in distributed systems recent years.
Its purpose is distributing MapReduce algorithm which refers to Google
File System technology to a lot of computer. It allows scaling a large amount of complicated data
with Google File System
similar. For
this possibility availability of Hadoop is increasing. İn this work, one of the
MapReduce open sourced implementation hadoop is examined which is  installed to three machine in the small
cluster.

Keywords

Distributed Systems, Hadoop, Parallel, Cloud, MapReduce

APACHE HADOOP VE DAĞITIK SİSTEMLER ÜZERİNDEKİ ROLÜ

Abstract

Dağıtık sistemler, kaynakları paylaşmaya duyulan gereklilik neticesinde
ortaya çıkmıştır. Kaynak paylaşımı donanımsal bileşenler ve yazılımsal
varlıklar olabilir. Özellikle büyük çaplı verilerin güvenli, hızlı, tutarlı ve
ölçeklenebilir bir şekilde işlenebilmesi için dağıtık sistemlerin
kullanılabilir olduğu görülmüştür. Bu amaçla Apache Hadoop, dağıtık sistemlerde
özellikle son yıllarda çokça kullanılmaya başlayan bir yazılım haline
gelmiştir. Amacı Google Dosya
Sistemi teknolojisi olan MapReduce algoritmasını birçok bilgisayara dağıtarak
uygulamayı sağlamaktır.
Google dosya sisteminin benzerini kullanarak çok büyük karmaşık verileri
ölçeklendirebilme imkânı sağlar. Bu imkânla Hadoop’un kullanılabilirliği
giderek artmaktadır. Bu çalışmada, mapreduce açık kaynak gerçeklenmiş hali
hadoop çatısı incelenmiştir. Üç makineye kurulumu yapılıp, küçük bir küme
oluşturulmuştur. Hadoop çatısı, küme üzerinde çalışması incelenmiştir.

Keywords

Dağıtık Sistemler, Hadoop, Paralel, Bulut, MapReduce

References

• [1] Apache Hadoop, http://hadoop.apache.org/
• [2] Apache HBase, http://hbase.apache.org/
• [3] Apache Pig, http://hadoop.apache.org/pig/
• [4] Apache Hive, http://hadoop.apache.org/hive/
• [5] Apache Zookeeper, http://hadoop.apache.org/zookeeper/
• [6] A. Silberschatz, P. B. Galvin,Greg Gagne, “Operating System Concepts 7th Ed”, John Wiley&Sons,611,(2004)
• [7] J. WU, “Distrubuted System Design”, CRC-Press, (1998)
• [8 ] İnternet: İşletim Sistemleri Dağıtık Sistemler (Çevrimiçi – “www.pinarsahin.net/dosyalar/isl1.ppt”)
• [9] J. Dean , S. Ghemawat, “MapReduce: simplified data processing on large clusters”, Proceedings of the 6th conference on Symposium on Opearting Systems Design & Implementation, p.10-10, San Francisco, (2004)
• [10] Internet: http://en.wikipedia.org/wiki/MapReduce, (2010)
• [11] J. A. Stuart, C. K. Chen, K. L. Ma, J. D. Owens, “Multi-GPU volume rendering using MapReduce”,High Performance Distributed Computing Proceedings of the 19th ACM International Symposium on High Performance Distributed Computing, Chicago, Illinois, USA (2010)
• [12] İnternet: java, http://www.java.com (2010)
• [13] S. Ghemawat , H. Gobioff , S. Leung, “The Google file system”, Proceedings of the nineteenth ACM symposium on Operating systems principles, Bolton Landing, NY, USA (2003)
• [14] İnternet: http://wiki.apache.org/hadoop/PoweredBy(2010)
• [15] İnternet: http://www.ibm.com/developerworks/aix/library/au-cloud_apache/(2010)
• [16] K. Shvachko, K. Hairong, S. Radia,R. Chansle, “The Hadoop Distributed File System”, Mass Storage Systems and Technologies (MSST), 2010 IEEE 26th Symposium, Incline Village, NV, USA (2010)
• [17] İnternet: Create,read,update and delete http://en.wikipedia.org/wiki/Create,_read,_update_and_delete (2010)
• [18] J. Venner, “Pro Hadoop”, Apress, 1st ed. (2009)
• [19] İnternet: Ken Mann,M. Tim Jones Distributed computing with Linux and Hadoop, http://www.ibm.com/developerworks/linux/library/l-hadoop/ (2010)
• [20] F. Chang, J. Dean, S. Ghemawat, W. C. Hsieh, D. A. Wallach, M. Burrows, T. Chandra, A. Fikes, R. E. Gruber, “Bigtable: A Distributed Storage System for Structured Data”, OSDI'06: Seventh Symposium on Operating System Design and Implementation, Seattle, WA, (2006)
• [21] İnternet: Debian GNU/Linux http://www.debian.org/(2010)