Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi

Ahmet Toprak; Abdül Halim Zaim

Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi

Öz

Günümüzde IoT (Internet of Things – Nesnelerin İnterneti) cihazların kullanımındaki artış beraberinde yüksek yoğunluklu ve farklı çeşitte verilerin oluşmasına sebep olmuştur. IoT cihazlarından toplanan bu verilerin formatları, şekilleri ve yoğunlukları birbirinden tamamen farklıdır. Bu verilerin anlık olarak işlenmesi ve ilgili kullanıcıya anlık olarak iletilmesi gerekmektedir. Bu makalede, IoT cihazlarından elde edilen verilerin işlenmesi ve son kullanıcıya anlık olarak iletilmesi amacıyla bir model tasarlanmıştır. Çalışmada öncelikli olarak IoT cihazlarından toplanan yapısal olmayan veriler veri ön işleme adımlarına tabi tutulmuştur. Veri ön işleme adımları sonrası elde edilen verilerden anlamlı kelimeler tespit edilmiştir. Bu amaçla TF-IDF metrikleri uygulanmıştır. Anlamlı kelime tespiti sonrası her anlamlı kelimenin konusuna verileri anlık işlemek amacıyla Rabbit MQ dağıtık mesaj işleme kuyruğuna yönlendirilmiştir. Böylece mesajların iletilmesini garanti altına alıyoruz. Rabbit MQ kuyruğuna iletilen mesajların anlık olarak alınması ve işlenmesi amacıyla Apache Storm topolojisi kullanılmıştır. Garantili mesaj işleme alt yapısı kullanan Apache Storm topolojisi, mesajları RabbitMQ dağıtık kuyruklama teknoloji üzerinden okuyup, yapması gereken işlem ve hesaplamaları yaptıktan sonra çıktıları Elasticsearch içerisinde saklayacaktır. Apache Storm topolojisi içerisinde üretilen sonuçlar daha sonra REST API mimarisi kullanılarak son kullanıcı ile paylaşılacaktır.

Anahtar Kelimeler

Kaynakça

Mediaclick.“IoTnedir?”.https://www.mediaclick.com.tr/blog/iot-nedir (16.07.2020)
Prnewswire.“NewsReleases”.https://www.prnewswire.com/newsreleases.html (16.07.2020)
Beyaz. “IoT nedir?”. https://www.beyaz.net/tr/arge/makaleler/iot_nedir.html(16.07.2020)
Christoph, P. M. (2009). Security and privacy challenges in the internet of things. Proc WowKiVS, 2009-1.
K. R. Sollins, "IoT Big Data Security and Privacy Versus Innovation," in IEEE Internet of Things Journal, vol. 6, no. 2, pp. 1628-1635, April 2019. doi: 10.1109/JIOT.2019.2898113
U. Ahsan and A. Bais, "A Review on Big Data Analysis and Internet of Things," 2016 IEEE 13th International Conference on Mobile Ad Hoc and Sensor Systems (MASS), Brasilia, 2016, pp. 325-330. doi: 10.1109/MASS.2016.048
V. Moreno-Cano, F. Terroso-Saenz and A. F. Skarmeta-Gómez, "Big data for IoT services in smart cities," 2015 IEEE 2nd World Forum on Internet of Things (WF-IoT), Milan, 2015, pp. 418-423. doi: 10.1109/WF-IoT.2015.7389091
M. R. Bashir and A. Q. Gill, "Towards an IoT Big Data Analytics Framework: Smart Buildings Systems," 2016 IEEE 18th International Conference on High Performance Computing and Communications; IEEE 14th International Conference on Smart City; IEEE 2nd International Conference on Data Science and Systems (HPCC/SmartCity/DSS), Sydney, NSW, 2016, pp. 1325-1332. doi: 10.1109/HPCC-SmartCity-DSS.2016.0188

M. Mohammadi, A. Al-Fuqaha, S. Sorour and M. Guizani, "Deep Learning for IoT Big Data and Streaming Analytics: A Survey," in IEEE Communications Surveys & Tutorials, vol. 20, no. 4, pp. 2923-2960, Fourthquarter 2018. doi: 10.1109/COMST.2018.2844341
Acar, D.B,Yılmaz, A. K, Küçükbay, S. R. (2018). IoT Verileri İçin Gerçek Zamanlı ve Ölçeklenebilir Büyük Veri Mimarisi: Karşılaşılan Problemler ve Geliştirilen Çözümler.UYMS’18,2018-1.
Tanasa, D., Trousse, B., 2004. Advanced data preprocessing for intersites web usage mining, IEEE Intelligent Systems, 19(2), 59–65.
Chitraa, V., Dr. Davamani, A. S., 2010. A Survey on Preprocessing Methods for Web Usage Data. International Journal of Computer Science and Information Security, 7(3), 78-83.
Caner Tosun.“RabbitMQ Nedir? Windows Üzerinde Kurulumu”. http://www.canertosuner.com/post/rabbitmq-nedir-windows-uzerinde-kurulumu (16.07.2020)
Medium. “Kafka vs. RabbitMQ”. https://medium.com/kariyertech/kafka-vs-rabbitmq-abe52d5eee34 (16.07.2020)
Oguzhan İnan. “Hadoop Ekosistemi ve Kullanılan Araçlar”. https://oguzhaninan.gitlab.io/Hadoop-Ekosistemi-ve-Kullanilan-Araclar/#what-is-storm (16.07.2020)
Womaneng.“Kafka-Flink-Storm-Platformları”. https://womaneng.com/kafka-flink-storm-platformlari/ (16.07.2020)
Büyükveri. “Büyük Veri Ekosistemi”. http://www.buyukveri.co/buyuk-veri-ekosistemi/ (16.07.2020)
Devnot. “Bir Bakışta ElasticSearch”. http://devnot.com/2017/bir-bakista-elasticsearch/ (16.07.2020)
Mehmet Ayhan. “Elasticsearch nedir?”. http://mehmetayhan.com.tr/yazi/elasticsearch-nedir (16.07.2020)
Burcu Altınok.“ REST API Nedir?”. https://burcualtinok.com.tr/blog/rest-api-nedir/ (16.07.2020)
Arif Gökçe. “REST API Nedir? Nasıl Kullanılır?”. http://www.arifgokce.com/post/2017/08/07/REST-API-Nedir-Nas%C4%B1l Kullan%C4%B1l%C4%B1r- (16.07.2020)

Ayrıntılar

Birincil Dil

Türkçe

Konular

Mühendislik

Bölüm

Araştırma Makalesi

Yazarlar

Ahmet Toprak ^*
Türkiye

Abdül Halim Zaim
Türkiye

Yayımlanma Tarihi

15 Ocak 2021

Gönderilme Tarihi

17 Temmuz 2020

Kabul Tarihi

30 Kasım 2020

Yayımlandığı Sayı

Yıl 2021 Cilt: 4 Sayı: 1

IZ

https://izlik.org/JA46NW83EW

Kaynak Göster

RIS / Bibtex

APA

Toprak, A., & Zaim, A. H. (2021). Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi. Veri Bilimi, 4(1), 45-52. https://izlik.org/JA46NW83EW

AMA

1.Toprak A, Zaim AH. Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi. Veri Bilim Derg. 2021;4(1):45-52. https://izlik.org/JA46NW83EW

Chicago

Toprak, Ahmet, ve Abdül Halim Zaim. 2021. “Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi”. Veri Bilimi 4 (1): 45-52. https://izlik.org/JA46NW83EW.

EndNote

Toprak A, Zaim AH (01 Ocak 2021) Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi. Veri Bilimi 4 1 45–52.

IEEE

[1]A. Toprak ve A. H. Zaim, “Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi”, Veri Bilim Derg, c. 4, sy 1, ss. 45–52, Oca. 2021, [çevrimiçi]. Erişim adresi: https://izlik.org/JA46NW83EW

ISNAD

Toprak, Ahmet - Zaim, Abdül Halim. “Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi”. Veri Bilimi 4/1 (01 Ocak 2021): 45-52. https://izlik.org/JA46NW83EW.

JAMA

1.Toprak A, Zaim AH. Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi. Veri Bilim Derg. 2021;4:45–52.

MLA

Toprak, Ahmet, ve Abdül Halim Zaim. “Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi”. Veri Bilimi, c. 4, sy 1, Ocak 2021, ss. 45-52, https://izlik.org/JA46NW83EW.

Vancouver

1.Ahmet Toprak, Abdül Halim Zaim. Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi. Veri Bilim Derg [Internet]. 01 Ocak 2021;4(1):45-52. Erişim adresi: https://izlik.org/JA46NW83EW