Araştırma Makalesi
BibTex RIS Kaynak Göster

Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi

Yıl 2021, Cilt: 4 Sayı: 1, 45 - 52, 15.01.2021

Öz

Günümüzde IoT (Internet of Things – Nesnelerin İnterneti) cihazların kullanımındaki artış beraberinde yüksek yoğunluklu ve farklı çeşitte verilerin oluşmasına sebep olmuştur. IoT cihazlarından toplanan bu verilerin formatları, şekilleri ve yoğunlukları birbirinden tamamen farklıdır. Bu verilerin anlık olarak işlenmesi ve ilgili kullanıcıya anlık olarak iletilmesi gerekmektedir. Bu makalede, IoT cihazlarından elde edilen verilerin işlenmesi ve son kullanıcıya anlık olarak iletilmesi amacıyla bir model tasarlanmıştır. Çalışmada öncelikli olarak IoT cihazlarından toplanan yapısal olmayan veriler veri ön işleme adımlarına tabi tutulmuştur. Veri ön işleme adımları sonrası elde edilen verilerden anlamlı kelimeler tespit edilmiştir. Bu amaçla TF-IDF metrikleri uygulanmıştır. Anlamlı kelime tespiti sonrası her anlamlı kelimenin konusuna verileri anlık işlemek amacıyla Rabbit MQ dağıtık mesaj işleme kuyruğuna yönlendirilmiştir. Böylece mesajların iletilmesini garanti altına alıyoruz. Rabbit MQ kuyruğuna iletilen mesajların anlık olarak alınması ve işlenmesi amacıyla Apache Storm topolojisi kullanılmıştır. Garantili mesaj işleme alt yapısı kullanan Apache Storm topolojisi, mesajları RabbitMQ dağıtık kuyruklama teknoloji üzerinden okuyup, yapması gereken işlem ve hesaplamaları yaptıktan sonra çıktıları Elasticsearch içerisinde saklayacaktır. Apache Storm topolojisi içerisinde üretilen sonuçlar daha sonra REST API mimarisi kullanılarak son kullanıcı ile paylaşılacaktır.

Kaynakça

  • Mediaclick.“IoTnedir?”.https://www.mediaclick.com.tr/blog/iot-nedir (16.07.2020)
  • Prnewswire.“NewsReleases”.https://www.prnewswire.com/newsreleases.html (16.07.2020)
  • Beyaz. “IoT nedir?”. https://www.beyaz.net/tr/arge/makaleler/iot_nedir.html(16.07.2020)
  • Christoph, P. M. (2009). Security and privacy challenges in the internet of things. Proc WowKiVS, 2009-1.
  • K. R. Sollins, "IoT Big Data Security and Privacy Versus Innovation," in IEEE Internet of Things Journal, vol. 6, no. 2, pp. 1628-1635, April 2019. doi: 10.1109/JIOT.2019.2898113
  • U. Ahsan and A. Bais, "A Review on Big Data Analysis and Internet of Things," 2016 IEEE 13th International Conference on Mobile Ad Hoc and Sensor Systems (MASS), Brasilia, 2016, pp. 325-330. doi: 10.1109/MASS.2016.048
  • V. Moreno-Cano, F. Terroso-Saenz and A. F. Skarmeta-Gómez, "Big data for IoT services in smart cities," 2015 IEEE 2nd World Forum on Internet of Things (WF-IoT), Milan, 2015, pp. 418-423. doi: 10.1109/WF-IoT.2015.7389091
  • M. R. Bashir and A. Q. Gill, "Towards an IoT Big Data Analytics Framework: Smart Buildings Systems," 2016 IEEE 18th International Conference on High Performance Computing and Communications; IEEE 14th International Conference on Smart City; IEEE 2nd International Conference on Data Science and Systems (HPCC/SmartCity/DSS), Sydney, NSW, 2016, pp. 1325-1332. doi: 10.1109/HPCC-SmartCity-DSS.2016.0188
  • M. Mohammadi, A. Al-Fuqaha, S. Sorour and M. Guizani, "Deep Learning for IoT Big Data and Streaming Analytics: A Survey," in IEEE Communications Surveys & Tutorials, vol. 20, no. 4, pp. 2923-2960, Fourthquarter 2018. doi: 10.1109/COMST.2018.2844341
  • Acar, D.B,Yılmaz, A. K, Küçükbay, S. R. (2018). IoT Verileri İçin Gerçek Zamanlı ve Ölçeklenebilir Büyük Veri Mimarisi: Karşılaşılan Problemler ve Geliştirilen Çözümler.UYMS’18,2018-1.
  • Tanasa, D., Trousse, B., 2004. Advanced data preprocessing for intersites web usage mining, IEEE Intelligent Systems, 19(2), 59–65.
  • Chitraa, V., Dr. Davamani, A. S., 2010. A Survey on Preprocessing Methods for Web Usage Data. International Journal of Computer Science and Information Security, 7(3), 78-83.
  • Caner Tosun.“RabbitMQ Nedir? Windows Üzerinde Kurulumu”. http://www.canertosuner.com/post/rabbitmq-nedir-windows-uzerinde-kurulumu (16.07.2020)
  • Medium. “Kafka vs. RabbitMQ”. https://medium.com/kariyertech/kafka-vs-rabbitmq-abe52d5eee34 (16.07.2020)
  • Oguzhan İnan. “Hadoop Ekosistemi ve Kullanılan Araçlar”. https://oguzhaninan.gitlab.io/Hadoop-Ekosistemi-ve-Kullanilan-Araclar/#what-is-storm (16.07.2020)
  • Womaneng.“Kafka-Flink-Storm-Platformları”. https://womaneng.com/kafka-flink-storm-platformlari/ (16.07.2020)
  • Büyükveri. “Büyük Veri Ekosistemi”. http://www.buyukveri.co/buyuk-veri-ekosistemi/ (16.07.2020)
  • Devnot. “Bir Bakışta ElasticSearch”. http://devnot.com/2017/bir-bakista-elasticsearch/ (16.07.2020)
  • Mehmet Ayhan. “Elasticsearch nedir?”. http://mehmetayhan.com.tr/yazi/elasticsearch-nedir (16.07.2020)
  • Burcu Altınok.“ REST API Nedir?”. https://burcualtinok.com.tr/blog/rest-api-nedir/ (16.07.2020)
  • Arif Gökçe. “REST API Nedir? Nasıl Kullanılır?”. http://www.arifgokce.com/post/2017/08/07/REST-API-Nedir-Nas%C4%B1l Kullan%C4%B1l%C4%B1r- (16.07.2020)
Toplam 21 adet kaynakça vardır.

Ayrıntılar

Birincil Dil Türkçe
Konular Mühendislik
Bölüm Makaleler
Yazarlar

Ahmet Toprak

Abdül Halim Zaim

Yayımlanma Tarihi 15 Ocak 2021
Yayımlandığı Sayı Yıl 2021 Cilt: 4 Sayı: 1

Kaynak Göster

APA Toprak, A., & Zaim, A. H. (2021). Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi. Veri Bilimi, 4(1), 45-52.



Dergimizin Tarandığı Dizinler (İndeksler)


Academic Resource Index

logo.png

journalseeker.researchbib.com

Google Scholar

scholar_logo_64dp.png

ASOS Index

asos-index.png

Rooting Index

logo.png

www.rootindexing.com

The JournalTOCs Index

journal-tocs-logo.jpg?w=584

www.journaltocs.ac.uk

General Impact Factor (GIF) Index

images?q=tbn%3AANd9GcQ0CrEQm4bHBnwh4XJv9I3ZCdHgQarj_qLyPTkGpeoRRmNh10eC

generalif.com

Directory of Research Journals Indexing

DRJI_Logo.jpg

olddrji.lbp.world/indexedJournals.aspx

I2OR Index

8c492a0a466f9b2cd59ec89595639a5c?AccessKeyId=245B99561176BAE11FEB&disposition=0&alloworigin=1

http://www.i2or.com/8.html



logo.png