Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi

Yıl 2021, Cilt: 4 Sayı: 1, 45 - 52, 15.01.2021

Ahmet TOPRAK Abdül Halim ZAİM

Öz

Günümüzde IoT (Internet of Things – Nesnelerin İnterneti) cihazların kullanımındaki artış beraberinde yüksek yoğunluklu ve farklı çeşitte verilerin oluşmasına sebep olmuştur. IoT cihazlarından toplanan bu verilerin formatları, şekilleri ve yoğunlukları birbirinden tamamen farklıdır. Bu verilerin anlık olarak işlenmesi ve ilgili kullanıcıya anlık olarak iletilmesi gerekmektedir. Bu makalede, IoT cihazlarından elde edilen verilerin işlenmesi ve son kullanıcıya anlık olarak iletilmesi amacıyla bir model tasarlanmıştır. Çalışmada öncelikli olarak IoT cihazlarından toplanan yapısal olmayan veriler veri ön işleme adımlarına tabi tutulmuştur. Veri ön işleme adımları sonrası elde edilen verilerden anlamlı kelimeler tespit edilmiştir. Bu amaçla TF-IDF metrikleri uygulanmıştır. Anlamlı kelime tespiti sonrası her anlamlı kelimenin konusuna verileri anlık işlemek amacıyla Rabbit MQ dağıtık mesaj işleme kuyruğuna yönlendirilmiştir. Böylece mesajların iletilmesini garanti altına alıyoruz. Rabbit MQ kuyruğuna iletilen mesajların anlık olarak alınması ve işlenmesi amacıyla Apache Storm topolojisi kullanılmıştır. Garantili mesaj işleme alt yapısı kullanan Apache Storm topolojisi, mesajları RabbitMQ dağıtık kuyruklama teknoloji üzerinden okuyup, yapması gereken işlem ve hesaplamaları yaptıktan sonra çıktıları Elasticsearch içerisinde saklayacaktır. Apache Storm topolojisi içerisinde üretilen sonuçlar daha sonra REST API mimarisi kullanılarak son kullanıcı ile paylaşılacaktır.

Anahtar Kelimeler

Nesnelerin İnterneti, Büyük Veri, Rabbit MQ, TF-IDF Metrikleri, Apache Storm

Kaynakça

• Mediaclick.“IoTnedir?”.https://www.mediaclick.com.tr/blog/iot-nedir (16.07.2020)
• Prnewswire.“NewsReleases”.https://www.prnewswire.com/newsreleases.html (16.07.2020)
• Beyaz. “IoT nedir?”. https://www.beyaz.net/tr/arge/makaleler/iot_nedir.html(16.07.2020)
• Christoph, P. M. (2009). Security and privacy challenges in the internet of things. Proc WowKiVS, 2009-1.
• K. R. Sollins, "IoT Big Data Security and Privacy Versus Innovation," in IEEE Internet of Things Journal, vol. 6, no. 2, pp. 1628-1635, April 2019. doi: 10.1109/JIOT.2019.2898113
• U. Ahsan and A. Bais, "A Review on Big Data Analysis and Internet of Things," 2016 IEEE 13th International Conference on Mobile Ad Hoc and Sensor Systems (MASS), Brasilia, 2016, pp. 325-330. doi: 10.1109/MASS.2016.048
• V. Moreno-Cano, F. Terroso-Saenz and A. F. Skarmeta-Gómez, "Big data for IoT services in smart cities," 2015 IEEE 2nd World Forum on Internet of Things (WF-IoT), Milan, 2015, pp. 418-423. doi: 10.1109/WF-IoT.2015.7389091
• M. R. Bashir and A. Q. Gill, "Towards an IoT Big Data Analytics Framework: Smart Buildings Systems," 2016 IEEE 18th International Conference on High Performance Computing and Communications; IEEE 14th International Conference on Smart City; IEEE 2nd International Conference on Data Science and Systems (HPCC/SmartCity/DSS), Sydney, NSW, 2016, pp. 1325-1332. doi: 10.1109/HPCC-SmartCity-DSS.2016.0188
• M. Mohammadi, A. Al-Fuqaha, S. Sorour and M. Guizani, "Deep Learning for IoT Big Data and Streaming Analytics: A Survey," in IEEE Communications Surveys & Tutorials, vol. 20, no. 4, pp. 2923-2960, Fourthquarter 2018. doi: 10.1109/COMST.2018.2844341
• Acar, D.B,Yılmaz, A. K, Küçükbay, S. R. (2018). IoT Verileri İçin Gerçek Zamanlı ve Ölçeklenebilir Büyük Veri Mimarisi: Karşılaşılan Problemler ve Geliştirilen Çözümler.UYMS’18,2018-1.
• Tanasa, D., Trousse, B., 2004. Advanced data preprocessing for intersites web usage mining, IEEE Intelligent Systems, 19(2), 59–65.
• Chitraa, V., Dr. Davamani, A. S., 2010. A Survey on Preprocessing Methods for Web Usage Data. International Journal of Computer Science and Information Security, 7(3), 78-83.
• Caner Tosun.“RabbitMQ Nedir? Windows Üzerinde Kurulumu”. http://www.canertosuner.com/post/rabbitmq-nedir-windows-uzerinde-kurulumu (16.07.2020)
• Medium. “Kafka vs. RabbitMQ”. https://medium.com/kariyertech/kafka-vs-rabbitmq-abe52d5eee34 (16.07.2020)
• Oguzhan İnan. “Hadoop Ekosistemi ve Kullanılan Araçlar”. https://oguzhaninan.gitlab.io/Hadoop-Ekosistemi-ve-Kullanilan-Araclar/#what-is-storm (16.07.2020)
• Womaneng.“Kafka-Flink-Storm-Platformları”. https://womaneng.com/kafka-flink-storm-platformlari/ (16.07.2020)
• Büyükveri. “Büyük Veri Ekosistemi”. http://www.buyukveri.co/buyuk-veri-ekosistemi/ (16.07.2020)
• Devnot. “Bir Bakışta ElasticSearch”. http://devnot.com/2017/bir-bakista-elasticsearch/ (16.07.2020)
• Mehmet Ayhan. “Elasticsearch nedir?”. http://mehmetayhan.com.tr/yazi/elasticsearch-nedir (16.07.2020)
• Burcu Altınok.“ REST API Nedir?”. https://burcualtinok.com.tr/blog/rest-api-nedir/ (16.07.2020)
• Arif Gökçe. “REST API Nedir? Nasıl Kullanılır?”. http://www.arifgokce.com/post/2017/08/07/REST-API-Nedir-Nas%C4%B1l Kullan%C4%B1l%C4%B1r- (16.07.2020)