Artificial Intelligence Based Big Data Management Tool

Abstract

Today, artificial intelligence plays a leading role in solving many problems. Data, which has become the most valuable mine in terms of the current location, is the main source of information. When the process of obtaining information is taken into consideration, in order to obtain a quality information, the data must be examined, analyzed and made ready for processing. One of the problems encountered during the data analysis process is the identification and correction of missing or noisy / incorrect data. In this study, a unique and powerful data management tool based on artificial intelligence will be developed in order to detect and correct missing and noisy data. With this tool, data sets will be analyzed, missing and noisy data in these data sets will be detected and corrected. The originality of the software tool to be developed is that it will use modern, powerful and hybrid artificial intelligence algorithms in the process of correcting missing and noisy data.

Keywords

• Artificial intelligence,Missing Data Completion,Noise Detection and Repair,Artificial neural networks,K nearest neighborhood(KNN),Intuitive KNN

Yapay Zekâ Tabanlı Büyük Veri Yönetim Aracı

Abstract

Yapay zekâ, günümüzde birçok problemin çözüme kavuşturulmasında başrol oynamaktadır. Şu an ki konum itibariyle en değerli maden haline gelen veri, bilginin oluşmasındaki asıl kaynaktır. Bilgiyi elde etme süreci göz önüne alındığında, kaliteli bir bilgiyi elde etmek için ise verinin incelenmesi, analiz edilmesi ve işlenmeye hazır hale getirilmesi gerekmektedir. Veri analiz sürecinde karşılaşılan problemlerin başında, eksik ya da gürültülü/hatalı verilerin tespit edilmesi ve düzeltilmesi gelmektedir. Bu çalışmada eksik ve gürültülü verilerin tespit edilmesi ve düzeltilmesi amacıyla yapay zekâ tabanlı çalışan, özgün ve güçlü bir veri yönetim aracı geliştirilmiştir. Bu araç sayesinde veri setlerinin analiz edilmesi, bu veri setlerindeki eksik ve gürültülü verilerin tespit edilmesi ve düzeltilmesi sağlanacaktır. Geliştirilecek yazılım aracının özgünlüğü ise eksik ve gürültülü verileri düzeltme sürecinde modern, güçlü ve melez yapay zekâ algoritmalarını kullanacak olmasıdır.

Keywords

• yapay zeka,eksik veri tamamlama,Gürültü Tespiti ve Onarımı,Yapay Sinir Ağları,k-En Yakın Komşular(KNN),Sezgisel KNN

Supporting Institution

KARADENİZ TEKNİK ÜNİVERSİTESİ

References

1. Deloitte. “Veri Analizi- Veri Kalitesi ve Bütünlüğü”. http://www.denetimnet.net/UserFiles/Documents/Makaleler/BT%20Denetim/Veri_Analizi_Veri_Kalitesi_ve_Bütünlüğü.pdf , 13 Ekim 2018.
2. Çelik, Y., Sezgin, E., “Veri Madenciliğinde Kayıp Veriler İçin Kullanılan Yöntemlerin Karşılaştırılması”. Akdeniz Üniversitesi, http://ab.org.tr/ab13/bildiri/184.pdf , 14 Ekim 2018.
3. Çüm, S., Gelbal, S. (2015). “Kayıp Veriler Yerine Yaklaşık Değer Atamada Kullanılan Farklı Yöntemlerin Model Veri Uyumu Üzerindeki Etkisi”, Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 35, 87-111.
4. Çüm, S., Demir, E.K., Gelbal, S., Kışla, T. (2018). “Kayıp Veriler Yerine Yaklaşık Değer Atamak İçin Kullanılan Gelişmiş Yöntemlerin Farklı Koşullar Altında Karşılaştırılması”, Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 45, 230-249.
5. Kahraman, H. T., Bayindir, R., & Sagiroglu, S. (2012). A new approach to predict the excitation current and parameter weightings of synchronous machines based on genetic algorithm-based k-NN estimator. Energy Conversion and Management, 64, 129-138.
6. Karaboga, D., & Akay, B. (2009). A comparative study of artificial bee colony algorithm. Applied mathematics and computation, 214(1), 108-132.
7. Cheng, M. Y., & Prayogo, D. (2014). Symbiotic organisms search: a new metaheuristic optimization algorithm. Computers & Structures, 139, 98-112.
8. Holland, J.H., (1975). "Adaptation in natural and artificial systems: An introductory analysis with applications to biology, control, and artificial intelligence". Q. Rev. Biol. 1, 211. http://dx.doi.org/10.1086/418447.

9. Kahraman, H. T. (2016). A novel and powerful hybrid classifier method: Development and testing of heuristic k-nn algorithm with fuzzy distance metric. Data & Knowledge Engineering, 103, 44-59.
10. A. Tsanas, A. Xifara: 'Accurate quantitative estimation of energy performance of residential buildings using statistical machine learning tools', Energy and Buildings, Vol. 49, pp. 560-567, 2012.
11. Arslan, F.,(2019),’Yapay Zekâ Tabanlı Büyük Veri Yönetim Aracının Tasarımı ve Uygulaması’, Karadeniz Teknik Üniversitesi Lisans Bitirme Tezi.