Sinir Ağlarının Performans Karşılaştırması: Veri Bilimcilerinin İş Değişikliği Tahmini Örneği

Öz

Büyük veri çağı olarak adlandırılan günümüz dünyasında, her sektördeki firmaların üretilen çok büyük miktarda veriyle uğraşması gerekmektedir. Bu tür verilerin iş kararları vermede kullanılabilmesi için işlenmesi, analiz edilmesi, yorumlanması gerekir. İşletmeler bu amaçla veri bilimcileri istihdam etmektedirler. Bu kişilerin işletmelere büyük maliyetleri bulunmaktadır. Bu nedenle işletmelerde veri bilimcisi olarak çalışan kişilerde iş değişikliği niyeti olan çalışanın tahmin edilmesi işletmeler açısından çok önemli bir konudur. Bu çalışmada; veri bilimcilerin iş değişikliği düşüncelerinin yapay sinir ağları ile tahmini yapılmıştır. Kullanılan veri seti üzerinde, sırasıyla, veri temizleme, lojistik regresyon tabanlı iterativimputer yöntemiyle eksik veri tamamlama, SMOTE algoritmasıyla veri dengeleme, standart scaler metodu ile veri normalizasyonu yapılmıştır. Daha sonra veri seti çok katmanlı algılayıcı algoritması ve derin sinir ağı modeliyle eğitilmiştir. Eğitilen modeller test edilip çok katmanlı algılayıcı algoritması ile %84,2, derin sinir ağı modeli ile %87,5 doğruluk değeri elde edilmiştir. Yapay sinir ağları modellerinin performansını karşılaştırabilmek amacıyla sıkça kullanılan Naive Bayes, Destek Vektör Makineleri, Karar Ağaçları, Rastgele Ormanlar, Ekstra Ağaçlar ile gradyan artırma modellerinden Gradient Boosting ve XGBoost algoritmaları ile analizler yapılmıştır. Bu testler sonucunda ise XGBoost algoritmasıyla %91,1 doğruluk değeri elde edilmiş ve performans metrikleri ortaya konmuştur.

Anahtar Kelimeler

• Yapay sinir ağları
• XGBoost
• Sınıflandırma
• Veri bilimcilerinin iş değişikliği isteği

Performance Comparison of Neural Networks: A Case of Data Scientists' Job Change Prediction

Abstract

In today's world, the era of big data, companies in every sector have to deal with huge amounts of data generated. Such data must be processed, analyzed, and interpreted to be used in making business decisions. Businesses employ data scientists for this purpose. These people have great costs to businesses. For this reason, it is a significant issue for businesses to predict the employee who intends to change jobs in people working as data scientists in enterprises. In this study; the job change thoughts of data scientists were predicted by artificial neural networks. Data cleaning, missing data completion with linear regression-based iterativelmputer method, data balancing with SMOTE (Synthetic Minority Oversampling Technique) algorithm, data normalization with standard scaler method were performed on the dataset used, respectively. The dataset was then trained with a multilayer perceptron algorithm and a deep neural network model. The trained models were tested and an accuracy of 84.2% was obtained with the multilayer perceptron algorithm and 87.5% with the deep neural network model. To compare the performance of artificial neural network models, analyses were performed with the frequently used Naive Bayes, Support Vector Machines, Decision Trees, Random Forests, Extra Trees, Gradient Boosting, and XGBoost algorithms. As a result of these tests, an accuracy of 91.1% was obtained with the XGBoost algorithm and performance metrics were presented.

Keywords

• Artificial neural network
• XGBoost
• Classification
• Data scientists

Kaynakça

1. Ajakwe SO., Deji-Oloruntoba O., Olatunbosun SO., Duorinaah FX., Bayode IA. Multidimensional perspective to data preprocessing for model cognition verity: data preparation and cleansing-approaches for model optimal feedback validation. In Recent Trends and Future Direction for Data Analytics 2024; 15-57. IGI Global. doi: 10.4018/979-8-3693-3609-0.ch002
2. Altunışık R. Büyük veri: Fırsatlar kaynağı mı yoksa yeni sorunlar yumağı mı? Yıldız Social Science Review 2015; 1(1): 45–76.
3. Aras M. İşveren markasının örgütsel bağlılık ve işten ayrılma niyetine etkisi: Katılım bankacılığı örneği. Doktora Tezi. Sakarya Üniversitesi, 2016.
4. Asteris PG., Mokos VG. Concrete compressive strength using artificial neural networks. Neural Computing and Applications 2020; 32(15): 11807–11826.
5. Baumeister F., Barbosa MW., Gomes RR. What is required to be a data scientist?: Analyzing job descriptions with centering resonance analysis. International Journal of Human Capital and Information Technology Professionals (IJHCITP) 2020; 11(4): 21–40.
6. Bingöl K., Akan EA., Örmecioğlu HT., Er A. Depreme dayanıklı mimari tasarımda yapay zeka uygulamaları: Derin öğrenme ve görüntü işleme yöntemi ile düzensiz taşıyıcı sistem tespiti. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 2020; 35(4): 2197–2210.
7. Çavuşoğlu Ü., Kaçar S. Anormal trafik tespiti için veri madenciliği algoritmalarının performans analizi. Academic Platform-Journal of Engineering and Science 2019; 7(2): 205–216.
8. Colab. Google Colaboratory 2021. https://colab.research.google.com/ (accessed January 21, 2021).

9. Conlon SJ. Why do data scientists want to change jobs: Using Machine Learning Techniques to Analyze Employees’ Intentions in Switching Jobs. IJMIT 2021; 16: 59–71. https://doi.org/10.24297/ijmit.v16i.9058.
10. Domo. Data Never Sleeps 80 2023. https://www.domo.com/learn/data-never-sleeps-8 (accessed April 24, 2023).
11. Dutta S., Bandyopadhyay SK. Employee attrition prediction using neural network cross validation method. International Journal of Commerce and Management Research 2020; 6(3): 80–85.
12. Fiorelli FAS., Campoleone ET., Neto AH. Artificial neural network for predicting energy consumption 2015. https://doi.org/10.13140/RG.2.1.2758.0320.
13. Gazel SER., Bati CT. Derin sinir ağları ile en iyi modelin belirlenmesi: mantar verileri üzerine Keras uygulaması. Yuzuncu Yıl University Journal of Agricultural Sciences 2019; 29(3): 406–417.
14. Goh WWB., Hui HWH., Wong L. How missing value imputation is confounded with batch effects and what you can do about it. Drug Discovery Today 2023; 28(9): 103661.
15. Göde A., Doğan A. License plate recognition system based on artificial ıntelligence with different approach. ECJSE 2023. https://doi.org/10.31202/ecjse.1172426.
16. Górriz JM., Ramírez J., Ortíz A., Martinez-Murcia FJ., Segovia F., Suckling J. Artificial intelligence within the interplay between natural and artificial computation: Advances in data science, trends and applications. Neurocomputing 2020; 410: 237–270.
17. Güner OÖ. Toplu yemek hizmetlerinde makine öğrenmesi algoritmaları ile talep planlama. Yüksek Lisans Tezi. İstanbul Üniversitesi-Cerrahpaşa, Lisansüstü Eğitim Enstitüsü, Endüstri Mühendisliği Ana Bilim Dalı, 2021.
18. Kaggle. Kaggle 2022. https://www.kaggle.com/datasets/arashnic/hr-analytics-job-change-of-data-scientists (accessed May 10, 2023).
19. Karagöz H. Dijital çağda yönetimde yeni bir anlayış: dijital ikiz entegrasyonu. In: Ceyhan S, Ada S, editors. Dijital Çağda Yönetim Üzerine Güncel Konular ve Araştırmalar, Ankara: Nobel Yayınevi; 2022.
20. Kartal E., Özen Z. Dengesiz veri setlerinde sınıflandırma. Mühendislikte Yapay Zekâ ve Uygulamaları, 1st Ed, O Torkul, S Gülseçen, Y Uyaroğlu, G Çağıl, and MK Uçar, Eds Sakarya: Sakarya Üniversitesi Kütüphanesi Yayınevi 2017; 109: 131.
21. Kyalkond SA., Manikanta Sanjay V., Manoj Athreya H., Aithal SS., Rajashekar V., Kushal BH. Data scientist job change prediction using machine learning classification techniques. Ubiquitous Intelligent Systems: Proceedings of Second ICUIS 2022, Springer; 2022, 211–219.
22. LeCun Y., Bengio Y., Hinton G. Deep learning. Nature 2015; 521(7553): 436–444.
23. Lee KJ. Architecture of neural processing unit for deep neural networks. Advances in Computers, vol. 122, Elsevier; 2021, 217–145.
24. Maind MSB., Wankar MP. Research paper on basic of artificial neural network. International Journal on Recent and Innovation Trends in Computing and Communication 2014; 2(1): 96–100. https://doi.org/10.17762/ijritcc.v2i1.2920.
25. Martínez-Álvarez F., Troncoso A., Asencio-Cortés G., Riquelme JC. A survey on data mining techniques applied to electricity-related time series forecasting. Energies 2015; 8(11): 13162–13193.
26. Metlek S. Disease detection from cassava leaf ımages with deep learning methods in web environment. International Journal of 3D Printing Technologies and Digital Industry 2021; 5(3): 625–644.
27. Mohamed A., Najafabadi MK., Wah YB., Zaman EAK., Maskat R. The state of the art and taxonomy of big data analytics: view from new big data framework. Artificial Intelligence Review 2020; 53: 989–1037.
28. Nkongolo M., Tokmak M. Zero-Day threats detection for critical infrastructures. In: Gerber A, Coetzee M, editors. South African Institute of Computer Scientists and Information Technologists, Cham: Springer Nature Switzerland; 2023, p. 32–47. https://doi.org/10.1007/978-3-031-39652-6_3.
29. Oliveira JM., Zylka MP., Gloor PA., Joshi T. Mirror, mirror on the wall, who is leaving of them all: predictions for employee turnover with gated recurrent neural networks. Collaborative Innovation Networks: Latest Insights from Social Innovation, Education, and Emerging Technologies Research 2019: 43–59.
30. Oliveira R., Araújo RC., Barros FJ., Segundo AP., Zampolo RF., Fonseca W., Dmitriev V., Brasil F. A system based on artificial neural networks for automatic classification of hydro-generator stator windings partial discharges. Journal of Microwaves, Optoelectronics and Electromagnetic Applications 2017; 16: 628–645.
31. Öztürk K., Şahin ME. Yapay sinir ağları ve yapay zekâ’ya genel bir bakış. Takvim-i Vekayi 2018; 6(2): 25–36.
32. Ramkumar M., Malathi K., Pavithra K. Optimizing machine learning model accuracy via OBNT algorithm: Advanced Data Preprocessing Technique 2024; 1-6: doi: 10.1109/icses60034.2023.10465344
33. Sadanand D., Bhosale S. Basic of artificial neural network. International Journal of Advanced Research in Science, Communication and Technology (IJARSCT) 2023; 3(3): doi:10.48175/IJARSCT-8159
34. Şeker A., Diri B., Balık HH. Derin öğrenme yöntemleri ve uygulamaları hakkında bir inceleme. Gazi Mühendislik Bilimleri Dergisi 2017; 3(3): 47–64.
35. Sexton RS., McMurtrey S., Michalopoulos JO., Smith AM. Employee turnover: a neural network solution. Computers & Operations Research 2005; 32(10): 2635–2651.
36. Tang J., Yuan F., Shen X., Wang Z., Rao M., He Y., Sun Y., Li X., Zhang W., Li Y., Gao B., Qian H., Bi G., Song S., Yang JJ., Wu H. Bridging biological and artificial neural networks with emerging neuromorphic devices: fundamentals, progress, and challenges. Advanced Materials 2019; 31(49): 1902761.
37. Techjury. Big data statistics 2023. https://techjury.net/blog/big-data-statistics/ (accessed April 6, 2023).
38. Tekerek A., Bay OF. Design and implementation of an artificial intelligence-based web application firewall model. Neural Network World 2019; 29(4): 189–206.
39. Tran OT., Nguyen LP. Trainee churn prediction using machine learning: A case study of data scientist job. Proceedings of the 2nd International Conference on Human-centered Artificial Intelligence (Computing4Human 2021). CEUR Workshop Proceedings, Da Nang, Vietnam (Oct 2021), 2021.
40. Varol F. Çalışanların örgütsel bağlılık ve iş tatminlerinin işten ayrılma niyetlerine olan etkisi: İlaç sektörü örneği. Selçuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi 2017; 38): 200–208.
41. Yener S. İşten ayrılma niyetinin belirleyeni olarak psikolojik rahatlık. Anadolu Üniversitesi Sosyal Bilimler Dergisi 2016; 18(3): 169–192.
42. Yılmaz A. Yapay zeka. İstanbul: KODLAB Yayın Dağıtım Yazılım ve Eğitim Hizmetleri San. ve Tic. Ltd. Şti.; 2020.
43. Zhang C., Lu Y. Study on artificial intelligence: The state of the art and future prospects. Journal of Industrial Information Integration 2021; 23: 100224.
44. Zhang Jinghua Li C., Yin Y., Zhang Jiawei, Grzegorzek M. Applications of artificial neural networks in microorganism image analysis: a comprehensive review from conventional multilayer perceptron to popular convolutional neural network and potential visual transformer. Artificial Intelligence Review 2023; 56(2): 1013–1070.
45. Zhang Q., Yu H., Barbiero M., Wang B., Gu M. Artificial neural networks enabled by nanophotonics. Light: Science & Applications 2019; 8(1): 42.