Machine Learning Methods for Feature Importance and Migration Prediction Related to Internal Migration by Province in Turkey

Öz

In this study, the variables affecting internal migration on a provincial basis in Turkey between 2018 and 2022 were determined using feature importance, and migration estimates were made using machine learning algorithms. Incoming and outgoing migrations were considered separately. The main objective of the study is to determine in detail the factors that influence incoming and outgoing migration and to reveal which variables are more explanatory in the prediction process. In this regard, this study is one of the rare examples of a machine learning approach on internal migration in Turkey and provides original contributions to the field. In the study, the following features were taken that can be accessed on a provincial basis between 2018 and 2022 and are frequently used in the literature: number of academicians, number of hospitals, number of private hospitals, GDP, number of teachers, number of schools, agricultural areas, population density, population growth rate, probable duration of education, average duration of education, number of traffic accidents, number of automobiles, number of tractors, completed education status, import, export, number of physicians, number of hospital beds, and number of housing sales. In the R programme, the feature importance determination process was performed using the Caret package with various modelling techniques, the Boruta algorithm, the recursive feature elimination algorithm, and the overall importance score. Then, considering all and the most important features, estimation was made using simple linear regression, support vector regression, decision trees, random forests, boosting, gradient boosting machine, and bagging and stacking algorithms. The findings indicate that variables such as the number of traffic accidents, number of teachers, number of academics, number of hospitals, and number of housing sales are among the prominent determinants of both incoming and outgoing migration. Moreover, the application of variable selection significantly reduced prediction errors, and ensemble learning algorithms—particularly stacking—achieved notably high performance.

Anahtar Kelimeler

• Internal migration
• machine learning
• feature importance
• prediction

Türkiye’de İllere Göre İç Göçe İlişkin Makine Öğrenmesi Yöntemleri ile Değişken Önemi ve Göç Tahmini

Öz

Bu çalışmada, 2018-2022 yılları arasında Türkiye’de il bazında iç göçü etkileyen değişkenler değişken önemi ile belirlenmiş ve makine öğrenmesi algoritmaları ile göç tahmini yapılmıştır. Alınan göç ve verilen göç ayrı ayrı ele alınmıştır. Çalışmanın temel amacı, alınan ve verilen göçü etkileyen faktörleri ayrıntılı biçimde belirlemek ve tahminleme sürecinde hangi değişkenlerin daha açıklayıcı olduğunu ortaya koymaktır. Bu yönüyle çalışma, Türkiye’de iç göçe yönelik makine öğrenmesi yaklaşımıyla gerçekleştirilen nadir örneklerden biri olup, alana özgün katkılar sunmaktadır. Yapılan çalışmada 2018-2022 yılları arasında il bazında erişilebilen ve literatürde sıklıkla kullanılan: akademisyen sayısı, hastane sayısı, özel hastane sayısı, GSYİH, öğretmen sayısı, okul sayısı, tarım alanı, nüfus yoğunluğu, nüfus artış hızı, muhtemel eğitim süresi, ortalama eğitim süresi, trafik kaza sayısı, otomobil sayısı, traktör sayısı, bitirilen eğitim durumu, ithalat, ihracat, hekim sayısı, hastane yatak sayısı ve konut satış sayısı değişkenleri alınmıştır. R programında; Caret paketi ile çeşitli modelleme teknikleri, Boruta algoritması, Özyinelemeli Özellik Eleme algoritması ve Ortak önem skoru kullanılarak değişken önemi belirleme işlemi gerçekleştirilmiştir. Daha sonra tüm değişkenler ve en önemli değişkenler dikkate alınarak; basit doğrusal regresyon, Destek Vektör Regresyonu, Karar Ağaçları, Rassal Ormanlar, Güçlendirme, Gradyan Artırma Makinesi, Çantalama ve Yığınlama algoritmaları kullanılarak tahmin yapılmıştır. Elde edilen sonuçlara göre, özellikle trafik kaza sayısı, öğretmen sayısı, akademisyen sayısı, hastane sayısı ve konut satış sayısı gibi değişkenler hem alınan hem de verilen göçte öne çıkan belirleyiciler arasında yer almıştır. Ayrıca, değişken seçimi sonrası yapılan modellemelerin hata düzeylerini düşürdüğü ve özellikle topluluk öğrenmesi algoritmalarının (örneğin stacking) yüksek başarı sağladığı görülmüştür.

Anahtar Kelimeler

• İç göç
• makine öğrenmesi
• değişken önemi
• tahmin

Kaynakça

1. Akay, E. Ç. (2018). Ekonometride Yeni Bir Ufuk: Büyük Veri ve Makine Öğrenmesi. Sosyal Bilimler Araştırma Dergisi, 7(2), 41-53. google scholar
2. Akar, Ö., Güngör, O. (2012). Classification of multispectral images using Random Forest algorithm. Journal of Geodesy and Geoinformation, 1(2), 105-112. google scholar
3. Anavatan, A. (2017). Türkiye'de iç göç ve belirleyicileri: mekansal veri analizi. Social Sciences Studies Journal, 3(6), 1109-1116. google scholar
4. Atalay, M., Öztürk, Ş. (2016). Türkiye’deki İllerin göç ve işsizlik istatistiklerine göre kümelenmesi. In 2nd International Congress on Applied Sciences: “Migration, Poverty and Employment”, 23-25 Eylül, Konya/Turkey, Bildiriler Kitabı. google scholar
5. Bahçıvan, S., Kılıç, R. (2024). Türkiye’de iç göçün belirleyicilerine ilişkin panel veri analizi. Toplum Ekonomi ve Yönetim Dergisi, 5(2), 289-302. google scholar
6. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123–140. google scholar
7. Breiman, L. (2001). Random forests. Machine learning, 45(1), 5-32. google scholar
8. Breiman L., (2002), Manual on setting up, using, and understanding random forests V3.1, http://oz.berkeley.edu/users/breiman/ Using_random_forests_V3.1.pdf. google scholar

9. Breiman, L. (1996). Stacked Regression. Machine Learning, 24(1), 49–64. google scholar
10. Bilgin, M. (2018). Makine Öğrenmesi. İstanbul: Papatya Yayınları. google scholar
11. Bülbül, S., Kose, A. (2010). Türkiye’de bölgelerarası iç göç hareketlerinin çok boyutlu ölçekleme yöntemi ile incelenmesi. İstanbul Üniversitesi İşletme Fakültesi Dergisi, 39(1), 75-94. google scholar
12. Chen, T., Guestrin, C. (2016). XGBoost: A scalable tree boosting system. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining (785-794). google scholar
13. Cheng, J., Greiner, R., Kelly, J., Bell, D., Liu, W. (2011). Learning Bayesian networks from data: An information-theory based approach. Artificial Intelligence, 137(1-2), 43-90. google scholar
14. Çatalbaş, G. K., Yarar, Ö. (2015). Türkiye'deki bölgeler arası iç göçü etkileyen faktörlerin panel veri analizi ile belirlenmesi. Alphanumeric Journal, 3(1), 99-117. google scholar
15. Çelik, R., Arslan, I. (2018). Göç ve işsizlik arasındaki ilişki: ampirik bir uygulama. In Journal of Social Policy Conferences, 74, 65-75. google scholar
16. Deka, P. C. (2014). Support Vector Machine Applications in the Field of Hydrology: A Review. Applied Soft Computing, 19, 372-386. google scholar
17. Doğan, Ö. S. (2017). Population Movements In Turkey: Internal Migration. Current Researches in Geography, 49. google scholar
18. Drucker, H., Burges, C. J. C., Kaufman, L., Smola, A. J., & Vapnik, V. N. (1997). Support Vector Regression Machines. Advances in Neural Information Processing Systems, 9, 155–161. google scholar
19. Dücan, E. (2016). Türkiye’de iç göçün sosyo-ekonomik nedenlerinin bölgesel analizi. Ekonomik ve Sosyal Araştırmalar Dergisi, 12(2), 167-183. google scholar
20. Emeç, H., Birecikli, Ş. Ü., Güler, B. K. (2019). İstanbul’a yönelik iç göç hareketlerinin ekonometrik analizi. İnsan ve insan, 6(22), 785-808. google scholar
21. Ercilasun, M., Gencer, E. A. H., Ersin, Ö. Ö. (2011, October). Türkiye’deki İç Göçleri Belirleyen Faktörlerin Modellenmesi. In International Conference on Eurasian Economies (ss. 12-14). google scholar
22. Friedman, J. H. (2001). Greedy function approximation: A gradient boosting machine. Annals of Statistics, 29(5), 1189-1232. google scholar
23. Gezici, F., Keskin, B. (2005, August). Interaction between regional inequalities and internal migration in Turkey. In ERSA Conference Papers (ss. 1-18). google scholar
24. Gözen, S., Çelikay, F. (2024). Türkiye’de Kamu Harcamaları ve Yoksulluğun İç Göç Üzerindeki Mekânsal Etkileri: Ampirik Bir İnceleme. Dumlupınar Üniversitesi Sosyal Bilimler Dergisi, (81), 72-91. google scholar
25. Guyon, I., Elisseeff, A. (2003). An introduction to variable and feature selection. Journal of Machine Learning Research, 3, 1157-1182. google scholar
26. Han, J., Pei, J., Kamber, M. (2011). Data Mining: Concepts and Techniques (Third Edition). San Francisco: Morgan Kaufmann. google scholar
27. Hasan, M. A. M., Nasser, M., Ahmad, S., Molla, K. I. (2016). Feature selection for intrusion detection using random forest. Journal of information security, 7(3), 129-140. google scholar
28. Hussain, M., Wajid, S. K., Elzaart, A., Berbar, M. (2011). A Comparison of SVM Kernel Functions for Breast Cancer Detection. In 2011 Eight International Conference Computer Graphics, Imaging and Visualization (ss. 145-150), Washington, DC, United States. 17-19 Ağustos 2011. google scholar
29. James, G., Witten, D., Hastie, T., Tibshirani, R. (2013). An Introduction to Statistical Learning. New York: Springer. google scholar
30. Kavitha, S., Varuna, S., Ramya, R. (2016, November). A comparative analysis on linear regression and support vector regression. In 2016 online international conference on green engineering and technologies (IC-GET) (ss. 1-5). google scholar
31. Kavzoğlu, T., Çölkesen, Ġ., Case, K. (2010). Karar Ağaçları ile Uydu Görüntülerinin Sınıflandırılması: Kocaeli Örneği. Harita Teknolojileri Elektronik Dergisi. 2(1), 36–45. google scholar
32. Kursa, M. B., Rudnicki, W. R. (2010). Feature selection with the Boruta package. Journal of statistical software, 36, 1-13. google scholar
33. Liaw, A., Wiener, M. (2002). Classification and Regression by randomForest. R News. 2(3), 18-22. google scholar
34. Manavgat, G., Saygılı, R. F. (2016, December). Türkiye’de içgöçü etkileyen faktörler üzerine bir uygulama: Mekânsal panel veri analizi. In 2nd International Conference on Applied Economics and Finance (ICOAEF) (ss. 5-6). google scholar
35. Maulud, D., Abdulazeez, A. M. (2020). A review on linear regression comprehensive in machine learning. Journal of applied science and technology trends, 1(2), 140-147. google scholar
36. Myles, A. J., Feudale, R. N., Liu, Y., Woody, N. A., Brown, S. D. (2004). An Introduction to Decision Tree Modeling. Journal of Chemometrics, 18(6), 275–285. google scholar
37. Ozsari, M., Food, K. (2016). An Analysis of the Reasons of Internal Migration in Turkey with Logit Method. Scholar Journal of Applied Sciences and Research, 2(1), 3-9. google scholar
38. Özdemir, D. (2018). Türkiye’de bölgelerarası iç göç hareketlerinin belirleyicileri. Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 22(3), 1337-1349. google scholar
39. Özdemir, F., Doğan, Ö. S. (2022). Türkiye’de bölgelerarası iç göçlerin kentleşmeye etkileri: istanbul örneği. Sosyal, Beşerî ve İdari Bilimler Dergisi, 5(4), 432-450. google scholar
40. Öztemel, E. (2003). Yapay Sinir Ağları. Papatya Yayıncılık, İstanbul. google scholar
41. Ribeiro, M. T., Singh, S., Guestrin, C. (2016). "Why should I trust you?" Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (ss. 1135-1144). google scholar
42. Salunkhe, U. R., Mali, S. N. (2016). Classifier Ensemble Design for İmbalanced Data Classification: A Hybrid Approach. Procedia Computer Science, 85, 725-732. google scholar
43. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197–227. google scholar
44. Strobl, C., Boulesteix, A.-L., Zeileis, A., Hothorn, T. (2007). Bias in random forest variable importance measures: Illustrations, sources, and a solution. BMC Bioinformatics, 8(1), 25. google scholar
45. Şahin, M., Kılıç, M. E. (2024). Türkiye’de İller Arası Alınan Göç: Çok Boyutlu Panel Veri Analizi. İşletme Bilimi Dergisi, 12(1), 1-13. google scholar
46. Ustebay, S., Turgut, Z., Aydin, M. A. (2018, December). Intrusion detection system with recursive feature elimination by using random forest and deep learning classifier. In 2018 international congress on big data, deep learning and fighting cyber terrorism (IBIGDELFT) (ss. 71-76). IEEE. google scholar
47. Vapnik, V. (1995). The Nature of Statistical Learning Theory. New York: Springer-Verlag. google scholar
48. Wang, Z., Wang, Y., Srinivasan, R. S. (2018). A Novel Ensemble Learning Approach to Support Building Energy Use Prediction. Energy and Buildings, 159, 109-122. google scholar
49. Witten, I. H., Frank, E., Hall, M. A. (2005). Data Mining: Practical Machine Learning Tools and Techniques. USA: Morgan Kaufmann Publishers. google scholar
50. Wolpert, D. H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259. google scholar