XGBoost Algoritması ve Saanen Oğlaklarında Vücut Ölçüleri Kullanılarak Canlı Ağırlığın Tahmini Amacıyla Kullanılması

Abstract

Değişkenler arasındaki ilişkiyi matematiksel olarak modelleyen regresyon yöntemleri, gelişen bilim dünyasında istatistiki yöntemlerden biri olarak modernleşmektedir. Bu doğrultuda makine öğrenmesi yöntemleri klasik yöntemlerden ayrılarak daha uygulanabilir analizler sağlayarak karşımıza çıkmaktadırlar. Bu çalışmada 157 adet oğlak verisine ait cidago yüksekliği (CY), sağrı yüksekliği (SY), göğüs derinliği (GD), doğum ağırlığı (DA) ve vücut uzunluğu (VU) değişkenleri kullanılarak canlı ağrlık (CA) tahmini XGBoost metodu kullanılarak analiz edilmiştir. Çoklu doğrusal bağıntının varlığını tespit etmek amacıyla Varyans Şişirme Faktörü analizi sonucunda tüm değişkenler için 5 eşiğinin altında değerler bulunmuştur. Çapraz Doğrulama Kat sayısının, Ortalama Hata Kareleri Kökü üzerine etkisini göstermek amacıyla XGBoost hiperparametre ayarlaması sonucunda 7 katlı çapraz doğrulamanın marjinale ulaştığı belirlenmiştir. Optimum model; eta=0,1, max_depth=5, min_child_weight=1, subsample=0,7, colsample_bytree=0,5, gamma=0 ve best_nrounds=240 parametreleri ile elde edilmiştir. Bu model test verisinde 0,283 RMSE, 0,115 MAE ve 0,988 R² değeri ile yüksek tahmin başarısı göstermiştir. Optimize edilmiş XGBoost modeli için öğrenme eğrisine bakıldığında seçilen modelin iyi dengelenmiş olduğu ve güçlü genelleme yeteneğini koruduğu gözlemlenmiştir. Hangi değişkenlerin önemli olduğunu ve aynı zamanda model tahminlerini nasıl ve hangi yönde etkilediklerini belirlemek amacıyla hem kazanç tabanlı değişken önemi hem de SHAP analizi çıktılarına göre C2 en etkili tahminleyici olarak belirlenmiştir. Elde edilen bulgular, XGBoost algoritmasının oğlaklarda canlı ağırlık tahmininde güvenilir, başarılı ve yorumlanabilir bir yöntem olduğunu göstermektedir.

Keywords

• XGBoost
• Makine öğrenmesi
• Regresyon
• SHAP analizi

Ethical Statement

Bu araştırmada hayvanlar ve insanlar üzerinde herhangi bir çalışma yapılmadığı için etik kurul onayı alınmamıştır. Çalışmada kullanılan veriler özel bir işletmeden satın alınmıştır.

XGBoost Algorithm and Its Use in Saanen Kids for Estimating Live Weight Using Body Measurements

Abstract

Regression methods, which mathematically model the relationship between variables, are modernizing as one of the statistical methods in the developing scientific world. In this context, machine learning methods are emerging, providing more applicable analyses and differing from classical methods. In this study, live weight (LW) estimation was analyzed using the XGBoost method with 157 goat data points, specifically with the variables of wither height (CY), rump height (SY), chest depth (GD), birth weight (DA), and body length (VU). To detect the presence of multicollinearity, Variance Inflation Factor analysis showed values below 5 for all variables. To demonstrate the effect of the Cross-Validation Coefficient on the Root Mean Square Error, XGBoost hyperparameter adjustment revealed that the 7-fold cross-validation reached a marginal level. The optimum model; The model was obtained with the following parameters: eta=0.1, max_depth=5, min_child_weight=1, subsample=0.7, colsample_bytree=0.5, gamma=0, and best_nrounds=240. This model showed high prediction accuracy in the test data with RMSE of 0.283, MAE of 0.115, and R² of 0.988. Looking at the learning curve for the optimized XGBoost model, it was observed that the selected model is well-balanced and maintains strong generalization ability. To determine which variables are important and how and in what direction they affect model predictions, C2 was determined as the most effective predictor according to both the gain-based variable importance and SHAP analysis outputs. The findings show that the XGBoost algorithm is a reliable, successful, and interpretable method for estimating live weight in kids.

Keywords

• XGBoost
• Machine learning
• Regression
• SHAP analysis

References

1. Arf, C. (1959). Makine düşünebilir mi ve nasıl düşünebilir [Can a machine think and how can it think]. Atatürk Üniversitesi-Üniversite Çalışmalarını Muhite Yayma ve Halk Eğitimi Yayınları Konferanslar Serisi, 1, 91–103.
2. Berrar, D. (2019). Cross-validation. In W. Dubitzky, O. Wolkenhauer, K. H. Cho, & H. Yokota (Eds.), Encyclopedia of Bioinformatics and Computational Biology (pp. 542–545). Elsevier. https://doi.org/10.1016/B978-0-12-809633-8.20349-X
3. Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5–32. https://doi.org/10.1023/A:1010933404324
4. Chen, T., & Guestrin, C. (2016). XGBoost: A scalable tree boosting system. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 785–794). ACM. https://doi.org/10.1145/2939672.2939785
5. Faraz, A., Tırınk, C., Önder, H., Şen, U., Ishaq, H. M., Tauqir, N. A., Nabeel, M. S., & Vaughan, J. L. (2023). Usage of the XGBoost and MARS algorithms for predicting body weight in Kajli sheep breed. Tropical Animal Health and Production, 55(4), Article 276. https://doi.org/10.1007/s11250-023-03681-4
6. Friedman, J. H. (2002). Stochastic gradient boosting. Computational Statistics & Data Analysis, 38(4), 367–378. https://doi.org/10.1016/S0167-9473(01)00065-2
7. Friedman, J. H., & Popescu, B. E. (2003). Importance sampled learning ensembles. Journal of Machine Learning Research, 94305(1–32), 1–15.
8. Friedman, J., Hastie, T., & Tibshirani, R. (2000). Special invited paper. Additive logistic regression: A statistical view of boosting. The Annals of Statistics, 28(2), 337–374. https://doi.org/10.1214/aos/1016218223

9. Gertz, M., Große-Butenuth, K., Junge, W., Maassen-Francke, B., Renner, C., Sparenberg, H., & Krieter, J. (2020). Using the XGBoost algorithm to classify neck and leg activity sensor data using on-farm health recordings for locomotor-associated diseases. Computers and Electronics in Agriculture, 173, Article 105404. https://doi.org/10.1016/j.compag.2020.105404
10. Greenwald, M., & Khanna, S. (2001). Space-efficient online computation of quantile summaries. ACM SIGMOD Record, 30(2), 58–66. https://doi.org/10.1145/376284.375670
11. Herrera‐Camacho, J., Tırınk, C., Parra‐Cortés, R. I., Bayyurt, L., Uskenov, R., Omarova, K., Magomadov, A. S., & Chay‐Canul, A. J. (2025). Body weight estimation in Holstein× Zebu crossbred heifers: Comparative analysis of XGBoost and LightGBM algorithms. Veterinary Medicine and Science, 11(4), Article e70422. https://doi.org/10.1002/vms3.70422
12. Johnson, R., & Zhang, T. (2013). Learning nonlinear functions using regularized greedy forest. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(5), 942–954. https://doi.org/10.1109/TPAMI.2013.159
13. Khan, M. A., Tariq, M. M., Eyduran, E., Tatliyer, A., Rafeeq, M., Abbas, F., & Javed, K. (2014). Estimating body weight from several body measurements in Harnai sheep without multicollinearity problem. The Journal of Animal and Plant Sciences, 24(4), 1015–1026.
14. Kohavi, R. (1995, August). A study of cross-validation and bootstrap for accuracy estimation and model selection. In Proceedings of the 14th International Joint Conference on Artificial Intelligence (Vol. 14, No. 2, pp. 1137–1145). Morgan Kaufmann.
15. Li, P., Wu, Q., & Burges, C. (2007). Mcrank: Learning to rank using multiple classification and gradient boosting. Advances in Neural Information Processing Systems, 20, 897–904.
16. Li, X., Shi, L., Shi, Y., Tang, J., Zhao, P., Wang, Y., & Chen, J. (2024). Exploring interactive and nonlinear effects of key factors on intercity travel mode choice using XGBoost. Applied Geography, 166, Article 103264. https://doi.org/10.1016/j.apgeog.2024.103264
17. Nalluri, M., Pentela, M., & Eluri, N. R. (2020). A scalable tree boosting system: XG boost. International Journal of Research Studies in Science, Engineering and Technology, 7(12), 36–51.
18. Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., & Duchesnay, É. (2011). Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, 12, 2825–2830.
19. Ridgeway, G. (2007). Generalized boosted models: A guide to the gbm package. R Project Repository, 1(1), 1–12.
20. Sahin, M., Yavuz, E., & Uckardes, F. (2018). Multicollinearity problem and bias estimates in Japanese quail. Pakistan Journal of Zoology, 50(2), 543–548. https://doi.org/10.17582/journal.pjz/2018.50.2.543.548
21. Sarı, F. (2021). Cahit Arf’in “Makine düşünebilir mi ve nasıl düşünebilir?” adlı makalesi üzerine bir çalışma [A study on Cahit Arf’s article "Can machines think and how can they think?"]. TRT Akademi, 6(13), 812–833. https://doi.org/10.51525/trtakademi.1018901
22. Tırınk, C. (2020). Estimating of birth weight using placental characteristics in the presence of multicollinearity. Black Sea Journal of Engineering and Science, 3(4), 138–145. https://doi.org/10.34248/bsengineering.787680
23. Tırınk, C., Önder, H., Francois, D., Marcon, D., Şen, U., Shaikenova, K., Tyasi, T. L., & Pires, J. A. (2023). Comparison of the data mining and machine learning algorithms for predicting the final body weight for Romane sheep breed. PLOS ONE, 18(8), Article e0289348. https://doi.org/10.1371/journal.pone.0289348
24. Tyree, S., Weinberger, K. Q., Agrawal, K., & Paykin, J. (2011, March). Parallel boosted regression trees for web search ranking. In Proceedings of the 20th International Conference on World Wide Web (pp. 387–396). ACM. https://doi.org/10.1145/1963405.1963461
25. Zhang, Q., & Wang, W. (2007). A fast algorithm for approximate quantiles in high speed data streams. In 19th International Conference on Scientific and Statistical Database Management (SSDBM 2007) (pp. 29–29). IEEE. https://doi.org/10.1109/SSDBM.2007.45