When Do Tree-Based Models Fail? Evidence from Energy Inflation Forecasting in Emerging Markets

Abstract

This paper asks not whether tree-based machine-learning models beat a random walk in forecasting energy inflation, but under which conditions they fail to. We use monthly energy consumer price index data for Türkiye, South Africa, Mexico and Poland for 2002–2022, keeping the information set deliberately small and univariate. One-step-ahead forecasts from a random walk, an AR(1), two linear models (ordinary least squares and ridge) and two tree-based models (gradient boosting and random forest) are compared using the Diebold-Mariano and conditional Giacomini-White tests. On average no estimated model beats the random walk, and in some countries the tree-based models are significantly worse. More important, performance depends on the inflation regime: tree-based models lose accuracy against the random walk when inflation is high. The pattern runs in the same direction across countries and estimation windows, though its pooled significance is sensitive to how cross-country dependence is treated. The evidence fits a structural explanation: tree-based methods cannot predict outside the range of their training data, so their flexibility becomes a disadvantage once energy inflation rises far above past values. During inflation crises in emerging markets, simple benchmarks remain hard to beat, and models should be evaluated conditionally rather than on average.

Keywords

• energy inflation
• inflation forecasting
• machine learning
• tree-based models
• conditional predictive ability
• emerging markets

Ağaç Tabanlı Modeller Ne Zaman Başarısız Olur? Gelişmekte Olan Piyasalarda Enerji Enflasyonu Tahmininden Bulgular

Abstract

Bu çalışma, ağaç tabanlı makine öğrenmesi modellerinin enerji enflasyonu tahmininde rastgele yürüyüşü yenip yenemeyeceğini değil, hangi koşullarda yenmekte başarısız olduğunu sormaktadır. Türkiye, Güney Afrika, Meksika ve Polonya için 2002–2022 dönemine ait aylık enerji tüketici fiyat endeksi verileri kullanılmakta, bilgi kümesi bilinçli olarak dar ve tek değişkenli tutulmaktadır. Rastgele yürüyüş, AR(1), iki doğrusal model (en küçük kareler ve ridge) ve iki ağaç tabanlı model (gradyan artırma ve rastgele orman) ile üretilen bir ay ileriye dönük tahminler, Diebold-Mariano ve koşullu Giacomini-White testleriyle karşılaştırılmaktadır. Ortalamada tahmin edilen hiçbir model rastgele yürüyüşü yenememekte, bazı ülkelerde ağaç tabanlı modeller anlamlı biçimde daha kötü sonuç vermektedir. Daha önemlisi, performans enflasyon rejimine bağlıdır: enflasyon yüksek olduğunda ağaç tabanlı modeller rastgele yürüyüş karşısında doğruluk kaybetmektedir. Örüntünün yönü ülkeler ve tahmin pencereleri arasında tutarlıdır; ancak havuzlanmış anlamlılığı, ülkeler arası bağımlılığın nasıl ele alındığına duyarlıdır. Bulgular yapısal bir açıklamayla uyumludur: ağaç tabanlı yöntemler eğitim verisinin aralığı dışında tahmin üretemediğinden, enerji enflasyonu geçmiş değerlerinin çok üzerine çıktığında esneklikleri dezavantaja dönüşmektedir. Enflasyon krizlerinde basit ölçütleri yenmek güçtür ve modeller yalnızca ortalamada değil koşullu olarak da değerlendirilmelidir.

Keywords

• enerji enflasyonu
• enflasyon tahmini
• makine öğrenmesi
• ağaç tabanlı modeller
• koşullu tahmin gücü
• gelişmekte olan piyasalar

References

1. Alquist, R., Kilian, L., & Vigfusson, R. J. (2013). Forecasting the price of oil. In G. Elliott & A. Timmermann (Eds.), Handbook of economic forecasting (Vol. 2A, pp. 427–507). Elsevier.
2. Atkeson, A., & Ohanian, L. E. (2001). Are Phillips curves useful for forecasting inflation? Federal Reserve Bank of Minneapolis Quarterly Review, 25(1), 2–11.
3. Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5–32.
4. Clark, T. E., & West, K. D. (2007). Approximately normal tests for equal predictive accuracy in nested models. Journal of Econometrics, 138(1), 291–311.
5. Clements, M. P., & Hendry, D. F. (2006). Forecasting with breaks. In G. Elliott, C. W. J. Granger, & A. Timmermann (Eds.), Handbook of economic forecasting (Vol. 1, pp. 605–657). Elsevier.
6. Diebold, F. X. (2015). Comparing predictive accuracy, twenty years later: A personal perspective on the use and abuse of Diebold–Mariano tests. Journal of Business & Economic Statistics, 33(1), 1–9.
7. Diebold, F. X., & Mariano, R. S. (1995). Comparing predictive accuracy. Journal of Business & Economic Statistics, 13(3), 253–263.
8. Faust, J., & Wright, J. H. (2013). Forecasting inflation. In G. Elliott & A. Timmermann (Eds.), Handbook of economic forecasting (Vol. 2A, pp. 2–56). Elsevier.

9. Federal Reserve Bank of St. Louis. (2024). Consumer price index: Energy (OECD main economic indicators) [Data set]. FRED. https://fred.stlouisfed.org
10. Friedman, J. H. (2001). Greedy function approximation: A gradient boosting machine. Annals of Statistics, 29(5), 1189–1232.
11. Giacomini, R., & Rossi, B. (2010). Forecast comparisons in unstable environments. Journal of Applied Econometrics, 25(4), 595–620.
12. Giacomini, R., & White, H. (2006). Tests of conditional predictive ability. Econometrica, 74(6), 1545–1578.
13. Goulet Coulombe, P., Leroux, M., Stevanovic, D., & Surprenant, S. (2022). How is machine learning useful for macroeconomic forecasting? Journal of Applied Econometrics, 37(5), 920–964.
14. Hansen, P. R., Lunde, A., & Nason, J. M. (2011). The model confidence set. Econometrica, 79(2), 453–497.
15. Harvey, D., Leybourne, S., & Newbold, P. (1997). Testing the equality of prediction mean squared errors. International Journal of Forecasting, 13(2), 281–291.
16. Hendry, D. F. (2006). Robustifying forecasts from equilibrium-correction systems. Journal of Econometrics, 135(1–2), 399–426.
17. Medeiros, M. C., Vasconcelos, G. F. R., Veiga, Á., & Zilberman, E. (2021). Forecasting inflation in a data-rich environment: The benefits of machine learning methods. Journal of Business & Economic Statistics, 39(1), 98–119.
18. Rossi, B. (2013). Advances in forecasting under instability. In G. Elliott & A. Timmermann (Eds.), Handbook of economic forecasting (Vol. 2B, pp. 1203–1324). Elsevier.
19. Stock, J. H., & Watson, M. W. (2007). Why has U.S. inflation become harder to forecast? Journal of Money, Credit and Banking, 39(s1), 3–33.
20. West, K. D. (1996). Asymptotic inference about predictive ability. Econometrica, 64(5), 1067–1084.