Estimation of a Multiple Regression Model Involving Ill-Conditioning and Ill-Posedness Problems Using the Generalized Maximum Entropy Method

Öz

This study investigates the impact of econometric issues such as multicollinearity and underdetermination on regression analyses, and compares the performance of Ridge Regression and the Generalized Maximum Entropy (GME) method, both designed to address these challenges, using Mean Squared Error (MSE) as the evaluation criterion. Agricultural input-output and GDP data for the United States from 1948 to 1988 were used to estimate two different models. Each model was analyzed using Ordinary Least Squares (OLS), Ridge Regression, and GME methods. The results show that the classical OLS approach is inadequate when multicollinearity is present. Ridge Regression provides more stable and balanced parameter estimates, while GME produces the lowest MSE values, particularly in underdetermined systems when sign constraints are applied. Since the study relies exclusively on existing U.S. datasets, the generalizability of the results to other countries or time periods is limited. Moreover, the performance of the methods is sensitive to the structure of the data and the choice of parameters. When evaluated in terms of MSE, the GME method emerges as a robust and effective alternative estimation approach, especially in situations involving underdetermined systems with appropriate constraints.

Anahtar Kelimeler

• ill-conditioned
• ill-posed
• ridge regression
• generalized maximum entropy
• regression estimation

Genelleştirilmiş Maksimum Entropi Yöntemi ile Kötü Koşulluluk ve Eksik Sunumluluk Problemlerini İçeren Çoklu Regresyon Modeli Tahmini

Öz

Bu çalışma, çoklu doğrusal bağlantı (multicollinearity) ve eksik belirlenmişlik (underdetermination) gibi ekonometrik sorunların regresyon analizleri üzerindeki etkisini incelemekte ve bu sorunları ele almak üzere geliştirilmiş Ridge Regresyonu ile Genelleştirilmiş Maksimum Entropi (GME) yöntemlerini, değerlendirme ölçütü olarak Ortalama Kare Hata (MSE) kullanarak karşılaştırmaktadır. 1948–1988 dönemine ait Amerika Birleşik Devletleri tarımsal girdi-çıktı ve GSYH verileri kullanılarak iki farklı model tahmin edilmiştir. Her bir model En Küçük Kareler (EKK/OLS), Ridge Regresyonu ve GME yöntemleriyle analiz edilmiştir. Elde edilen sonuçlar, çoklu doğrusal bağlantının var olduğu durumlarda klasik OLS yaklaşımının yetersiz kaldığını göstermektedir. Ridge Regresyonu daha istikrarlı ve dengeli parametre tahminleri sunarken, GME yöntemi özellikle işaret kısıtlarının uygulandığı eksik belirlenmiş sistemlerde en düşük MSE değerlerini üretmektedir. Çalışmanın yalnızca mevcut ABD verilerine dayanması, sonuçların diğer ülkelere veya dönemlere genellenebilirliğini sınırlamaktadır. Ayrıca yöntemlerin performansı, veri yapısına ve seçilen parametrelere duyarlıdır. MSE açısından değerlendirildiğinde, GME yöntemi özellikle uygun kısıtların bulunduğu eksik belirlenmiş sistemlerde sağlam ve etkili bir alternatif tahmin yaklaşımı olarak öne çıkmaktadır.

Anahtar Kelimeler

• kötü koşulluluk
• eksik sunumluluk
• ridge tahmin edici
• genelleştirilmiş maksimum entropi
• regresyon tahmini

Kaynakça

1. Akdeniz, F., & Çabuk, H. A. (2001, Eylül). Developments in ridge regression theory between 1970 and 2001. 5th National Econometrics and Statistics Symposium, Çukurova University, Adana, Türkiye.
2. Akdeniz, F., Çabuk, A., & Güler, H. (2011). Generalized maximum entropy estimators: Applications to the Portland cement dataset. The Open Statistics and Probability Journal, 3, 13–20. https://doi.org/10.2174/1876527001103010013
3. Belsley, D. A. (1991). Conditioning diagnostics: Collinearity and weak data in regression. John Wiley & Sons.
4. Boaretto, G., & Laurini, M. P. (2025). DSGE estimation using generalized empirical likelihood and generalized minimum contrast. Entropy, 27(2), 141. https://doi.org/10.3390/e27020141
5. Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2. bs.). Lawrence Erlbaum Associates.
6. Çabuk, A., & Akdeniz, F. (2007). Intracollinearity and generalized maximum entropy estimators. Journal of Statistical Research, 5(2), 1–19. https://dergipark.org.tr/tr/pub/jsstr/issue/72151/1161285
7. Çabuk, H. A., & Örk Özel, S. (2017). An efficient estimator for regression models with multicollinearity using MSE criterion. Ç.Ü. Sosyal Bilimler Enstitüsü Dergisi, 26(3), 13–25.
8. Eguchi, S., Komori, O., & Ohara, A. (2014). Duality of maximum entropy and minimum divergence. Entropy, 16(7), 3552–3572. https://doi.org/10.3390/e16073552

9. Field, A. (2013). Discovering statistics using IBM SPSS statistics. SAGE Publications.
10. Golan, A., Judge, G. G., & Miller, D. (1996). Maximum entropy econometrics: Robust estimation with limited data. John Wiley & Sons.
11. Grunwald, P., & Dawid, A. (2004). Game theory, maximum entropy, minimum discrepancy and robust Bayesian decision theory. The Annals of Statistics, 32(4), 1367–1433.
12. Gujarati, D. N., & Porter, D. C. (2015). Basic econometrics (5. bs.). Nobel Academic Publishing.
13. Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2014). Multivariate data analysis (7. bs.). Nobel Academic Publishing.
14. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning. Springer.
15. Hoerl, A. E., & Kennard, R. W. (1970). Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12(1), 55–67.
16. Hoerl, A. E., Kennard, R. W., & Baldwin, K. F. (1975). Ridge regression: Some simulations. Communications in Statistics, 4(2), 105–123.
17. Huh, J., & Olkin, I. (1984). Asymptotic Aspects of Ridge Regression. Technical Report, No. 196, 1-18.
18. James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). An introduction to statistical learning: With applications in R. Springer.
19. Jaynes, E. T. (1957). Information theory and statistical mechanics. Physical Review, 106(4), 620–630.
20. Klein, I., & Doll, M. (2020). (Generalized) maximum cumulative direct, residual, and paired φ entropy approach. Entropy, 22(1), 91.
21. Kutner, M. H., Nachtsheim, C. J., Neter, J., & Li, W. (2004). Applied linear statistical models. McGraw-Hill/Irwin.
22. Lawless, J. F., & Wang, P. (1976). A simulation study of ridge and other regression estimators. Communications in Statistics – Simulation and Computation, 5(4), 307–323.
23. Lucia, U. (2008). Probability, ergodicity, irreversibility and dynamical systems. Proceedings: Mathematical, Physical and Engineering Sciences, 464(2093), 1089–1104.
24. Marquardt, D. W., & Snee, R. D. (1975). Ridge regression in practice. The American Statistician, 29(1), 3–20.
25. Mazuelas, S., Shen, Y., & Pérez, A. (2022). Generalized maximum entropy for supervised classification. IEEE Transactions on Information Theory, 68(4), 2530–2550.
26. Örk, S. (2012). Generalized maximum entropy estimation for linear regression models with multicollinearity problems (Yüksek lisans tezi). Ekonometri Bölümü.
27. Örk Özel, S. (2019). Efficient estimation of transcendental logarithmic (translog) model: Comparison of estimators via Monte Carlo simulation (Doktora tezi, Çukurova Üniversitesi, Adana).
28. Örk Özel, S., & Çabuk, S. (2022). Estimation of ill-posed linear deterministic regression model: Generalized maximum entropy and Bayesian approach. Gazi Üniversitesi Mühendislik ve Mimarlık Fakültesi Dergisi, 37(2), 815–824.
29. Örk Özel, S. & Gezer, F. (2020). Çoklu doğrusal bağlantı problemi altında tahmin edicilerin karşılaştırılması: Genelleştirilmiş maksimum entropi, ridge, Liu. Dumlupınar Üniversitesi Sosyal Bilimler Dergisi, 66, 82–96.
30. Ramanathan, R. (1992). Introductory econometrics with applications. Harcourt Brace Jovanovich College Publishers.
31. Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379–423.
32. Thomas, M. (1979). Technical note—A generalized maximum entropy principle. Operations Research, 27(6), 1188–1196.
33. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), 58(1), 267–288.