Genelleştirilmiş maksimum entropi yöntemi ile eksik sunumlu (Ill-Posed) çoklu regresyon modelinin parametrelerine biricik tahmin

Öz

Bu çalışmada, bilinmeyen parametre sayısından daha az sayıda gözlem sayısı olan bir örneklem kümesini simgeleyen eksik-sunumlu (ill-posed) lineer regresyon modeli düşünüldü. Bu modelde, X tasarım matrisinin kolonları arasında sık olarak görülen içilişki problemi tartışıldı. Eksik-sunumluluk ve beraberinde içilişki problemi söz konusu olduğunda lineer regresyon modelinin parametrelerini tahmin etmede, bu problemlerin çözümü için ortaya atılan ve biricik(unique) tahmin değerleri elde etmeye olanak tanıyan genelleştirilmiş maksimum entropi yöntemi kullanıldı. Eksik sunumlu regresyon modelinin parametrelerini tahmin etmede kullanılan, ancak biricik tahmin değerleri elde edilemeyen en küçük kareler g-inverse (EKK g-inverse) yöntemi ile elde edilen tahmin değerleri ile karşılaştırıldı.

Anahtar Kelimeler

• Eksik-sunumlu model
• bootstrap
• genelleştirilmiş maksimum entropi
• içilişki
• kötü-koşulluluk
• en küçük kareler g-inverse

Kaynakça

1. 1. Xu P., A new look at Akaike's Bayesian information criterion for inverse ill-posed problems, Journal of the Franklin Institute, 358 (7), 4077-4102, 2021.
2. 2. Golan, A., Judge, G., Miller, D: J., Maximum Entropy Econometrics, Wiley, Chichester, UK, 1996.
3. 3. Sakallıoğlu, S., Akdeniz F., Generalized Inverse Estimator and Comparisons with Least Squares Estimator, Turkish Journal of Mathematics, 22 (1), 77-84, 1998.
4. 4. Shannon, C. E., A mathematical theory of communication, Bell System Technical Journal, 27, 379-423, 1948.
5. 5. Jaynes, E.T., Information theory and statistical mechanics. Physical Review 106, 620-630, 1957a.
6. 6. Jaynes, E.T., Information theory and statistical mechanics II. Physical Review 108, 171-190, 1957b.
7. 7. Bernoulli, J., The Art of Conjecturing, together with Letter to a Friend on Sets in Court Tennis, Baltimore: Johns Hopkins University Press, 2006.
8. 8. Laplace, P.S. Philosophical Essay on Probabilities; Springer: New York, NY, USA, 1995.

9. 9. Keynes, J.M., A treatise on probability, Macmillan, London, 1921.
10. 10. Leibniz, G. W., Philosophical essays, Hackett Publishing Company, 1989.
11. 11. Hájek, A., Interpretations of probability., In E. N. Zalta (Ed.), The Stanford Encyclopedia of Philosophy, Metaphysics Research Lab, Stanford University, 2019.
12. 12. Ma G., A remark on the maximum entropy principle in uncertainty theory, Soft Computing, 25 (22) ,13911-13920, 2021.
13. 13. Teixeira, A., Souto, A., Antunes, L., On Conditional Tsallis Entropy, Entropy, 23 (11), 1427, 2021.
14. 14. Maneejuk, P., On regularization of generalized maximum entropy for linear models, Soft Computing, 25 (12), 7867-7875, 2021.
15. 15. Donoho, D. L., Johnstone, I.M., Hock, J. C. and Stern, A. S., Maximum entropy and the nearly black object, Journal of Royal Statistical Society: Series B, 54 (1), 41-81, 1992.
16. 16. Judge, G.G., Golan A., Recovering information in the case of ill-posed inverse problems with noise. Mimeo, Department of Agricultural and Natural Resources, University of California, Berkeley, CA., 1992.
17. 17. Pukelsheim, F., The three sigma rule. American Statistician, 48, 88-91, 1994.
18. 18. Kullback, S., Information Theory and Statistics. Wiley, New York, 1959.
19. 19. Wu, X., A weighted generalized maximum entropy estimator with a data-deriven weight. Entropy, 11, 917-930, 2009.
20. 20. Campbell, R. C., Hill, R. C., Imposing parameter inequality restrictions using the principle of maximum entropy. Journal of Statistical Computation and Simulation, 76(11), 985-1000, 2006.
21. 21. Ramanathan, R., Introductory Econometrics with Applications,4th Ed., The dryden Press, HBC Pub., 1998.
22. 22. Belsley, D.A., Conditioning Diagnostics: Collinearity and Weak Data in Regression. Wiley Series, NewYork, 1991
23. 23. Belsley, D.A., Kuh, E., Welsch, R.E., Regression Diagnostics, Wiley, NewYork, 1980.
24. 24. Çabuk, A., Akdeniz, F., İçilişki ve Genelleştirilmiş Maksimum Entropi Tahmin Edicileri, T.İ.K., İstatistik Araştırma Dergisi, 5 (2), 1-19, 2007.
25. 25. Macedo, P., A two-stage maximum entropy approach for time series regression, Communications In Statistics-Simulation and Computation, 53 (1), 518-528, 2024.
26. 26. Heckelei, T., Mittelhammer, R.C. and Jansson, T., A Bayesian alternative to generalized cross entropy solutions for undetermined econometric models, Discussion Paper, Univ. Bonn., 2, 2008.
27. 27. 27.Örk S., Çabuk S., Estimation of ill-posed linear deterministic regression model: generalized maximum entropy and bayesian approach, Journal of the Faculty of Engineering and Architecture of Gazi University, 37 (2), 815-823, 2022.