Bilgi Kuramındaki Entropi Kavramıyla İlgili Farklı Matematiksel Modeller

Year 2017, Volume: 1 Issue: 2, 167 - 174, 30.11.2017

Faruk Bulut

Abstract

Entropi, belirli bir veri kümesindeki düzensizliği ve dağınıklığı ölçen bir istatistiksel metriktir.
Hesaplanan entropi değeri 0’dan başlayan pozitif bir reel değere sahiptir. Veri kümesindeki düzensizliğin
artması ile doğru orantılı olarak entropi değeri de artmaktadır. İstatistik, matematik ve bilgi kuramı dâhil
birçok alanda yaygın bir şekilde kullanılan entropi formülünde matematikteki toplam sembolü, logaritma ve
olasılık hesaplamaları vardır. Bu çalışmada entropi formülüne farklı açılardan bakarak aynı sonucu veren
yeni formüller ve çıkarımlar ile farklı matematiksel modeller türetilmiştir. UCI veri setleri üzerinde yapılan
deneysel uygulamalarda da aynı entropi değerleri elde edilmiştir. 

Keywords

entropi, bilgi kuram, matematiksel model

Different Mathematical Models for Entropy in Information Theory

Abstract

Entropy is a metric that measures statically irregularity and randomness in a given certain dataset.
The calculated entropy value has a positive real number starting from 0. The entropy value is also directly
proportional to the increase of the irregularity in the dataset. In numerous fields including statistics,
mathematics, and information theory it has been used widely with an aggregated formula of sigma symbol,
logarithm and probability in mathematics. In this study, from different perspectives some new formulas and
inferences are proposed that gives the same entropy result. The same entropi results, on the experiments,
have been taken over the UCI benchmark datasets. 

Keywords

Entropy, Information theory, mathematical model

References

• [1] Balian, R. (2004). Entropy, a protean concept. In Poincaré Seminar 2003 (pp. 119-144). Birkhäuser Basel.
• [2] Shannon, C. E. (1949). Communication theory of secrecy systems. Bell Labs Technical Journal, 28(4), 656-715.
• [3] BULUT, F. (2016). Huffman Algoritmasıyla Kayıpsız Hızlı Metin Sıkıştırma. El-Cezeri Journal of Science and Engineering, 3(2), 287-296.
• [4] Mu, Y., Liu, X., Yang, Z., and Liu, X. (2017). A parallel C4. 5 decision tree algorithm based on MapReduce. Concurrency and Computation: Practice and Experience, 29(8).
• [5] Gray R. M., (1990). Entropy and information. In Entropy and Information Theory, Publisher: Springer, (pp. 21-55) New York, ISBN-13: 978-1441979698.
• [6] Srinivas, D. S., & Kumar, M. A. (2013). Attribute And Information Gain Based Feature Selection Technique For Cluster Ensemble: Hybrid Majority Voting Based Variable Importance Measure. IJITR, 1(6), 607-610.
• [7] Bulut, F. (2016). AdaBoost ile Kalp Krizi Risk Tespiti, Celal Bayar Üniversitesi Fen Bilimleri Dergi, 12(3), 459-472.
• [8] Tosun, S. (2015). Sınıflandırmada yapay sinir ağları ve karar ağaçları karşılaştırması: Öğrenci başarıları üzerine bir uygulama (Doctoral dissertation, Fen Bilimleri Enstitüsü), İTÜ.
• [9] Cernekova, Z., Pitas, I., & Nikou, C. (2006). Information theory-based shot cut/fade detection and video summarization. IEEE Transactions on circuits and systems for video technology, 16(1), 82-91.
• [10] El Gamal, A., and Kim, Y. H. (2011). Network information theory. Cambridge university press.
• [11] Anderson, D. R. (2008). Information Theory and Entropy (pp. 51-82). Springer, ISBN-13: 978-1441979698, New York.
• [12] Çakır, S. "Bütünleşik Bulanık Shannon Entropi-Bulanık Veri Zarflama Analizi Yöntemiyle Teknoloji Firmalarında Etkinlik Ölçümü." Karadeniz Teknik Üniversitesi, Doktora Tezi (2015).