Araştırma Makalesi
BibTex RIS Kaynak Göster

Bilgi Kuramındaki Entropi Kavramıyla İlgili Farklı Matematiksel Modeller

Yıl 2017, Cilt: 1 Sayı: 2, 167 - 174, 30.11.2017

Öz

Entropi, belirli bir veri kümesindeki düzensizliği ve dağınıklığı ölçen bir istatistiksel metriktir.
Hesaplanan entropi değeri 0’dan başlayan pozitif bir reel değere sahiptir. Veri kümesindeki düzensizliğin
artması ile doğru orantılı olarak entropi değeri de artmaktadır. İstatistik, matematik ve bilgi kuramı dâhil
birçok alanda yaygın bir şekilde kullanılan entropi formülünde matematikteki toplam sembolü, logaritma ve
olasılık hesaplamaları vardır. Bu çalışmada entropi formülüne farklı açılardan bakarak aynı sonucu veren
yeni formüller ve çıkarımlar ile farklı matematiksel modeller türetilmiştir. UCI veri setleri üzerinde yapılan
deneysel uygulamalarda da aynı entropi değerleri elde edilmiştir. 

Kaynakça

  • [1] Balian, R. (2004). Entropy, a protean concept. In Poincaré Seminar 2003 (pp. 119-144). Birkhäuser Basel.
  • [2] Shannon, C. E. (1949). Communication theory of secrecy systems. Bell Labs Technical Journal, 28(4), 656-715.
  • [3] BULUT, F. (2016). Huffman Algoritmasıyla Kayıpsız Hızlı Metin Sıkıştırma. El-Cezeri Journal of Science and Engineering, 3(2), 287-296.
  • [4] Mu, Y., Liu, X., Yang, Z., and Liu, X. (2017). A parallel C4. 5 decision tree algorithm based on MapReduce. Concurrency and Computation: Practice and Experience, 29(8).
  • [5] Gray R. M., (1990). Entropy and information. In Entropy and Information Theory, Publisher: Springer, (pp. 21-55) New York, ISBN-13: 978-1441979698.
  • [6] Srinivas, D. S., & Kumar, M. A. (2013). Attribute And Information Gain Based Feature Selection Technique For Cluster Ensemble: Hybrid Majority Voting Based Variable Importance Measure. IJITR, 1(6), 607-610.
  • [7] Bulut, F. (2016). AdaBoost ile Kalp Krizi Risk Tespiti, Celal Bayar Üniversitesi Fen Bilimleri Dergi, 12(3), 459-472.
  • [8] Tosun, S. (2015). Sınıflandırmada yapay sinir ağları ve karar ağaçları karşılaştırması: Öğrenci başarıları üzerine bir uygulama (Doctoral dissertation, Fen Bilimleri Enstitüsü), İTÜ.
  • [9] Cernekova, Z., Pitas, I., & Nikou, C. (2006). Information theory-based shot cut/fade detection and video summarization. IEEE Transactions on circuits and systems for video technology, 16(1), 82-91.
  • [10] El Gamal, A., and Kim, Y. H. (2011). Network information theory. Cambridge university press.
  • [11] Anderson, D. R. (2008). Information Theory and Entropy (pp. 51-82). Springer, ISBN-13: 978-1441979698, New York.
  • [12] Çakır, S. "Bütünleşik Bulanık Shannon Entropi-Bulanık Veri Zarflama Analizi Yöntemiyle Teknoloji Firmalarında Etkinlik Ölçümü." Karadeniz Teknik Üniversitesi, Doktora Tezi (2015).

Different Mathematical Models for Entropy in Information Theory

Yıl 2017, Cilt: 1 Sayı: 2, 167 - 174, 30.11.2017

Öz

Entropy is a metric that measures statically irregularity and randomness in a given certain dataset.
The calculated entropy value has a positive real number starting from 0. The entropy value is also directly
proportional to the increase of the irregularity in the dataset. In numerous fields including statistics,
mathematics, and information theory it has been used widely with an aggregated formula of sigma symbol,
logarithm and probability in mathematics. In this study, from different perspectives some new formulas and
inferences are proposed that gives the same entropy result. The same entropi results, on the experiments,
have been taken over the UCI benchmark datasets. 

Kaynakça

  • [1] Balian, R. (2004). Entropy, a protean concept. In Poincaré Seminar 2003 (pp. 119-144). Birkhäuser Basel.
  • [2] Shannon, C. E. (1949). Communication theory of secrecy systems. Bell Labs Technical Journal, 28(4), 656-715.
  • [3] BULUT, F. (2016). Huffman Algoritmasıyla Kayıpsız Hızlı Metin Sıkıştırma. El-Cezeri Journal of Science and Engineering, 3(2), 287-296.
  • [4] Mu, Y., Liu, X., Yang, Z., and Liu, X. (2017). A parallel C4. 5 decision tree algorithm based on MapReduce. Concurrency and Computation: Practice and Experience, 29(8).
  • [5] Gray R. M., (1990). Entropy and information. In Entropy and Information Theory, Publisher: Springer, (pp. 21-55) New York, ISBN-13: 978-1441979698.
  • [6] Srinivas, D. S., & Kumar, M. A. (2013). Attribute And Information Gain Based Feature Selection Technique For Cluster Ensemble: Hybrid Majority Voting Based Variable Importance Measure. IJITR, 1(6), 607-610.
  • [7] Bulut, F. (2016). AdaBoost ile Kalp Krizi Risk Tespiti, Celal Bayar Üniversitesi Fen Bilimleri Dergi, 12(3), 459-472.
  • [8] Tosun, S. (2015). Sınıflandırmada yapay sinir ağları ve karar ağaçları karşılaştırması: Öğrenci başarıları üzerine bir uygulama (Doctoral dissertation, Fen Bilimleri Enstitüsü), İTÜ.
  • [9] Cernekova, Z., Pitas, I., & Nikou, C. (2006). Information theory-based shot cut/fade detection and video summarization. IEEE Transactions on circuits and systems for video technology, 16(1), 82-91.
  • [10] El Gamal, A., and Kim, Y. H. (2011). Network information theory. Cambridge university press.
  • [11] Anderson, D. R. (2008). Information Theory and Entropy (pp. 51-82). Springer, ISBN-13: 978-1441979698, New York.
  • [12] Çakır, S. "Bütünleşik Bulanık Shannon Entropi-Bulanık Veri Zarflama Analizi Yöntemiyle Teknoloji Firmalarında Etkinlik Ölçümü." Karadeniz Teknik Üniversitesi, Doktora Tezi (2015).
Toplam 12 adet kaynakça vardır.

Ayrıntılar

Konular Bilgisayar Yazılımı
Bölüm Derleme
Yazarlar

Faruk Bulut

Yayımlanma Tarihi 30 Kasım 2017
Kabul Tarihi 10 Kasım 2017
Yayımlandığı Sayı Yıl 2017 Cilt: 1 Sayı: 2

Kaynak Göster

APA Bulut, F. (2017). Different Mathematical Models for Entropy in Information Theory. Bilge International Journal of Science and Technology Research, 1(2), 167-174.