Bilgi Kuramında Shannon Entropisi ve Uygulamaları

Öz

21. yüzyılda iletişim ve teknoloji çağında fizikten istatistiğe, mühendislikten sosyal bilimlere kadar pek çok alanda uygulamaları olan entropi, güvenli veri aktarımı, kayıpsız veri sıkıştırma, veri madenciliği, makine öğrenmesi ve sınıflandırma gibi alanlarda bilgi teorisinin bir uygulaması olarak karşımıza çıkmaktadır. Shannon tarafından olasılık hesaplamaları kullanılarak oluşturulan entropi formülü, bilgi teorisinde kullanılan önemli bir ölçüm yöntemidir. Bu çalışmada, Shannon'ın entropi formülünün bilgi teorisindeki bazı kullanımları uygulamalar ile gösterilmektedir. İlk olarak adil ve hileli madeni paralar ile oynanan bir yazı-tura oyununda bilgi ve entropi miktarları hesaplanmış, elde edilen sonuçlar birbiri ile karşılaştırılmıştır. Adil madeni paradan elde edilen entropi değeri, hileli madeni paradan daha yüksek çıkmış ve bu durum entropinin bir sistemdeki belirsizliğin ölçüsü olduğunu kanıtlamıştır. Entropinin bilgi kuramında kullanılmasıyla birlikte etkili iletişim ve minimum bit kullanarak veri depolama gibi işlemlerde büyük gelişme sağlanmıştır. Yapılan ikinci uygulamada bir veri grubundaki karakterler kodlanırken, gereken minimum bit sayısı entropi formülü ile hesaplanmış ve örnek bir kodlama yapılmıştır. Bilgi teorisinde Shannon entropisi, bilgi iletimi ve depolama alanlarının yanı sıra veri madenciliği, makine öğrenmesi ve yapay tahmin mekanizmalarında da kullanılmaktadır. Yapılan son uygulamada yapay öğrenme alanlarından ‘Karar Ağacı’ oluşturulmasında entropi formülünün, ağacın oluşumundaki ‘kök düğüm’ün tespit edilmesinde kullanıldığı gösterilmiştir. Yapılan uygulamalar Shannon entropisinin bilgi teorisindeki işlevselliğini göstermiştir.

Anahtar Kelimeler

• Entropi
• Bilgi kuramı
• Bilgi kazancı

Shannon Entropy and Its Applications in Information Theory

Öz

Entropy has applications in many fields from physics to statistics, from engineering to social sciences in the age of communication and technology in the 21st century. It appears as an application of information theory in areas such as secure data transfer, lossless data compression, machine learning and classification. The entropy formula created by Shannon using probability calculations is an important measurement method used in information theory. In this study, some uses of Shannon's entropy formula in information theory are demonstrated with applications. Firstly, in a coin flip game played with fair and fraudulent coins, the amount of information and entropy were calculated, and the results were compared with each other. The entropy value obtained from the fair coin was higher than that of the fraudulent coin, proving that entropy is a measure of uncertainty in a system.With the use of entropy in information theory, great progress has been made in processes such as effective communication and data storage using minimum bits. In the second application, while coding the characters in a data group, the required minimum number of bits was calculated with the entropy formula and an example coding was made. In information theory, Shannon entropy is used in data mining, machine learning and artificial prediction mechanisms as well as information transmission and storage. In the last application, it has been shown that the entropy formula is used to determine the 'root node' in the formation of the tree in the creation of the 'Decision Tree' from artificial learning areas. The applications have shown the functionality of Shannon entropy in information theory.

Anahtar Kelimeler

• Entropy
• Information Theory
• Information Gain

Kaynakça

1. Ben-Naim, A. (2008). A Farewell to Entropy: Statistical Thermodynamics Based on Information, World Scientific Publishing, 9-19. ISBN-13 978-981-270-706-2. Bulut, F. (2017). Different Mathematical Models for Entropy in Information Theory. Bilge International Journal of Science and Technology Research, 1(2), 167-174 . Retrieved from https://dergipark.org.tr/tr/pub/bilgesci/issue/32353/335439.
2. Calin, O., Udrişte, C. (2014). Geometric Modeling in Probability and Statistics, Publisher: Springer, ISBN 978-3-319-07778-6, 78-106.
3. Çetinkaya, O. (2011). Belirsizliğin Ölçülmesi ve Entropi. İstanbul Üniversitesi İktisat Fakültesi Mecmuası, (44), (1-4). https://dergipark.org.tr/tr/pub/iuifm/issue/834/9160.
4. Çetinkaya, C. P., Yiğit, S. D. (2019). Su Kalitesi Gözlem Ağlarının Performansının Değerlendirilmesi için Bir Yöntem Önerisi ve Gediz Havzasında Uygulanması . Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi , 21 (62) , 483-497 . DOI: 10.21205/deufmd.2019216214.
5. Değirmenci, İ. (2011). Entropi Ölçüleri ve Maksimum Entropi İlkesi, Yüksek lisans tezi, İstatistik Anabilim Dalı, Hacettepe Üniversitesi, 1-3.
6. Kale, E. (2021). Meteorological Drought Forecasting Using Decision Three, Dissertation, Dissertation Master’s Program of Electrical and Computer Engineering, Antalya Bilim University.
7. Mu, Y., Liu, X., Yang, Z. (2017). A Parallel C4.5 Decision Tree Algoritm Based on MapReduce, Concurrency and Computation: Practice and Experience, 29(8).
8. Nyquist, H. (1924). Certain Factors Affecting Telegraph Speed. Transactions of the American Institute of Electrical Engineers, (43), 412-422.

9. Ruelle, D. (2014). Rastlantı ve Kaos, Tübitak Popüler Bilim Kitapları, Çevirmen: Deniz Yurtören, 102-107.
10. Shannon, C.E. (1948). A Mathematical Theory of Communication, The Bell System Technical Journal, 27(3), 379-423.
11. Srinivas, D. S., Kumar, M. A. (2013). Attribute and Information Gain Based Feature Selection Technique for Cluster Ensemble: Hybrid Majority Voting Based Variable Importance Measure, IJITR, 1(6), 607-610.
12. Yüksel, E. (2020). Düzensizlik (Entropi), Çapraz Düzensizlik (Cross Entropi) ve KL-Iraksaklığı (KL-Divergence), https://medium.com/kaveai/tagged/entropi