Different Mathematical Models for Entropy in Information Theory

Authors : Faruk BULUT

Pages : 167-174

View : 9 | Download : 15

Publication Date : 2017-11-30

Article Type : Research Paper

Abstract :Entropi, belirli bir veri kümesindeki düzensizliği ve dağınıklığı ölçen bir istatistiksel metriktir. Hesaplanan entropi değeri 0’dan başlayan pozitif bir reel değere sahiptir. Veri kümesindeki düzensizliğin artması ile doğru orantılı olarak entropi değeri de artmaktadır. İstatistik, matematik ve bilgi kuramı dâhil birçok alanda yaygın bir şekilde kullanılan entropi formülünde matematikteki toplam sembolü, logaritma ve olasılık hesaplamaları vardır. Bu çalışmada entropi formülüne farklı açılardan bakarak aynı sonucu veren yeni formüller ve çıkarımlar ile farklı matematiksel modeller türetilmiştir. UCI veri setleri üzerinde yapılan deneysel uygulamalarda da aynı entropi değerleri elde edilmiştir. 
Keywords : entropi, bilgi kuram, matematiksel model