Informations- und Kodierungstheorie:Übung 1

1.1. Diskrete Informationsquellen mit unabhängigen Ereignissen

a)

Hier muss die Formel H(x) = - Summe p(x) ld p(x) verwendet werden. Des weiteren muss man noch den Wert von p(0) ausrechnen:

p(1) -> p(0)

0.1 -> 0.9 = 0.47

0.2 -> 0.8 = 0.72

0.3 -> 0.7 = 0.88

0.4 -> 0.6 = 0.97

0.5 -> 0.5 = 1

Beim einsetzen in die Formel bekomme man negative Ergebnisse heraus, die sich dann aber durch das Minus vor dem Summenzeichen natürlich wieder umdrehen.

b) ist einfach ein Halbkreis

Tip für effektive Berechnung von $ \sum_{i=1}^N p(x_i)\log_2(1/p(x_i)) $

Zunächst die Theorie:

Da $ \log_2(1/x) = -\log_2 x $ können wir auch statt 1/x immer x in den Taschenrechner tippen und das resultierende Minuszeichen im Ergebnis ignorieren.

Da $ \log_2 x = \ln x / \ln 2 $ und $ \ln x / \ln 2 + \ln y / \ln 2 = (\ln x + \ln y) / \ln 2 $ können wir die Division unseres Ergebnisses durch $ \ln 2 $ auf den Schluss aufschieben.

Beispiel:

$ 0.2 \log_2 (1/0.2) + 0.8 \log_2 (1/0.8) $ berechnet man also mit:

(0.2 * ln (1/0.2) + 0.8 * ln (1/0.8)) / ln 2