2.2. 2.2. Az entrópia tulajdonságai

1.

Bizonyítás. Az összeg minden tagja nemnegatív.

2.5. ábra - Az entrópia függvény három elemű eloszlásra

Az entrópia függvény három elemű eloszlásra

2. Ha és akkor

3.

4.

Bizonyítás. A konvex függvényre alkalmazzuk a Jensen-egyenlőtlenséget.

5. folytonos függvény.

6. szimmetrikus a valószínűségekben.

7. Ha akkor

Bizonyítás.

Tehát finomítás hatására az entrópia értéke nem csökkenhet.

2.8. Megjegyzés. Az entrópia axiomatikus származtatása [ 1 ], [ 12 ]: Ha a fenti tulajdonságok közül megköveteljük, hogy

(1) folytonos a eloszlásban;

(2) A esethez tartozó monoton növekvő az függvényében;

(3) Ha akkor