7.3. 7.3. Maximum entrópia módszer (MEM)

Entrópia maximalizálás feltételek mellett.

7.5. Példa. Pénzfeldobás: Feltétel: A sűrűségfüggvény 0 a intervallumon kívül. Kérdés: mikor lesz maximális?

Az I-divergencia nemnegativitása alapján tetszőleges sűrűségfüggvény esetén

ha egyenletes eloszlású a intervallumon.

Várható érték feltételek:

A valószínűségi változó sűrűségfüggvényét nem ismerjük. Viszont adott, hogy

ahol a függvények ismertek. Ekkor a MEM alapján

ahol a értékeket meghatározzák az adott várható értékek, míg az értéke abból adódik, hogy sűrűségfüggvény.

Bizonyítás. Ha ebben a formában adott, akkor

Más sűrűségfüggvény esetén az I-divergencia alapján: