3.3. 3.3. A sztochasztikus függőség mérése

A sztochasztikus függetlenség ellentéte a sztochasztikus függőség, ami azonban nem írható le olyan egyértelműen, mint az előbbi, hiszen nem csak egy eset lehetséges, ezért a függőség erősségének jellemzésére megpróbálunk bevezetni egy mérőszámot.

Legyen és két esemény, amelyre és Továbbá

A teljes eseményrendszerhez kétféleképpen kapcsolunk valószínűségeket: a-priori feltételezzük, hogy függetlenek és a-posteriori meghatározzuk (megfigyelés, becslés) a valószínűségeket. Ekkor meg tudjuk határozni a két eloszlás eltérését.

3.3. Definíció. Az és esemény függőségi mérőszámának nevezzük a

diszkrimináló információt.

Jele:

Ha és függetlenek, akkor

Ha akkor

Tehát

Vizsgáljuk meg viselkedését!

1. így

2. azaz szimmetrikus.

3. Ha és rögzített, akkor

Legyen és azaz Éz az intervallum sohasem üres, hiszen Innen az is következik, hogy mindig megválasztható úgy, hogy minimuma elérhető legyen.

4. Legyen ekkor

Ebből adódik, hogy konvex, monoton növekvő. Könnyen belátható, hogy

3.4. Definíció. Legyenek és teljes eseményrendszerek, amelyekre és Ekkor a és teljes eseményrendszerek sztochasztikus összefüggésének mérőszáma

Ezt a mérőszámot kölcsönös információmennyiségnek nevezzük.

3.5. Megjegyzés. A teljes eseményrendszerek alapján átírható valószínűségi változókra. Jele: