3. fejezet - Az I-divergencia

3.1. 3.1. Információ és bizonytalanság

Egy véletlentől függő kimenetelű kísérlet eredménye több-kevesebb mértékben bizonytalan. A kísérlet elvégzésével ez a bizonytalanság megszűnik. A kísérlet eredményére vonatkozó, erdetileg fennálló bizonytalanságot mérhetjük azzal az információmennyiséggel, amit a kísérlet elvégzésével (átlagban) nyerünk. A bizonytalanságot tehát felfoghatjuk, mint információ hiányt, vagy megfordítva: az információt úgy, mint a bizonytalanság megszüntetését. Az információ betöltése ekvivalens a bizonytalanság megszüntetésével, azaz

  információ betöltés=a-priori bizonytalanság – a-posteriori bizonytalanság.  

A két fogalom viszonyát jól világítja meg a következő példa:

Ha egy esemény valószínűsége eredetileg de a esemény megfigyelése után -ra változott (azaz és ), akkor

információt nyertünk (vagy vesztettünk). Tehát információt szereztünk -ra nézve. Vegyük észre, hogy

Továbbá, hogy az információnyereség 0, ha és függetlenek.

Egy kísérlet lehetséges kimeneteleinek egy teljes eseményrendszere legyen az amelyek (a-priori) valószínűsége számok Megfigyeltük egy esemény bekövetkezését, amely kapcsolatban áll a kísérlettel. Úgy azon feltétel mellett, hogy bekövetkezett, az események feltételes (a-posteriori) valószínűségei eltérnek ezek eredeti (a-priori) valószínűségeitől, mégpedig

Kérdés: mennyi információt nyertünk a esemény megfigyelése által a kísérlet várható kimenetelére nézve?

Tudjuk, hogy és eloszlások. Ha nem azonosak, akkor létezik olyan esemény, amelyre ( a bizonytalanság csökkent) és olyan is, amelyre (a bizonytalanság nőtt). Az információnyereség várható értéke:

Ezt a mennyiséget a esemény megfigyelése által kapott, a kísérletre vonatkozó, Shannon-féle információmennyiségnek vagy a eloszlásnak a eloszlással való helyettesítésénel fellépő információnyereségnek nevezzük.

3.1. Példa. Egy választáson párt indít jelöltet. Előzetes elképzelésünk az, hogy az egyes pártok jelöltjeire a leadott szavazatokból rész esik. A választás után megismerjük a tényleges szavazati arányokat. Az a hír, amely ezt az információt szállította információmennyiséget juttatta birtokunkba, amely mennyiség jellemzi azt, hogy az eredeti elképzelésünktől milyen messze áll a valóság. Tehát felfogható a két eloszlás közötti eltérés mérőszámaként is.

3.1. Megjegyzés. Az eloszlások közötti eltérések mérőszámára sokféle próbálkozás történt (Hellinger(1926), Kolmogorov(1931), Mises(1931), Pearson(1905) stb.) Az információmennyiséghez kötődőt a

diszkrimináló információt Kullback és Leibler(1951) vezette be hipotézisvizsgálat felhasználásával. Szokásos elnevezés még az információ divergencia vagy I-divergencia.