2. fejezet - Az információmennyiség

2.1. 2.1. Egyedi információmennyiség, entrópia

A bevezetés alapján információn valamely véges számú és előre ismert lehetőség valamelyikének a megnevezését értjük.

Kérdés: Mennyi információra van szükség egy adott

véges halmaz valamely tetszőleges elemének azonosításához vagy kiválasztásához?

Tekintsük például a jólismert hamis pénz problémát. Itt kétserpenyős mérleg segítségével kell kiválasztani a külsőre teljesen egyforma pénzdarabok közül a könnyebb hamisat. Ez úgy történhet, hogy azonos darabszámú csoportokat téve a mérlegre, megállapítjuk, hogy a keletkezett három csoportból melyikben van a hamis. Ha ugyanis a mérleg egyensúlyban van, akkor a maradékban van, ha nem, akkor a könnyebb csoportban. Ez az eljárás addig folytatódik, amíg megtaláljuk a hamis pénzdarabot.

Ha alakú a pénzdarabok száma, akkor átlagosan mérlegelésre van szükség, de átlagosan ennél kevesebb már nem vezethet mindig eredményre.

2.1. Megjegyzés. Általában legalább

mérlegelésre van szükség, ami összefügg azzal, hogy egy mérlegelésnek 3 kimenetele van.

A probléma további vizsgálatára még visszatérünk, viszont előtte tekintsük a következő egyszerű problémát: Hány bináris számjegy szükséges egy elemű halmaz elemeinek azonosításához?

2.1. Példa. Az amerikai hadseregnél állítólag úgy végzik a vérbajosok felkutatását, hogy az egész társaságtól vért vesznek, és a páciensek felének véréből egy részt összeöntve elvégzik a Wassermann-próbát. Amelyik félnél ez pozitív, ott a felezgetést tovább folytatják egész addig, amíg a betegeket ki nem szűrték. Ez a módszer nagyon gazdaságos, mert ha 1000 páciens között pontosan egy vérbajos van, akkor az 10 vizsgálattal lokalizálható, míg az egyenkénti vizsgálatnál – ami adminisztrációs szempontból persze sokkal egyszerűbb – átlagosan 500 próbára van szükség.

Hartley(1928) szerint az elemű halmaz elemeinek azonosításához

mennyiségű információra van szükség.

Ennek az a szemléletes tartalma, hogy ha alakú, akkor hosszúságú bináris sorozat szükséges. Ha alakú, akkor ( az egészrészt jelöli) a szükséges bináris jegyek száma. Továbbá, ha azt tekintjük, hogy az általunk vizsgált esetek valamely tömegjelenséghez tartoznak, akkor az a kérdés, hogy az elemeiből álló tetszőlegesen hosszú sorozatok hogyan írhatók le bináris sorozatokkal.

Tekintsük az hosszúságú elemeiből álló sorozatokat, akkor ezek száma Ha akkor az halmaz egy elemére eső bináris jegyek száma Ekkor

azaz növelésével tetszőlegesen megközelíthető.

Ezek szerint, Hartley formulája az információ mennyiségét a megadáshoz szükséges állandó hosszúságú bináris sorozatok alsó határaként definiálja.

Ennek megfelelően, az információmennyiség egységét bitnek nevezzük, ami valószínűleg a „binary digit” angol nyelvű kifejezés rövidítése. Hartley szerint a két elemű halmaz elemeinek azonosításához van szükség egységnyi (1bit) mennyiségű információra. Néhány szerző az alapú természetes logaritmust preferálja, ekkor az egység a nat. A logaritmusok közötti átváltás alapján .

Hartley egyszerű formulája számos esetben jól használható, de van egy komoly hibája: nem veszi figyelembe, hogy – tömegjelenségről lévén szó – az egyes alternatívák nem feltétlenül egyenértékűek.

Például, nem sok információt nyerünk azzal, hogy ezen a héten sem nyertünk a lottón, mert ezt előre is sejthettük volna, hiszen rendszerint ez történik. Ezzel szemben az ötös találat híre rendkívül meglepő, mert igazán nem számíthatunk rá, ezért az sokkal több információt szolgáltat.

Ezt a nehézséget Shannon(1948) a valószínűség és az információ fogalmának összekapcsolásával oldotta meg. Shannon szerint egy valószínűségű esemény bekövetkezése

mennyiségű információt szolgáltat. Ez a mérőszám a Hartley-félénél sokkal árnyaltabb megkülönböztetést tesz lehetővé, és ha az lehetőség mindegyike egyformán valószínűségű, akkor a Hartley-féle formulára redukálódik.

A továbbiakban először megvizsgáljuk, hogy mennyire természetes a Shannon által bevezetett mérőszám. Az eddigiek alapján a következő tulajdonságokat várjuk el az információmennyiség mérőszámától:

1. Additivitás: Legyen alakú, azaz felírható két természetes szám szorzataként. Ekkor felbontható darab diszjunkt elemű halmaz uniójára, azaz Ez azt jelenti, hogy az azonosítása az elemeknek úgy is történhet, hogy először az halmazok egyikét azonosítjuk, s utána az halmazon belül történik az azonosítás. Emlékezzünk vissza a hamis pénz problémára. Ekkor elvárható, hogy a két számítási mód alapján az információmennyiségek megegyezzenek, azaz

2.2. Megjegyzés. Ez a tulajdonság függetlenségként is felírható, mert két egymástól függetlenül elvégzett azonosítás összekapcsolásának felel meg.

2. Monotonitás: A lottós példa alapján elvárható, hogy kisebb valószínűségű esemény bekövetkezése nagyobb információmennyiségű legyen. Ebből viszont rögtön következik, hogy az információmennyiség csak a valószínűségtől függ. Létezik függvény, hogy az esemény valószínűségéhez rendelt Hiszen esetén mert ha akkor míg ha akkor

3. Normálás: Legyen ha Ez összhagban van azzal, hogy egy kételemű halmaz elemeinek az azonosításához pontosan információra van szükség.

2.3. Tétel. Ha és (1) ha (2) (3) akkor

Bizonyítás. Az jelöléssel az állításunk alakja: ha Ezt fogjuk bizonyítani.

2.1. ábra - A A 2^{-x} függvény függvény

A 2^{-x} függvény

A (2) feltétel alapján ami teljes indukcióval egyszerűen belátható. Ezt alkalmazva a esetre kapjuk, hogy Továbbá,

ekkor

Tehát bármely racionális számra Ha akkor

Ha irracionális, akkor minden esetén létezik hogy

Ekkor

amelyből esetén következik, hogy ha azaz

2.2. ábra - A reciprok logaritmusa

A reciprok logaritmusa

2.4. Megjegyzés. Néhány alapvető irodalom, amelyben az alapfogalmak és tulajdonságaik megtalálhatóak: [ 3 ], [ 12 ], [ 7 ], [ 8 ].

2.5. Definíció. Az mennyiséget a valószínűségi változó értéke által tartalmazott egyedi információmennyiségnek nevezzük.

2.6. Definíció. A

eloszlású valószínűségi változó Shannon-féle entrópiájának nevezzük a

mennyiséget.

2.3. ábra - Az entrópia függvény bináris esetben

Az entrópia függvény bináris esetben

2.7. Megjegyzés. A valószínűségek között a is előfordulhat, így problémát okozhat, hiszen a logaritmus függvény csak pozitiv számokra értelmezett. Ezt azonban megoldja az, hogy az függvény folytonosan kiterjeszthető a nullára, mert

lehet definíció szerint.

2.4. ábra - Az Az xln(x) függvény függvény

Az xln(x) függvény

Vegyük észre, hogy a mennyiség nem más, mint az egyedi információmennyiség várható értéke.

Ha nem okoz zavart, akkor az entrópia jelölésére még a következőket is fogjuk használni: