1. fejezet - Bevezetés

A statisztikai hírközléselméletet három fő területre szokás osztani: információelmélet, jeldetektálas és sztochasztikus szűrés.

Jeldetektálás: Legyen a megfigyelt sztochasztikus jel. A hipotézis esetén egy mintafüggvény az sztochasztikus zajból, míg a esetén az jel zaj folyamatból. A megfigyelő dönt valamelyik hipotézis javára felhasználva egy megfelelő optimalitási kritériumot, pl. egy teszt statisztikát.

Sztochasztikus filtráció: ez nem más, mint a jelek, adatok szűrése, azaz a megfigyelt jel, adatsor transzformálása valamilyen szempontok szerint.

Az információ fogalma központi szerepet játszik az egyes ember és a társadalom életében, és a tudományos kutatásban. Mindennapi életünk minden pillanatában az információ megszerzés, továbbadás, tárolás problémájával vagyunk elfoglalva. Természetesen más és más a jelentése ugyanannak az információnak a különböző felhasználók számára. Hasonlókat mondhatunk az észlelés, tárolás, érték stb. esetében is. Az adott helyzettől függően szubjektíven döntünk, használjuk fel stb. Ezért nem foglalkozunk az információ fogalmával.

Az információelmélet szempontjából csak az információ mennyisége az érdekes, mint ahogy adattároláskor is mellékes, hogy honnan jöttek és mit jelentenek az adatok. Csak a célszerű elhelyezésükről kell gondoskodni.

Napjainkban már eléggé világos, hogy konkrét tartalmától, megjelenési formájától és felhasználásától elvonatkoztatva beszélhetünk az információ számszerű mennyiségéről, ami éppen olyan pontosan definiálható és mérhető, mint bármely más fizikai mennyiség. Hosszú volt azonban az út, amely ehhez a felismeréshez vezetett. Mindenekelőtt azt kell tisztázni, hogy mikor van egyáltalán a kérdésnek értelme. Persze mindenkinek van valamilyen – többé-kevésbé szubjektív – elképzelése az információ mennyiség fogalmáról, de a köznapi szóhasználatban ez általában az információ konkrét megjelenési formájának terjedelmességéhez, másrészt a hasznosságához és egyéb tulajdonságaihoz kapcsolódik. Ahhoz, hogy jól használható mérőszámot kapjunk, minden esetleges vagy szubjektív tényezőtől el kell vonatkoztatni. Ezek közé soroljuk az információ konkrét tartalmát, formáját és mindent, ami a köznyelvben az információ fogalmához kötődik. Ezt a könyörtelen absztrakciót az indokolja, hogy az információ megszerzésével, feldolgozásával, felhasználásával (tárolás, átalakítás, továbbítás) kapcsolatos gyakorlati problémák között nagyon sok olyan is akad, melynek megoldásához (pl. a kívánt berendezés vagy eljárás megtervezéséhez) az információ számos jellemzője közül kizárólag csak a mennyiséget kell figyelembe venni.

Az információ fogalma olyan univerzális, annyira áthatja a mindennapi életünket és a tudomány minden ágát, hogy e tekintetben csak az energiafogalommal hasonlítható össze. A két fogalom között több szempontból is érdekes párhuzamot vonhatunk. Ha végigtekintünk a kultúra, a tudomány nagy eredményein, a legnagyobb felfedezéseken, azoknak jelentős részét két világosan elkülöníthető osztályba sorolhatjuk.

Az egyik csoportba az energia átalakításával, tárolásával, továbbításával kapcsolatos felfedezések tartoznak. Pl. a tűz felfedezése, a víz- és szélenergia felhasználása, egyszerű gépek kostruálása, az elektromos energia hasznosítása stb.

A másik csoportba az információ átalakításával, tárolásával, továbbításával kapcsolatos felfedezések tartoznak. Pl. az írás, a könyvnyomtatás, a távíró, a fényképezés, a telefon, a rádió, a televízió és a számítógép stb.

Számos, az első csoportba tartozó felfedezésnek megvan a párja a második csoportban.

Még egy szempontból tanulságos párhuzamot vonni az energia- és az információfogalom között. Hosszú időbe telt, amíg kialakult az energiamennyiség elvont fogalma, amelynek alapján a különböző megjelenési formáit, mint pl. a mechanikai energiát, a hőenergiát, a kémiai energiát, az elektromos energiát stb. össze lehetett hasonlítani, közös egységgel lehetett mérni. Erre a felismerésre és egyben az energia-megmaradás elvének a meghatározására a XIX. század közepén jutott el a tudomány. Az információ fogalmával kapcsolatban a megfelelő lépés csak a XX. század közepén történt meg.

Mielőtt rátérnénk az információmennyiség mértékének kialakulására, történetére meghatározzuk, hogy mit is jelent az információ absztrakt formában.

Információn általában valamely véges számú és előre ismert lehetőség valamelyikének a megnevezését értjük.

Nagyon fontos, hogy információmennyiségről csak akkor beszélhetünk, ha a lehetséges alternatívák halmaza adott. De ebben az esetben is csak akkor beszélhetünk az információmennyiség definiálásáról, ha tömegjelenségről van szó, vagyis ha nagyon sok esetben kapunk vagy szerzünk információt arról, hogy az adott lehetőségek közül melyik következett be. Mindig ez a helyzet a híradástechnikában és az adatfeldolgozásban, de számos más területen is.

Az információmennyiség kialakulásához a kezdeteket a statisztikus fizika kutatói adták meg. Ebből adódik a fizikában használatos elnevezés (pl. entrópia): L. Boltzmann (1896), Szilárd L. (1929), Neumann J. (1932). Továbbá, a kommunikációelmélettel foglalkozók: H. Nyquist (1924), R.V.L. Hartley (1928).

A hírközlés matematikai elméletét C.E. Shannon (1948) foglalta össze oly módon, hogy hamarosan további, ugrásszerű fejlődés alakuljon ki ezen a területen. Már nemcsak az elmélet alapproblémáit fejti ki, hanem úgyszólván valamennyi alapvető módszerét és eredményét megadja.

Párhuzamosan fejlesztette ki elméletét N. Wiener (1948), amely erősen támaszkodott a matematikai statisztikára és elvezetett a kibernetikai tudományok kifejlődéséhez.

Shannon a következőképpen adta meg a zajmentes (egyirányú) hírközlési rendszer általános modelljét:

1.1. ábra - Az egyirányú hírközlési rendszer általános modellje (zajmentes)

Az egyirányú hírközlési rendszer általános modellje (zajmentes)

Látható, hogy meg kell oldanunk a következő problémákat: Az üzenet lefordítása továbbítható formára. Az érkező jel alapján az üzenet biztonságos visszaállítása. A fordítás (kódolás) legyen gazdaságos (a dekódolás is) a biztonság megtartása mellett. Használjuk ki a csatorna lehetőségeit (sebesség, kapacitás).

1.2. ábra - Az egyirányú hírközlési rendszer általános modellje (zajos)

Az egyirányú hírközlési rendszer általános modellje (zajos)

Természetesen ezek a problémák már a tervezési szakaszban felmerülnek. Viszont gyakran kerülünk szembe azzal, hogy a már meglévő rendszer jellegzetességeit, kapacitásait kell optimálisan kihasználni. Számos számítástechnikai példa van arra, hogy a biztonságos átvitel mennyire lelassítja az adatáramlást. Továbbá egy „jó” kódolás hogyan változtatja az üzenet terjedelmét, a felhasználás gyorsaságát.

Az információelméletet két nagy területre bonthatjuk: az algebrai kódoláselmélet és a Shannon-féle, valószínűség-számításon alapuló, elmélet.

Az információelmélettel foglalkozók a következő három kérdés „mennyiségi” vizsgálatával foglalkoznak: Mi az információ? Melyek az információátvitel pontosságának a korlátai? Melyek azok a módszertani és kiszámítási algoritmusok, amelyek a gyakorlati rendszerek esetén a hírközlés és az információtárolás a megvalósítás során megközelíti az előbb említet pontossági, hatékonysági korlátokat?

Az eddigiek alapján a jegyzet anyagát a következő témakörökben foglalhatjuk össze: Az információmennyiség mérése és ennek kapcsolata más matematikai területekkel. A hírközlési rendszerek matematikai modellje (zajos, zajmentes vagy diszkrét, folytonos). Kódoláselmélet (zajos, zajmentes; forrás, csatorna).

1.1. 1.1. A feldogozott területek címszavakban

Az egyirányú hírközlési rendszer általános modellje. Az információmennyiség Hartley-féle értelmezése, szemléletes jelentése, kapcsolata a blokkonkénti kódolással.

Az esemény Shannon-féle információmennyisége, axiomatikus bevezetés (elvárt tulajdonságok), a valószínűségi változó értéke által tartalmazott egyedi információmennyiség, Shannon-féle entrópia, az függvény tulajdonságai, Jensen-egyenlőtlenség, az entrópia tulajdonságai.

Információnyereség és várható értéke, Kullback-Leibler eltérés vagy I-divergencia, az entrópia axiomatikus származtatása, a sztochasztikus függőség mérése, teljes eseményrendszerek sztochasztikus függése, kölcsönös információmennyiség, az I-divergencia tulajdonságai.

Aszimptotikus Stirling-formula, az I-divergencia és a valószínűség kapcsolata, a kölcsönös információmennyiség és az entrópia kapcsolata, McMillan-felbontási (particionálási) tétel, a feltételes entrópia és tulajdonságai, Fano egyenlőtlenség.

Kódoláselméleti fogalmak: stacionaritás, betűnkénti és blokkonkénti kódolás, zajmentesség, emlékezetnélküliség, egyértelmű dekódolhatóság. Keresési stratégiák és prefix kódok, kódfa, átlagos kódhossz. Kraft-Fano egyenlőtlenség, prefix kódok átlagos kódhoszszára vonatkozó állítások. Hatásfok, maximális hatásfokú kód létezése, McMillan-dekódolási tétel (Karush-féle bizonyítás). Shannon-Fano-, Gilbert-Moore-, Huffman-féle kód. Az optimális kód tulajdonságai, a kódfához kapcsolódó tulajdonságok, az optimális kódolás első lépése.

Csatornakapacitás: emlékezetnélküli eset, zajmentes eset, bináris szimmetrikus csatorna. Nem azonos átviteli idő esete: információ átviteli sebesség, csatornakapacitás, optimális eloszlás. A kapacitás numerikus meghatározása, a módszer konvergenciája. Az átlagos időhossz, Kraft-Fano egyenlőtlenség.

Blokkonkénti kódolás, átlagos kódhossz és korlátai, stacionér forrás entrópiája, a zajmentes hírközlés alaptétele, McMillan-felbontási tétel és a zajos kódolás kapcsolata.

Zajos csatorna kódolása: bináris szimmetrikus csatorna, kód, algebrai struktúrák, vektortér, a kizáró vagy művelete, norma, Hamming-távolság és tulajdonságai, maximum likelihood kódolás, a hibajavíthatóság és a kódtávolság kapcsolata, csoportkód, hibajelezhetőség, hibaáteresztés, lineáris kód, szisztematikus kód, paritásellenőrző mátrix, szindróma, részcsoport, mellékosztály és tulajdonságai, mellékosztályok és szindrómák kapcsolata, mellékosztályok táblázata, dekódolási táblázat, osztályelsők, a dekódolási táblázat távolság tulajdonsága.

Entrópia és I-divergencia folytonos esetben, tulajdonságok. Speciális eloszlások entrópiája. Entrópia maximalizálás, véges szórású eset.