5. fejezet - Csatornakapacitás

A csatorna tulajdonságai szempontjából az egyik legfontosabb tulajdonság a csatornakapacitás. A csatornakapacitás az elemenként („betűnként”) átvihető információ mennyiségével egyenlő (s így a csatornakapacitás lényegében sebesség jellegű mennyiség, ahol azonban a sebesség vonatkoztatási alapja nem az idő, hanem a „betű”, noha a kettő ebből a szempontból összefügg). A csatornakapacitás fogalmával függ össze a redundancia, amely a betűnként továbbított átlagos információ mennyiségét és a csatornakapacitást hasonlítja össze mennyiségileg, vagyis azt mondja meg, hogy mennyivel terjengősebb egy közlemény az elvben lehetséges legrövidebb formánál. Maguk a kódok (szokás őket - mesterséges - nyelveknek is nevezni, így pl. idetartoznak a számítógépek programnyelvei), amelyekkel az információelmélet csökkenteni igyekszik a redundanciát, illetőleg növelni a kölcsönös információt, több típusba sorolhatók aszerint, hogy hány elemet („betűt”) használnak fel a közlemények összeállításánál. Az ún. bináris kódokban, amelyeket elterjedten használnak a digitális számítógépekben, két „betű” van csak: a 0 és az 1. Az ún. kódoláselmélet az információelméleten belül a különböző feltételeket teljesítő kódok konstruálásával foglalkozik. Ezekre igyekszik általános módszereket kidolgozni. Shannon, az információelmélet egyik úttörője általánosságban bebizonyította, hogy alkalmas kódolási eljárással zaj jelenlétében is megvalósítható a hibátlan (pontosabban előírhatóan kis hibavalószínűségű) információtovábbítás, ha sebessége kisebb a csatornakapacitásnál. Ez a tétel az információelmélet egyik alaptétele, maga a tétel azonban semmit sem tartalmaz a implementációra vonatkozóan. Az információelmélet gyakorlati feladata tehát az optimalizálásban ragadható meg. Ez egyrészt a költségek csökkentését, másrészt pedig a hibamentesség növelését jelenti.

Fizikai valójukban a csatornák nagyon sokfélék lehetnek: a levegő, a telefonvezeték, az optikai üvegszál, az élőlények idegszálai, a könyv, a CD stb. Osztályozni is több szempontból lehet őket. A térbeli csatornák a tér valamelyik pontjából egy vagy több másik pontjába, az időbeli csatornák a időponttól a időpontba szállítják az információkat. Előbbiekre példa a telefonvezeték, utóbbiakra a CD. Természetesen ez a megkülönböztetés csak a lényegi jegyekre vonatkozik, mivel az információnak a térbeli csatornában is időre van szüksége, hogy célba jusson, a szóbeli csatornákon is lehet térben szállítani az információt.

Az volna az eszményi, ha a csatorna kimeneteli oldalán mindig azt az információt kapnánk meg, amely a másik oldalán belépett, azaz a belépő jelnek a kimenetelnél mindig jel felelne meg. Az ilyen - csak elméletben létező- ideális csatorna neve zajmentes csatorna. Sajnos a reális csatornák mindig zajosak, zaj minden olyan jelenség, amely a hírközlő csatornában „megtámadja” a hasznos információt, megcsonkítja, elnyomja, eltorzítja, legrosszabb esetben meg is semmisíti. Másképpen fogalmazva: zajos csatornánál a kilépő jel nem felel meg mindig a belépő jelnek, hamis jelek keverednek az igaziak közé. Zaj például az az elektromágneses rezgés, amely zavarja a rádióvételt, az utca zaja, amely elnyomja a beszélgetőtársunk hangját, a sajtóhiba. A zajokat két csoportra oszthatjuk. A rendszertorzítás azonos jel esetén mindig azonos, és elvileg teljesen kiküszöbölhető. A csatorna- vagy csőzaj független a jeltől, rendszertelen, statisztikus jellege van, és teljesen sohasem szüntethető meg. (Tulajdonképpen a zaj is információ, csak éppen nem az, amire szükségünk van, s nagyon sokszor a kódját sem ismerjük. Az is előfordulhat, hogy valamely jelenség zaj egy szempontból, s értékes információ egy másikból. Például a légköri elektromos jelenségek a rádióhallgató és a légkör fizikáját kutató tudós szempontjából.)

5.1. Definíció. Az információtovábbítás eszközeként definiáljuk a diszkrét emlékezetnélküli csatornát (angol rövidítéssel DMC) a következőképpen:

- a csatorna bemenetén ütemenként egy szimbólumot fogad, és ütemenként egy szimbólum jelenik meg a kimenetén (szinkron működés);

- a bemeneti és a kimeneti szimbólumkészlet nem feltétlenül azonos, de mindkettő rögzített és véges számú elemet tartalmaz (diszkrét);

- ha a bemeneti szimbólumok egymástól függetlenek, akkor a kimeneti szimbólumok is függetlenek lesznek (emlékezet nélküli).

Az eddigiek alapján tudjuk, hogy zajmentes csatorna esetén az egy csatornajelre (kódábécébeli elemre) jutó átlagos információ átvitel megegyezik a kódábécé eloszlásához kapcsolódó entrópával, azaz amely akkor maximális, ha a jelek eloszlása egyenletes. A forrás optimális kódolása ezt a maximális esetet próbálja közelíteni. A következő szakaszban arra próbálunk választ adni, mi történik akkor, ha a csatornajelek átviteli ideje nem azonos.

5.1. 5.1. Zajmentes csatorna kapacitása nem azonos átviteli idő esetén

Adott csatornaábécé esetén feltételezzük, hogy a jelek átviteli ideje ismert illetve kísérleti úton megfelelő pontossággal meghatározható. Jelölje az időket Feltételezzük, hogy

Ha egy információforrás jeleket bocsát ki, akkor azt kódolva keletkezik egy kódüzenet (csatornaüzenet). Ekkor felmerülnek a következő kérdések: Egy adott kódolás esetén milyen gyorsan, milyen átlagos sebességgel továbbítja a csatorna az üzenetet? Van-e az információtovábbításnak felső határa és ha van, mennyi az?

Nyilván a sebesség függ a kódolástól (a kódüzenet elemeinek az eloszlásától), ezért az a célunk, hogy a kódot úgy válasszuk meg, hogy az információtovábbítás sebessége maximális legyen.

Legyen a csatornaábécé betűinek eloszlása Ha a csatornaüzenet hossza akkor egy kiválasztott jel, pl. várhatóan -szer fordul elő és várhatóan mennyiségű információt továbbít. Ugyanez a teljes üzenetre

Hasonlóan a várható átviteli idő:

ebből az egy betűre jutó várható átviteli idő (jelölje )

5.2. Definíció. Az információtovábbítás sebességének nevezzük a

mennyiséget.

5.3. Megjegyzés. Az előző definícióban szereplő mennyiség átlagsebesség.

5.4. Definíció. Az információátviteli sebesség maximumát csatornakapacitásnak nevezzük (jele: C), azaz

ahol a csatornaábécé lehetséges eloszlása.

5.5. Megjegyzés. Az eloszlások összessége az előző definícióban kompakt halmazt alkot és folytonosan függ a eloszlástól, ezért létezik a szupremuma és azt fel is veszi.

5.6. Tétel. Zajmentes, emlékezetnélküli (véges, diszkrét) csatorna esetén a csatornakapacitás a

egyenlet egyetlen megoldása. Ezt a

eloszlás realizálja.

Bizonyítás. Ha megoldása az egyenletnek, akkor a tétel szerint megadott eloszlás és az átlagsebességre teljesül a következő:

ahol az egyenlőség csak a tételben megadott eloszlás esetén teljesül.

Tehát csak azt kell belátnunk, hogy egyértelműen létezik. Az

függvény szigorúan monoton csökkenő. Továbbá,

A folytonosság miatt létezik ahol és ez egyértelmű a szigorú monotonitás miatt.

5.1. ábra - Példa csatornakapcitás numerikus meghatározására additív költség esetén

Példa csatornakapcitás numerikus meghatározására additív költség esetén

5.2. ábra - Példa csatornakapcitás numrikus meghatározására additív költség esetén

Példa csatornakapcitás numrikus meghatározására additív költség esetén