5.3. 5.3. Zajos csatorna kapacitása

Bemeneti ábécé:

Kimeneti ábécé:

A mátrixot adókarakterisztika vagy csatornamátrixnak nevezzük. Míg az együttes eloszlás mátrixa az ún. átviteli mátrix.

Csatornakapacitás:

5.7. Megjegyzés.

A zajos csatornák osztályozása a csatornamátrix alapján:

1. – veszteségmentes. A kimenet egyértelműen meghatározza a bemenetet. Minden esetén létezik hogy

2. – determinisztikus. A bemenet egyértelműen meghatározza a kimenetet. Minden esetén létezik hogy

3. – zajmentes. A bemenet és a kimenet egyértelműen meghatározzák egymást. Ekkor

4. azaz – használhatatlan. Pl. az oszlopok megegyeznek.

5. Szimmetrikus csatorna – a sorok és az oszlopok is ugyanazokból a vektorokból épülnek fel.

Szimmetrikus csatorna estén

minden esetén ugyanaz, így

Tehát

5.8. Megjegyzés. Ha a kimeneti eloszlás egyenletes, akkor a bemeneti is az.

Legyen azaz a bemeneti és kimeneti ábécé betűinek száma megegyezik. Jelölje a csatornamátrix -adik oszlopának entrópiáját, azaz Ekkor a

szélsőérték feladatot kell megoldanunk a

feltétel mellett, így a Lagrange-féle multiplikátoros módszert alkalmazhatjuk. A Lagrange-függvény

Határozzuk meg a deriváltakat:

1. így

2. így

Tehát a Lagrange-függvény deriváltjaiból adódó egyenletrendszer

1. Az első egyenlet mindegyikét szorozzuk meg a megfelelő valószínűséggel és adjuk őket össze. Ekkor

Ebből

2. Meghatározzuk értékét.

A Lagrange-függvény parciális deriváltjaiból adódó egyenleteket alakítsuk át a következőképpen.

Ez egy lineáris egyenletrendszernek tekinthető, amelynek az ismeretlenjei

A megoldás felírható

alakban, ahol a mátrix a mátrix inverze. Ekkor

Összeadva az egyenleteket és alkalmazva a függvényt azt kapjuk, hogy

A lineáris egyenletrendszerből

ahol Ezzel meghatároztuk az kimeneti eloszlást. Az

lineáris egyenletrendszer megoldásával pedig meghatározható a bemeneti eloszlás.

5.9. Megjegyzés. Ha létezik akkor problémás a megoldás első része.

5.10. Megjegyzés. maximális (és ezért egyenlő a csatornakapacitással) akkor és csak akkor, ha a bemeneti eloszlás olyan, hogy

a) minden esetén, amikor

b) minden esetén, amikor

5.11. Tétel. A létező megoldás egyértelmű és maximalizálja a kölcsönös információmennyiséget.

Bizonyítás. A csatornamátrix rögzített, ezért csak a bemeneti eloszlástól függ. Jelölje:

konkáv függvénye a eloszlásnak.

Legyen és

Ebből adódóan

Viszont az entrópia konkáv, így is konkáv.

5.12. Lemma. Tegyük fel, hogy konkáv az

halmazon. Ha folytonosan differenciálható belsejében és létezik

úgy, hogy

ahol akkor a függvény abszolút maximuma az halmazon

Bizonyítás. Tegyük fel, hogy Legyen akkor

A feltételek alapján viszont

és így az iránymenti deriváltnak -hoz kellene tartani, ami ellentmondás. Tehát minden esetén

5.2. Példa. Legyen a csatornamátrix

Ekkor

A parciális deriváltakból adódó egyenletrendszer:

Átalakítva:

Legyen

Ekkor

Továbbá