Információ- és kódelmélet

Fegyverneki, Sándor

Új Széchenyi Terv logó.

Miskolci Egyetem

Kelet-Magyarországi Informatika Tananyag Tárház

Kivonat

Nemzeti Fejlesztési Ügynökség http://ujszechenyiterv.gov.hu/ 06 40 638-638

Lektor

Dr. Kálovics Ferenc

Miskolci Egyetem

A tananyagfejlesztés az Európai Unió támogatásával és az Európai Szociális Alap társfinanszírozásával a TÁMOP-4.1.2-08/1/A-2009-0046 számú Kelet-Magyarországi Informatika Tananyag Tárház projekt keretében valósult meg.


Tartalom

1. Bevezetés
1.1. 1.1. A feldogozott területek címszavakban
1.2. 1.2. JAVA appletek a jegyzethez
2. Az információmennyiség
2.1. 2.1. Egyedi információmennyiség, entrópia
2.2. 2.2. Az entrópia tulajdonságai
2.3. 2.3. Feltételes entrópia
2.4. 2.4. Feladatok
2.5. 2.5. Önellenőrző kérdések
3. Az I-divergencia
3.1. 3.1. Információ és bizonytalanság
3.2. 3.2. Az I-divergencia tulajdonságai
3.3. 3.3. A sztochasztikus függőség mérése
3.4. 3.4. Urnamodellek
3.5. 3.5. Fano-egyenlőtlenség
3.6. 3.6. A kölcsönös információmennyiség tulajdonságai
3.7. 3.7. Feladatok
3.8. 3.8. Önellenőrző kérdések
4. Forráskódolás
4.1. 4.1. Alapfogalmak
4.2. 4.2. Sardinas-Patterson módszer
4.3. 4.3. Keresési stratégiák és prefix kódok
4.4. 4.4. Shannon-Fano kód
4.5. 4.5. Gilbert-Moore kód
4.6. 4.6. Hatásfok
4.7. 4.7. Huffman-kód
4.8. 4.8. McMillan-dekódolási tétel
4.9. 4.9. Blokkos kódolás, tömörítés, stacionér forrás entrópiája
4.10. 4.10. Feladatok
4.11. 4.11. Önellenőrző kérdések
5. Csatornakapacitás
5.1. 5.1. Zajmentes csatorna kapacitása nem azonos átviteli idő esetén
5.2. 5.2. Shannon-Fano algoritmus, tetszőleges eloszlás esetén
5.3. 5.3. Zajos csatorna kapacitása
5.4. 5.4. Arimoto-Blahut algoritmus
5.5. 5.5. Iterációs módszer a relatív kapacitás meghatározására (kiegészítő tananyag)
5.6. 5.6. Feladatok
5.7. 5.7. Önellenőrző kérdések
6. Csatornakódolás
6.1. 6.1. Hibajavítás, kódtávolság
6.2. 6.2. Csoportkód
6.3. 6.3. Lineáris kód
6.4. 6.4. Hamming-kód
6.5. 6.5. Feladatok
6.6. 6.6. Önellenőrző kérdések
7. Bevezetés a folytonos esetbe
7.1. 7.1. Diszkretizálás
7.2. 7.2. Néhány fogalom folytonos esetben
7.3. 7.3. Maximum entrópia módszer (MEM)
7.4. 7.4. Feladatok
7.5. 7.5. Önellenőrző kérdések
8. Függelék
8.1. 8.1. Jelölések
8.2. 8.2. Konvex függvények
8.3. 8.3. Az függvény vizsgálata
8.4. 8.4. Az aszimptotikus Stirling-formula
8.5. 8.5. Valószínűség-számítás összefoglaló
8.5.1. 8.5.1. A valószínűség fogalma
8.5.2. 8.5.2. A valószínűségi változó
8.5.3. 8.5.3. Néhány diszkrét eloszlás és jellemzői
8.5.4. 8.5.4. Néhány folytonos eloszlás és jellemzői
8.5.5. 8.5.5. A véletlen vektorok
8.5.6. 8.5.6. Néhány többdimenziós eloszlás
8.5.7. 8.5.7. Néhány alapvető tétel
Irodalomjegyzék

Az ábrák listája

1.1. Az egyirányú hírközlési rendszer általános modellje (zajmentes)
1.2. Az egyirányú hírközlési rendszer általános modellje (zajos)
2.1. A A 2^{-x} függvény függvény
2.2. A reciprok logaritmusa
2.3. Az entrópia függvény bináris esetben
2.4. Az Az xln(x) függvény függvény
2.5. Az entrópia függvény három elemű eloszlásra
4.1. Az egyirányú hírközlési rendszer általános modellje (zajos)
4.2. Példa a Shannon-Fano kódolásra (intervallumfelosztás)
4.3. Példa a Shannon-Fano kódolásra (kódfa)
4.4. Példa a Shannon-Fano kódolásra (kód)
4.5. Példa a Shannon-Fano kódolásra (intervallumfelosztás)
4.6. Példa a Shannon-Fano kódolásra (kód)
4.7. Példa a Gilbert-Moore kódolásra (intervallumfelosztás)
4.8. Példa a Gilbert-Moore kódolásra (kódfa)
4.9. Példa a Gilbert-Moore kódolásra (kód)
4.10. Példa a Gilbert-Moore kódolásra (intervallumfelosztás)
4.11. Példa a Gilbert-Moore kódolásra (kódfa)
4.12. Példa a Gilbert-Moore kódolásra (kód)
4.13. Példa Huffman-féle kódolásra 1. változat
4.14. Példa Huffman-féle kódolásra 2. változat
4.15. Példa Huffman-féle kódolásra 3. változat
4.16. Példa a Huffman kódolásra
4.17. Példa a Huffman kódolásnál az eloszlás ellenőrzésére
4.18. Példa a Huffman kódolásra 1. rész
4.19. Példa a Huffman kódolásra 2. rész
4.20. Bináris szimmetrikus csatorna
4.21. Bináris szimmetrikus csatorna kapacitása a valószínűség függvényében
4.22. Példa blokkos kódoláshoz 1.
4.23. Példa blokkos kódoláshoz 2.
4.24. Példa blokkos kódoláshoz 3.
5.1. Példa csatornakapcitás numerikus meghatározására additív költség esetén
5.2. Példa csatornakapcitás numrikus meghatározására additív költség esetén
5.3. Bináris törlődéses csatorna
5.4. Egymás után két csatorna (soros eset)
5.5. Egymás után több csatorna (soros eset)
5.6. Egymás mellett két csatorna (párhuzamos eset)
6.1. Bináris szimmetrikus csatorna
8.1. Az Az xln(x) függvény függvény
8.2. Az Az xln(x) függvény deriváltja függvény deriváltja
8.3. A logaritmus függvény konvexitásának bemutatása
8.4. A reciprok logaritmusa