2.3. 2.3. Feltételes entrópia

Legyen

véletlen vektor, melynek együttes eloszlása

Mivel az entrópiát csak az eloszlás határozza meg, ezért rögtön adódik, hogy

2.9. Definíció. A

mennyiséget a valószínűségi változó valószínűségi változóra vonatkozó feltételes entrópiájának nevezzük, ahol

2.10. Tétel.

2.11. Tétel.

egyenlőség teljesül függetlenség esetén.