3.5. 3.5. Fano-egyenlőtlenség

3.10. Lemma. Ha esetén a valószínűségi változó számú értéket vehet fel pozitív valószínűséggel, akkor

Bizonyítás. Az entrópia maximumára vonatkozó egyenlőtlenség alapján

amelynek várható értékét képezve kapjuk az állítást.

3.11. Tétel. (Fano-egyenlőtlenség) Tegyük fel, hogy a és az valószínűségi változók ugyanazt az értéket vehetik fel pozitív valószínűséggel, és legyen

ekkor

Bizonyítás.

Mivel

a definíciója alapján adódik, hogy

Másrészt a feltételes entrópia második tagjánál

ezért

A két felső becslés együttesen kiadja az állítást.

3.12. Megjegyzés. Ha tehát a valószínűségi változót az valószínűségi változóval akarjuk helyettesíteni, akkor az itt elkövetett hibára alsó becslés adható a feltételes entrópia függvényeként. A Fano-egyenlőtlenség értéke éppen az, hogy a hibavalószínűséget egy információelméleti mérőszámmal becsüli meg.