3.4. 3.4. Urnamodellek

Egy urnában különböző fajtájú golyó van. Legyenek ezek a típusok Az típus kihúzása jelentse az eseményt és tudjuk, hogy Húzzunk az urnából visszatevéssel -szor. Ekkor

3.6. Definíció. Legyen ahol az esemény bekövetkezéseinek a száma egy adott elemi esemény(minta) esetén. Az minta tipikus („jó”), ha minden esetén.

3.7. Megjegyzés. A jó minták valószínűsége közel azonosnak tekinthető:

ahol

egy korlátos mennyiség, így

Felmerül a kérdés, hogy a tipikus minták mennyire töltik meg az elemi események terét.

Tekintsük rögzített esetén az összes tipikus mintát. Jelöljük ezt -vel és jelölje azt amikor az -edik típusú golyó becslése (a relatív gyakoriság) -nál közelebb van a valószínűséghez. Ekkor

így

de a nagy számok törvénye értelmében. Tehát a „jó” minták összességének valószínűsége tart egyhez.

Az előzőek alapján heurisztikusan az várható, hogy két részre bontható, amelyből az egyik valószínűsége kicsi, a másik pedig közel azonos valószínűségű elemekból áll.

3.8. Tétel. (McMillan felbontási tétel) Legyen adott az előzőek szerint egy urnamodell. Rögzített esetén létezik ha akkor

ahol

Bizonyítás. Legyen

azaz teljesítse a 2. feltételt. Tehát ha akkor

Legyen ekkor és a függetlenség miatt

Legyen akkor a Csebisev-egyenlőtlenség alapján

ha elég nagy.

A 3. rész bizonyításához vegyük észre, hogy

amelyből adódik az állítás egyik fele. Másrészt így rögtön következik a másik egyenlőtlenség is.

3.9. Megjegyzés. Ha az urnamodellünk esetén nem a minták valószínűségét vizsgáljuk, hanem a gyakoriságok valószínűségét, akkor a következő érdekes eredményre jutunk.

Ha az -edik típus gyakorisága azaz a relatív gyakoriság

akkor a relatív gyakoriság közelítése (maximum likelihood becslése) az a-priori valószínűségnek. Mivel a gyakoriságokat később ismerjük meg, így tekinthető a-posteriori valószínűségnek (eloszlásnak). Legyen az esemény az, hogy a gyakoriságok pontosan

Tehát

Ekkor felhasználva az aszimptotikus Stirling-formulát (l. Függelék)

Ebből

Rögzített esetén, ha nagy az eltérés valószínűségben, akkor nagy az I-divergencia. Ekkor viszont kicsi az ilyen minta valószínűsége. Ezt fejezi ki lényegében a nagy számok törvénye.