A hipotézisvizsgálat egy statisztikai következtetési eljárás annak eldöntésére, hogy egy populációra vonatkozó feltételezés (hipotézis) az összegyűjtött adatok alapján elfogadandó vagy elvetendő-e. Hipotézisvizsgálatra példa az adatbányászati algoritmusok által kinyert mintázatok minőségének ellenőrzése és két osztályozási modell teljesítménybeli eltérése szignifikanciájának validálása.

A hipotézisvizsgálat során rendszerint két, élesen megkülönböztethető feltételezést fogalmazunk meg. Ezeket nullhipotézisnek és alternatív hipotézisnek nevezzük. A hipotézisvizsgálat rendszerint az alábbi négy lépést tartalmazza:

Tekintsük a 6.. fejezetben bemutatott algoritmus segítségével származtatott asszociációs mintázatot. Tegyük fel, hogy a mintázat minőségének kiértékelése iránt érdeklődünk statisztikai nézőpontból. Annak eldöntésének kritériuma, hogy egy mintázat érdekes-e, annak támogatottságától függ. Ez a támogatottság méri azon rekordok arányát, amelyekben a mintázatot ténylegesen megfigyeltük. X -et érdekesnek tekintjük, ha s(X)≥minsup , ahol minsup a felhasználó által megadott minimális küszöbérték.

A probléma a hipotézisvizsgálat keretein belül is megfogalmazható a következőképpen. Az X mintázat validálásához el kell döntenünk, hogy vajon a H 0 :s(X)=minsup nullhipotézist, vagy a H 1 :s(X)≥minsup alternatív hipotézist fogadjuk-e el. Ha a nullhipotézist elvetjük, akkor X érdekes mintának tekinthető. A próba elvégzéséhez s(X) eloszlását is ismernünk kell. A jelen modellben a binomiális eloszlás alkalmazható, hiszen annak eldöntése, hogy az X minta hányszor fordul elő N rekordban, ugyanaz, mint annak összeszámlálása, hogy hányszor fordul elő fej egy érme N -szeri feldobása esetén. Ez utóbbi s(X) várható értékű, s(X)×s(X)/N varianciájú binomiális eloszlással írható le. A binomiális eloszlás azonban nagy N értékek esetén jól közelíthető normális eloszlással, amely jellemzően teljesül a legtöbb vásárlói kosár elemzési feladatnál.

A nullhipotézis mellett feltehető, hogy s(X) normális eloszlású minsup várható értékkel és minsup×(1−minsup)/N varianciával. Annak eldöntésére, hogy a nullhipotézist elfogadjuk vagy elvessük, a következő Z statisztika használható:

Z= s(X)−minsup minsup×(1−minsup)/N (C.20)

Z eloszlása 0 várható értékű és 1 szórású standard normális eloszlás. Ez a statisztika lényegében a megfigyelt s(X) és a minsup küszöbérték közötti eltérést méri a szórás egységeiben. Legyen N=10000 , s(X)=11% és minsup=10% . A nullhipotézis mellett Z értéke (0,11−0,1)/ 0,09/10000 =3,33 . A standard normális eloszlás táblázatából egyoldali próba esetén a Z=3,33 4,34× 10 −4 p-értéknek felel meg.

Tegyük fel, hogy α=0,001 a megkövetelt szignifikancia szint. Az α méri annak a valószínűségét, hogy tévesen elutasítjuk a nullhipotézist holott az igaz (ezt a statisztikai szakirodalomban elsőfajú hibának nevezik). Például 0,01-es érték esetén egy a százhoz annak az esélye, hogy a felfedezett mintázat félrevezető. Minden α szignifikancia szinthez tartozik egy Z α küszöbérték úgy, hogy ha a mintázat Z értéke ezt meghaladja, akkor a mintázatot statisztikusan szignifikánsnak tekinthető. A Z α küszöbérték a standard normális eloszlás táblázatából kereshető ki. Példaképpen: α=0,001 választással Z α =3,09 küszöbértékű kritikus tartományt kapunk. Mivel p≤α , vagy ami ugyanaz, Z≥ Z α , a nullhipotézist elvetjük és a mintát statisztikailag érdekesnek tekintjük.