A normális (Gauss) eloszlás egyike a statisztikában leggyakrabban használt eloszlásoknak, egy egyszerű statisztikai kiugró érték észlelő megközelítés bemutatására fogjuk használni. Ennek az eloszlásnak két paramétere van: a μ várható érték és a σ szórás, és az N(μ,σ) jelöléssel adható meg. A 10.1. ábra mutatja az N(0,1) eloszlás sűrűségfüggvényét.

Kicsi az esélye annak, hogy egy, az N(0,1) eloszlásból származó objektum (érték) az eloszlás szélére essen. Például csak 0,0027 annak valószínűsége, hogy egy objektum a ±3 szórás közötti központi tartományon kívül essen. Általánosabban, ha c egy konstans és x egy objektum attribútumértéke, akkor c növekedésével gyorsan csökken annak valószínűsége, hogy x≥c . Legyen α=P(|x|≥c) . A 10.1. táblázat néhány c -re adja meg a hozzátartozó α értéket, ha az eloszlás N(0,1) . Megjegyezzük, hogy egy a tízezerhez annak az esélye, hogy egy érték a szórás négyszeresénél nagyobb távolságra legyen az átlagtól.

10.1. ábra - A 0 várható értékű és 1 szórású Gauss-eloszlás valószínűségi sűrűségfüggvénye

Mivel egy érték az N(0,1) eloszlás középpontjától vett c távolsága közvetlenül kapcsolódik az adott érték valószínűségéhez, ez szolgálhat arra vonatkozó vizsgálat alapjául, hogy vajon egy objektum (érték) kiugró-e 59. definíció értelmében.

10.3. Definíció

(Kiugró érték egyetlen, N(0,1) eloszlású attribútum esetén) Egy 0 várható értékű és 1 szórású Gauss-eloszlásból származó x attribútumértékkel rendelkező objektum kiugró érték, ha

|x|≥c, (10.1)

ahol c egy olyan konstans, amelyre P(|x|≥c)=α .

Ennek a definíciónak az alkalmazásához meg kell adni α értékét. Abból a szempontból, hogy a szokatlan értékek (objektumok) más eloszlásból származó értéket mutatnak, α annak a valószínűségét adja meg, hogy az adott eloszlásból származó értéket tévedésből kiugrónak osztályozzuk. Abból a szempontból, hogy a kiugró érték az N(0,1) eloszlás ritka értéke, α a ritkaság fokát határozza meg. Ha a normális objektumok egy érdekes attribútuma Gauss-eloszlású, μ várható értékkel és σ szórással (azaz N(μ,σ) eloszlású), akkor a 10.3. definíció alkalmazásához az x attribútumot egy új, N(0,1) eloszlású z attribútummá kell transzformálni. Konkrétan, a transzformáció z=(x−μ)/σ . (A z -t általában z -pontszámnak nevezik.) Viszont μ és σ általában ismeretlenek, amelyek becslése a minta x ¯ átlagával és s x tapasztalati szórásával történik. A gyakorlatban ez jól működik akkor, ha sok megfigyelés van. Ugyanakkor megjegyezzük, hogy z eloszlása nem pontosan N(0,1) . Egy kifinomultabb statisztikai eljárást (Grubbs próba) vizsgálunk a 706. oldalon a 7. feladatban.

A többdimenziós Gauss-eloszlású megfigyelésekre hasonló megközelítést szeretnénk alkalmazni, mint amit az egydimenziós Gauss-eloszlásnál. Konkrétan, akkor szeretnénk pontokat kiugró értékként osztályozni, ha kis valószínűségűek az adatok becsült eloszlása szerint. Továbbá ezt egy egyszerű vizsgálattal szeretnénk eldönteni, például a pontnak az eloszlás középpontjától vett távolsága alapján.

A különböző változók (attribútumok) közötti korreláció miatt azonban a többdimenziós normális eloszlás nem szimmetrikus a középpontjára nézve. A 10.2 ábra mutatja a kétdimenziós, (0,0) várható értékű és

Σ=( 1,00 0,75 0,75 3,00 )

kovarianciamátrixú Gauss-eloszlás valószínűség-sűrűségét.

Ha egyszerű küszöbértéket szeretnénk használni annak eldöntésére, hogy egy objektum kiugró-e, akkor egy olyan távolságmértékre van szükségünk, amely figyelembe veszi az adatok eloszlásának alakját. A Mahalanobis távolság ilyen. (Lásd (2.14) egyenlőséget a 83. oldalon.) Az x pont és az adatok x ¯ átlaga közötti Mahalanobis távolságot (10.2) egyenlet adja meg:

mahalanobis(x, x ¯ )=(x− x ¯ ) S −1 (x− x ¯ ) T , (10.2)

ahol S az adatok kovarianciamátrixa.

Könnyű megmutatni, hogy egy pont és az eloszlás várható értéke közötti Mahalanobis távolság közvetlenül kapcsolódik a pont valószínűségéhez. Konkrétan, a Mahalanobis távolság éppen a valószínűségi sűrűség logaritmusa plusz egy konstans. Lásd a 9. feladatot a 707. oldalon.

10.2. ábra - A 10.3. ábra pontjainak előállitásához használt Gauss-eloszlás valószínűségi sűrűsége

10.3. ábra - Pontok Mahalanobis távolsága 2002 kétdimenziós pont középpontjától

10.1. Példa.

(Kiugró érték többdimenziós normális eloszlásnál) A 10.3. ábra egy kétdimenziós adathalmaz pontjainak (az eloszlás átlagától vett) Mahalanobis távolságát mutatja. Az A (−4,4) és B (5,5) pontok az adatokhoz adott kiugró értékek, ezek Mahalanobis távolságát jelezzük az ábrán. Az adatokat alkotó többi 2000 pontot véletlenszerűen generáltuk a 10.2. ábra eloszlásából.

Nagy Mahalanobis távolságú A és B is. Annak ellenére azonban, hogy A az euklideszi távolság szerint mérve közelebb van a középponthoz (a (0,0) -ban lévő nagy fekete x-hez), a Mahalanobis távolság szerint távolabb van tőle, mint B , mert a Mahalanobis távolság figyelembe veszi az eloszlás alakját. Konkrétan, a B pont euklideszi távolsága 5 2 , Mahalanobis távolsága pedig 24, míg az A pont euklideszi távolsága 4 2 , Mahalanobis távolsága pedig 35.

Ez a szakasz egy olyan rendellenesség észlelő módszert ismertet, amely keverék modell megközelítést alkalmaz. A klaszterezésben (lásd 9.2.2. fejezetet) a keverék modell megközelítés azt feltételezi, hogy az adatok valószínűségi eloszlások keverékéből származnak, és hogy minden egyes klaszter megfeleltethető ezek közül egy eloszlásnak. A rendellenesség észlelésnél az adatokat hasonlóan két eloszlás keverékeként modellezzük: egy tartozik a normális adatokhoz, egy másik pedig a kiugró értékekhez.

A klaszterezésnél és a rendellenesség észlelésnél is az eloszlások paramétereinek becslése a cél, annak érdekében, hogy a likelihood (valószínűség) maximális legyen az adatokra. A klaszterezésnél az EM algoritmust használjuk az egyes valószínűségi eloszlások paramétereinek becslésére. Az itt bemutatásra kerülő rendellenesség észlelő módszer azonban egyszerűbb megközelítést alkalmaz. Kezdetben minden objektum a normális objektumok halmazába kerül, a rendellenes objektumok halmaza pedig üres. Ezután egy iteratív eljárás objektumokat helyez át az átlagos halmazból a rendellenes halmazba, mindaddig, míg az áthelyezés növeli az adatok teljes likelihoodját.

Tegyük fel, hogy a D adathalmaz két valószínűségi eloszlás keverékéből tartalmaz objektumokat: M a többségi (normális) objektumok eloszlása, A pedig a rendellenes objektumok eloszlása. Az adatok teljes valószínűségi eloszlása

D(x)=(1−λ)M(x)+λA(x) (10.3)

alakban írható fel, ahol x egy objektum, λ pedig egy 0 és 1 közötti szám, amely a kiugró értékek várható részarányát adja meg. Az M eloszlást az adatokból becsüljük, míg az A eloszlást gyakran egyenletesnek vesszük. Legyen M t és A t a normális, illetve a rendellenes objektumok halmaza a t időpontban. Kezdetben, a t=0 időpontban, M 0 =D , A 0 pedig üres. Egy tetszőleges t időpontban a teljes D adathalmaz likelihoodját és log-likelihoodját a következő két egyenlet adja meg:

L t (D)= ∏ x i ∈D P D ( x i )=( (1−λ) | M t | ∏ x i ∈ M t P M t ( x i ) )( λ | A t | ∏ x i ∈ A t P A t ( x i ) ) (10.4)

L L t (D)=| M t |log(1−λ)+ ∑ x i ∈ M t log P M t ( x i )+| A t |logλ+ ∑ x i ∈ A t log P A t ( x i ) (10.5)

ahol P D , P M t és P A t a D , M t , illetve A t valószínűségi eloszlásai. Ezt az egyenletet a keverék modell (9.6) egyenlettel megadott általános definíciójából (9.2.2. szakasz) lehet levezetni. Ahhoz, hogy ezt megtehessük, az az egyszerűsítő feltétel szükséges, miszerint a következő két eset egyaránt 0 valószínűségű: (1) egy A -beli objektum normális objektum, és (2) egy M -beli objektum kiugró érték. A 10.1. algoritmus tartalmazza a részleteket.

Mivel a normális objektumok száma viszonylag nagy a rendellenesekhez képest, a normális objektumok eloszlása nem változhat sokat, amikor egy objektumot a rendellenességek közé helyezünk át. Ebben az esetben viszonylag állandó marad minden egyes normális objektum hozzájárulása a teljes likelihoodhoz. Továbbá, ha egyenletes eloszlást tételezünk fel a rendellenességekről, akkor a rendellenességek közé áthelyezett minden egyes objektum egy rögzített értékkel járul hozzá a rendellenességek likelihoodjához. Ezért a teljes likelihood összes változása egy objektum a rendellenességek közé történő áthelyezésekor nagyjából egyenlő az objektum egyenletes eloszlás melletti ( λ -val súlyozott) valószínűségével, amelyből levonandó az objektum a normális adatobjektumok eloszlása melletti ( (1−λ) -val súlyozott) valószínűsége. Ebből adódóan a rendellenességek halmaza jellemzően azokból az objektumokból fog állni, amelyek szignifikánsan nagyobb valószínűségűek egyenletes eloszlás mellett, mint a normális objektumok eloszlása mellett.

Az imént bemutatott helyzetben a 10.1. algoritmussal leírt módszer nagyjából ekvivalens azzal, hogy azokat az objektumokat osztályozzuk kiugró értékként, amelyek kis valószínűségűek a normális objektumok eloszlása szerint. Ha például a 10.3. ábra pontjaira alkalmaznánk, ez a módszer kiugró értékként osztályozná az A és B pontokat (és az átlagtól távoli más pontokat). Ha viszont a normális objektumok eloszlása jelentősen változik, amikor a rendellenességeket elhagyjuk az eloszlásból, vagy a rendellenességeket kifinomultabb módon lehet modellezni, akkor az így kapott eredmények mások lesznek, mint amit egyszerűen a kis valószínűségű objektumok kiugró értékként történő osztályozásánál kapnánk. Ez a módszer akkor is működni tud, amikor az objektumok eloszlása multimodális.

A kiugró érték észlelés statisztikai megközelítései megalapozottak és standard statisztikai módszerekre épülnek, mint például egy eloszlás paramétereinek becslése. Amikor elegendő ismeretünk van az adatokról és az alkalmazandó próbáról, ezek a próbák nagyon hatékonyak lehetnek. Egyetlen attribútumra vonatkozó statisztikai kiugró érték próbák széles választéka áll rendelkezésünkre. Kevesebb lehetőség van többdimenziós adatoknál, és ezek a próbák gyenge eredményt adhatnak sokdimenziós adatokra.