Folytonos attribútumok kezelésére a leggyakrabban alkalmazott megközelítés a diszkretizálás. Ez a megközelítés a folytonos attribútum egymáshoz közeli értékeit véges számú intervallumba csoportosítja. Például a Kor attribútumot feloszthatjuk a

Kor∈[12,16),Kor∈[16,20),Kor∈[20,24),…,Kor∈[56,60)

intervallumokra, ahol [a,b) egy olyan intervallum, amely tartalmazza a -t, de b -t már nem. A diszkretizálást bármely, a 2.3.6. szakaszban leírt módszerrel elvégezhetjük (egyenlő intervallumhossz, egyenlő gyakoriság, entrópia-alapú vagy klaszterezés). A diszkrét intervallumokat ezután aszimmetrikus bináris attribútumokra képezzük le, hogy a meglévő asszociációs elemzési algoritmusok alkalmazhatóak legyenek rájuk. A 7.4. táblázatban az internetes kérdőíves adatokat láthatjuk diszkretizálás és binarizálás után.

Az attribútumok diszkretizálásának egyik legfontosabb paramétere az intervallumok száma, amelyekre az egyes attribútumokat felosztjuk. Ezt a paramétert általában a felhasználók adják meg, és általában az intervallumhosszal (az egyenlő intervallumhossz módszerénél), az egy intervallumra jutó átlagos tranzakciószámmal (az egyenlő gyakoriság módszerénél), vagy a klaszterek kívánt számával (a klaszterezés-alapú módszernél) fejezhető ki. A 7.5. táblázatban látható adatok a felmérésben résztvevő 250 felhasználó válaszait összesítik. Ezeken keresztül érzékeltethető a megfelelő intervallumszám meghatározásának nehézsége.

Az adatokból két erős szabály nyerhető ki:

Ezek a szabályok arra engednek következtetni, hogy a 16--24 év közötti korcsoportba tartozó felhasználók többsége gyakran vesz részt online csevegésben, míg a 44--60 év közötti korcsoportba tartozók kevésbé hajlamosak erre. Ebben a példában csak akkor tekintünk érdekesnek egy szabályt, ha annak s támogatottsága meghaladja az 5%-ot, c megbízhatósága pedig meghaladja a 65%-ot. A Kor attribútum diszkretizálása során felmerülő egyik probléma annak eldöntése, hogy hogyan határozzuk meg az intervallumok hosszát.

1. Ha az intervallumok túl tágak, alacsony megbízhatóságuk miatt elveszíthetünk néhány mintázatot. Például ha az intervallumhossz 24 év, az R 1 és R 2 szabályokat a következők váltják fel:

Bár támogatottságuk magasabb, a tágabb intervallumok hatására mindkét szabály megbízhatósága az alsó megbízhatósági küszöbérték alá esett, melynek eredményeképpen mindkét mintázat elvész a diszkretizálás után.

2. Ha az intervallumok túl szűkek, alacsony támogatottságuk miatt veszíthetünk el néhány mintázatot. Például ha az intervallumhossz 4 év, akkor R 1 a következő két részszabályra bomlik fel:

Mivel a részszabályok támogatottsága nem éri el a támogatottsági küszöbértéket, R 1 elvész a diszkretizálás során. Hasonlóan veszítjük el az R 2 szabályt is, amely négy részszabályra bomlik fel, melyek mindegyikének kisebb a támogatottsága a támogatottsági határértéknél.

3. Ha az intervallumhossz 8 év, akkor az R 2 szabály a következő két részszabályra bomlik fel:

Mivel az R 21 (8) és R 22 (8) szabályok elegendő támogatottsággal és megbízhatósággal rendelkeznek, R 2 visszanyerhető a két szabály összevonásával. Eközben R 1 a következő két részszabályra bomlik fel:

Az R 2 -vel ellentétben az R 1 szabályt nem tudjuk helyreállítani a két részszabály összevonásával, mivel egyik részszabály sem éri el a megbízhatósági küszöbértéket.

Ezeket a problémákat kezelhetjük úgy, hogy megvizsgáljuk a szomszédos intervallumok minden lehetséges csoportosítását. Megállapíthatunk kezdetben például 4 éves intervallumhosszt, majd a szomszédos intervallumok egyesítésével létrehozhatunk tágabb intervallumokat: Kor∈[12,16) , Kor∈[12,20) , , Kor∈[12,60) , Kor∈[16,20) , Kor∈[16,24) , stb. Ezzel a megközelítéssel kimutathatjuk, hogy R 1 és R 2 is erős szabályok, ugyanakkor ez a következő számítási problémákhoz vezet:

Az R 4 az R 3 egy általánosítása ( R 3 pedig az R 4 egy specializációja), mert R 4 -ben a Kor attribútumhoz tágabb intervallum van megadva. Ha a két szabály megbízhatósága egyenlő, akkor R 4 -nek érdekesebbnek kell lennie, mert több esetet fed le -- beleértve azokat is, amelyeket R 3 lefed. Ebből következik, hogy R 3 egy felesleges szabály.

Kvantitatív asszociációs szabályok segítségével kikövetkeztethetjük egy populáció statisztikai tulajdonságait. Tegyük fel például, hogy ki szeretnénk deríteni internet-felhasználók bizonyos csoportjainak átlagéletkorát a 7.1. és 7.3. táblázatokban megadott adatok alapján. Az ebben a szakaszban leírt statisztikán alapuló módszerrel az alábbihoz hasonló kvantitatív asszociációs szabályokat nyerhetünk:

{Éves bevétel≥100E,  Online vásárlás = igen}→Kor:  Átlag=38.

A szabály azt állapítja meg, hogy átlagosan 38 évesek az olyan internet-felhasználók, akik éves bevétele meghaladja a 100 ezer dollárt és rendszeresen vásárolnak online.

Szabálygenerálás

Statisztikán alapuló asszociációs szabályok generálásához meg kell határoznunk azt a célattribútumot, amellyel leírjuk a populáció érdekes szegmenseit. A célattribútumot kihagyva az adatállomány többi kategorikus és folytonos attribútumát az előző szakaszban tárgyalt módszerekkel binarizáljuk. Ezután olyan meglévő algoritmusokkal nyerjük ki a gyakori elemhalmazokat a binarizált adatokból, mint például az Apriori vagy az FP-bővítés. Minden gyakori elemcsoport a populáció egy számunkra érdekes szegmensét azonosítja. A célattribútum eloszlását minden szegmensben olyan leíró statisztikákkal összegezhetjük, mint például az átlag, a medián, a szórásnégyzet és az abszolút eltérés. Az előbbi szabályt úgy nyertük például, hogy átlagoltuk azon internet-felhasználók életkorát, akik támogatják az {Éves bevétel≥100E,Online vásárlás = igen} gyakori elemhalmazt.

Ha ezt a módszert alkalmazzuk, a feltárt kvantitatív asszociációs szabályok száma egyenlő lesz a kinyert gyakori elemhalmazok számával. A kvantitatív asszociációs szabályokra definiálásuk módja miatt nem alkalmazható a megbízhatóság fogalma. Ezért a következőkben egy alternatív módszert mutatunk be kvantitatív asszociációs szabályok ellenőrzésére.

Szabályok ellenőrzése

Egy kvantitatív asszociációs szabály csak akkor érdekes számunkra, ha az általa lefedett tranzakciókból származó statisztikák eltérnek azoktól, amelyeket azokból a tranzakciókból számítunk, amelyeket nem fed le. A szakasz elején megadott szabály például csak akkor érdekes, ha 38 évnél szignifikánsan magasabb vagy alacsonyabb azon internet-felhasználók átlagéletkora, akik nem támogatják az {Éves bevétel≥100E,Online vásárlás = igen} gyakori elemcsoportot. Annak eldöntésére, hogy az átlagéletkorok különbsége statisztikailag szignifikáns-e, a statisztikai hipotézisvizsgálat módszereit fogjuk alkalmazni.

Tekintsük az A→t:μ kvantitatív asszociációs szabályt, ahol A egy gyakori elemhalmaz, t a folytonos célattribútum, μ pedig t átlagértéke az A által lefedett tranzakciókra nézve. Jelölje továbbá μ' a t átlagértékét az A által nem lefedett tranzakciókra nézve. A cél annak eldöntése, hogy μ és μ' különbsége nagyobb-e, mint egy, a felhasználó által meghatározott Δ küszöbérték. A statisztikai hipotézisvizsgálatok során két ellentétes állítást adunk meg, melyeket nullhipotézisnek és alternatív hipotézisnek nevezünk. A hipotézisvizsgálatot pedig annak eldöntésére hajtjuk végre, hogy a két hipotézis közül melyiket fogadjuk el az adatokból gyűjtött bizonyítékokra támaszkodva (lásd a C. függeléket).

Ebben az esetben azt feltételezzük, hogy μ≤μ' , így a nullhipotézis H 0 :μ'=μ+Δ , míg az alternatív hipotézis H 1 :μ'≥μ+Δ . A következő Z -statisztika kiszámításával döntjük el, hogy melyik hipotézist fogadjuk el:

Z= μ'−μ−Δ s 1 2 n 1 + s 2 2 n 2 , (7.1)

ahol n 1 az A -t támogató tranzakciók száma, n 2 az A -t nem támogató tranzakciók száma, s 1 az A -t támogató tranzakciók t értékének szórása, s 2 pedig az A -t nem támogató tranzakciók t értékének szórása. A nullhipotézis fennállása mellett Z eloszlása standard normális, melynek várható értéke 0, szórásnégyzete 1. Z értékét a (7.1) egyenlet alapján számítjuk ki, majd összehasonlítjuk egy kritikus értékkel, Z α -val, amely egy, a kívánt megbízhatósági szinttől függő küszöbérték. Ha Z≥ Z α , akkor a nullhipotézist elutasítjuk és arra a következtetésre juthatunk, hogy az adott kvantitatív asszociációs szabály érdekes. Ha nem így van, az azt jelenti, hogy nem tudunk elegendő bizonyítékot nyerni az adatokból annak alátámasztására, hogy az átlagok különbsége statisztikailag szignifikáns.

7.1. Példa.

Tekintsük a

{Bevétel≥100E,Online vásárlás = igen}→Kor:  μ=38

kvantitatív asszociációs szabályt. Tegyük fel, hogy az előző szabály előfeltételét 50 internet-felhasználó támogatja, akik életkorának szórása 3,5. Másrészt viszont 30 az átlagéletkora annak a 200 felhasználónak, akik a szabály előfeltételét nem támogatják, életkoruk szórása pedig 6,5. Tegyük fel, hogy egy kvantitatív asszociációs szabály csak akkor érdekes számunkra, ha a μ és μ' közötti különbség 5 évnél több. A (7.1) egyenlet felhasználásával a következőt kapjuk:

Z= 38−30−5 3,5 2 50 + 6,5 2 200 =4,4414.

Ha egy egyoldali hipotézist vizsgálunk 95%-os konfidenciaszinten, a kritikus érték a nullhipotézis elvetéséhez 1,64. Mivel Z≥1,64 , a nullhipotézist elvethetjük. Így arra a következtetésre jutunk, hogy a kvantitatív asszociációs szabály érdekes, mivel az előző szabály előfeltételét támogató, illetve nem támogató felhasználók átlagéletkora közötti különbség 5 évnél több.

Bizonyos alkalmazásoknál az elemzők sokkal inkább az iránt érdeklődnek, hogy a folytonos attribútumok között találjanak összefüggéseket, mint hogy a folytonos attribútumok diszkrét intervallumai között. Tekintsük például a szavak közti összefüggések feltárásának problémáját, mint ahogy az a 7.6. táblázatban is látható. A dokumentum-szó mátrix minden egyes eleme egy, az adott dokumentumban megjelenő szó normalizált gyakorisági száma. Az adatok normalizálását úgy végezzük el, hogy minden egyes szó gyakoriságát elosztjuk a szónak a teljes dokumentumhalmazon vett gyakoriságával. Ennek egyik oka az, hogy így biztosan 0 és 1 közé esik az eredményül kapott támogatottsági érték. Ennél azonban fontosabb azt biztosítani, hogy az adatok ugyanazon a skálán mozogjanak, így a hasonló eloszlású szavaknak hasonlóak lesznek a támogatottsági értékei.

A szövegbányászatban az elemzőket sokkal jobban érdekli a szavak közti összefüggések (például adat és bányászat) feltárása, mint a szavak gyakoriságainak tartományai közöttieké (például adat∈[1,4] és bányászat∈[2,3] ). Ezt úgy is megtehetjük, hogy az adatokat egy 0/1 mátrixszá alakítjuk, melyben egy adott elem értéke 1, ha a normalizált gyakorisági szám meghalad egy t küszöbértéket, egyébként pedig 0. Ezzel a megközelítéssel az elemzők alkalmazni tudják a már meglévő, gyakori elemhalmazokat generáló algoritmusokat a binarizált adatállományra, ugyanakkor igen bonyolult lehet a megfelelő küszöbérték meghatározása a binarizáláshoz. Ha a küszöbértéket túl magasra állítjuk, akkor előfordulhat, hogy érdekes összefüggéseket hagyunk ki. Ellenben ha túl alacsonyra állítjuk, akkor előfordulhat, hogy nagy számú hamis összefüggést generálunk.

Ebben a szakaszban egy másik módszertant is bemutatunk a szavak közötti összefüggések feltárására, a min-Apriori-t. A hagyományos asszociációs elemzéshez hasonlóan elemhalmaznak szavak egy csoportját tekintjük, melynek támogatottsága méri a szavak közötti összefüggés mértékét. Egy elemhalmaz támogatottságát a beletartozó szavak normalizált gyakorisága alapján számíthatjuk ki. Tekintsük például a 7.6. táblázatban látható d 1 dokumentumot, melyben a sz ó 1 és sz ó 2 gyakoriságai 0,3 illetve 0,6. Azt gondolhatnánk, hogy a két szó közötti asszociáció kiszámításának az lehet az ésszerű módja, hogy a normalizált gyakoriságaik átlagát vesszük: (0,3+0,6)/2=0,45 . Ekkor egy elemhalmaz támogatottságát úgy számíthatjuk ki, hogy az átlagolt normalizált gyakoriságokat az összes dokumentumra összesítjük:

s({sz ó 1 ,sz ó 2 })= 0,3+0,6 2 + 0,1+0,2 2 + 0,4+0,2 2 + 0,2+0 2 =1.

Ez az eredmény semmi esetre sem véletlen. Mivel minden szó gyakoriságát 1-re normalizáltuk, a normalizált gyakoriságok átlagolásával minden elemhalmaz támogatottsága 1 lesz. Így ezt a megközelítést használva minden elemhalmaz gyakori lesz, tehát alkalmatlan az érdekes mintázatok azonosítására.

A min-Apriori módszerben a szavak közötti asszociációt egy dokumentumban úgy kapjuk meg, hogy a normalizált gyakoriságaik minimumát vesszük, azaz min(sz ó 1 ,sz ó 2 )=min(0,3;0,6)=0,3 . Egy elemhalmaz támogatottságát úgy számítjuk ki, hogy az összes dokumentumra összegezzük az asszociációt:

s({sz ó 1 ,sz ó 2 })=min(0,3;0,6)+min(0,1;0,2)+min(0,4;0,2)+min(0,2;0)

=0,6.

A min-Apriori-ban meghatározott támogatottsági mérték a következő elvárt tulajdonságokkal rendelkezik, melyek alkalmassá teszik arra, hogy segítségével szavak közötti kapcsolatokat tárjunk fel dokumentumokban:

A standard Apriori algoritmus módosítható úgy, hogy az új támogatottsági definíció szerint tárja fel a kapcsolatokat a szavak között.