20. fejezet - Osztályozási eljárások 5.

Együttes módszerek

Tartalom

Együttes módszerek: osztályozók egyesítése
Együttes módszerek: zsákolás (bagging)
Együttes módszerek: gyorsítás (boosting)

Együttes módszerek: osztályozók egyesítése

Leírás

A kísérlet az együttes módszerek használatát mutatja be az Ensemble operátor szerepeltetésével. Ezzel az operátorral felügyelt adatbányászati modellekből tudunk egyesítéssel egy még jobban illeszkedő modellt felépíteni. A kísérletben a döntési fa, a logisztikus regresszió és a neurális háló modellekből állítunk elő egy egyesített modellt az átlagos szavazás módszerével. A kapott együttes modellt összehasonlítjuk az SVM operátorral kapott polinomiális kernelű tartóvektor-géppel (SVM) a téves osztályozási arány alapján a Spambase adatállományon.

Bemenet

Spambase [UCI MLR]

Előkészítésként az adatállományt partícionáljuk 60/20/20 arányban tanuló-, ellenőrző és tesztállományra.

Kimenet

Az együttes osztályozók kiértékeléséhez hasonló eszközök állnak rendelkezésre mint a többi felügyelt adatbányászati modellnél: statisztikai mutatók (rosszul osztályozott esetek száma, téves osztályozási arány) és grafikonok (válasz és lift görbék stb.).

20.1. ábra - Az együttes osztályozási modell illeszkedési statisztikái

Az együttes osztályozási modell illeszkedési statisztikái

20.2. ábra - Az együttes osztályozási modell tévesztési mátrixa

Az együttes osztályozási modell tévesztési mátrixa

20.3. ábra - Az együttes osztályozási modell kumulatív lift görbéje

Az együttes osztályozási modell kumulatív lift görbéje

A felépített együttes osztályozót összehasonlítjuk egy referenciaként használt polinomiális tartóvektor-géppel. A kapott statisztikai és grafikus eredmények alább láthatóak.

20.4. ábra - Az együttes osztályozási modell és az SVM téves osztályozási rátája

Az együttes osztályozási modell és az SVM téves osztályozási rátája

20.5. ábra - Az együttes osztályozási modell és az SVM tévesztési mátrixa

Az együttes osztályozási modell és az SVM tévesztési mátrixa

20.6. ábra - Az együttes osztályozási modell és az SVM kumulatív lift görbéje

Az együttes osztályozási modell és az SVM kumulatív lift görbéje

20.7. ábra - Az együttes osztályozási modell, az SVM és a legjobb elméleti modell kumulatív lift görbéje

Az együttes osztályozási modell, az SVM és a legjobb elméleti modell kumulatív lift görbéje

20.8. ábra - Az együttes osztályozási modell és az SVM ROC görbéje

Az együttes osztályozási modell és az SVM ROC görbéje

Az eredmények értékelése

A kísérletből láthatjuk, hogy egyszerű osztályozók összekapcsolásával olyan osztályozóval szemben is versenyképes modellt kaphatunk mint a polinomiális SVM. A tévesztési mátrix világosan mutatja, hogy az együttes osztályozási modell jobb mint az SVM, de különösen jobb a hamis pozitív eseteken. A kumulatív lift görbék is enyhén az együttes modell mellett szólnak, és a ROC görbéje is kicsit az SVM-é felett halad.

Videó

Folyamat

sas_ensemble_exp1.xml

Kulcsszavak

együttes módszerek
felügyelt tanulás
SVM
téves osztályozási arány
ROC görbe
osztályozás

Operátorok

Data Source
Decision Tree
Ensemble
Model Comparison
Neural Network
Data Partition
Regression
Support Vector Machine