1. Tekintsünk egy bináris osztályozási problémát a következő attribútumhalmazzal és attribútumértékekkel:
Légkondicionáló = { Működik, Hibás }
Motor = { Jó, Rossz }
Futott km = { Alacsony, Közepes, Magas }
Rozsda = { Igen, Nem }
Tegyük fel, hogy egy szabályalapú osztályozó a következő szabályhalmazt állítja elő:
Futott km
|
Futott km
|
Légkondicionáló
|
Légkondicionáló = Működik, Motor = Rossz
|
Légkondicionáló = Hibás
|
Egymást kölcsönösen kizáróak-e a szabályok?
Kimerítő-e a szabályhalmaz?
Szükséges-e a szabályhalmazhoz rendezés?
Szükséges-e a szabályhalmazhoz alapértelmezett osztály?
2. A RIPPER algoritmus (Cohen [4717]) egy korábbi, IREP nevű algoritmus (Fürnkranz és Widmer [4739]) kiterjesztése. Mindkét algoritmus a redukált hibanyesés (reduced-error pruning) módszert alkalmazza annak eldöntéséhez, hogy egy szabályt kell-e nyesni. A redukált hibanyesés módszer egy validációs halmazt használ egy osztályozó általánosítási hibájának becslésére. Tekintsük a következő szabálypárt:
|
|
Az
ahol
Tételezzük fel, hogy
Vegyünk egy 500 pozitív esetet és 500 negatív esetet
tartalmazó validációs halmazt. Az
Számolja ki
3. A C4.5rules egy döntési fából szabályokat generáló indirekt módszerek egy implementációja. A RIPPER a közvetlenül az adatokból szabályokat generáló direkt módszerek egy implementációja.
Fejtse ki mindkét módszer előnyeit és hátrányait.
Tekintsünk egy olyan adathalmazt, amelyben nagyon eltérő az osztályok mérete (azaz egyes oszályok sokkal nagyobbak a többinél). A C4.5rules és RIPPER közül melyik jobb a kis osztályokhoz nagypontosságú szabályok találása tekintetében?
4. Tekintsünk egy 100 pozitív esetet és 400 negatív esetet tartalmazó tanulóhalmazt. Határozza meg, hogy a
|
|
|
szabályjelöltek közül melyik a legjobb és legrosszabb az alábbiak szerint:
a szabály pontossága,
FOIL-féle információ-nyereség,
likelihood-hányados statisztika,
Laplace-mérték,
5. Az 5.4. ábra az
likelihood-hányados statisztika,
Laplace-mérték,
(c)
A szabály pontossága
A szabály pontossága
A szabály pontossága
6.
Tételezzük fel, hogy az alapképzésben résztvevő diákok
Az (a) részben adott információk mellett egy véletlenszerűen kiválasztott diák mesterszakos vagy alapképzésben vesz részt nagyobb valószínűséggel?
Ismételje meg a (b) részt, azt feltételezve, hogy a diák dohányzik.
Tételezzük fel, hogy a mesterszakos diákok
7. Tekintsük az 5.10. táblázatban látható adatokat.
5.10. táblázat - Adatok a 7. feladathoz
Rekord |
|
|
| Osztály |
1 | 0 | 0 | 0 |
|
2 | 0 | 0 | 1 |
|
3 | 0 | 1 | 1 |
|
4 | 0 | 1 | 1 |
|
5 | 0 | 0 | 1 |
|
6 | 1 | 0 | 1 |
|
7 | 1 | 0 | 1 |
|
8 | 1 | 0 | 1 |
|
9 | 1 | 1 | 1 |
|
10 | 1 | 0 | 1 |
|
Becsülje meg a
Használja fel a feltételes valószínűségek az előző kérdésben
megadott becsléseit egy (
Adja meg a feltételes valószínűségek becslését az
Ismételje meg a (b) részt a (c) részben megadott feltételes valószínűségek felhasználásával.
Hasonlítsa össze a valószínűségeket becslő két módszert. Melyik módszer jobb, és miért?
8. Tekintsük az 5.11. táblázatban látható adatokat.
5.11. táblázat - Adatok a 8. feladathoz
Példány |
|
|
| Osztály |
1 | 0 | 0 | 1 |
|
2 | 1 | 0 | 1 |
|
3 | 0 | 1 | 0 |
|
4 | 1 | 0 | 0 |
|
5 | 1 | 0 | 1 |
|
6 | 0 | 0 | 1 |
|
7 | 1 | 1 | 0 |
|
8 | 0 | 0 | 0 |
|
9 | 0 | 1 | 0 |
|
10 | 1 | 1 | 1 |
|
Becsülje meg a
Használja fel az (a) rész feltételes valószínűségeit egy
Hasonlítsa össze a
Ismételje meg a (c) részbeli elemzést P(A=1), P(B=0) és P(A=1, B=0) felhasználásával.
Hasonlítsa össze P(A=1, B=1 | Osztály =+)-t a P(A=1 | Osztály +=) és P(B=1 | Osztály =+) valószínűségekkel. Feltételesen függetlenek-e a változók, ha meg van adva az osztály?
9.
Magyarázza meg, hogy hogyan működik a naiv Bayes módszer az 5.46. ábrán látható adatokra.
Jobban teljesít-e a naiv Bayes módszer akkor, ha minden osztályt úgy osztunk tovább, hogy négy osztály lesz (A1, A2, B1 és B2)?
Hogyan teljesít egy döntési fa az adatokon a kétosztályos problémára? Mi a helyzet négy osztály esetén?
10. Ismételje meg 5.3.4. példában bemutatott elemzést a döntési határ helyének meghatározásához a következő információk felhasználásával:
(a) Az a priori valószínűségekre
(b) Az a priori valószínűségekre
(c) Az a priori valószínűségek megegyeznek, de a szórásuk
különböző, azaz
11. Az 5.47. ábra az 5.12. táblázatban látható adatok Bayes-féle bizonyossághálóját szemlélteti. (Tételezzük fel, hogy minden attribútum bináris.)
5.12. táblázat - Adatok a 11. feladathoz
Futott km | Motor | Légkondicionáló | Rekordok száma | Rekordok száma |
|
|
|
| |
Magas | Jó | Működik | 3 | 4 |
Magas | Jó | Hibás | 1 | 2 |
Magas | Rossz | Működik | 1 | 5 |
Magas | Rossz | Hibás | 0 | 4 |
Alacsony | Jó | Működik | 9 | 0 |
Alacsony | Jó | Hibás | 5 | 1 |
Alacsony | Rossz | Működik | 1 | 2 |
Alacsony | Rossz | Hibás | 0 | 2 |
Rajzolja fel a hálóban minden csúcshoz a valószínűségi táblát.
Használja a Bayes-féle hálót
12. Számolja ki a következő valószínűségeket az 5.48. ábrán adott Bayes-féle háló esetén:
Számítsa ki annak valószínűségét, hogy az autó elindul akkor, ha rossz az akkumulátor.
13. Tekintsük az 5.13. táblázatban látható egydimenziós adatokat.
5.13. táblázat - Adatok a 2. feladathoz
| 0,5 | 3,0 | 4,5 | 4,6 | 4,9 | 5,2 | 5,3 | 5,5 | 7,0 | 9,5 |
|
|
|
|
|
|
|
|
|
|
|
Osztályozza az
Ismételje meg az előző elemzést az 5.2.1. részben leírt távolsággal súlyozott szavazási módszer segítségével.
14. Az 5.2. szakaszban leírt legközelebbi szomszéd algoritmus
kiterjeszthető nominális attribútumok kezelésére is. Az algoritmus egy
PEBLS-nek (Parallel Examplar-Based Learning System) nevezett változata
(Cost és Salzberg [4719]) egy nominális attribútum két értékének
távolságát a módosított érték különbség metrika (MVDM -- modified value
difference metric) segítségével méri. Ha adott egy nominális
attribútumértékpár,
ahol
Tekintsük a hitel osztályozási problémához 5.3.2. ábrán látható
tanulóhalmazt. Használja az MVDM mértéket a Lakástulajdonos
és Családi állapot attribútumokra minden
attribútumértékpár közötti távolság kiszámításához.
15. Adja meg minden alábbi logikai függvényhez, hogy a probléma lineárisan szeparálható-e.
(a)
(b) NOT
(c) (
(d) (
16.
Mutassa be, hogy hogyan reprezentálhatók egy perceptron modell segítségével a két logikai változó közötti AND és OR függvények.
Értékelje lineáris függvények többrétegű neurális hálók aktivációs függvényeként történő használatának hátrányát.
17. Értékelje két osztályozási modell,
Az 5.14. táblázat mutatja a modellek teszthalmazra alkalmazásával
kapott a posteriori valószínűségeket. (Csak a pozitív osztály a
posteriori valószínűségeit láthatjuk.) Mivel ez egy kétosztályos
probléma,
5.14. táblázat - A posteriori valószínűségek a 17. feladathoz
Példány | Tényleges osztály |
|
|
1 |
| 0,73 | 0,61 |
2 |
| 0,69 | 0,03 |
3 |
| 0,44 | 0,68 |
4 |
| 0,55 | 0,31 |
5 |
| 0,67 | 0,45 |
6 |
| 0,47 | 0,09 |
7 |
| 0,08 | 0,38 |
8 |
| 0,15 | 0,05 |
9 |
| 0,45 | 0,01 |
10 |
| 0,35 | 0,04 |
Ábrázolja
Tételezzük fel, hogy a vágási küszöböt
Ismételje meg a (b) rész elemezését az
Ismételje meg a (b) részt az
18. A következő adatok két attribútumot (
30.5cm
| 30.5cm
| Példányok | |
száma | |||
|
|
| |
0 | 0 | 0 | 100 |
1 | 0 | 0 | 0 |
2 | 0 | 0 | 100 |
0 | 1 | 10 | 100 |
1 | 1 | 10 | 0 |
2 | 1 | 10 | 100 |
0 | 2 | 0 | 100 |
1 | 2 | 0 | 0 |
2 | 2 | 0 | 100 |
Az elgondolás az, hogy a ``+'' osztály az
Építsen egy döntési fát az adatokhoz. Eleget tesz-e a fa a ``
Mi a döntési fa pontossága, precizitása, felidézése és
Építsen egy új döntési fát a következő költségfüggvénnyel:
(Útmutatás: csak a régi döntési fa levélcsúcsait kell
megváltoztatni.) Eleget tesz-e a fa a ``
Mi az új döntési fa pontossága, precizitása, felidézése és
19.
Tekintsük egy kétosztályos probléma költségmátrixát. Legyen
Mutassa meg, hogy a költségmátrix skála-invariáns. Ha például
a költségmátrixot
Mutassa meg, hogy a költségmátrix eltolás-invariáns. Más szavakkal, egy konstans tényezőnek a költségmátrix minden eleméhez való hozzáadása nem befolyásolja a döntési küszöböt ((5.82) egyenlet).
20. Tekintsük egy osztályozó véletlen adatokból építésének
feladatát, ahol az attribútumértékeket véletlenszerűen generáljuk az
osztálycímkéktől függetlenül. Feltételezzük, hogy az adatok két
osztályból (``
Tegyük fel, hogy azonos számú pozitív és negatív rekord van az adatokban, és hogy a döntési fa osztályozó minden tesztrekordot pozitívként prediktál. Mi az osztályozó várható hibaaránya a tesztadatokon?
Ismételje meg az előző elemzést azt feltételezve, hogy az
osztályozó minden egyes tesztrekordot
Tegyük fel, hogy az adatok kétharmada tartozik a pozitív osztályhoz, és hogy a maradék egyharmad a negatív osztályhoz tartozik. Mi egy minden tesztrekordot pozitívként prediktáló osztályozó várható hibája?
Ismételje meg az előző elemzést azt feltételezve, hogy az
osztályozó minden egyes tesztrekordot
21. Vezesse le nem szeparálható adatokra a lineáris SVM duális Lagrange-függvényét, ahol a célfüggvény
22. Tekintsük az XOR problémát, ahol négy tanulópont van:
Transzformálja az adatokat a következő tulajdonságtérbe:
Határozza meg a transzformált térben a maximális margójú lineáris döntési határt.
23. Ha adottak az 5.49. ábrán látható adatok, magyarázza meg,
hogyan teljesítenének ezeken a döntési fa, naiv Bayes-féle és a