Neurális hálózatok

Fazekas István

Debreceni Egyetem, Informatikai Kar

A tananyag a TÁMOP-4.1.2.A/1-11/1-2011-0103 azonosítójú pályázat keretében valósulhatott meg.

Új Széchenyi Terv logó

Magyarország megújul logó

2013


Tartalom

Előszó
1. Bevezetés
2. A perceptron
A neuron sémája
Aktivációs függvények
A perceptron tanítása
A perceptron algoritmusának egy változata
A perceptron algoritmusának duális alakja
Lineáris regresszió
Feladatok
3. A többrétegű perceptron
A többrétegű perceptron felépítése
A többrétegű perceptron tanítása
A back-propagation eljárás variánsai és tulajdonságai
Az aktivációs függvény deriváltjáról
Az tanulási paraméter és a momentum konstans
Soros és kötegelt tanítás
Heurisztikus megjegyzések a back-propagation algoritmusról
Osztályozás több halmaz esetén
Az MLP mint univerzális approximátor
Általánosítás
A konjugált gradiens módszer
Kvázi Newton-módszerek
A Levenberg–Marquardt-eljárás
A hálózat metszése
Regularizáció
A Hesse-mátrixon alapuló metszés
Numerikus példák
Feladatok
4. A radiális bázis függvények
A szeparálás Cover-féle elmélete
A felület szeparáló képessége
Interpoláció radiális bázis függvényekkel
A Tyihonov-féle regularizáció
A regularizációs hálózat
Az általánosított RBF hálózat
Az RBF univerzális approximátor
A regularizációs paraméter meghatározása
Tanítási stratégiák
Magfüggvényes becslések
A sűrűségfüggvény magfüggvényes becslése
A regressziós függvény magfüggvényes becslése
Numerikus példák
Feladatok
5. A tartó vektor gépek
A tartó vektor gépek kialakulása
SVM osztályozásra
Az optimális hipersík a lineárisan szeparálható esetben
Az optimális hipersík a nem szeparálható esetben
Az SVM használata nem-lineáris szeparálásra
Az SVM tanítása
SVM regressziószámításra
Veszteségfüggvények
A lineáris regresszió
Nem-lineáris függvények közelítése
Többváltozós függvények közelítése
Numerikus példák
Feladatok
6. Appendix
Néhány matematikai fogalom
Vektorok és mátrixok
Differenciálszámítás
Mátrixok általánosított inverze és kvadratikus formák minimuma
Optimalizációs technikák
A gradiens módszer
A Newton-módszer
Kvázi Newton-módszerek
Levenberg–Marquardt-módszerek
A lineáris modell
A Gauss–Newton-módszer
Lineáris legkisebb négyzetes módszer
A Least-Mean-Square (LMS) módszer
A konjugált gradiens módszer
Feltételes szélsőérték problémák
Feladatok
7. Feladatok megoldása, útmutatások
2.7. Feladatok megoldása
3.6. Feladatok megoldása
4.7. Feladatok megoldása
5.5. Feladatok megoldása
6.5. Feladatok megoldása
Irodalomjegyzék