A. függelék - A Lineáris algebra

Euklideszi térben -- csakúgy, mint a jól ismert két- és háromdimenziós térben -- a vektor olyan mennyiség, melynek hossza és iránya van. A vektorokat hagyományosan nyilakkal szemléltetjük, melyek hossza a vektor hosszával egyenlő, és a nyíl a vektor irányába ,,mutat''. Az A.1 (a) ábra két vektort szemléltet: az u vektor 1 hosszúságú és az y tengellyel párhuzamos, a v pedig 2 hosszúságú, és 45   ∘ -os szöget zár be az x tengellyel. (Vektorok jelölésére félkövér kisbetűket -- mint például u és v -- fogunk használni. Gyakori még a dőlt kisbetűs jelölés: u , v .) Mivel a tér egy pontját úgy is tekinthetjük, mint az origóból induló ide történő elmozdulást, a pontok is ábrázolhatóak vektorként. A vektor ilyenkor az origóból a pontba mutat.

Vektorokon különféle műveletek végezhetők. (A következőkben feltételezzük, hogy a vektorok ugyanabban a térben vannak, vagyis dimenziójuk megegyezik.) Például összeadhatjuk őket, és kivonhatjuk őket egymásból. Ezek a műveletek legjobban grafikusan szemléltethetők. A két eljárást rendre az A.1. (b) és az A.1. (c) ábrák mutatják. A számok összeadásához hasonlóan a vektorok összeadása is eleget tesz néhány jól ismert szabálynak. Ha u , v és w három vektor, akkor ezek a szabályok a következők:

Másik fontos művelet a vektorok számmal való szorzása. A lineáris algebra szóhasználatával élve ezeket a számokat skalárnak nevezzük. A skalárral való szorzás megváltoztatja a vektor hosszát; az iránya változatlan marad, ha a skalár pozitív és megfordul, ha negatív. Ha u és v két vektor, α és β pedig skalárok (azaz számok), akkor a skalárral való szorzás tulajdonságai a következők:

A vektortér vektorok egy halmaza a skalárok halmaza (például a valós számok) ,,felett'', mely a fent említett tulajdonságokkal rendelkezik, továbbá zárt az összeadásra és skalárral való szorzásra nézve. (Zártság alatt azt értjük, hogy minden vektorösszeadás és/vagy skalárral való szorzás eredménye egy, az eredeti halmazban levő vektor.) A vektortereknek megvan az a tulajdonsága, hogy minden vektor előállítható vektorok egy kis halmazának, melyet bázisnak nevezünk, lineáris kombinációjaként. Pontosabban, ha u 1 ,…, u n bázisvektorok, akkor minden v vektorhoz találhatunk α 1 ,…, α n skalárokat, hogy v= ∑ i=1 n α i u i . Ha ez teljesül, akkor azt mondjuk, hogy a bázisvektorok kifeszítik a teret. Egy vektortér dimenziója alatt azt a legkisebb számot értjük, ahány vektor kell egy bázis képzéséhez. A bázisvektorok tipikusan úgy vannak megválasztva, hogy hosszuk egységnyi legyen. (Ilyen választással mindig élhetünk.)

A bázisvektorok általában merőlegesek egymásra. A vektorok merőlegessége a kétdimenziós hagyományos merőlegesség-fogalom kiterjesztése, később pontosabban definiáljuk. Fogalmilag a merőleges vektorok függetlenek, nincs közöttük kapcsolat. Ha a bázisvektorok kölcsönösen merőlegesek, akkor egy vektort ezen bázis lineáris kombinációjaként előállítva lényegében a vektornak egy független koordinátákra való felbontását nyerjük.

Így egy n -dimenziós tér vektorai n darab skalárként (másképpen mondva skalár n -esként) foghatók fel. Hogy egy konkrét szemléltetést adjunk, tekintsük a kétdimenziós euklideszi teret. Ebben minden pont egy origóból induló elmozdulásvektorral ábrázolható. Az elmozdulás felírható x irányú és y irányú elmozdulások összegeként, amelyek a pontnak rendre éppen az x és y koordinátái.

Egy v vektor koordinátáira a v=( v 1 , v 2 ,…, v n−1 , v n ) jelöléssel hivatkozunk. (A v= ∑ i=1 n α i u i , v i = α i egyenletre utalva.) Jegyezzük meg, hogy v i a v egy koordinátája, míg u i egy vektorokból álló halmaz (egészen pontosan a bázis) eleme.

A koordináták használata nagyban megkönnyíti a vektorműveletek megértését, hiszen két vektor összeadása egyszerűen a koordinátáik összeadását jelenti. Például (2,3)+(4,2)=(6,5) . Skalárral való szorzás esetén minden koordinátát megszorzunk a skalárral, például 3*(2,3)=(6,9) .

Most precízen definiáljuk, mit jelent két vektor ortogonalitása. Az egyszerűség kedvéért euklideszi terekre szorítkozunk, bár a definíciók és a kapott eredmények könnyen általánosíthatóak. Két vektor belső szorzatának értelmezésével kezdjük.

A.1. Definíció

(Skalárszorzat) Két vektor, u és v belső szorzatát -- illetve skaláris szorzatát, vagy skalárszorzatát -- u⋅v módon jelöljük, és az

u⋅v= ∑ i=1 n u i v i . (A.1.1)

módon értelmezzük. Szavakkal kifejezve, két vektor belső szorzatát úgy számítjuk ki, hogy a megfelelő koordinátáikat összeszorozzuk és a szorzatokat összeadjuk. Például: (2,3)⋅(4,1)=2*4+3*1=11 .

Megmutatható, hogy euklideszi térben két vektor belső szorzata pontosan akkor 0, ha merőlegesek. Geometriailag ez azt jelenti, hogy a skaláris szorzat 0 volta egyenértékű azzal, hogy a két vektor egy síkot határoz meg, és az ott közbe zárt szögük 90   ∘ . Ilyenkor azt mondjuk, hogy a két vektor merőleges -- másképpen ortogonális -- egymásra.

A belső szorzat arra is alkalmas, hogy vele vektorok hosszát számítsuk ki. Nevezetesen, hossz( u ) = u⋅u . A hosszt gyakran L 2 -normának is nevezik és az ∥u∥ jelölést használják. Ha adott egy u vektor, könnyen tudunk olyan vektort konstruálni, amely ugyanabba az irányba mutat mint u , de a hossza egységnyi. Ehhez osszuk el u -t a hosszával: u/∥u∥ . Ebben az esetben azt mondjuk, hogy normalizáltuk az u vektort és eredményül olyan vektort kaptunk, melynek az L 2 -normája 1.

Miután adott a norma fogalma, a belsőszorzatot a következőképpen is írhatjuk:

u⋅v=∥u∥∥v∥cos(θ), (A.2)

ahol θ a két vektor által közbezárt szög. Csoportosítással és átrendezéssel a következőt kapjuk:

u⋅v=(∥v∥cos(θ))∥u∥= v u ∥u∥, (A.3)

ahol v u =∥v∥cos(θ) a v vektornak az u irányába eső vetületét adja meg, amint az fig:vector_orthogonal_projection. ábrán látható. Ha u egységnyi hosszúságú vektor (ilyenkor röviden csak egységvektornak nevezzük), akkor a skalárszorzat v -nek az u irányába eső koordinátája. Ezt v u -ra eső merőleges vetületének nevezzük. Természetesen ha v az egységvektor, akkor a skalárszorzat ebben az esetben u -nak a v -re eső merőleges vetülete.

Egy fontos következménye az eddig elmondottaknak, hogy ha adott 1 normájú, páronként merőleges vektoroknak egy bázist alkotó halmaza, akkor bármely vektor erre a bázisra vonatkozó koordinátáit meg tudjuk határozni, ha képezzük ennek a vektornak a bázis elemeivel vett belső szorzatát.

Az ortogonalitással szorosan összefüggő fogalom a lineáris függetlenség.

A.2. Definíció

(Lineáris függetlenség) Vektorok egy halmaza lineárisan független, ha egyik vektort sem tudjuk felírni a többi vektor lineáris kombinációjaként.

Ha egy vektorhalmaz nem lineárisan független, akkor azt mondjuk, hogy lineárisan függő. Fontos megjegyezni, hogy a bázisvektorok halmazába csak olyan vektorokat kívánunk beletenni, melyek nem függenek lineárisan a többi bázisvektortól. Ugyanis ha az adott vektor függene az előzőektől, akkor ezen vektor elhagyható lenne a bázisból, és a fennmaradó vektorok önmagukban is kifeszítenék az egész teret. Ha bázisunk elemeinek csupa páronként merőleges vektort választunk, akkor automatikusan lineárisan független halmazt nyerünk, hiszen bármely két egymásra merőleges vektor egyben lineárisan független is.

Bár a vektorok eredetileg az erő, sebesség és gyorsulás könnyebb tárgyalása miatt lettek bevezetve, hasznosnak bizonyultak más típusú adatok ábrázolásában és megértésében is. Gyakran tekintünk úgy egy adatobjektumra vagy egy attribútumra mint vektorra. DataChapter. A 2.fejezetben például olyan adatállományt tárgyaltunk, mely 150 írisz négy jellemzőjét tartalmazta: a sziromlevelek és csészelevelek hosszát és szélességét. Minden virág tekinthető úgy, mint egy négydimenziós vektor, és minden virágjellemző felfogható egy 150 dimenziós vektorként. Egy másik példa: egy dokumentum is értelmezhető vektorként, ahol az egyes koordináták egy-egy szónak felelnek meg és a koordináták értéke az a szám, ahányszor a dokumentum az adott szót tartalmazza. Ez egy nagyon ritka, nagydimenziós vektort eredményez. A ritka alatt itt azt értjük, hogy a koordináták nagy többségének 0 az értéke.

Ha már adatainkat vektorként ábrázoljuk, különböző műveleteket végezhetünk rajtuk. Például különböző vektorműveletekkel kiszámíthatjuk vektoraink hasonlóságát vagy távolságát. Két vektor úgynevezett koszinusz-hasonlósága a következő képlettel adható meg:

cos(u,v)= u ∥u∥ ⋅ v ∥v∥ . (A.4)

Ez a hasonlóság-fogalom nem veszi figyelembe a vektorok hosszát, csak azt, hogy milyen mértékben mutatnak egy irányba. A dokumentum példájánál maradva, két dokumentum ebben az értelemben akkor hasonló, ha ugyanazokat a szavakat ugyanabban az arányban tartalmazzák. Azok a kifejezések, melyek nem jelennek meg közösen mindkét dokumentumban, nem játszanak szerepet a hasonlóság számításában.

Hasonlóan egyszerűen definiálható két vektor (vagy pont) közötti távolság. Ha u és v vektorok, akkor közöttük az euklideszi távolságot a

d(u,v)= (u−v)⋅(u−v) (A.5)

kifejezés adja meg. Ez megfelelőbb az írisz adatok esetében, hiszen az egyes levélméretek mint koordináták szerepet játszanak a virágok hasonlóságának mérésénél.

Vektoros adatok esetén van értelme vektorok egy halmazának valamilyen középértékét kiszámítani, melyet az egyes koordináták közepének kiszámításával hajtunk végre. Néhány klaszterező eljárás, úgy mint a K -közép algoritmus (lásd a 8. fejezetet), úgy működik, hogy az adatokat csoportokba (klaszterekbe) sorolja, és minden klasztert a benne szereplő adatok (vektorok) közepével jellemez. A jó klaszterezés ötlete az, hogy az egy klaszterbe sorolt adatok közel vannak a középhez, ahol a közelséget (távolságot) az euklideszi távolság -- mint az írisz esetében -- vagy a koszinusz hasonlóság -- mint a dokumentumok esetében -- méri.

Adatokon végzett egyéb műveletek is felfoghatók vektorokon végzett műveletekként. Tekintsük például a dimenzió redukciót. A legegyszerűbb megközelítést alapul véve, az adatvektorból néhány koordinátát elhagyunk, míg a többit változatlanul hagyjuk. Más dimenzió redukciós módszerek a koordináták (attribútomok) olyan új halmazát eredményezik, melyek a korábbiak lineáris kombinációi. Megint más eljárások bonyolultabb módokon változtatják a vektorokat. A dimenzió redukció további tárgyalása a B. függelékben található.

Az adatelemzés bizonyos területein, mint például a statisztikában, az elemzési módszerek adatvektorokon és adatvektorokat tartalmazó mátrixokon értelmezett matematikai műveleteken alapulnak. Így a vektoros reprezentáció erőteljes matematikai eszközök bevetését teszi lehetőve az adatok ábrázolásához, transzformálásához és elemzéséhez.

A függelék fennmaradó részében a mátrixok megismerésével tesszük teljessé a tárgyalást.