Egyes adathalmazok tartalmazhatnak mérési hibákat x -ben és y -ban. Ráadásul lehetnek egyéb olyan zavaró tényezők, melyek hatnak az y függő változóra, de a modell leírásában nem szerepelnek. Ezen okok miatt az y függő változó nemdeterminisztikus is lehet, vagyis még ugyanolyan x attribútumhalmaz mellett is lehetnek különbözőek az értékei.

Ezt a helyzetet modellezhetjük valószínűségi alapokon úgy, hogy y -t valószínűségi változónak tekintjük:

y=f(x)+[y−f(x)]

=f(x)+ε. (D.12)

Mind a mérésből, mind a modell sajátságaiból eredő hiba az ε véletlen zajnak nevezett változóba olvasztható. A véletlen zajt általában a többi változótól függetlennek és adott eloszlásúnak tekintjük.

Ha például a véletlen zaj nulla várható értékű, σ 2 szórásnégyzetű normális eloszlásból származik, akkor

P(ε|x,Ω)= 1 2π σ 2 exp − [y−f(x,Ω)] 2 2 σ 2 , (D.13)

log[P(ε|x,Ω)]=− 1 2 (y−f(x,Ω)) 2 +konstans. (D.14)

Ez az elemzés mutatja, hogy [y−f(x,Ω)] 2 minimalizálása implicit módon feltételezi, hogy a véletlen zaj normális eloszlásból jön. Az is megmutatható továbbá, hogy az f(x,Ω)= y ¯ konstans modell az, amely minimalizálja az ilyen típusú hibát ( y ¯ az átlag).

Egy másik, zajra vonatkozó tipikus valószínűségi modell a Laplace-eloszlást használja:

P(ε|x,Ω)=c exp −c|y−f(x,Ω)| (D.15)

log[P(ε|x,Ω)]=−c|y−f(x,Ω)|+konstans (D.16)

Eszerint az |y−f(x,Ω)| abszolút hiba minimalizálása implicite feltételezi, hogy a véletlen zaj ténylegesen Laplace eloszlásból jön. Ebben az esetben a f(x,Ω)= y ̃ a legjobb konstans modell ( y ̃ az y mediánja).

Az SSE mellett (lásd (14.4) egyenletet) két másik típusú hibát is definiálhatunk:

SST= ∑ i ( y i − y ¯ ) 2 , (D.17)

SSM= ∑ i (f( x i )− y ¯ ) 2 , (D.18)

ahol SST a teljes négyzetösszeg, SSM pedig a regressziós négyzetösszeg. SST az előrejelzés hibája abban az esetben, amikor az y ¯ átlagot használjuk a függő változó becslésére. SSM pedig magának a regressziós modellnek a hibája. Az SST , SSE és SSM közötti összefüggés az alábbi:

SSE= ∑ i [ y i − y ¯ + y ¯ −f( x i )] 2

= ∑ i [ y i − y ¯ ] 2 + ∑ i [f( x i )− y ¯ ] 2 +2 ∑ i ( y i − y ¯ )( y ¯ −f( x i ))

= ∑ i [ y i − y ¯ ] 2 + ∑ i [f( x i )− y ¯ ] 2 −2 ∑ i ( y i − y ¯ ) ω 1 ( x i − x ¯ )

= ∑ i [ y i − y ¯ ] 2 + ∑ i [f( x i )− y ¯ ] 2 −2 ∑ i ω 1 2 ( x i − x ¯ ) 2

= ∑ i [ y i − y ¯ ] 2 − ∑ i [f( x i )− y ¯ ] 2

=SST−SSM, (D.19)

ahol az átalakítások során a következő azonosságokat használtuk:

y ¯ −f( x i )=− ω 1 ( x i − x ¯ )

∑ i [ y i − y ¯ ][ x i − x ¯ ]= σ xy   =   ω 1 σ xx   =   ω 1 ∑ i [ x i − x ¯ ] 2 .

Így tehát azt az összefüggést nyertük, hogy SST=SSE+SSM .

Az illeszkedés jóságának mérésére például a következő mennyiséget használhatjuk:

R 2 = SSM SST = ∑ i [f( x i )− y ¯ ] 2 ∑ i [ y i − y ¯ ] 2 . (D.20)

Az R 2 (vagy determinációs együttható, coefficient of determination) regressziós modell esetén 0 és 1 között változik. Értéke akkor van közel egyhez, ha a függő változóban megfigyelt variabilitás nagy része a regressziós modellel magyarázható.

Az R 2 kapcsolatban áll az r korrelációs együtthatóval is. Utóbbi a magyarázó változó és a függő változó közötti lineáris kapcsolat erősségét méri:

r= σ xy σ xx σ xy . (D.21)

(D.9), (D.10) és (D.11) alapján

R 2 = ∑ i [f( x i )− y ¯ ] 2 ∑ i [ y i − y ¯ ] 2

= ∑ i [ σ xy σ xx ( x i − x ¯ )] 2 σ yy

= σ xy 2 σ xx 2 σ yy ∑ i ( x i − x ¯ ) 2

= σ xy 2 σ xx 2 σ yy σ xx

= σ xy 2 σ xx σ yy . (D.22)

A fenti sorok azt mutatják, hogy a korrelációs együttható megegyezik a determinációs együttható négyzetgyökével (kivéve az előjelet, mely a függőség irányától függ).

Érdemes megjegyezni, hogy R 2 értéke növekszik, ha újabb magyarázó változót adunk a modellhez. Ilyen esetben R 2 értékének korrigálására egy lehetséges mód az igazított R 2 bevezetése:

Igazított   R 2 =1−( N−1 N−d )(1− R 2 ), (D.23)

ahol N az adatpontok száma, d+1 a regressziós modell paramétereinek száma.