Többváltozós lineáris regresszió

A normálegyenletek egy kompaktabb alakban is felírhatóak a következő mátrix jelölés segítségével. Legyen X=(1x) , ahol 1= (1,1,1,) T és x= ( x 1 , x 2 ,, x N ) T . Ekkor megmutatható, hogy

X T X=( 1 T 1 1 T x x T 1 x T x )=( N i x i i x i i x i 2 ), (D.24)

amely ugyanaz, mint a normálegyenlet bal oldali mátrixa. Hasonlóan, ha y= ( y 1 , y 2 ,, y N ) T , akkor

( 1 x ) T y=( 1 T y x T y )=( i y i i x i y i ), (D.25)

amely viszont ugyanaz, mint a normálegyenlet jobb oldali mátrixa. A (D.24) és (D.25) egyenleteket a (D.6) egyenletbe helyettesítve a következőt nyerjük:

X T XΩ= X T y, (D.26)

ahol Ω= ( ω 0 , ω 1 ) T . Ez Ω -ra megoldható:

Ω= ( X T X) 1 X T y. (D.27)

A fenti jelölés azért hasznos, mert segítségével könnyű a lineáris regressziós modellt több változóra kiterjeszteni. Ugyanis ha az ( x 1 , x 2 ,, x d ) attribútumhalmaz d magyarázó attribútumot tartalmaz, X egy N×d -s modell (design) mátrix lesz:

X=( 1 x 11 x 12 x 1d 1 x 21 x 22 x 2d 1 x N1 x N2 x Nd ), (D.28)

míg Ω= ( ω 0 , ω 1 ,, ω d1 ) T egy d -dimenziós vektor. A paraméterek a (D.26) mátrixegyenlet megoldásával számíthatók ki.