A legkisebb négyzetes módszerek arra is alkalmasak, hogy más, lineáristól eltérő modelleket találjunk SSE minimalizálására. Ha például a regressziós modell

y=f(x,Ω)+ε (D.29)

= ω 0 + ∑ i ω i g i (x)+ε (D.30)

alakú, és a véletlen zaj normális eloszlású, akkor a fentiekhez hasonló módszerrel határozhatjuk meg az Ω paramétervektort. A g i függvények bázisfüggvények bármely típusai lehetnek, polinomok, magfüggvények és egyéb, nemlineáris függvények is.

Tegyük fel például, hogy x egy kétdimenziós jellemző vektor és a regressziós modell egy másodfokú, kétváltozós polinom:

f( x 1 , x 2 ,Ω)= ω 0 + ω 1 x 1 + ω 2 x 2 + ω 3 x 1 x 2 + ω 4 x 1 2 + ω 5 x 2 2 . (D.31)

Ha megkonstruáljuk az

X=( 1 x 11 x 12 x 11 x 12 x 11 2 x 22 2 1 x 21 x 22 x 21 x 22 x 21 2 x 22 2 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 1 x N1 x N2 x N1 x N2 x N1 2 x N2 2 ), (D.32)

modell mátrixot, ahol x ij az i -edik megfigyelés j -edik attribútuma, akkor a regressziós probléma ekvivalens a (D.26) egyenlet megoldásával. A legkisebb négyzetes megoldás Ω -ra a (D.27) egyenletben adott. A modell mátrix megfelelő megválasztásával a módszert kiterjeszthetjük bármilyen bázisfüggvény-típusra.