Os mínimos cadrados lineais é unha técnica de optimización matemática para encontrar unha solución aproximada dun sistema de ecuacións lineais que non ten solución exacta. Isto acostuma ocorrer se o número de ecuacións (m) é maior que o número de variables (n). (Véxase tamén regresión lineal.)

En termos matemáticos, queremos encontrar unha solución para a "ecuación"

${\displaystyle A\mathbf {x} \approx \mathbf {b} }$,

onde A é unha m-por-n matriz (con m > n) e x e b son vectores columna de dimensión n e m respectivamente. Quérese minimizar o cadrado da norma Euclídea dos residuos Ax − b, isto é, a cantidade

${\displaystyle \|A\mathbf {x} -\mathbf {b} \|^{2}=\left([A\mathbf {x} ]_{1}-\mathbf {b} _{1}\right)^{2}+\left([A\mathbf {x} ]_{2}-\mathbf {b} _{2}\right)^{2}+\dots +\left([A\mathbf {x} ]_{n}-\mathbf {b} _{n}\right)^{2},}$

onde [Ax]_i denota o i-ésimo compoñente do vector Ax. De aqui o nome "mínimos cadrados".

Dedúcese que o vector x que minimiza a expresión tamén resolve a ecuación normal

${\displaystyle A^{T}\!A\mathbf {x} =A^{T}\mathbf {b} ,}$

onde A^T é a trasposta de A. Nótese que isto se corresponde cun sistema de ecuacións lineais. A matriz A^TA na parte esquerda é unha matriz cadrada, a cal é invertible se A ten rango completo (isto é, o rango de A é n). Nese caso, a solución do sistema de ecuacións lineais é única e vén dada por

${\displaystyle \mathbf {x} =(A^{T}\!A)^{-1}A^{T}\mathbf {b} .}$

A matriz ${\displaystyle (A^{T}A)^{-1}A^{T}}$ chámase pseudo inversa de A. Non podemos utilizar a verdadeira matriz inversa de A (isto é, ${\displaystyle A^{-1}}$), xa que non existe porque A non é unha matriz cadrada (m ≠ n).

A ecuación normal pode resolverse como calquera outro sistema de ecuacións, un método eficiente e numericamente estable pode obterse se primeiro se calcula a descomposición QR da matriz A. Entón, con A = QR, onde Q é unha matriz ortogonal e R é unha matriz triangular superior, a ecuación normal simplifícase do seguinte xeito

${\displaystyle R\mathbf {x} =Q^{T}\mathbf {b} .}$

Outra posibilidade é usar unha descomposición en autovectores. Se ${\displaystyle A=U\Sigma V^{*}}$ é a descomposición de autovalores de A, entón a pseudo inversa da matriz A é

${\displaystyle (A^{T}A)^{-1}A^{T}=V\Sigma ^{+}U^{*},\,}$

onde Σ⁺ é a trasposta de Σ con cada entrada non cero substituída polo seu recíproco.

O método dos mínimos cadrados lineais pódese usar para atopar unha función afín Rⁿ → R que mellor axusta un conxunto de datos dado (véxase o método xeral dos mínimos cadrados). É amplo e erróneo a idea de que a palabra lineal no termo regresión lineal refírese á natureza lineal da función axustada.

Por exemplo

${\displaystyle y=\alpha +\beta x+\gamma x^{2}+\varepsilon }$

é un modelo de regresión lineal, na parte dereita é unha combinación lineal dos parámetros α, β, e γ; máis aínda, as estimación de mínimos cadrados destes parámetros son lineais no vector de valores y observados. Neste caso, é útil pensar en x² como unha nova variable independente, obtida modificando a variable orixinal x. Pero isto adóitase chamar un axuste cuadrático dun axuste polinomial de segundo grao.

Escribimos a función lineal que tentamos atopar como unha matriz 1-por-n x^T (polo tanto x é un vector columna, véxase tamén transformación lineal).

O conxunto de datos consiste en m (n + 1)-tuplas (x₁, ..., x_n, y). Pódense escribir nunha matriz m-por-n A e un vector b, onde toda tupla correspóndese cunha fila de A, a y que corresponde coa entrada en b.

Entón,

Ax ≈ b

da a función x que buscamos.

Considerar os puntos (0, 3), (2, 3), (4, 4), (−1, 2). Buscamos unha solución do tipo αx + β = y, isto é,

${\displaystyle {\begin{pmatrix}x&1\end{pmatrix}}{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}=y}$

Podemos escribir a matriz A:

${\displaystyle A={\begin{pmatrix}0&1\\2&1\\4&1\\-1&1\\\end{pmatrix}}}$

${\displaystyle A^{T}={\begin{pmatrix}0&2&4&-1\\1&1&1&1\end{pmatrix}}}$

${\displaystyle A^{T}A={\begin{pmatrix}21&5\\5&4\end{pmatrix}}}$

e o vector b

${\displaystyle \mathbf {b} ={\begin{pmatrix}3\\3\\4\\2\end{pmatrix}}}$

e entón

${\displaystyle A^{T}\mathbf {b} ={\begin{pmatrix}20\\12\end{pmatrix}}}$

Polo tanto, a ecuación normal é

${\displaystyle A^{T}A{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}=A^{T}\mathbf {b} }$

${\displaystyle {\begin{pmatrix}21&5\\5&4\end{pmatrix}}{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}={\begin{pmatrix}20\\12\end{pmatrix}}}$

Entón,

${\displaystyle (A^{T}A)^{-1}={1 \over 59}{\begin{pmatrix}4&-5\\-5&21\end{pmatrix}}}$

e

${\displaystyle {\begin{pmatrix}\alpha \\\beta \end{pmatrix}}={1 \over 59}{\begin{pmatrix}4&-5\\-5&21\end{pmatrix}}{\begin{pmatrix}20\\12\end{pmatrix}}={\begin{pmatrix}20/59\\152/59\end{pmatrix}}}$

e a liña de mellor axuste é (20/59)x + 152/59 = y.

• Regresión lineal