Considere a matrix A=\left[\begin{array}{cc}0.5 & -0.5 \\\\ 0.5 & -0.5 \\\\ 0.5 & 0.5 \\\\ 0.5 & 0.5\end{array}\right]
Resolva o problema de quadrados mínimos A x=b para cada um dos seguintes vetores b
A é 4\times2 (mais equações que incógnitas), logo em geral o sistema é sobredeterminado e procuramos x que minimize \|Ax-b\|_2.
Vamos precisar encontrar a solução de mínimos quadrados para cada b, ou seja, minimizar a norma do resíduo r=Ax-b.]
Passo 2
Que método vamos usar (explicação didática): a solução de mínimos quadrados minimiza \|Ax-b\|_2^2. Tomando derivada (ou exigindo que o resíduo seja ortogonal à coluna-espaço de A) chega-se às equações normais
A^{T}A x = A^{T}b.
Aqui A^{T}A é uma matriz 2\times2. Se A^{T}A for invertível, a solução de mínimos quadrados é única e dada por
x = (A^{T}A)^{-1} A^{T} b.
Uma observação prática muito útil: se as colunas de A são ortogonais e normadas (ortonormais), então A^{T}A=I e a solução simplifica para
Verificação rápida (ideia): como x=A^{T}b e A^{T}A=I, tem-se A^{T}(b-Ax)=A^{T}b-A^{T}A x=0, ou seja, o resíduo b-Ax é ortogonal às colunas de A, o que confirma que x é realmente a solução de mínimos quadrados.