Explique o objetivo do Método dos Mínimos Quadrados. Por que ele busca minimizar a soma dos quadrados dos resíduos?

Passo 1

O enunciado pede duas coisas claras:
  1. Explicar qual é o objetivo do Método dos Mínimos Quadrados.
  2. Explicar por que esse método busca minimizar a soma dos quadrados dos resíduos.
Informações dadas (implícitas no enunciado): temos um conjunto de observações (dados) e queremos ajustar um modelo paramétrico para descrever esses dados; existe uma noção de “resíduo” (diferença entre observado e previsto) que será usada para avaliar o ajuste.

Passo 2

O que é um resíduo e como formalizamos o problema (passo bem simples).
Suponha que temos n observações (x_1,y_1),\dots,(x_n,y_n) e um modelo com parâmetros \theta que prediz valores \hat y_i=f(x_i;\theta).
Definimos o resíduo de cada ponto como
r_i = y_i - \hat y_i = y_i - f(x_i;\theta),
ou seja, r_i é o “erro” do modelo no ponto i. O objetivo de ajuste é escolher \theta para que esses resíduos sejam, de algum modo, “pequenos”. O Método dos Mínimos Quadrados (MMQ) escolhe \theta minimizando a soma dos quadrados desses resíduos:
S(\theta)=\sum_{i=1}^{n} r_i^2 = \sum_{i=1}^{n} \bigl(y_i - f(x_i;\theta)\bigr)^2.

Passo 3

Por que não usar só a soma dos resíduos (sem quadrado)?
Se tentássemos minimizar \sum r_i teríamos problemas óbvios: resíduos positivos e negativos podem se cancelar, dando a falsa impressão de bom ajuste mesmo quando os erros são grandes. Precisamos de uma medida que capture a magnitude dos erros e que não permita cancelamento por sinais.
Duas escolhas naturais para medir magnitude são o valor absoluto \sum |r_i| e a soma dos quadrados \sum r_i^2. Ambas evitam cancelamento; a diferença prática vem das propriedades matemáticas e estatísticas (vemos isso nos passos seguintes).

Passo 4

Vantagens matemáticas da soma dos quadrados (intuição e cálculo).
  • A função S(\theta)=\sum r_i^2 é geralmente diferenciável (suave) em \theta, o que permite usar cálculo (derivadas) para achar mínimos.
  • Para muitos modelos lineares em parâmetros, S(\theta) é uma função quadrática convexa, então existe um único mínimo global — ótimo para estabilidade e cálculo.
  • Derivar as condições de mínimo leva a equações lineares (as equações normais) que podemos resolver explicitamente sem métodos iterativos complicados.
Vou mostrar isso num exemplo simples: ajuste linear com dois parâmetros \theta=(a,b) e modelo \hat y_i = a + b x_i. Temos
S(a,b)=\sum_{i=1}^n \bigl(y_i - a - b x_i\bigr)^2.
Para minimizar, calculamos derivadas parciais e anulamos:
\frac{\partial S}{\partial a} = -2\sum_{i=1}^n \bigl(y_i - a - b x_i\bigr)=0,
\frac{\partial S}{\partial b} = -2\sum_{i=1}^n x_i\bigl(y_i - a - b x_i\bigr)=0.
Essas duas equações são as equações normais e podem ser rearranjadas em:
\sum_{i=1}^n (y_i - a - b x_i)=0,\qquad \sum_{i=1}^n x_i(y_i - a - b x_i)=0.
Depois de manipular (explicito rapidamente os passos): defina \bar x=\dfrac{1}{n}\sum x_i e \bar y=\dfrac{1}{n}\sum y_i. Resolvem-se para
b = \frac{\sum_{i=1}^n (x_i-\bar x)(y_i-\bar y)}{\sum_{i=1}^n (x_i-\bar x)^2}, \qquad a = \bar y - b\bar x.
Essas fórmulas são fáceis de calcular à mão (só somas e produtos) e mostram a praticidade do critério quadrático.

Passo 5

Interpretação geométrica (muito intuitiva e poderosa).
Coloquemos tudo em álgebra linear. Defina o vetor \mathbf{y}=(y_1,\dots,y_n)^\top, a matriz de projeto \mathbf{X} (cada linha contém as funções dos x_i que multiplicam parâmetros) e o vetor de parâmetros \boldsymbol{\beta} (no caso linear \boldsymbol{\beta}=(a,b)^\top). O modelo é
\mathbf{\hat y} = \mathbf{X}\boldsymbol{\beta}, \qquad \mathbf{r}=\mathbf{y}-\mathbf{X}\boldsymbol{\beta}.
Minimizar a soma dos quadrados é minimizar a norma ao quadrado do vetor residual:
S(\boldsymbol{\beta})=\|\mathbf{r}\|^2 = \|\mathbf{y}-\mathbf{X}\boldsymbol{\beta}\|^2.
Geometricamente isso significa: buscamos o ponto \mathbf{X}\boldsymbol{\beta} dentro do subespaço coluna de \mathbf{X} que fica mais próximo de \mathbf{y} em distância euclidiana. O ponto mais próximo é a projeção ortogonal de \mathbf{y} sobre a coluna de \mathbf{X}. A condição de mínimo dá
\mathbf{X}^\top(\mathbf{y}-\mathbf{X}\boldsymbol{\beta})=\mathbf{0},
ou seja, o vetor residual é ortogonal a todas as colunas de \mathbf{X}. Essa interpretação explica intuitivamente “por que quadrados”: a distância euclidiana (norma 2) é a medida natural de comprimento/vizinhança no espaço euclidiano.

Passo 6

Justificação estatística (caso de erros aleatórios Gaussianos).
Suponha um modelo estatístico simples:
y_i = f(x_i;\theta) + \varepsilon_i,
onde os erros \varepsilon_i são independentes, com média zero e mesma variância \sigma^2. Se ainda assumirmos que \varepsilon_i \sim \mathcal{N}(0,\sigma^2) (gaussianos), então a verossimilhança dos dados é
L(\theta) \propto \prod_{i=1}^n \exp\Bigl(-\frac{(y_i-f(x_i;\theta))^2}{2\sigma^2}\Bigr) = \exp\Bigl(-\frac{1}{2\sigma^2}\sum_{i=1}^n (y_i-f(x_i;\theta))^2\Bigr).
Maximizar L(\theta) equivale a minimizar \sum (y_i-f(x_i;\theta))^2. Portanto, quando os erros são gaussianos, o MMQ coincide com o estimador de máxima verossimilhança — isto é uma forte justificativa probabilística para minimizar soma dos quadrados.

Passo 7

Propriedades ótimas sob condições clássicas (Gauss–Markov).
Sem precisar da hipótese de normalidade, se os erros têm média zero, variância constante (homocedasticidade) e são não correlacionados, então o estimador por mínimos quadrados ordinários é o melhor entre todos os estimadores lineares e não-viesados: ele tem a menor variância possível entre esses estimadores lineares (essa é a afirmação do Teorema de Gauss–Markov). Em linguagem simples: entre os estimadores lineares que acertam, em média, o parâmetro correto, o MMQ dá o menor “dispersão” nas estimativas.

Passo 8

Limitações e trade-offs — por que às vezes não usamos quadrados.
  • Sensibilidade a outliers: o quadrado penaliza erros grandes muito fortemente, então um outlier pode puxar muito o ajuste.
  • Alternativas: minimizar \sum |r_i| (regressão por mínimos absolutos) é mais robusta a outliers; perdas como Huber combinam as duas ideias.
    Mesmo assim, por razões computacionais, teóricas (propriedades óptimas) e pela interpretação geométrica, \sum r_i^2 permanece a escolha padrão em muitos problemas.

Passo 9

Resumo didático, com um pequeno esquema mental para a prova:
  • Defina resíduos r_i = y_i - f(x_i;\theta).
  • Explique que queremos uma medida de tamanho dos erros que não cancele sinais: \sum r_i^2 faz isso.
  • Mostre que é conveniente matematicamente (diferenciável, leva a equações lineares no caso linear).
  • Mostre a interpretação geométrica (projeção ortogonal, minimiza distância euclidiana).
  • Mostre a justificativa estatística (MLE para erros gaussianos) e a propriedade Gauss–Markov (BLUE).
  • Aponte limitações (sensibilidade a outliers) e alternativas quando necessário.

Resposta

Objetivo: Escolher os parâmetros do modelo de modo que a soma das discrepâncias ao quadrado entre os valores observados e os previstos, \sum_{i=1}^n (y_i-f(x_i;\theta))^2, seja mínima, isto é, obter o ajuste que fica mais próximo dos dados em distância euclidiana (projeção ortogonal no espaço das observações).
Por que minimizar a soma dos quadrados dos resíduos: porque evitar o cancelamento de sinais, obter uma função de custo diferenciável e convexa (fácil de otimizar, levando às equações normais), interpretar estatisticamente como MLE quando os erros são gaussianos e garantir propriedades ótimas (BLUE) sob as hipóteses clássicas; além disso, a penalização quadrática dá maior peso a grandes erros, o que pode ser desejável ou não dependendo do contexto.

Exercícios relacionados