Explique o objetivo do Método dos Mínimos Quadrados. Por que ele busca minimizar a soma dos quadrados dos resíduos?
Passo 1
O enunciado pede duas coisas claras:
- Explicar qual é o objetivo do Método dos Mínimos Quadrados.
- Explicar por que esse método busca minimizar a soma dos quadrados dos resíduos.
Informações dadas (implícitas no enunciado): temos um conjunto de observações (dados) e queremos ajustar um modelo paramétrico para descrever esses dados; existe uma noção de “resíduo” (diferença entre observado e previsto) que será usada para avaliar o ajuste.
Passo 2
O que é um resíduo e como formalizamos o problema (passo bem simples).
Suponha que temos observações
e um modelo com parâmetros
que prediz valores
.
Definimos o resíduo de cada ponto como
Suponha que temos
Definimos o resíduo de cada ponto como
ou seja,
é o “erro” do modelo no ponto
. O objetivo de ajuste é escolher
para que esses resíduos sejam, de algum modo, “pequenos”. O Método dos Mínimos Quadrados (MMQ) escolhe
minimizando a soma dos quadrados desses resíduos:
Passo 3
Por que não usar só a soma dos resíduos (sem quadrado)?
Se tentássemos minimizar teríamos problemas óbvios: resíduos positivos e negativos podem se cancelar, dando a falsa impressão de bom ajuste mesmo quando os erros são grandes. Precisamos de uma medida que capture a magnitude dos erros e que não permita cancelamento por sinais.
Se tentássemos minimizar
Duas escolhas naturais para medir magnitude são o valor absoluto
e a soma dos quadrados
. Ambas evitam cancelamento; a diferença prática vem das propriedades matemáticas e estatísticas (vemos isso nos passos seguintes).
Passo 4
Vantagens matemáticas da soma dos quadrados (intuição e cálculo).
- A função
é geralmente diferenciável (suave) em , o que permite usar cálculo (derivadas) para achar mínimos. - Para muitos modelos lineares em parâmetros,
é uma função quadrática convexa, então existe um único mínimo global — ótimo para estabilidade e cálculo. - Derivar as condições de mínimo leva a equações lineares (as equações normais) que podemos resolver explicitamente sem métodos iterativos complicados.
Vou mostrar isso num exemplo simples: ajuste linear com dois parâmetros
e modelo
. Temos
Para minimizar, calculamos derivadas parciais e anulamos:
Essas duas equações são as equações normais e podem ser rearranjadas em:
Depois de manipular (explicito rapidamente os passos): defina
e
. Resolvem-se para
Essas fórmulas são fáceis de calcular à mão (só somas e produtos) e mostram a praticidade do critério quadrático.
Passo 5
Interpretação geométrica (muito intuitiva e poderosa).
Coloquemos tudo em álgebra linear. Defina o vetor , a matriz de projeto
(cada linha contém as funções dos
que multiplicam parâmetros) e o vetor de parâmetros
(no caso linear
). O modelo é
Coloquemos tudo em álgebra linear. Defina o vetor
Minimizar a soma dos quadrados é minimizar a norma ao quadrado do vetor residual:
Geometricamente isso significa: buscamos o ponto
dentro do subespaço coluna de
que fica mais próximo de
em distância euclidiana. O ponto mais próximo é a projeção ortogonal de
sobre a coluna de
. A condição de mínimo dá
ou seja, o vetor residual é ortogonal a todas as colunas de
. Essa interpretação explica intuitivamente “por que quadrados”: a distância euclidiana (norma 2) é a medida natural de comprimento/vizinhança no espaço euclidiano.
Passo 6
Justificação estatística (caso de erros aleatórios Gaussianos).
Suponha um modelo estatístico simples:
Suponha um modelo estatístico simples:
onde os erros
são independentes, com média zero e mesma variância
. Se ainda assumirmos que
(gaussianos), então a verossimilhança dos dados é
Maximizar
equivale a minimizar
. Portanto, quando os erros são gaussianos, o MMQ coincide com o estimador de máxima verossimilhança — isto é uma forte justificativa probabilística para minimizar soma dos quadrados.
Passo 7
Propriedades ótimas sob condições clássicas (Gauss–Markov).
Sem precisar da hipótese de normalidade, se os erros têm média zero, variância constante (homocedasticidade) e são não correlacionados, então o estimador por mínimos quadrados ordinários é o melhor entre todos os estimadores lineares e não-viesados: ele tem a menor variância possível entre esses estimadores lineares (essa é a afirmação do Teorema de Gauss–Markov). Em linguagem simples: entre os estimadores lineares que acertam, em média, o parâmetro correto, o MMQ dá o menor “dispersão” nas estimativas.
Sem precisar da hipótese de normalidade, se os erros têm média zero, variância constante (homocedasticidade) e são não correlacionados, então o estimador por mínimos quadrados ordinários é o melhor entre todos os estimadores lineares e não-viesados: ele tem a menor variância possível entre esses estimadores lineares (essa é a afirmação do Teorema de Gauss–Markov). Em linguagem simples: entre os estimadores lineares que acertam, em média, o parâmetro correto, o MMQ dá o menor “dispersão” nas estimativas.
Passo 8
Limitações e trade-offs — por que às vezes não usamos quadrados.
- Sensibilidade a outliers: o quadrado penaliza erros grandes muito fortemente, então um outlier pode puxar muito o ajuste.
- Alternativas: minimizar
(regressão por mínimos absolutos) é mais robusta a outliers; perdas como Huber combinam as duas ideias.
Mesmo assim, por razões computacionais, teóricas (propriedades óptimas) e pela interpretação geométrica,permanece a escolha padrão em muitos problemas.
Passo 9
Resumo didático, com um pequeno esquema mental para a prova:
- Defina resíduos
. - Explique que queremos uma medida de tamanho dos erros que não cancele sinais:
faz isso. - Mostre que é conveniente matematicamente (diferenciável, leva a equações lineares no caso linear).
- Mostre a interpretação geométrica (projeção ortogonal, minimiza distância euclidiana).
- Mostre a justificativa estatística (MLE para erros gaussianos) e a propriedade Gauss–Markov (BLUE).
- Aponte limitações (sensibilidade a outliers) e alternativas quando necessário.
Resposta
Objetivo: Escolher os parâmetros do modelo de modo que a soma das discrepâncias ao quadrado entre os valores observados e os previstos,
, seja mínima, isto é, obter o ajuste que fica mais próximo dos dados em distância euclidiana (projeção ortogonal no espaço das observações).
Por que minimizar a soma dos quadrados dos resíduos: porque evitar o cancelamento de sinais, obter uma função de custo diferenciável e convexa (fácil de otimizar, levando às equações normais), interpretar estatisticamente como MLE quando os erros são gaussianos e garantir propriedades ótimas (BLUE) sob as hipóteses clássicas; além disso, a penalização quadrática dá maior peso a grandes erros, o que pode ser desejável ou não dependendo do contexto.
Por que minimizar a soma dos quadrados dos resíduos: porque evitar o cancelamento de sinais, obter uma função de custo diferenciável e convexa (fácil de otimizar, levando às equações normais), interpretar estatisticamente como MLE quando os erros são gaussianos e garantir propriedades ótimas (BLUE) sob as hipóteses clássicas; além disso, a penalização quadrática dá maior peso a grandes erros, o que pode ser desejável ou não dependendo do contexto.