Por que precisamos da análise de regressão? Por que não usar simplesmente o valor médio do regressando como o melhor valor?
Passo 1
O que o enunciado pergunta e o que temos disponível:
- Pergunta 1: “Por que precisamos da análise de regressão?”
- Pergunta 2: “Por que não usar simplesmente o valor médio do regressando como o melhor valor?”
- Informação implícita: existe uma variável de interesse (o regressando) que vou chamar de
. Pode haver informações auxiliares (preditores) que vou chamar, em geral, de (pode ser um vetor de variáveis). - Objetivo implícito: comparar duas ideias de predição/estimação de
: - usar sempre o mesmo número (o valor médio de
); - usar algum método que aproveite informações adicionais (análise de regressão).
- usar sempre o mesmo número (o valor médio de
Passo 2
O que significa “melhor” preditor? escolher uma função que minimize o erro quadrático
- Em estatística e em muitos problemas práticos, “melhor” costuma ser medido por minimizar o erro médio quadrático (MSE). Isso é, dado um preditor
que usa para prever , avaliamos o desempenho por
- Explicando as peças:
-
é a esperança (média) em relação à distribuição conjunta de e . -
é a previsão que produzo quando observo . - O objetivo é achar
que torne mínimo.
-
- Observação importante: a resposta depende da função de perda. Para erro quadrático, o minimizador tem forma conhecida — vamos ver isso no passo seguinte.
Passo 3
Se eu não uso
(ou não tenho
), o melhor preditor constante é a esperança de
- Se for obrigatório usar uma constante
(ou seja, ), então o problema é
- Diferenciando em relação a
(ou usando identidade conhecida), obtemos a condição de mínimo:
- Conclusão: o melhor preditor constante, no sentido do menor MSE, é a média
. Na prática com dados amostrais, a solução empírica equivalente é a média amostral , que minimiza .
Passo 4
Mas e quando há informação em
? o melhor preditor é a esperança condicional
- Se permito que o preditor dependa de
, o problema é
- Resultado teórico fundamental: o minimizador (entre todas as funções mensuráveis
) é
- Interpretação: a previsão ideal, se eu conhecesse a distribuição conjunta de
, é a média de condicionada ao valor de . Isso reduz o erro porque usa informação adicional: em vez de um único número fixo para todos os casos, adapto a previsão ao observado. - Consequência prática: se
varia com , usar ignora essa variação e tende a produzir previsões piores (maior MSE) do que um que aproxime .
Passo 5
Exemplo numérico simples para ver concretamente a diferença
- Suponha duas subpopulações (indicador
), mesma frequência, com médias: -
, -
.
-
- A média marginal é
. - Erro médio quadrático usando a constante
: - Para cada observação em
o erro é ; para também . Média do MSE é .
- Para cada observação em
- Erro usando o preditor condicional correto
: - Para cada observação o erro é zero (assumindo que não há variabilidade adicional), MSE
.
- Para cada observação o erro é zero (assumindo que não há variabilidade adicional), MSE
- Conclusão do exemplo: quando há relação entre
e , a média global perde informação e pode ter MSE muito maior.
Passo 6
Como a regressão entra na prática: estimar
por um modelo
- Na prática não sabemos
. A análise de regressão propõe uma família de funções (por exemplo, funções lineares) e estima os parâmetros a partir dos dados, buscando aproximar . - O modelo linear simples: suponha que se adote
onde
é ruído com média zero (ou seja,
). Aqui:
-
é o intercepto (valor médio de quando ), -
é a inclinação (quanto a média de muda quando aumenta uma unidade). - Método dos mínimos quadrados ordinários (OLS): escolhe
que minimizam
- As fórmulas fechadas (úteis para prova) em regressão simples são:
- Intuição:
mede a covariação entre e normalizada pela variação de . Se não se relaciona com (covariância próxima de zero), então será próximo de zero e o modelo reduz-se essencialmente a prever .
Passo 7
Vantagens da regressão além de previsões melhores
- Previsão condicional: permite previsões diferentes para valores diferentes de
, reduzindo o erro médio quando é informativo. - Interpretação: coeficientes
contam como muda com (útil para interpretar relações). - Controle: permite isolar o efeito de uma variável quando há várias (ex.: efeitos de
controlando , etc.). - Inferência e testes: fornece ferramentas para testar hipóteses (o efeito é significativo?), construir intervalos de confiança, etc.
- Previsões em novos pontos e simulações contrafactuais (se X mudar para … o que espera em Y?).
- Ferramentas diagnósticas: análise dos resíduos, detecção de não-linearidade, heterocedasticidade, outliers.
Passo 8
Quando a média é suficiente e quando ela falha
- A média marginal
é ótima somente quando: - não existem preditores disponíveis; ou
-
não carrega informação sobre (isto é, quase sempre).
- Falha quando:
- existe relação entre
e (mesmo fraca): a média ignora essa relação e aumenta o erro; - o objetivo é entender ou quantificar efeitos (não só prever um número médio).
- existe relação entre
- Risco prático: usar sempre a média pode produzir previsões ruins para subgrupos, decisões ruins e interpretações equivocadas.
Passo 9
Cuidados práticos e limitações da regressão
- Regressão não é mágica: se o modelo estiver mal especificado (p.ex. relação não linear mas uso linear), se houver variáveis omitidas, ou se houver forte colinearidade, as estimativas e previsões podem ser ruins.
- Overfitting: modelos muito complexos podem ajustar o ruído e piorar a previsão em novos dados. Por isso validação (conjunto de teste, cross-validation) é importante.
- Causalidade vs associação: regressão identifica associações. Para afirmar causalidade é preciso mais cuidado (experimentos, variáveis instrumentais, desenho apropriado).
- Mesmo com esses cuidados, quando bem aplicada, regressão costuma reduzir o MSE e fornecer insights que a média não dá.
Passo 10
Resumo prático para a prova (passos que você pode aplicar na hora)
- Se só tem
e nenhum : a média é o preditor ótimo sob erro quadrático. - Se tem
e quer reduzir erro ou entender relação: estime um modelo de regressão (mesmo simples, linear) e calcule e pelas fórmulas do OLS mostradas no Passo 6. - Compare MSE da média com MSE do modelo (ou compare somas de quadrados) para ver ganho.
- Faça análise de resíduos e validação para garantir que o modelo realmente ajuda.
Resposta
Porque a média
é o melhor preditor somente se não houver informação útil em
. Quando
depende de
, o preditor que minimiza o erro quadrático é a esperança condicional
; a análise de regressão busca estimar essa função (ou uma aproximação útil dela) usando os dados, reduzindo o erro médio e permitindo entender/controlar a relação entre
e
.