Por que precisamos da análise de regressão? Por que não usar simplesmente o valor médio do regressando como o melhor valor?

Passo 1

O que o enunciado pergunta e o que temos disponível:
  • Pergunta 1: “Por que precisamos da análise de regressão?”
  • Pergunta 2: “Por que não usar simplesmente o valor médio do regressando como o melhor valor?”
  • Informação implícita: existe uma variável de interesse (o regressando) que vou chamar de Y. Pode haver informações auxiliares (preditores) que vou chamar, em geral, de X (pode ser um vetor de variáveis).
  • Objetivo implícito: comparar duas ideias de predição/estimação de Y:
    • usar sempre o mesmo número (o valor médio de Y);
    • usar algum método que aproveite informações adicionais (análise de regressão).

Passo 2

O que significa “melhor” preditor? escolher uma função que minimize o erro quadrático
  • Em estatística e em muitos problemas práticos, “melhor” costuma ser medido por minimizar o erro médio quadrático (MSE). Isso é, dado um preditor g(\cdot) que usa X para prever Y, avaliamos o desempenho por
\text{MSE}(g)=\mathbb{E}\big[(Y-g(X))^{2}\big].
  • Explicando as peças:
    • \mathbb{E}[\cdot] é a esperança (média) em relação à distribuição conjunta de X e Y.
    • g(X) é a previsão que produzo quando observo X.
    • O objetivo é achar g que torne \mathbb{E}[(Y-g(X))^{2}] mínimo.
  • Observação importante: a resposta depende da função de perda. Para erro quadrático, o minimizador tem forma conhecida — vamos ver isso no passo seguinte.

Passo 3

Se eu não uso X (ou não tenho X), o melhor preditor constante é a esperança de Y
  • Se for obrigatório usar uma constante c (ou seja, g(X)\equiv c), então o problema é
\min_{c}\\ \mathbb{E}\big[(Y-c)^{2}\big].
  • Diferenciando em relação a c (ou usando identidade conhecida), obtemos a condição de mínimo:
\frac{d}{dc}\mathbb{E}\big[(Y-c)^{2}\big] = -2\,\mathbb{E}[Y-c] = 0 \quad\Rightarrow\quad c=\mathbb{E}[Y].
  • Conclusão: o melhor preditor constante, no sentido do menor MSE, é a média \mathbb{E}[Y]. Na prática com dados amostrais, a solução empírica equivalente é a média amostral \bar{Y}=\dfrac{1}{n}\sum_{i=1}^{n}Y_{i}, que minimiza \sum_{i=1}^{n}(Y_{i}-c)^{2}.

Passo 4

Mas e quando há informação em X? o melhor preditor é a esperança condicional \mathbb{E}[Y\mid X]
  • Se permito que o preditor dependa de X, o problema é
\min_{g}\\ \mathbb{E}\big[(Y-g(X))^{2}\big].
  • Resultado teórico fundamental: o minimizador (entre todas as funções mensuráveis g) é
g^{*}(X)=\mathbb{E}[Y\mid X].
  • Interpretação: a previsão ideal, se eu conhecesse a distribuição conjunta de (X,Y), é a média de Y condicionada ao valor de X. Isso reduz o erro porque usa informação adicional: em vez de um único número fixo para todos os casos, adapto a previsão ao X observado.
  • Consequência prática: se Y varia com X, usar \bar{Y} ignora essa variação e tende a produzir previsões piores (maior MSE) do que um g(X) que aproxime \mathbb{E}[Y\mid X].

Passo 5

Exemplo numérico simples para ver concretamente a diferença
  • Suponha duas subpopulações (indicador X\in\{0,1\}), mesma frequência, com médias:
    • \mathbb{E}[Y\mid X=0]=10,
    • \mathbb{E}[Y\mid X=1]=20.
  • A média marginal é \mathbb{E}[Y]=15.
  • Erro médio quadrático usando a constante \mathbb{E}[Y]=15:
    • Para cada observação em X=0 o erro é (10-15)^{2}=25; para X=1 também 25. Média do MSE é 25.
  • Erro usando o preditor condicional correto g(X)=\mathbb{E}[Y\mid X]:
    • Para cada observação o erro é zero (assumindo que não há variabilidade adicional), MSE =0.
  • Conclusão do exemplo: quando há relação entre X e Y, a média global perde informação e pode ter MSE muito maior.

Passo 6

Como a regressão entra na prática: estimar \mathbb{E}[Y\mid X] por um modelo
  • Na prática não sabemos \mathbb{E}[Y\mid X]. A análise de regressão propõe uma família de funções g_{\theta}(X) (por exemplo, funções lineares) e estima os parâmetros \theta a partir dos dados, buscando aproximar \mathbb{E}[Y\mid X].
  • O modelo linear simples: suponha que se adote
Y=\beta_{0}+\beta_{1}X+\varepsilon,
onde \varepsilon é ruído com média zero (ou seja, \mathbb{E}[\varepsilon\mid X]=0). Aqui:
  • \beta_{0} é o intercepto (valor médio de Y quando X=0),
  • \beta_{1} é a inclinação (quanto a média de Y muda quando X aumenta uma unidade).
  • Método dos mínimos quadrados ordinários (OLS): escolhe \hat{\beta}_{0},\hat{\beta}_{1} que minimizam
\sum_{i=1}^{n}\big(Y_{i}-(\beta_{0}+\beta_{1}X_{i})\big)^{2}.
  • As fórmulas fechadas (úteis para prova) em regressão simples são:
\hat{\beta}_{1}=\dfrac{\sum_{i=1}^{n}(X_{i}-\bar{X})(Y_{i}-\bar{Y})}{\sum_{i=1}^{n}(X_{i}-\bar{X})^{2}}=\dfrac{\widehat{\operatorname{Cov}}(X,Y)}{\widehat{\operatorname{Var}}(X)},
\hat{\beta}_{0}=\bar{Y}-\hat{\beta}_{1}\bar{X}.
  • Intuição: \hat{\beta}_{1} mede a covariação entre X e Y normalizada pela variação de X. Se X não se relaciona com Y (covariância próxima de zero), então \hat{\beta}_{1} será próximo de zero e o modelo reduz-se essencialmente a prever \bar{Y}.

Passo 7

Vantagens da regressão além de previsões melhores
  • Previsão condicional: permite previsões diferentes para valores diferentes de X, reduzindo o erro médio quando X é informativo.
  • Interpretação: coeficientes \beta contam como Y muda com X (útil para interpretar relações).
  • Controle: permite isolar o efeito de uma variável quando há várias (ex.: efeitos de X_{1} controlando X_{2},X_{3}, etc.).
  • Inferência e testes: fornece ferramentas para testar hipóteses (o efeito é significativo?), construir intervalos de confiança, etc.
  • Previsões em novos pontos e simulações contrafactuais (se X mudar para … o que espera em Y?).
  • Ferramentas diagnósticas: análise dos resíduos, detecção de não-linearidade, heterocedasticidade, outliers.

Passo 8

Quando a média é suficiente e quando ela falha
  • A média marginal \mathbb{E}[Y] é ótima somente quando:
    • não existem preditores disponíveis; ou
    • X não carrega informação sobre Y (isto é, \mathbb{E}[Y\mid X]=\mathbb{E}[Y] quase sempre).
  • Falha quando:
    • existe relação entre X e Y (mesmo fraca): a média ignora essa relação e aumenta o erro;
    • o objetivo é entender ou quantificar efeitos (não só prever um número médio).
  • Risco prático: usar sempre a média pode produzir previsões ruins para subgrupos, decisões ruins e interpretações equivocadas.

Passo 9

Cuidados práticos e limitações da regressão
  • Regressão não é mágica: se o modelo estiver mal especificado (p.ex. relação não linear mas uso linear), se houver variáveis omitidas, ou se houver forte colinearidade, as estimativas e previsões podem ser ruins.
  • Overfitting: modelos muito complexos podem ajustar o ruído e piorar a previsão em novos dados. Por isso validação (conjunto de teste, cross-validation) é importante.
  • Causalidade vs associação: regressão identifica associações. Para afirmar causalidade é preciso mais cuidado (experimentos, variáveis instrumentais, desenho apropriado).
  • Mesmo com esses cuidados, quando bem aplicada, regressão costuma reduzir o MSE e fornecer insights que a média não dá.

Passo 10

Resumo prático para a prova (passos que você pode aplicar na hora)
  • Se só tem Y e nenhum X: a média \bar{Y} é o preditor ótimo sob erro quadrático.
  • Se tem X e quer reduzir erro ou entender relação: estime um modelo de regressão (mesmo simples, linear) e calcule \hat{\beta}_{1} e \hat{\beta}_{0} pelas fórmulas do OLS mostradas no Passo 6.
  • Compare MSE da média com MSE do modelo (ou compare somas de quadrados) para ver ganho.
  • Faça análise de resíduos e validação para garantir que o modelo realmente ajuda.

Resposta

Porque a média \mathbb{E}[Y] é o melhor preditor somente se não houver informação útil em X. Quando Y depende de X, o preditor que minimiza o erro quadrático é a esperança condicional \mathbb{E}[Y\mid X]; a análise de regressão busca estimar essa função (ou uma aproximação útil dela) usando os dados, reduzindo o erro médio e permitindo entender/controlar a relação entre X e Y.