O que você entende por modelo de regressão linear?

Passo 1

O enunciado pergunta claramente: “O que você entende por modelo de regressão linear?”\nVou explicar passo a passo o que é um modelo de regressão linear, quais são seus componentes, como se estima na prática, quais são as suposições importantes, como interpretar resultados e como checar/ajustar problemas comuns. Nada será assumido como conhecido — vou explicar cada fórmula e cada símbolo.

Passo 2

Definição básica e notação simples.\nUm modelo de regressão linear descreve uma relação entre uma variável resposta (dependente) e uma ou mais variáveis explicativas (independentes) assumindo que a relação é linear nos parâmetros. Na forma mais simples (regressão linear simples) escreve-se:
y_i = \beta_0 + \beta_1 x_i + \varepsilon_i,
onde:
  • y_i é o valor observado da variável resposta na observação i;
  • x_i é o valor observado da variável explicativa na observação i;
  • \beta_0 é o intercepto (valor esperado de y quando x=0);
  • \beta_1 é o coeficiente angular (marginal): variação esperada em y por unidade de x;
  • \varepsilon_i é o termo de erro (diferença entre o observado e o valor predito pela parte determinística).
Explicação intuitiva: pense em \beta_0+\beta_1 x_i como a “previsão” ou média condicional de y dado x, e \varepsilon_i como o ruído aleatório que faz cada observação desviar dessa média.

Passo 3

Generalização para múltiplas variáveis e forma matricial.\nCom várias variáveis explicativas (regressão múltipla) escrevemos:
y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \cdots + \beta_{p-1} x_{i,p-1} + \varepsilon_i.
Em notação matricial, para n observações:
\mathbf{y} = X\boldsymbol{\beta} + \boldsymbol{\varepsilon},
onde:
  • \mathbf{y} é o vetor n\times1 das respostas;
  • X é a matriz n\times p das regressoras (a primeira coluna normalmente é uma coluna de uns para o intercepto);
  • \boldsymbol{\beta} é o vetor p\times1 dos parâmetros;
  • \boldsymbol{\varepsilon} é o vetor n\times1 dos erros.
Isso deixa as contas mais compactas e é a forma usada para obter estimadores.

Passo 4

Como se estima: Método dos Mínimos Quadrados Ordinários (OLS).\nObjetivo: escolher \boldsymbol{\beta} que minimize a soma dos quadrados dos resíduos:
\min_{\boldsymbol{\beta}} \; S(\boldsymbol{\beta})=\sum_{i=1}^{n} (y_i - x_i'\boldsymbol{\beta})^2,
onde x_i' é a linha i de X. Derivando (ou usando álgebra matricial) obtemos as equações normais e a solução fechada:
\hat{\boldsymbol{\beta}} = (X'X)^{-1} X'\mathbf{y},
desde que X'X seja invertível (ou seja, as colunas de X tenham posto completo).\nOs resíduos estimados são
\hat{\boldsymbol{\varepsilon}} = \mathbf{y} - X\hat{\boldsymbol{\beta}}.
Explicação do porquê: escolhemos a \hat{\beta} que faz os desvios observados em quadrado o menor possível — isso penaliza desvios grandes e dá uma estimativa “central” dos parâmetros.

Passo 5

Suposições centrais (Gauss–Markov) — o que significam e por que importam.\nAs suposições básicas que garantem propriedades desejáveis do OLS são:
  1. Linearidade nos parâmetros: o modelo é \mathbf{y}=X\boldsymbol{\beta}+\boldsymbol{\varepsilon} (linear em \boldsymbol{\beta}). Não exige que as variáveis x apareçam apenas em forma linear — podem ser transformadas (ex.: x, x^2, \log x) — mas a relação é linear nos coeficientes.
  2. Exogeneidade fraca: E[\boldsymbol{\varepsilon}\mid X]=\mathbf{0}. Significado: os erros têm média zero condicionalmente às regressoras — não há correlação sistemática entre erros e X. Se violada (ex.: variável omitida correlacionada com X), os estimadores são viesados.
  3. Sem multicolinearidade perfeita: as colunas de X são linearmente independentes, então X'X é invertível.
  4. Homocedasticidade e não autocorrelação (para inferência padrão): Var(\boldsymbol{\varepsilon}\mid X)=\sigma^2 I_n. Significa que os erros têm variância constante e são não correlacionados entre observações.
  5. (Opcional, para inferência exata em amostras pequenas) Normalidade: \boldsymbol{\varepsilon}\mid X \sim N(\mathbf{0},\sigma^2 I). Com isso \hat{\boldsymbol{\beta}} tem distribuição normal e os testes t/F valem exatamente.
Por que importar: sob 1–3 e 4 (Gauss–Markov), o OLS é BLUE — Best Linear Unbiased Estimator (melhor entre estimadores lineares e não viesados). Se a normalidade adicional vale, pode-se construir intervalos e testes exatos.

Passo 6

Propriedades do estimador e inferência básica.\nUnbiasedness (viés zero):
E[\hat{\boldsymbol{\beta}}\mid X]=\boldsymbol{\beta},
se E[\boldsymbol{\varepsilon}\mid X]=\mathbf{0}.\nVariância do estimador:
Var(\hat{\boldsymbol{\beta}}\mid X)=\sigma^2 (X'X)^{-1}.
Na prática estima-se \sigma^2 por
\hat{\sigma}^2 = \frac{1}{n-p}\sum_{i=1}^n \hat{\varepsilon}_i^2.
Desse modo, o erro padrão do componente j de \hat{\boldsymbol{\beta}} é \text{se}(\hat{\beta}_j)=\sqrt{\hat{\sigma}^2 [(X'X)^{-1}]_{jj}}.\nTeste t (para H_0:\beta_j=\beta_{j,0}):
t = \frac{\hat{\beta}_j - \beta_{j,0}}{\text{se}(\hat{\beta}_j)}.
Se assumirmos normalidade dos erros, esse t segue a distribuição t_{n-p} sob H_0. Intervalo de confiança para \beta_j:
\hat{\beta}_j \pm t_{n-p,\;1-\alpha/2}\cdot \text{se}(\hat{\beta}_j).
Explanação simples: o erro padrão mede a variação do estimador; com ele construímos os testes e intervalos.

Passo 7

Ajuste do modelo e interpretação prática: R^2 e R^2 ajustado.\nO R^2 mede a fração da variação total de y explicada pelo modelo:
R^2 = 1 - \frac{\sum_{i}\hat{\varepsilon}_i^2}{\sum_{i}(y_i-\bar{y})^2}.
Interpretação: R^2=0{,}8 significa que 80\% da variabilidade em y é explicada pelas regressoras (na amostra). Cuidado: adicionar regressoras sempre aumenta (ou não diminui) R^2 mesmo que inúteis; por isso existe o R^2 ajustado que penaliza o número de parâmetros.

Passo 8

Previsão e intervalo de previsão.\nDada uma nova observação com vetor de regressoras x_0 (incluindo o 1 para intercepto), a previsão pontual é
\hat{y}_0 = x_0'\hat{\boldsymbol{\beta}}.
Variância da previsão média (intervalo para a média condicional):
Var(\hat{y}_0 \mid X) = \hat{\sigma}^2 x_0'(X'X)^{-1} x_0.
Variância para prever um novo y_0 (intervalo de predição, que inclui o ruído):
Var(\hat{y}_0 - y_0 \mid X) = \hat{\sigma}^2 \big(1 + x_0'(X'X)^{-1} x_0\big).
Resumo prático: o intervalo de predição é sempre mais largo que o intervalo para a média porque incorpora a incerteza do erro aleatório.

Passo 9

Diagnósticos e problemas comuns — o que procurar e remédios rápidos.\nPrincipais problemas:
  • Heterocedasticidade (variância dos erros não constante): afeta os erros padrão; remédio: usar erros-padrão robustos (White) ou transformar variáveis.
  • Autocorrelação (erros correlacionados no tempo): comum em séries temporais; remédio: modelos com estrutura de autocorrelação (AR), ou erros robustos por cluster.
  • Multicolinearidade (regressoras fortemente correlacionadas): aumenta variâncias de \hat{\beta}, tornando coeficientes imprecisos; remédio: remover / combinar variáveis, usar PCA ou regularização.
  • Omissão de variável relevante: causa vieses em \hat{\beta}; remédio: tentar incluir a variável, usar variáveis instrumentais se não for possível medir.
  • Erros de medida em x: tendem a provocar atenuação (viés em direção a zero) nos coeficientes; remédio: instrumentos ou dados melhores.
  • Não linearidade nas variáveis: se relação real não é linear nos parâmetros, incluir transformações (potências, logaritmos, termos quadráticos) ou usar modelos não lineares.
Checagens práticas: plotar resíduos vs ajustados, histograma dos resíduos, teste de Breusch–Pagan (heterocedasticidade), VIF (multicolinearidade), Durbin–Watson (autocorrelação).

Passo 10

Um exemplo numérico curtinho para fixar (regressão perfeita, para facilitar contas).\nConsidere três observações: (x,y)=(1,2),(2,4),(3,6). Aqui nota-se que y=2x perfeitamente. A média de x é \bar{x}=2 e de y é \bar{y}=4. A fórmula do coeficiente de inclinação na regressão simples é
\hat{\beta}_1 = \frac{\sum_i (x_i-\bar{x})(y_i-\bar{y})}{\sum_i (x_i-\bar{x})^2}.
Calculando numericamente (cada termo é fácil): numerador = (1-2)(2-4)+(2-2)(4-4)+(3-2)(6-4) = (-1)(-2)+0+1\cdot 2 = 2+2=4. Denominador = (-1)^2+0^2+1^2=1+0+1=2. Logo
\hat{\beta}_1 = \frac{4}{2}=2.
E \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x} = 4 - 2\cdot 2 = 0. Portanto \hat{y}=2x, resíduos zero. Esse exemplo mostra o procedimento e a interpretação (coeficiente 2 significa que, em média, um aumento de 1 em x aumenta y em 2).

Passo 11

Dicas práticas para prova (passo a passo curto que funciona sob pressão)\n1. Escreva o modelo claramente e defina cada variável e unidade. 2. Mostre a forma matricial se pedir propriedades/estimatórios. 3. Use a fórmula de OLS \hat{\boldsymbol{\beta}}=(X'X)^{-1}X'\mathbf{y} e explique por que (minimização de soma de quadrados). 4. Liste as suposições usadas e diga qual propriedade resulta (ex.: com E[\varepsilon\mid X]=0 e posto completo, \hat{\beta} é não viesado). 5. Ao interpretar coeficientes diga a unidade e o efeito marginal. 6. Sempre reporte erro-padrão e p-valor ao julgar significância. 7. Se aparecer diagnóstico, mencione o teste apropriado e um remédio. Faça tudo com frases curtas e linhas de cálculo limpas.

Resposta

Um modelo de regressão linear é uma representação matemática que descreve a relação entre uma variável resposta y e uma ou mais variáveis explicativas x assumindo que a parte sistemática é linear nos parâmetros, tipicamente escrita como \mathbf{y}=X\boldsymbol{\beta}+\boldsymbol{\varepsilon}, em que \boldsymbol{\beta} são os parâmetros a estimar (usualmente por mínimos quadrados) e \boldsymbol{\varepsilon} é o termo de erro que capta a variação não explicada pelo modelo.

Exercícios relacionados