O que você entende por modelo de regressão linear?
Passo 1
O enunciado pergunta claramente: “O que você entende por modelo de regressão linear?”\nVou explicar passo a passo o que é um modelo de regressão linear, quais são seus componentes, como se estima na prática, quais são as suposições importantes, como interpretar resultados e como checar/ajustar problemas comuns. Nada será assumido como conhecido — vou explicar cada fórmula e cada símbolo.
Passo 2
Definição básica e notação simples.\nUm modelo de regressão linear descreve uma relação entre uma variável resposta (dependente) e uma ou mais variáveis explicativas (independentes) assumindo que a relação é linear nos parâmetros. Na forma mais simples (regressão linear simples) escreve-se:
onde:
-
é o valor observado da variável resposta na observação ; -
é o valor observado da variável explicativa na observação ; -
é o intercepto (valor esperado de quando ); -
é o coeficiente angular (marginal): variação esperada em por unidade de ; -
é o termo de erro (diferença entre o observado e o valor predito pela parte determinística).
Explicação intuitiva: pense em
como a “previsão” ou média condicional de
dado
, e
como o ruído aleatório que faz cada observação desviar dessa média.
Passo 3
Generalização para múltiplas variáveis e forma matricial.\nCom várias variáveis explicativas (regressão múltipla) escrevemos:
Em notação matricial, para
observações:
onde:
-
é o vetor das respostas; -
é a matriz das regressoras (a primeira coluna normalmente é uma coluna de uns para o intercepto); -
é o vetor dos parâmetros; -
é o vetor dos erros.
Isso deixa as contas mais compactas e é a forma usada para obter estimadores.
Passo 4
Como se estima: Método dos Mínimos Quadrados Ordinários (OLS).\nObjetivo: escolher
que minimize a soma dos quadrados dos resíduos:
onde
é a linha
de
. Derivando (ou usando álgebra matricial) obtemos as equações normais e a solução fechada:
desde que
seja invertível (ou seja, as colunas de
tenham posto completo).\nOs resíduos estimados são
Explicação do porquê: escolhemos a
que faz os desvios observados em quadrado o menor possível — isso penaliza desvios grandes e dá uma estimativa “central” dos parâmetros.
Passo 5
Suposições centrais (Gauss–Markov) — o que significam e por que importam.\nAs suposições básicas que garantem propriedades desejáveis do OLS são:
- Linearidade nos parâmetros: o modelo é
(linear em ). Não exige que as variáveis apareçam apenas em forma linear — podem ser transformadas (ex.: ) — mas a relação é linear nos coeficientes. - Exogeneidade fraca:
. Significado: os erros têm média zero condicionalmente às regressoras — não há correlação sistemática entre erros e . Se violada (ex.: variável omitida correlacionada com ), os estimadores são viesados. - Sem multicolinearidade perfeita: as colunas de
são linearmente independentes, então é invertível. - Homocedasticidade e não autocorrelação (para inferência padrão):
. Significa que os erros têm variância constante e são não correlacionados entre observações. - (Opcional, para inferência exata em amostras pequenas) Normalidade:
. Com isso tem distribuição normal e os testes t/F valem exatamente.
Por que importar: sob 1–3 e 4 (Gauss–Markov), o OLS é BLUE — Best Linear Unbiased Estimator (melhor entre estimadores lineares e não viesados). Se a normalidade adicional vale, pode-se construir intervalos e testes exatos.
Passo 6
Propriedades do estimador e inferência básica.\nUnbiasedness (viés zero):
se
.\nVariância do estimador:
Na prática estima-se
por
Desse modo, o erro padrão do componente
de
é
.\nTeste t (para
):
Se assumirmos normalidade dos erros, esse
segue a distribuição
sob
. Intervalo de confiança para
:
Explanação simples: o erro padrão mede a variação do estimador; com ele construímos os testes e intervalos.
Passo 7
Ajuste do modelo e interpretação prática:
e
ajustado.\nO
mede a fração da variação total de
explicada pelo modelo:
Interpretação:
significa que
da variabilidade em
é explicada pelas regressoras (na amostra). Cuidado: adicionar regressoras sempre aumenta (ou não diminui)
mesmo que inúteis; por isso existe o
ajustado que penaliza o número de parâmetros.
Passo 8
Previsão e intervalo de previsão.\nDada uma nova observação com vetor de regressoras
(incluindo o 1 para intercepto), a previsão pontual é
Variância da previsão média (intervalo para a média condicional):
Variância para prever um novo
(intervalo de predição, que inclui o ruído):
Resumo prático: o intervalo de predição é sempre mais largo que o intervalo para a média porque incorpora a incerteza do erro aleatório.
Passo 9
Diagnósticos e problemas comuns — o que procurar e remédios rápidos.\nPrincipais problemas:
- Heterocedasticidade (variância dos erros não constante): afeta os erros padrão; remédio: usar erros-padrão robustos (White) ou transformar variáveis.
- Autocorrelação (erros correlacionados no tempo): comum em séries temporais; remédio: modelos com estrutura de autocorrelação (AR), ou erros robustos por cluster.
- Multicolinearidade (regressoras fortemente correlacionadas): aumenta variâncias de
, tornando coeficientes imprecisos; remédio: remover / combinar variáveis, usar PCA ou regularização. - Omissão de variável relevante: causa vieses em
; remédio: tentar incluir a variável, usar variáveis instrumentais se não for possível medir. - Erros de medida em
: tendem a provocar atenuação (viés em direção a zero) nos coeficientes; remédio: instrumentos ou dados melhores. - Não linearidade nas variáveis: se relação real não é linear nos parâmetros, incluir transformações (potências, logaritmos, termos quadráticos) ou usar modelos não lineares.
Checagens práticas: plotar resíduos vs ajustados, histograma dos resíduos, teste de Breusch–Pagan (heterocedasticidade), VIF (multicolinearidade), Durbin–Watson (autocorrelação).
Passo 10
Um exemplo numérico curtinho para fixar (regressão perfeita, para facilitar contas).\nConsidere três observações:
. Aqui nota-se que
perfeitamente. A média de
é
e de
é
. A fórmula do coeficiente de inclinação na regressão simples é
Calculando numericamente (cada termo é fácil): numerador
. Denominador
. Logo
E
Portanto
, resíduos zero. Esse exemplo mostra o procedimento e a interpretação (coeficiente
significa que, em média, um aumento de
em
aumenta
em
).
Passo 11
Dicas práticas para prova (passo a passo curto que funciona sob pressão)\n1. Escreva o modelo claramente e defina cada variável e unidade. 2. Mostre a forma matricial se pedir propriedades/estimatórios. 3. Use a fórmula de OLS
e explique por que (minimização de soma de quadrados). 4. Liste as suposições usadas e diga qual propriedade resulta (ex.: com
e posto completo,
é não viesado). 5. Ao interpretar coeficientes diga a unidade e o efeito marginal. 6. Sempre reporte erro-padrão e p-valor ao julgar significância. 7. Se aparecer diagnóstico, mencione o teste apropriado e um remédio. Faça tudo com frases curtas e linhas de cálculo limpas.
Resposta
Um modelo de regressão linear é uma representação matemática que descreve a relação entre uma variável resposta
e uma ou mais variáveis explicativas
assumindo que a parte sistemática é linear nos parâmetros, tipicamente escrita como
, em que
são os parâmetros a estimar (usualmente por mínimos quadrados) e
é o termo de erro que capta a variação não explicada pelo modelo.