Qual o papel do termo de erro estocástico, u_{i}, na análise de regressão? Qual a diferença entre o termo de erro estocástico e o resíduo, \hat{u}_{i} ?

Passo 1

O enunciado pede duas coisas claras:
  • Explicar qual é o papel do termo de erro estocástico \,u_i\, na análise de regressão.
  • Explicar a diferença entre o termo de erro estocástico \,u_i\, e o resíduo \,\hat{u}_i\,.
Informações dadas (explicitadas para não me perder depois):
  • Há um modelo de regressão onde aparecem \,u_i\, e \,\hat{u}_i\,.
  • Não há valores numéricos — a pergunta é conceitual e pede propriedades e diferenças.

Passo 2

Definição do modelo e do papel conceitual de \,u_i\,.
Considere o modelo de regressão linear clássico escrito em forma vetorial:
y = X\beta + u
onde:
  • y é o vetor n\times1 das observações da variável dependente,
  • X é a matriz n\times k de regressores (cada linha é x_i'),
  • \beta é o vetor k\times1 dos parâmetros verdadeiros,
  • u é o vetor n\times1 dos termos de erro, com entradas u_i.
O papel de \,u_i\,:
  • Representa tudo o que afeta y_i e não está explicado pelos regressores incluídos no modelo. Ou seja: fatores omitidos, choques aleatórios, erro de medida em y, pequenas variações não modeladas.
  • É uma variável aleatória — cada u_i tem incerteza (é estocástico), e as propriedades de u (média condicional, variância, correlações) determinam propriedades dos estimadores e testes.
  • Sob as hipóteses clássicas frequentemente assumidas (para obter propriedades simples do OLS), costuma-se ter: E(u\mid X)=0(erro médio condicional zero, garante não-viés de \hat\beta), \operatorname{Var}(u\mid X)=\sigma^2 I(homocedasticidade e ausência de autocorrelação, garante eficiência e formas simples de variância),
    e às vezes \,u\sim N(0,\sigma^2 I)\, para inferência exata em amostras finitas.
  • Se essas suposições falham (por exemplo, E(u\mid X)\neq0 ou heterocedasticidade), os estimadores podem ser viesados ou as inferências (p-valores, intervalos) inválidas.

Passo 3

Como \,u_i\, entra nas fórmulas do OLS e por que suas propriedades importam.
O estimador de mínimos quadrados ordinários (OLS) é
\hat\beta=(X'X)^{-1}X'y.
Substituindo y=X\beta+u obtemos
\hat\beta-\beta=(X'X)^{-1}X'u.
Isso mostra:
  • O comportamento de \hat\beta (se é viesado, sua variância, sua consistência) depende diretamente de como u se comporta.
  • Por exemplo, se E(u\mid X)=0 então E(\hat\beta\mid X)=\beta,ou seja, \hat\beta é condicionalmente não-viesado.
  • A variância condicional de \hat\beta é \operatorname{Var}(\hat\beta\mid X)=\sigma^2 (X'X)^{-1}quando \operatorname{Var}(u\mid X)=\sigma^2 I. Portanto, o tamanho da variância do erro ( \sigma^2) e a informação contida em X controlam a precisão do estimador.
Resumo: \,u_i\, é o componente aleatório que determina se os estimadores são viesados, consistentes, eficientes e quais testes estatísticos são válidos.

Passo 4

Definição do resíduo \,\hat{u}_i\, e relação com o erro real.
O resíduo é o que podemos calcular a partir dos dados e do estimador:
\hat{u}=y-X\hat\beta,
ou elemento a elemento \,\hat{u}_i = y_i - x_i'\hat\beta\,.
Relação entre resíduos e erros verdadeiros. Usando y=X\beta+u e \hat\beta acima:
\hat{u}=y-X\hat\beta = X\beta+u - X\hat\beta = u - X(\hat\beta-\beta).
Introduzindo a matriz “hat” (projeção)
H = X(X'X)^{-1}X', \quad M = I - H,
obtém-se de forma compacta
\hat{u} = M u.
Explicação intuitiva:
  • \hat{y}=X\hat\beta = Hy é a projeção de y no espaço gerado pelas colunas de X.
  • \hat{u}=y-\hat{y} é a componente de y que fica fora dessa projeção; é a “parte observada” do erro depois de ajustar os parâmetros.

Passo 5

Propriedades importantes que distinguem \,u_i\, (erro) de \,\hat{u}_i\, (resíduo).
  1. Observabilidade:
  • \,u_i\, é hipotético / não observável: é a variável aleatória real que gerou cada y_i, mas não sabemos seu valor exato.
  • \,\hat{u}_i\, é observável: é calculado dos dados e de \hat\beta.
  1. Igualdade em geral:
  • Em geral \hat{u}_i \neq u_i. Só seriam iguais se \hat\beta=\beta (situação rara na prática).
  1. Dependência estrutural:
  • \hat{u} depende de u e de X através de M: \hat{u}=Mu. Como M projeta, resíduos são versões “filtradas” dos erros.
  1. Momentos e variância:
  • Para o vetor de erros verdadeiros, sob as hipóteses clássicas: E(u\mid X)=0,\qquad \operatorname{Var}(u\mid X)=\sigma^2 I.
  • Para resíduos: E(\hat{u}\mid X)=0,e \operatorname{Var}(\hat{u}\mid X)=\sigma^2 M.Observações:
    • \operatorname{Var}(\hat{u}) não é simplesmente \sigma^2 I; os resíduos não são homocedásticos nem independentes em geral — sua covariância vem da matriz M.
    • A soma dos resíduos é zero quando o modelo inclui uma constante (porque X'\hat{u}=0): \sum_i \hat{u}_i = 0. Isso não se aplica aos erros verdadeiros \sum_i u_i que não precisam ser zero.
  1. Graus de liberdade e estimação de \sigma^2:
  • A soma dos quadrados dos resíduos fornece informação sobre \sigma^2, mas é necessário corrigir os graus de liberdade. Um estimador com viés corrigido é \hat\sigma^2=\frac{1}{n-k}\sum_{i=1}^n \hat{u}_i^{2},que é um estimador não-viesado de \sigma^2 (sob as hipóteses clássicas). Isso evidencia que \hat{u}_i^2 por si só subestima a variância real dos erros, porque \hat\beta foi estimado (perda de k graus de liberdade).

Passo 6

Consequências práticas e diagnóstico: para que se usa \hat{u}_i e limitações.
  • Usos dos resíduos \,\hat{u}_i\,:
    • Diagnóstico de modelo: plotar \hat{u}_i vs x_i ou vs \hat{y}_i para checar heterocedasticidade ou não linearidade.
    • Testes de heterocedasticidade (ex.: teste de Breusch–Pagan) e autocorrelação (ex.: Durbin–Watson) são baseados nos resíduos.
    • Identificação de outliers e observações influentes (através de resíduos padronizados, leverage, distância de Cook).
  • Limitações: não se pode tratar \hat{u}_i como se fossem os verdadeiros u_i nas inferências sem considerar que \hat{u}_i dependem de \hat\beta. Por exemplo:
    • Resíduos não são independentes nem com variância constante, logo inspecionar apenas \hat{u}_i sem ajuste pode enganar.
    • Para testes e intervalos, usa-se informação de \hat{u} combinada com correções (por ex. estimadores de variância robustos à heterocedasticidade) para obter inferência válida quando as suposições clássicas não se seguram.

Passo 7

Exemplo simples (intuitivo) para fixar: regressão linear simples.
Considere
y_i=\beta_0+\beta_1 x_i + u_i.
O resíduo é
\hat{u}_i = y_i - \hat\beta_0 - \hat\beta_1 x_i.
A diferença \hat{u}_i - u_i resulta do erro na estimação de \beta_0,\beta_1. Em particular,
\hat{u}_i = u_i - x_i(\hat\beta_1-\beta_1) - (\hat\beta_0-\beta_0),
mostrando explicitamente que o resíduo é o erro verdadeiro menos o efeito do erro de estimativa dos betas. Isso ilustra: mesmo que o erro verdadeiro seja heterocedástico ou autocorrelacionado, os resíduos não dão uma cópia fiel; dão uma versão transformada que permite diagnóstico, mas requer cuidados.

Passo 8

Dicas práticas para a prova (como responder rapidamente e sem errar).
  • Ao ser perguntado “o que é \,u_i\,?” responda: é o termo de erro (aleatório, não observável) que capta fatores não explicados pelo modelo; suas suposições determinam propriedades de \hat\beta.
  • Ao ser perguntado “qual a diferença entre \,u_i\, e \,\hat{u}_i\,?” responda sucintamente: \,u_i\, é o erro verdadeiro (não observável); \,\hat{u}_i\, é o resíduo observável, calculado como y_i - x_i'\hat\beta, que é uma aproximação do erro mas depende da estimação de \hat\beta e tem propriedades diferentes (covariância \sigma^2 M, soma zero se incluir intercepto, etc.). Se sobrar tempo, mencione a diferença na variância e a necessidade do fator n-k para estimar \sigma^2.

Resposta

O termo de erro estocástico \,u_i\, representa a parte aleatória e não observada de y_i que não é explicada pelos regressores (fatores omitidos, choques, erro de medida); suas suposições (por ex. E(u\mid X)=0, homocedasticidade, independência, normalidade) são essenciais para garantir propriedades do OLS (não-viés, consistência, variância simples e validade dos testes).
A diferença entre \,u_i\, e \,\hat{u}_i\, é que \,u_i\, é o erro verdadeiro e não observável, enquanto \,\hat{u}_i\,=y_i-x_i'\hat\beta é o resíduo observável, uma estimativa de u_i que depende de \hat\beta. Consequentemente, resíduos e erros têm propriedades distintas: \hat{u}=Mu, \operatorname{Var}(\hat{u}\mid X)=\sigma^2 M, os resíduos geralmente não são independentes nem homocedásticos, e a soma dos resíduos é zero quando há intercepto; por isso usa-se \sum \hat{u}_i^{2}/(n-k) para estimar \sigma^2.

Exercícios relacionados