Qual o papel do termo de erro estocástico,
, na análise de regressão? Qual a diferença entre o termo de erro estocástico e o resíduo,
?
Passo 1
O enunciado pede duas coisas claras:
- Explicar qual é o papel do termo de erro estocástico
na análise de regressão. - Explicar a diferença entre o termo de erro estocástico
e o resíduo .
Informações dadas (explicitadas para não me perder depois):
- Há um modelo de regressão onde aparecem
e . - Não há valores numéricos — a pergunta é conceitual e pede propriedades e diferenças.
Passo 2
Definição do modelo e do papel conceitual de
.
Considere o modelo de regressão linear clássico escrito em forma vetorial:
onde:
-
é o vetor das observações da variável dependente, -
é a matriz de regressores (cada linha é ), -
é o vetor dos parâmetros verdadeiros, -
é o vetor dos termos de erro, com entradas .
O papel de
:
- Representa tudo o que afeta
e não está explicado pelos regressores incluídos no modelo. Ou seja: fatores omitidos, choques aleatórios, erro de medida em , pequenas variações não modeladas. - É uma variável aleatória — cada
tem incerteza (é estocástico), e as propriedades de (média condicional, variância, correlações) determinam propriedades dos estimadores e testes. - Sob as hipóteses clássicas frequentemente assumidas (para obter propriedades simples do OLS), costuma-se ter:
(erro médio condicional zero, garante não-viés de ), (homocedasticidade e ausência de autocorrelação, garante eficiência e formas simples de variância),
e às vezespara inferência exata em amostras finitas. - Se essas suposições falham (por exemplo,
ou heterocedasticidade), os estimadores podem ser viesados ou as inferências (p-valores, intervalos) inválidas.
Passo 3
Como
entra nas fórmulas do OLS e por que suas propriedades importam.
O estimador de mínimos quadrados ordinários (OLS) é
Substituindo
obtemos
Isso mostra:
- O comportamento de
(se é viesado, sua variância, sua consistência) depende diretamente de como se comporta. - Por exemplo, se
então ou seja, é condicionalmente não-viesado. - A variância condicional de
é quando . Portanto, o tamanho da variância do erro ( ) e a informação contida em controlam a precisão do estimador.
Resumo:
é o componente aleatório que determina se os estimadores são viesados, consistentes, eficientes e quais testes estatísticos são válidos.
Passo 4
Definição do resíduo
e relação com o erro real.
O resíduo é o que podemos calcular a partir dos dados e do estimador:
ou elemento a elemento
.
Relação entre resíduos e erros verdadeiros. Usando
e
acima:
Introduzindo a matriz “hat” (projeção)
obtém-se de forma compacta
Explicação intuitiva:
-
é a projeção de no espaço gerado pelas colunas de . -
é a componente de que fica fora dessa projeção; é a “parte observada” do erro depois de ajustar os parâmetros.
Passo 5
Propriedades importantes que distinguem
(erro) de
(resíduo).
- Observabilidade:
-
é hipotético / não observável: é a variável aleatória real que gerou cada , mas não sabemos seu valor exato. -
é observável: é calculado dos dados e de .
- Igualdade em geral:
- Em geral
. Só seriam iguais se (situação rara na prática).
- Dependência estrutural:
-
depende de e de através de : . Como projeta, resíduos são versões “filtradas” dos erros.
- Momentos e variância:
- Para o vetor de erros verdadeiros, sob as hipóteses clássicas:
- Para resíduos:
e Observações: -
não é simplesmente ; os resíduos não são homocedásticos nem independentes em geral — sua covariância vem da matriz . - A soma dos resíduos é zero quando o modelo inclui uma constante (porque
): . Isso não se aplica aos erros verdadeiros que não precisam ser zero.
-
- Graus de liberdade e estimação de
:
- A soma dos quadrados dos resíduos fornece informação sobre
, mas é necessário corrigir os graus de liberdade. Um estimador com viés corrigido é que é um estimador não-viesado de (sob as hipóteses clássicas). Isso evidencia que por si só subestima a variância real dos erros, porque foi estimado (perda de graus de liberdade).
Passo 6
Consequências práticas e diagnóstico: para que se usa
e limitações.
-
Usos dos resíduos
: - Diagnóstico de modelo: plotar
vs ou vs para checar heterocedasticidade ou não linearidade. - Testes de heterocedasticidade (ex.: teste de Breusch–Pagan) e autocorrelação (ex.: Durbin–Watson) são baseados nos resíduos.
- Identificação de outliers e observações influentes (através de resíduos padronizados, leverage, distância de Cook).
- Diagnóstico de modelo: plotar
-
Limitações: não se pode tratar
como se fossem os verdadeiros nas inferências sem considerar que dependem de . Por exemplo: - Resíduos não são independentes nem com variância constante, logo inspecionar apenas
sem ajuste pode enganar. - Para testes e intervalos, usa-se informação de
combinada com correções (por ex. estimadores de variância robustos à heterocedasticidade) para obter inferência válida quando as suposições clássicas não se seguram.
- Resíduos não são independentes nem com variância constante, logo inspecionar apenas
Passo 7
Exemplo simples (intuitivo) para fixar: regressão linear simples.
Considere
O resíduo é
A diferença
resulta do erro na estimação de
. Em particular,
mostrando explicitamente que o resíduo é o erro verdadeiro menos o efeito do erro de estimativa dos betas. Isso ilustra: mesmo que o erro verdadeiro seja heterocedástico ou autocorrelacionado, os resíduos não dão uma cópia fiel; dão uma versão transformada que permite diagnóstico, mas requer cuidados.
Passo 8
Dicas práticas para a prova (como responder rapidamente e sem errar).
- Ao ser perguntado “o que é
?” responda: é o termo de erro (aleatório, não observável) que capta fatores não explicados pelo modelo; suas suposições determinam propriedades de . - Ao ser perguntado “qual a diferença entre
e ?” responda sucintamente: é o erro verdadeiro (não observável); é o resíduo observável, calculado como , que é uma aproximação do erro mas depende da estimação de e tem propriedades diferentes (covariância , soma zero se incluir intercepto, etc.). Se sobrar tempo, mencione a diferença na variância e a necessidade do fator para estimar .
Resposta
O termo de erro estocástico
representa a parte aleatória e não observada de
que não é explicada pelos regressores (fatores omitidos, choques, erro de medida); suas suposições (por ex.
, homocedasticidade, independência, normalidade) são essenciais para garantir propriedades do OLS (não-viés, consistência, variância simples e validade dos testes).
A diferença entre
e
é que
é o erro verdadeiro e não observável, enquanto
é o resíduo observável, uma estimativa de
que depende de
. Consequentemente, resíduos e erros têm propriedades distintas:
,
, os resíduos geralmente não são independentes nem homocedásticos, e a soma dos resíduos é zero quando há intercepto; por isso usa-se
para estimar
.