Verifique, explicando, de forma minuciosa, se as seguintes afirmações são verdadeiras, falsas ou duvidosas.
Em um modelo de regressão que contém o intercepto, a soma dos resíduos é sempre igual a zero.
Em um modelo de regressão que contém o intercepto, a soma dos resíduos é sempre igual a zero.
Passo 1
O que o enunciado pede: verificar se a afirmação abaixo é verdadeira, falsa ou duvidosa, e explicar minuciosamente.
A afirmação: “Em um modelo de regressão que contém o intercepto, a soma dos resíduos é sempre igual a zero.”
A afirmação: “Em um modelo de regressão que contém o intercepto, a soma dos resíduos é sempre igual a zero.”
Informações dadas (explícitas ou implícitas):
- Trata-se de um modelo de regressão linear com intercepto.
- Interpreta-se que o ajuste é feito por mínimos quadrados ordinários (OLS), a forma mais comum.
- Precisa-se decidir se a soma dos resíduos
é sempre zero e justificar.
Passo 2
Definições e notação (explicando cada símbolo).
-
é o número de observações. -
é o vetor de respostas de dimensão . -
é a matriz de regressores de dimensão . Como o modelo contém intercepto, uma das colunas de é o vetor de uns . -
é o vetor de parâmetros de dimensão . -
é o vetor de resíduos definido por , onde são os valores ajustados. - Na formulação linear, assume-se o modelo
onde
é o vetor de erros verdadeiros (desconhecidos).
Passo 3
O objetivo do OLS e a definição dos resíduos em termos de
.
- O ajuste por mínimos quadrados escolhe
que minimiza a soma dos quadrados dos resíduos. Escrevendo a função objetivo:
- Os resíduos após ajuste são
Passo 4
Derivação das equações normais (passo a passo, sem pular etapas).
- Para encontrar o mínimo de
calcula-se a derivada (gradiente) de em relação a e iguala-se a zero. - Expandindo
e aplicando derivação matricial (ou fazendo componente a componente) obtém-se a condição
- Igualando a zero vem a equação normal
Explicando: cada componente dessa equação corresponde a derivar
em relação a um coeficiente
e impõe que a soma ponderada dos resíduos por
seja zero.
Passo 5
Consequência imediata: ortogonalidade regressors–resíduos.
- Da equação normal temos, reescrevendo,
ou seja, o vetor de resíduos
é ortogonal (produto interno zero) a cada coluna de
.
- Isso significa que para cada regressor
,
Explicando: a soma dos resíduos multiplicada por cada coluna de
é zero.
Passo 6
Como isso dá
quando há intercepto.
- Se a primeira coluna de
é o vetor de uns (que representa o intercepto), então a equação correspondente à primeira componente de é
- Mas
. Portanto
- Conclusão: sempre que o ajuste for por OLS e a matriz
contiver explicitamente uma coluna de uns (intercepto), a soma dos resíduos será exatamente zero (assumindo operações exatas).
Passo 7
Interpretação intuitiva e relação com as médias.
- A condição
significa que a média dos resíduos é zero:
- Outra maneira de ver: a média dos valores ajustados
coincide com a média observada . De fato,
Isso é consequência direta da ortogonalidade com
.
Passo 8
Condições e exceções: quando a afirmação NÃO vale.
- A propriedade vale sob as condições:
- O ajuste é feito por mínimos quadrados ordinários (OLS) sem penalização.
- A matriz
realmente contém a coluna de uns (intercepto). - A solução OLS existe (por exemplo,
tem posto completo; caso contrário há degenerescência).
- Casos em que a soma dos resíduos pode não ser zero:
- Se o intercepto foi omitido (ou seja, não há coluna de uns em
), então não precisa ser zero. - Em regressão ponderada (WLS) a relação é
e não em geral; assim a soma simples dos resíduos pode ser diferente de zero. - Em estimadores penalizados (por ex., ridge, lasso) as equações normais mudam e
pode não ser zero. - Em métodos robustos (M-estimators) ou em ajustes por mínimos absolutos, a propriedade também pode falhar.
- Em cálculo numérico com precisão finita, pode aparecer um resíduo somando um valor muito próximo de zero, porém não exatamente zero por erros de arredondamento.
- Se o intercepto foi omitido (ou seja, não há coluna de uns em
Passo 9
Exemplo numérico curto para fixar (passo a passo).
- Considere
observações com e . Monta-se com intercepto:
- Calculando
obtém-se (fazer as contas rapidamente)
- Resolva
. A solução é (chegando nisso por álgebra simples). - Os valores ajustados são
- Aqui os resíduos
são e claramente . Mesmo em exemplos genéricos não degenerados a soma será zero, como demonstrado teoricamente acima.]
Passo 10
Resumo final da verificação (resumindo e encorajando).
- A propriedade é uma consequência direta das equações normais do OLS e da presença da coluna de uns no
. - É uma propriedade muito útil (por exemplo, para checar se a implementação numérica está correta): ao ajustar por OLS com intercepto, espere soma dos resíduos aproximadamente zero (exata na álgebra exata).
Resposta
Verdadeira