Considere dois modelos,
e
. O coeficiente de determinação de
será maior ou igual ao de
e a variância residual de
será menor ou igual à de M1-
Escolha uma opção:
- Verdadeiro
- Falso
Passo 1
O enunciado dá duas regressões em que o segundo modelo acrescenta um regressor ao primeiro:
A afirmação proposta é: “O coeficiente de determinação de M2 será maior ou igual ao de M1 e a variância residual de M2 será menor ou igual à de M1.”
O que se pede: decidir se essa afirmação é verdadeira ou falsa.
Informações relevantes fornecidas: os modelos são aninhados (M1 é caso especial de M2 quando ) e M2 contém todos os termos de M1 mais um termo extra.
O que se pede: decidir se essa afirmação é verdadeira ou falsa.
Informações relevantes fornecidas: os modelos são aninhados (M1 é caso especial de M2 quando
Passo 2
Vamos entender o que é o coeficiente de determinação
.
Definição prática: seja a soma total dos quadrados (variabilidade total de
) e
a soma dos quadrados dos resíduos (variabilidade não explicada pelo modelo). Então
Definição prática: seja
Aqui
e
. Explicando:
mede o erro deixado pelo modelo; quanto menor
, maior a fração da variabilidade explicada, logo maior
.
Passo 3
Mostrando que
.
Fato importante (propriedade dos mínimos quadrados e do encaixe por inclusão de regressors): ao acrescentar um regressor você está minimizando em um espaço de parâmetros maior. Portanto a soma de quadrados dos resíduos não aumenta; formalmente
Fato importante (propriedade dos mínimos quadrados e do encaixe por inclusão de regressors): ao acrescentar um regressor você está minimizando
Como
é a mesma para ambos os modelos (depende só de
), usando a fórmula de
obtemos
Intuição: o novo regressor pode ser estimado com coeficiente zero e manter o ajuste anterior, ou ajustar algo e diminuir
; nunca piora o
, então
nunca diminui. Portanto a primeira parte da afirmação é correta.
Passo 4
Agora precisamos esclarecer o que se costuma chamar de “variância residual”. Na prática estatística de regressão a estimativa da variância do erro é tipicamente o erro quadrático médio (mean squared error) dos resíduos:
onde
é o número de observações e
é o número de parâmetros estimados (incluindo intercepto). Para
temos
e para
temos
. Assim os graus de liberdade residuais são
e
.
Passo 5
Comparando as estimativas
dos dois modelos:
Sabemos que
, mas também
(o denominador de
é menor). Portanto não há garantia monotônica: uma razão
menor dividida por um denominador muito menor pode resultar num valor maior de
. Conclusão: a desigualdade
não é garantida em geral.
Passo 6
Para fixar a intuição, faço um exemplo numérico simples (isto é útil na prova para convencer o examinador rapidamente): suponha
e seja
. Se ao acrescentar o regressor a soma de quadrados residual cai um pouco para
, então
Aqui eu usei
(ex.: intercepto apenas) para ilustrar; o resultado mostra
apesar de
. Portanto a “variância residual” estimada pode aumentar ao incluir um regressor. Isso acontece na prática se a redução de
não for suficiente para compensar a perda de um grau de liberdade.
Passo 7
Juntando as duas partes: a parte sobre
é verdadeira (adicionar regressors não diminui
), mas a parte sobre a variância residual estimada
ser sempre menor ou igual é falsa (não há garantia; pode aumentar). Como a afirmação original exige que ambas as proposições sejam verdadeiras simultaneamente, a afirmação composta é falsa.
Resposta
Falso