Considere dois modelos, \mathrm{M} 1=b_{0}+b_{1} x_{1}+\ldots+b_{p} x_{p} e \mathrm{M} 2=\mathrm{M} 1+b_{p+1} x_{p+1}. O coeficiente de determinação de M 2 será maior ou igual ao de M 1 e a variância residual de M 2 será menor ou igual à de M1-
Escolha uma opção:
  • Verdadeiro
  • Falso

Passo 1

O enunciado dá duas regressões em que o segundo modelo acrescenta um regressor ao primeiro:
\text{M1} = b_{0} + b_{1}x_{1} + \ldots + b_{p}x_{p}
\text{M2} = \text{M1} + b_{p+1}x_{p+1}
A afirmação proposta é: “O coeficiente de determinação de M2 será maior ou igual ao de M1 e a variância residual de M2 será menor ou igual à de M1.”
O que se pede: decidir se essa afirmação é verdadeira ou falsa.
Informações relevantes fornecidas: os modelos são aninhados (M1 é caso especial de M2 quando b_{p+1}=0) e M2 contém todos os termos de M1 mais um termo extra.

Passo 2

Vamos entender o que é o coeficiente de determinação \,R^2.
Definição prática: seja \mathrm{TSS} a soma total dos quadrados (variabilidade total de y) e \mathrm{RSS} a soma dos quadrados dos resíduos (variabilidade não explicada pelo modelo). Então
R^2 = 1 - \frac{\mathrm{RSS}}{\mathrm{TSS}}.
Aqui \mathrm{TSS}=\sum_i (y_i-\bar y)^2 e \mathrm{RSS}=\sum_i (y_i-\hat y_i)^2. Explicando: \mathrm{RSS} mede o erro deixado pelo modelo; quanto menor \mathrm{RSS}, maior a fração da variabilidade explicada, logo maior R^2.

Passo 3

Mostrando que R^2(\mathrm{M2}) \ge R^2(\mathrm{M1}).
Fato importante (propriedade dos mínimos quadrados e do encaixe por inclusão de regressors): ao acrescentar um regressor você está minimizando \mathrm{RSS} em um espaço de parâmetros maior. Portanto a soma de quadrados dos resíduos não aumenta; formalmente
\mathrm{RSS}_{2} \le \mathrm{RSS}_{1}.
Como \mathrm{TSS} é a mesma para ambos os modelos (depende só de y), usando a fórmula de R^2 obtemos
R^2(\mathrm{M2}) = 1 - \frac{\mathrm{RSS}_2}{\mathrm{TSS}} \ge 1 - \frac{\mathrm{RSS}_1}{\mathrm{TSS}} = R^2(\mathrm{M1}).
Intuição: o novo regressor pode ser estimado com coeficiente zero e manter o ajuste anterior, ou ajustar algo e diminuir \mathrm{RSS}; nunca piora o \mathrm{RSS}, então R^2 nunca diminui. Portanto a primeira parte da afirmação é correta.

Passo 4

Agora precisamos esclarecer o que se costuma chamar de “variância residual”. Na prática estatística de regressão a estimativa da variância do erro é tipicamente o erro quadrático médio (mean squared error) dos resíduos:
\hat\sigma^2 = \frac{\mathrm{RSS}}{n - k},
onde n é o número de observações e k é o número de parâmetros estimados (incluindo intercepto). Para \mathrm{M1} temos k_1 = p+1 e para \mathrm{M2} temos k_2 = p+2. Assim os graus de liberdade residuais são n-k_1 e n-k_2=n-k_1-1.

Passo 5

Comparando as estimativas \hat\sigma^2 dos dois modelos:
\hat\sigma^2_1 = \frac{\mathrm{RSS}_1}{n-k_1},\qquad \hat\sigma^2_2 = \frac{\mathrm{RSS}_2}{n-k_2}.
Sabemos que \mathrm{RSS}_2 \le \mathrm{RSS}_1, mas também n-k_2 < n-k_1 (o denominador de \hat\sigma^2_2 é menor). Portanto não há garantia monotônica: uma razão \mathrm{RSS} menor dividida por um denominador muito menor pode resultar num valor maior de \hat\sigma^2. Conclusão: a desigualdade \hat\sigma^2_2 \le \hat\sigma^2_1 não é garantida em geral.

Passo 6

Para fixar a intuição, faço um exemplo numérico simples (isto é útil na prova para convencer o examinador rapidamente): suponha n=10 e seja \mathrm{RSS}_1 = 100. Se ao acrescentar o regressor a soma de quadrados residual cai um pouco para \mathrm{RSS}_2 = 96, então
\hat\sigma^2_1 = \frac{100}{n-k_1} = \frac{100}{9}\approx 11{,}11,
\hat\sigma^2_2 = \frac{96}{n-k_2} = \frac{96}{8}=12.
Aqui eu usei k_1=p+1=1 (ex.: intercepto apenas) para ilustrar; o resultado mostra \hat\sigma^2_2 > \hat\sigma^2_1 apesar de \mathrm{RSS}_2<\mathrm{RSS}_1. Portanto a “variância residual” estimada pode aumentar ao incluir um regressor. Isso acontece na prática se a redução de \mathrm{RSS} não for suficiente para compensar a perda de um grau de liberdade.

Passo 7

Juntando as duas partes: a parte sobre R^2 é verdadeira (adicionar regressors não diminui R^2), mas a parte sobre a variância residual estimada \hat\sigma^2 ser sempre menor ou igual é falsa (não há garantia; pode aumentar). Como a afirmação original exige que ambas as proposições sejam verdadeiras simultaneamente, a afirmação composta é falsa.

Resposta

Falso

Exercícios relacionados