Questão 10 Sobre ajuste de curvas pelo método dos quadrados mínimos,é falso afirmar que:
[A] O fenômeno de Runge não se aplica à regressão linear simples.
[B]A variância residual(estimada pelo quadrado médio residual)diminui na medida em que acrescentamos mais parâmetros ao modelo.
[C]A soma dos quadrados residual resultante da regressão linear simples é maior ou igual à obtida empregando o modelo y=\beta_{0}+\beta_{1} x+\beta_{2} x^{2}
[D]O coeficiente de determinação tende a 1 na medida em que acrescentamos mais parâmetros ao modelo.
[E]O sistema de equações normais pode ser resolvido via decomposição de Cholesky.

Passo 1

O enunciado pede: entre as alternativas A, B, C, D e E sobre ajuste de curvas pelo método dos mínimos quadrados, identificar qual delas é falsa. As alternativas são (vou transcrever cada uma exatamente como estão no enunciado):
A: O fenômeno de Runge não se aplica à regressão linear simples. \n
B: A variância residual (estimada pelo quadrado médio residual) diminui na medida em que acrescentamos mais parâmetros ao modelo. \n
C: A soma dos quadrados residual resultante da regressão linear simples é maior ou igual à obtida empregando o modelo \;y=\beta_{0}+\beta_{1}x+\beta_{2}x^{2}. \n
D: O coeficiente de determinação tende a 1 na medida em que acrescentamos mais parâmetros ao modelo. \n
E: O sistema de equações normais pode ser resolvido via decomposição de Cholesky. \n
Informações relevantes fornecidas pelo enunciado:
  • Trata-se de propriedades gerais do método dos quadrados mínimos (regressão linear e modelos polinomiais).
  • A pergunta é de alternativa única: exatamente uma alternativa é falsa.

Passo 2

Entendendo a alternativa A (Runge e regressão linear simples). Vou explicar rapidamente o que é o fenômeno de Runge e por que a afirmação é plausível.
  • O fenômeno de Runge refere-se à oscilação e grandes erros que aparecem na interpolação polinomial de alto grau, especialmente perto das extremidades do intervalo, quando se usa polinômios de grau alto para ajustar pontos equiespaçados. É um problema típico de interpolação polinomial de grau elevado.
  • Uma regressão linear simples corresponde a ajustar um polinômio de grau 1 (reta), muito baixo grau. Os problemas de oscilação tipo Runge só aparecem quando o grau do polinômio cresce muito; para grau 1 isso não ocorre.
  • Portanto a afirmação “o fenômeno de Runge não se aplica à regressão linear simples” é correta — a regressão linear simples não sofre do fenômeno de Runge.

Passo 3

Entendendo a alternativa B (variância residual / quadrado médio residual) — aqui vamos com calma porque é o ponto crucial.
Primeiro, definições e conceitos:
  • A soma dos quadrados dos resíduos (RSS) é
\mathrm{RSS}=\sum_{i=1}^{n}\bigl(y_i-\hat y_i\bigr)^{2},
onde y_i são observações e \hat y_i são valores ajustados pelo modelo.
  • O estimador usual da variância do erro (também chamado quadrado médio residual, mean squared error) é
s^{2}=\frac{\mathrm{RSS}}{n-p},
onde n é o número de observações e p é o número de parâmetros do modelo (por exemplo, p=2 para regressão simples com intercepto e coeficiente angular). O denominador n-p é os graus de liberdade dos resíduos.
Agora, comportamento ao acrescentar parâmetros:
  • Quando adicionamos um parâmetro ao modelo (por exemplo, passamos de linha reta para parabola), a soma dos quadrados dos resíduos \mathrm{RSS} não aumenta — normalmente diminui ou fica igual, porque o modelo novo contém o modelo antigo como caso especial (podemos escolher coeficiente do termo adicional igual a zero). Ou seja,
\mathrm{RSS}_{\text{novo}}\le \mathrm{RSS}_{\text{antigo}}.
  • Porém, ao acrescentar um parâmetro, o denominador n-p também diminui ( p aumenta em 1), portanto o quociente s^{2}=\mathrm{RSS}/(n-p) pode aumentar ou diminuir — não há garantia matemática de que sempre diminua. Depende de quanto a \mathrm{RSS} caiu em relação à diminuição dos graus de liberdade.
Contraexemplo numérico simples (para ver na prática que a afirmação “diminui” nem sempre é verdadeira):
  • Suponha n=10. Para regressão linear simples temos p=2 e n-p=8.
  • Suponha que, com o modelo linear, \mathrm{RSS}_{\text{antigo}}=8. Então
s^{2}_{\text{antigo}}=\frac{8}{8}=1.
  • Agora adicionamos um parâmetro (por exemplo, termo quadrático), p=3 e n-p=7. Suponha que a \mathrm{RSS} diminuiu um pouco, para \mathrm{RSS}_{\text{novo}}=7{,}8 (uma melhora pequena). Então
s^{2}_{\text{novo}}=\frac{7{,}8}{7}\approx 1{,}114\dots
que é maior que 1. Ou seja, apesar de \mathrm{RSS} ter diminuído, o quadrado médio residual aumentou.
  • Conclusão didática: A quantidade \mathrm{RSS} sempre diminui (ou não aumenta) ao adicionar parâmetros em modelos aninhados, mas o estimador s^{2}=\mathrm{RSS}/(n-p) não tem comportamento monotônico garantido — pode subir ou descer dependendo do quanto a RSS caiu.
Portanto a afirmação B, que diz que a variância residual (estimada pelo quadrado médio residual) diminui conforme acrescentamos mais parâmetros, é falsa em geral.

Passo 4

Breve verificação das alternativas C, D e E para confirmar que são corretas (assim sabemos que apenas B é problemática).
Sobre C (RSS da regressão linear simples comparada ao modelo quadrático):
  • Modelos aninhados: o modelo quadrático \;y=\beta_{0}+\beta_{1}x+\beta_{2}x^{2}; contém o modelo linear como caso especial (basta \beta_{2}=0). Logo ao ajustar o modelo quadrático minimizamos \mathrm{RSS} sobre um conjunto maior de parâmetros, então
\mathrm{RSS}_{\text{linear}}\ge \mathrm{RSS}_{\text{quadrático}}.á
  • Portanto a afirmação C é verdadeira.
Sobre D ( R^{2} tende a 1 com mais parâmetros):
  • O coeficiente de determinação é definido por
R^{2}=1-\frac{\mathrm{RSS}}{\mathrm{TSS}},
onde \mathrm{TSS}=\sum_{i}(y_i-\bar y)^{2} é a soma total dos quadrados. Como \mathrm{RSS} não aumenta quando acrescentamos parâmetros, R^{2} não diminui; ele cresce ou fica igual. Se adicionarmos parâmetros suficientes (por exemplo, tantos parâmetros quanto observações, saturando o modelo), podemos forçar \mathrm{RSS}\to 0 e então R^{2}\to 1. Obs.: isso não vale para R^{2}_{\text{ajustado}}, que penaliza parâmetros, mas o enunciado fala de R^{2} puro. Logo D é verdadeira.
Sobre E (resolver equações normais com Cholesky):
  • As equações normais são X^{\top}X\,\beta=X^{\top}y. A matriz X^{\top}X é simétrica e, se as colunas de X são linearmente independentes (modelo de posto completo), então X^{\top}X é definida positiva. Uma matriz simétrica definida positiva admite decomposição de Cholesky X^{\top}X=LL^{\top}, e isso pode ser usado para resolver o sistema de maneira numericamente eficiente e estável.
  • Portanto a alternativa E é correta, com a ressalva técnica (implícita no enunciado) de que a Cholesky exige X^{\top}X definida positiva (ou seja, colunas de X linearmente independentes).

Passo 5

Recapitulando o raciocínio principal (de forma motivadora):
  • A: correta (Runge é problema de polinômios de alto grau, não de reta).
  • B: falsa porque o quadrado médio residual s^{2}=\mathrm{RSS}/(n-p) não é garantido decrescer ao aumentar p; dei um contraexemplo numérico simples.
  • C: correta (modelos aninhados — RSS não aumenta).
  • D: correta para R^{2} não-ajustado (tende a 1 quando o modelo é enriquecido até saturação).
  • E: correta sob a condição habitual de posto completo (Cholesky em X^{\top}X definida positiva).
Força aí — essa lógica é a que cai na prova: lembrar que RSS decresce mas o quadrado médio pode subir por causa dos graus de liberdade é o ponto sutil que elimina a alternativa B.

Resposta

B

Exercícios relacionados