Questão 10 Sobre ajuste de curvas pelo método dos quadrados mínimos,é falso afirmar que:
[A]
fenômeno de Runge não se aplica à regressão linear simples.
[B]A variância residual(estimada pelo quadrado médio residual)diminui na medida em que acrescentamos mais parâmetros ao modelo.
[C]A soma dos quadrados residual resultante da regressão linear simples é maior ou igual à obtida empregando o modelo
.
[D]O coeficiente de determinação tende a 1 na medida em que acrescentamos mais parâmetros ao modelo.
[E]O sistema de equações normais pode ser resolvido via decomposição de Cholesky.
[A]
[B]A variância residual(estimada pelo quadrado médio residual)diminui na medida em que acrescentamos mais parâmetros ao modelo.
[C]A soma dos quadrados residual resultante da regressão linear simples é maior ou igual à obtida empregando o modelo
[D]O coeficiente de determinação tende a 1 na medida em que acrescentamos mais parâmetros ao modelo.
[E]O sistema de equações normais pode ser resolvido via decomposição de Cholesky.
Passo 1
O enunciado pede: entre as alternativas A, B, C, D e E sobre ajuste de curvas pelo método dos mínimos quadrados, identificar qual delas é falsa. As alternativas são (vou transcrever cada uma exatamente como estão no enunciado):
A: O fenômeno de Runge não se aplica à regressão linear simples.
\n
B: A variância residual (estimada pelo quadrado médio residual) diminui na medida em que acrescentamos mais parâmetros ao modelo.
\n
C: A soma dos quadrados residual resultante da regressão linear simples é maior ou igual à obtida empregando o modelo
.
\n
D: O coeficiente de determinação tende a 1 na medida em que acrescentamos mais parâmetros ao modelo.
\n
E: O sistema de equações normais pode ser resolvido via decomposição de Cholesky.
\n
A:
B:
C:
D:
E:
Informações relevantes fornecidas pelo enunciado:
- Trata-se de propriedades gerais do método dos quadrados mínimos (regressão linear e modelos polinomiais).
- A pergunta é de alternativa única: exatamente uma alternativa é falsa.
Passo 2
Entendendo a alternativa A (Runge e regressão linear simples). Vou explicar rapidamente o que é o fenômeno de Runge e por que a afirmação é plausível.
- O fenômeno de Runge refere-se à oscilação e grandes erros que aparecem na interpolação polinomial de alto grau, especialmente perto das extremidades do intervalo, quando se usa polinômios de grau alto para ajustar pontos equiespaçados. É um problema típico de interpolação polinomial de grau elevado.
- Uma regressão linear simples corresponde a ajustar um polinômio de grau
(reta), muito baixo grau. Os problemas de oscilação tipo Runge só aparecem quando o grau do polinômio cresce muito; para grau isso não ocorre. - Portanto a afirmação “o fenômeno de Runge não se aplica à regressão linear simples” é correta — a regressão linear simples não sofre do fenômeno de Runge.
Passo 3
Entendendo a alternativa B (variância residual / quadrado médio residual) — aqui vamos com calma porque é o ponto crucial.
Primeiro, definições e conceitos:
- A soma dos quadrados dos resíduos (RSS) é
onde
são observações e
são valores ajustados pelo modelo.
- O estimador usual da variância do erro (também chamado quadrado médio residual, mean squared error) é
onde
é o número de observações e
é o número de parâmetros do modelo (por exemplo,
para regressão simples com intercepto e coeficiente angular). O denominador
é os graus de liberdade dos resíduos.
Agora, comportamento ao acrescentar parâmetros:
- Quando adicionamos um parâmetro ao modelo (por exemplo, passamos de linha reta para parabola), a soma dos quadrados dos resíduos
não aumenta — normalmente diminui ou fica igual, porque o modelo novo contém o modelo antigo como caso especial (podemos escolher coeficiente do termo adicional igual a zero). Ou seja,
- Porém, ao acrescentar um parâmetro, o denominador
também diminui ( aumenta em 1), portanto o quociente pode aumentar ou diminuir — não há garantia matemática de que sempre diminua. Depende de quanto a caiu em relação à diminuição dos graus de liberdade.
Contraexemplo numérico simples (para ver na prática que a afirmação “diminui” nem sempre é verdadeira):
- Suponha
. Para regressão linear simples temos e . - Suponha que, com o modelo linear,
. Então
- Agora adicionamos um parâmetro (por exemplo, termo quadrático),
e . Suponha que a diminuiu um pouco, para (uma melhora pequena). Então
que é maior que
. Ou seja, apesar de
ter diminuído, o quadrado médio residual aumentou.
- Conclusão didática: A quantidade
sempre diminui (ou não aumenta) ao adicionar parâmetros em modelos aninhados, mas o estimador não tem comportamento monotônico garantido — pode subir ou descer dependendo do quanto a RSS caiu.
Portanto a afirmação B, que diz que a variância residual (estimada pelo quadrado médio residual) diminui conforme acrescentamos mais parâmetros, é falsa em geral.
Passo 4
Breve verificação das alternativas C, D e E para confirmar que são corretas (assim sabemos que apenas B é problemática).
Sobre C (RSS da regressão linear simples comparada ao modelo quadrático):
- Modelos aninhados: o modelo quadrático
; contém o modelo linear como caso especial (basta ). Logo ao ajustar o modelo quadrático minimizamos sobre um conjunto maior de parâmetros, então
- Portanto a afirmação C é verdadeira.
Sobre D (
tende a 1 com mais parâmetros):
- O coeficiente de determinação é definido por
onde
é a soma total dos quadrados. Como
não aumenta quando acrescentamos parâmetros,
não diminui; ele cresce ou fica igual. Se adicionarmos parâmetros suficientes (por exemplo, tantos parâmetros quanto observações, saturando o modelo), podemos forçar
e então
. Obs.: isso não vale para
, que penaliza parâmetros, mas o enunciado fala de
puro. Logo D é verdadeira.
Sobre E (resolver equações normais com Cholesky):
- As equações normais são
. A matriz é simétrica e, se as colunas de são linearmente independentes (modelo de posto completo), então é definida positiva. Uma matriz simétrica definida positiva admite decomposição de Cholesky , e isso pode ser usado para resolver o sistema de maneira numericamente eficiente e estável. - Portanto a alternativa E é correta, com a ressalva técnica (implícita no enunciado) de que a Cholesky exige
definida positiva (ou seja, colunas de linearmente independentes).
Passo 5
Recapitulando o raciocínio principal (de forma motivadora):
- A: correta (Runge é problema de polinômios de alto grau, não de reta).
- B: falsa porque o quadrado médio residual
não é garantido decrescer ao aumentar ; dei um contraexemplo numérico simples. - C: correta (modelos aninhados — RSS não aumenta).
- D: correta para
não-ajustado (tende a 1 quando o modelo é enriquecido até saturação). - E: correta sob a condição habitual de posto completo (Cholesky em
definida positiva).
Força aí — essa lógica é a que cai na prova: lembrar que RSS decresce mas o quadrado médio pode subir por causa dos graus de liberdade é o ponto sutil que elimina a alternativa B.
Resposta
B