No problema de mínimos quadrados queremos determinar uma reta y=a x+b que passe o mais próximo possível de um conjunto de dados (x1, y1),(x2, y2), ldots,(xn, yn). Para isso, é necessário definir uma função a ser minimizada. Use um exemplo para explicar por que as funções abaixo não são escolhas adequadas.
S(a, b)=sumi=1^n(yi-(a xi+b))

Passo 1

Beleza, então o enunciado é: na regressão linear a gente quer achar a reta S(a,b)=sumi=1^nl(yi - (a xi + b)r) que fique “mais pertinho” de um monte de pontos . Pra isso, a gente define uma função de erro e minimiza ela. O exercício pergunta por que a função
não serve. O conteúdo aqui é mínimos quadrados e resíduos (a diferença entre valor observado e valor previsto). Vamos usar um exemplo simples pra mostrar que essa soma de resíduos não traz informação útil: ela pode cancelar ou não ter mínimo.

Passo 2

Primeiro, lembra do que é resíduo:
ri = yi - (a xi + b)
A ideia de uma função de erro é medir “o quanto, em módulo, a reta erra” nos pontos. Mas em
S(a,b) = sumi=1^n ri
os resíduos positivos e negativos podem se anular. Ou seja, dá pra ter erro grande em cada ponto e mesmo assim a soma ficar zerada. Além disso, é uma função linear em e , sem ponto de mínimo único.

Passo 3

Vamos tomar um exemplo bem simples: dois pontos S(a,b) ;=; r1 + r2 ;=; -b ;+; (1 - a - b) ;=; 1 - a - 2b e S(0,tfrac12)=1 - 0 - 2cdottfrac12 = 0 .
  • Para , o resíduo é .
  • Para , o resíduo é .
    Então
Repara que:
  1. Se escolhermos (a reta ideal), dá .
  2. Mas se a gente pegar, por exemplo, (reta ), dá
mesmo tendo um ajuste péssimo (um ponto acima da reta, outro abaixo).
Além disso, como é linear, é possível deixar e muito grandes (ou muito negativos) e fazer ir pra . Ou seja, não existe um mínimo bem definido.

Resposta

A função não serve porque:
  1. resíduos positivos e negativos se cancelam, dando valor zero mesmo para ajuste ruim;
  2. sendo linear em , não tem mínimo único nem valor de erro que faça sentido. Por isso usamos a soma dos quadrados dos resíduos, que é sempre não-negativa e tem mínimo bem comportado.

Exercícios relacionados