No problema de mínimos quadrados queremos determinar uma reta y=a x+b que passe o mais próximo possível de um conjunto de dados (x1, y1),(x2, y2), ldots,(xn, yn). Para isso, é necessário definir uma função a ser minimizada. Use um exemplo para explicar por que as funções abaixo não são escolhas adequadas.
S(a, b)=sumi=1^n|yi-(a xi+b)|

Passo 1

Beleza, o exercício tá dentro de Regressão Linear e Otimização: em vez de somar os quadrados dos resíduos pra ajustar uma reta, ele propõe usar
S(a,b);=;sumi=1^nl|,yi-(a,xi+b)r|
e pede um exemplo e uma explicação de por que isso não é uma boa escolha. Para resolver vamos precisar de:
  • Compreender a propriedade da função valor absoluto , em particular a falta de derivada em .
  • Mostrar que, por causa disso, ou a solução não é única ou não conseguimos achar um sistema de equações “normal” (como no caso dos quadrados) para determinar e .

Passo 2

Teoria rápida sobre +1,&z>0,-1,&z<0:
  1. Para S(a,b)=sumi=1^nl|ri(a,b)r| com ri(a,b)=yi-(a xi+b), , a derivada existe e é
  2. Em , tem um “canto”, não existe derivada única ali.
No caso de
os pontos onde geram cantos no gráfico de . Se a reta ótima fizer qualquer , não dá pra “igualar a zero” a derivada parcial nem porque ela simplesmente não existe naquele ponto.

Passo 3

Exemplo concretinho pra ver não unicidade de solução:
Suponha que só temos um ponto S(a,b)=l|,1-(acdot1+b)r|=l|a+b-1r| .
Então
a+b-1=0 Longrightarrow b=1-a
Para minimizar Srm quad(a,b)=(a+b-1)^2 basta escolher qualquer par 2(a+b-1)=0 que satisfaça
Isso nos dá infinitas retas (todas passam por ) e todas têm custo .
No caso dos mínimos quadrados (soma de quadrados), com o mesmo dado a gente teria
e a condição de mínimo e leva a
— uma única equação, mas que dá a mesma família infinita de soluções. O grande porém é que, no caso dos quadrados, a gente normalmente pede pelo número de incógnitas igual ao número de equações: com um ponto só, tanto faz, não dá pra achar reta única.
Porém, se você tiver dois ou mais pontos, a soma de quadrados gera um sistema linear (as chamadas equações normais) que sempre tem solução única quando os não são todos iguais. Já na soma de valores absolutos:
  1. O “canto” em cada impede a derivação padrão e o estabelecimento de um sistema linear.
  2. Ainda que a gente use programação linear, muitas vezes o problema admite mais de uma reta ótima (não é estritamente convexa em ).

Passo 4

Resumo dos problemas práticos de :
  • Não é diferenciável quando qualquer . Então não dá pra usar a técnica clássica de “igualar derivadas a zero” e obter um sistema de duas equações lineares.
  • A função é apenas convexa, mas não estritamente convexa em , então podem existir infinitas retas que minimizam .
  • Para resolvê-la rigorosamente você precisa de métodos de programação linear, bem mais custosos do que a resolução direta das equações normais dos quadrados.

Resposta

A função
S(a,b)=sumi=1^nl|,yi-(a,xi+b)r|
não é uma boa escolha porque:
  1. não é diferenciável nos pontos onde , logo não há como montar o sistema “normal” de derivadas zero;
  2. mesmo usando programação linear, a convexidade não estrita faz com que a reta ótima possa não ser única (por exemplo, um único ponto já gera infinitas retas com o mesmo custo zero).
    Isso contrasta com a soma de quadrados, que é suave e estritamente convexa, garantindo solução única e fórmula fechada.

Exercícios relacionados