Mínimos Quadrados

Teoria Completa

Alguém aí já conseguiu resolver um problema impossível? Se liga que vou passar um pra vocês agora haha.

Encontre o vetor x que resolve o sistema abaixo:

1 3 2 6 x = 1 1

Bom imagino que a primeira coisa que fariam seria escalonar o sistema certo? Ficaria assim:

1 3 2 6 1 1 → L 2 ← L 2 - 2 L 1 1 3 0 0 1 - 1

Então resolver aquele problema lá é a mesma coisa que resolver esse aqui:

1 3 0 0 x 1 x 2 = 1 - 1

Ué, mas como que 0 x 1 + 0 x 2 = - 1 ?? É impossível!!

Bom, eu falei que seria haha. E eu não falei pra fazerem isso por nada! Agora nós vamos aprender a resolver problemas impossíveis, sem solução!

Vamos mudar um pouquinho de assunto. Vamos voltar lá pra trás e lembrar de sistemas lineares. Por exemplo o sistema A x = b . Quando esse sistema tinha solução mesmo?

Vamos considerar A k × n = ↑   ↑ a 1 ⋯ a n ↓   ↓ e x = x 1 ⋮ x n . Assim temos o sistema:

↑   ↑ a 1 ⋯ a n ↓   ↓ x 1 ⋮ x n = b

Lembra que isso é a mesma coisa que:

x 1 ↑ a 1 ↓ + … + x n ↑ a n ↓ = b ,   o n d e   x 1 , … , x n ∈ R  

Então, o nosso sistema original A x = b , tem solução somente se b pode ser escrito como uma C L das colunas da matriz A .

Mas o que significa isso? Significa que b pertencesse ao s p a n ↑ a 1 ↓ , … , ↑ a n ↓ ! Em outras palavras, que b pertence ao espaço gerado pelas colunas de A que é, nada mais nada menos que a imagem de A .

Então, A x = b tem solução ⇔ b ∈   s p a n ↑ a 1 ↓ , … , ↑ a n ↓ .

Geometricamente temos isso aqui:

Onde V = s p a n ↑ a 1 ↓ , … , ↑ a n ↓

Neste caso, o sistema tem solução, pois b ∈ s p a n ↑ a 1 ↓ , … , ↑ a n ↓

Se, por outro lado, o sistema NÃO TEM SOLUÇÃO, pois b ∉ s p a n ↑ a 1 ↓ , … , ↑ a n ↓ , teremos a imagem abaixo:

Repare que o vetor b está fora do plano!

E é aí que eu queria chegar. Quando acontece este último caso, realmente não dá pra achar o valor exato, mas podemos achar uma aproximação que pode ser muito satisfatória para nossas necessidades!

Então, no caso que estamos trabalhando agora, não existe x que satisfaça A x = b . Já que não existe solução mesmo, vamos tentar pegar o cara mais próximo de b que pertença ao plano V , ou seja, o cara que tenha menor distância possível entre b e s p a n ↑ a 1 ↓ , … , ↑ a n ↓ .

E qual a menor distância entre dois pontos?? Acertou quem pensou uma reta! Veja a figura abaixo:

Nesse caso temos que, o vetor mais próximo de b e que pertence ao espaço V é o vetor b ~ !

Agora se resolvêssemos o sistema A x - = b ~ , podemos ter certeza que ele vai ter solução. Repare que x - ≠ x . Esse x - que queremos achar agora é a melhor aproximação que podemos fazer para x , mas não é ele, já que o x original não existe XD.

Veja que o que fizemos foi simplesmente projetar o vetor b em V , então podemos concluir que A x - = b ~ = P V ( b ) .

Mas po, quem é b ~ ??? Bom, realmente não sabemos, mas não se preocupe, porque já inventaram um teorema em função de b para você não ter problemas.

Basicamente, o que o primeiro teorema quer dizer é: resolva a nova equação

A T A x - = A T b

e ache x - . Repare que com x - descoberto, você pode calcular a projeção de b em H fazendo A x - , já que A x - = b ~ = P H ( b ) .

Se você precisar calcular a projeção, agora você também tem a opção de usar mínimos quadrados.

Uma aplicação para o método dos mínimos quadrados é achar uma curva que melhor se aproxima de um determinado conjunto de pontos, por exemplo. Quem já fez laboratório de física, sabe que os pontos da experiência nunca ficam perfeitos, e muitos desses pontos ficam fora da curva. Quando lá no laboratório, você traça aquela reta, por exemplo, que melhor passar por todos os pontos, é uma questão de mínimos quadrados! Observe:

Dados os pontos

- 1,0 ,   0,1 ,   1,2 ,   2,1

Encontre a melhor reta que se aproxima dos pontos acima:

Bom, a equação da reta é dessa maneira aqui:

y = a x + b

Assim, se você botar num gráfico, verá claramente que ficará igual a sua experiência de laboratório, e não vai dar pra passar a mesma reta por todos esses pontos hahaha. Bom, substituindo os pontos na equação:

- a + b = 0 0 . a + b = 1 a + b = 2 2 a + b = 1

No olho, vemos que esse sistema é impossível! Se tiver alguma dúvida, pode tentar resolver haha. Assim, como o sistema é impossível, podemos ver que trata-se de mínimos quadrados. Mas como eu vou aplicar isso?

Primeiro vamos passar o sistema para a forma matricial:

- 1 1 0 1 1 1 2 1 a b = 0 1 2 1

Repare que se tomarmos A = - 1 1 0 1 1 1 2 1 , x = a b ,   b = 0 1 2 1 , vamos ter o sistema na forma:

A x = b

Que é o sistema que estamos acostumados! Assim, basta aplicar a fórmula dos mínimos quadrados:

A T A x - = A T b

Assim, vamos achar um x - = a 1 b 1 , que melhor satisfaça o sistema de equações original.

A T = - 1 0 1 2 1 1 1 1

Fazendo:

A T A x ¯ = - 1 0 1 2 1 1 1 1 - 1 1 0 1 1 1 2 1 x ¯ = - 1 0 1 2 1 1 1 1 0 1 2 1 = A T b

6 2 2 4 x ¯ = 4 4

Assim resolvendo sistema:

6 2 2 4 a 1 b 1 = 4 4 ⇒

6 a 1 + 2 b 1 = 4 2 a 1 + 4 b 1 = 4

Resolvendo o sistema, encontramos que:

a 1 = 2 5

b 1 = 4 5

E, portanto, a melhor reta que aproxima os pontos do enunciado é:

y = 2 5 x + 4 5

Expandir

Exercício Resolvido #1

UFRJ-P4-2015.1

O sistema abaixo não tem solução. Encontre a melhor aproximação no sentido dos Mínimos Quadrados:

x + 2 y = 1 2 x - y = 1 x + y = 1

  1. 32 35 , 18 35
  2. 22 35 , 8 35
  3. 27 35 , 13 35
  4. 17 35 , 3 35
MOSTRAR SOLUÇÃO COMPLETA

Passo 1

Como o sistema não tem solução, vamos resolver por mínimos quadrados, assim vamos passá-lo para a forma matricial:

1 2 2 - 1 1 1 ⋅ x y = 1 1 1

Aplicando o mínimos quadrados:

1 2 1 2 - 1 1 ⋅ 1 2 2 - 1 1 1 ⋅ x y = 1 2 1 2 - 1 1 ⋅ 1 1 1 ⇒

6 1 1 6 ⋅ x y = 4 2 ⇒

6 x + y = 4 ⇒ 12 - 36 y + y = 4 ⇒ - 35 y = - 8 ⇒ y = 8 35 x + 6 y = 2 ⇒ x = 2 - 6 y ⇒ x = 22 35

Resposta

Letra b

Exercício Resolvido #2

Elaboração Própria

Determine a reta que melhor se ajusta aos seguintes pontos:

0 , 3 2

1 , 5 2

( 2 ,   3 )