Considere a função F dada por
F(m, b)=sumi=1^n(yi-m xi-b)^2=|y-M c|^2
em que y=(y1, y2, cdots, yn)^T é um vetor constante,
M=[cc x1 & 1 x2 & 1 vdots & vdots xn & 1 ]
é uma matriz constante e c=(m, b)^T um vetor com as variáveis do problema. Encontre os valores das constantes m e b que correspondem a um ponto crítico desta função. Verifique que este ponto crítico corresponde a um ponto de mínimo utilizando a desigualdade de Hölder
1n(sumi=1^n|xi|)^2 <=|x|^2
Além disso, determine sob quais condições o lado esquerdo pode ser igual ao lado direito na desigualdade. Este problema é conhecido como regressão linear ou mínimos quadrados.

Passo 1

Resumo do problema e conteúdo envolvido: queremos minimizar a função quadrática
F(m,b)=∑_{i=1}^n(y_i−m x_i−b)^2,
um problema típico de regressão linear por mínimos quadrados. Para isso vamos usar derivadas parciais em forma matricial e as chamadas equações normais.

Passo 2

Cálculo do gradiente e equações normais: em notação vetorial, com c=(m,b)^T, temos

Igualando a zero, surgem as equações normais
nablacF = 2,M^T(Mc-y)n

Passo 3

Formação do sistema 2×2: calculamos
M^TM = ∑xi^2 & ∑xi∑xi & n, M^Ty = ∑xiyi∑yi
Então o sistema a resolver é
∑xi^2 & ∑xi∑xi & n mb= ∑xiyi∑yi

Passo 4

Resolução das equações normais: por regra de Cramer (ou inversão de 2×2) obtemos
m=n∑xiyi - (∑xi)(∑yi)n∑xi^2 - (∑xi)^2,
b=(∑xi^2)(∑yi) - (∑xi)(∑xiyi)n∑xi^2 - (∑xi)^2

Passo 5

Verificação de mínimo via Hessiano e desigualdade de Hölder: o Hessiano de F em (m,b) é
nabla^2F = 2M^TM,
simétrico. Seu determinante é
$$
\det(\mathbf{M}^T\mathbf{M}) = n∑x_i^2 - (∑x_i)^2.
det(M^TM) = n∑xi^2 - (∑xi)^2 ö
\frac{1}{n}\Bigl(∑|x_i|\Bigr)^2 \le ∑x_i^2,
1nl(∑|xi|r)^2 <= ∑xi^2,
\det(\mathbf{M}^T\mathbf{M}) = n∑x_i^2 - (∑x_i)^2 \ge 0.
$$
Como det(M^TM) = n∑xi^2 - (∑xi)^2 >= 0 é positivo semidefinido e invertível sempre que o determinante >0, M^TM é estritamente convexa e o ponto crítico é o mínimo global.

Passo 6

Condição de igualdade em Hölder: ocorre se, e somente se, o vetor (|x1|,dots,|xn|) for proportional a (1,dots,1), i.e. quando
|x1| = |x2| = cdots = |xn|

Resposta

Os parâmetros que minimizam F são
$$
m=\frac{n
\sum_{i=1}^n x_i y_i

(\sum_{i=1}^n x_i)(\sum_{i=1}^n y_i)}
{n\sum_{i=1}^n x_i^2
  • (\sum_{i=1}^n x_i)^2},
$$
m=n sumi=1^n xi yi - (sumi=1^n xi)(sumi=1^n yi) nsumi=1^n xi^2 - (sumi=1^n xi)^2,
A igualdade na desigualdade de Hölder ocorre se, e somente se,
b=(sumi=1^n xi^2)(sumi=1^n yi) - (sumi=1^n xi)(sumi=1^n xi yi) nsumi=1^n xi^2 - (sumi=1^n xi)^2

Exercícios relacionados