Determine os pontos críticos das funções abaixo e classifique-os como pontos de máximo local, pontos de mínimo local ou pontos de sela.
9. (Método dos Mínimos Quadrados) Considere n \geq 2 pontos P_{i}=\left(x_{i}, y_{i}\right) \in \mathbb{R}^{2}, onde x_{i} \neq x_{j} se i \neq j. Suponha que esses pontos representem os resultados de alguma observação ou experimento e queiramos encontrar uma função afim f(x)=\alpha x+\beta cujo gráfico contém os pontos P_{1}, \ldots, P_{n}. Nem sempre existe uma tal função; em geral, o sistema linear nas variáveis \alpha e \beta
x_{i} \alpha+\beta=y_{i} \quad(1 \leq i \leq n)
é impossível se n \geq 3. O objetivo deste exercício é mostrar que é possível encontrar uma função afim f que minimiza a soma dos quadrados
\left(f\left(x_{1}\right)-y_{1}\right)^{2}+\cdots+\left(f\left(x_{n}\right)-y_{n}\right)^{2} .
Para fazer isso, mostre que a função
E(\alpha, \beta)=\sum_{i=1}^{n}\left(x_{i} \alpha+\beta-y_{i}\right)^{2}
tem um único ponto crítico, que é ponto de mínimo global de E, e encontre-o. (Sugestão: use o Critério da Hessiana para classificar o ponto crítico encontrado. Para mostrar que se trata de um ponto de mínimo global, use o exercício anterior.)

Passo 1

O enunciado pede que mostremos que a função
E(\alpha,\beta)=\sum_{i=1}^{n}\left(x_{i}\alpha+\beta-y_{i}\right)^{2}
tem exatamente um ponto crítico e que esse ponto é um mínimo global. Também pede que encontremos as coordenadas desse ponto crítico. Dados relevantes fornecidos:
  • Temos n\ge 2 pontos P_i=(x_i,y_i) com x_i\neq x_j sempre que i\neq j.
  • A variável a determinar é o par (\alpha,\beta)\in\mathbb{R}^2.
  • A função E é a soma dos quadrados dos resíduos x_i\alpha+\beta-y_i.
    A partir daqui vamos calcular derivadas parciais, resolver as equações normais (sistema linear para \alpha e \beta), verificar unicidade e usar a Hessiana para classificar o ponto crítico, e finalmente provar que é mínimo global.

Passo 2

Calcular as derivadas parciais de E. Vou usar a regra da cadeia e a linearidade da soma. Para cada i a contribuição é \left(x_i\alpha+\beta-y_i\right)^2. Diferenciando em relação a \alpha e \beta obtemos:
\frac{\partial E}{\partial \alpha}=2\sum_{i=1}^n\left(x_i\alpha+\beta-y_i\right)x_i,
\frac{\partial E}{\partial \beta}=2\sum_{i=1}^n\left(x_i\alpha+\beta-y_i\right).
Explicando: cada termo (x_i\alpha+\beta-y_i)^2 ao derivar por \alpha 2(x_i\alpha+\beta-y_i)\cdot x_i; por \beta 2(x_i\alpha+\beta-y_i)\cdot 1. O fator 2 aparece em ambas.

Passo 3

Encontrar os pontos críticos: anulamos as derivadas parciais. Dividindo por 2\) (não altera as raízes) obtemos o sistema linear (as chamadas equações normais): \[\sum_{i=1}^n x_i\left(x_i\alpha+\beta-y_i\right)=0,
\sum_{i=1}^n \left(x_i\alpha+\beta-y_i\right)=0.
Expandindo as somas coloco em forma matricial simples. Defino as somas auxiliares
S_x=\sum_{i=1}^n x_i,\qquad S_y=\sum_{i=1}^n y_i,\qquad S_{xx}=\sum_{i=1}^n x_i^2,\qquad S_{xy}=\sum_{i=1}^n x_i y_i.
Então o sistema fica
\begin{cases} \alpha S_{xx}+\beta S_x = S_{xy},\\[4pt] \alpha S_x + \beta n = S_y. \end{cases}
Este é um sistema 2\times2\] linear em \(\alpha,\beta.]

Passo 4

Resolver o sistema linear e mostrar unicidade. O determinante do sistema é
D = n S_{xx} - S_x^2.
Quero mostrar que D>0. Observe que D>0 é exatamente a desigualdade de Cauchy–Schwarz estrita aplicada aos vetores (1,1,\dots,1) e (x_1,\dots,x_n): a desigualdade de Cauchy–Schwarz diz (\sum 1\cdot x_i)^2 \le (\sum 1^2)(\sum x_i^2)=n S_{xx}, e a desigualdade é estrita porque os vetores não são proporcionais: se fossem proporcionais teríamos todos os x_i iguais, o que contradiz x_i\neq x_j para i\neq j. Logo D>0. Conclusão: há solução única (\alpha^*,\beta^*).
Agora resolvo explicitamente usando fórmula de Cramer. Obtenho
\alpha^{*}=\frac{n S_{xy}-S_x S_y}{D}, \qquad \beta^{*}=\frac{S_{xx} S_y - S_x S_{xy}}{D}.
É comum reescrever essas fórmulas em termos das médias \bar{x}=S_x/n e \bar{y}=S_y/n. Fazendo as manipulações (subtraindo \bar{x} e \bar{y} das somas) chega-se à forma bem conhecida
\alpha^{*}=\frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2}, \qquad \beta^{*}=\bar{y}-\alpha^{*}\bar{x}.
Explicando a interpretação: \alpha^* é a inclinação da reta que minimiza a soma dos quadrados e \beta^* é o intercepto correspondente.

Passo 5

Classificar o ponto crítico usando a Hessiana. Calculo as segundas derivadas (são constantes porque E é quadrática):
\frac{\partial^2 E}{\partial \alpha^2}=2\sum_{i=1}^n x_i^2 = 2S_{xx},
\frac{\partial^2 E}{\partial \beta^2}=2n,
\frac{\partial^2 E}{\partial \alpha\partial\beta}=2\sum_{i=1}^n x_i = 2S_x.
A matriz Hessiana é
H=2\begin{pmatrix} S_{xx} & S_x\\[4pt] S_x & n\end{pmatrix}.
Para classificar um ponto crítico em \mathbb{R}^2 verificamos os menores principais. O primeiro menor principal é 2S_{xx}>0 (não pode ser zero porque, com n\ge2 e x_i diferentes, pelo menos um x_i\neq 0 e assim S_{xx}>0). O determinante de H é
\det H = 4\left(n S_{xx}-S_x^2\right)=4D>0
(conforme já mostramos D>0). Como o primeiro menor é positivo e o determinante é positivo, H é definida positiva. Conclusão: o ponto crítico é estritamente um ponto de mínimo local (na verdade, por definição de Hessiana definida positiva, é um mínimo estrito).]

Passo 6

Mostrar que o mínimo local é global. Para funções quadráticas de duas variáveis com Hessiana definida positiva (constante), a função é estritamente convexa; em funções estritamente convexas todo mínimo local é único e global. Dou também uma demonstração direta, muito útil na prova: seja (\alpha^*,\beta^*) a solução das equações normais. Para quaisquer \alpha,\beta escrevo \Delta\alpha=\alpha-\alpha^*,\\ \Delta\beta=\beta-\beta^*. Usando que as equações normais implicam
\sum_{i=1}^n (x_i\alpha^*+\beta^*-y_i)=0, \qquad \sum_{i=1}^n x_i(x_i\alpha^*+\beta^*-y_i)=0,
fazendo a conta direta obtenho
E(\alpha,\beta)-E(\alpha^*,\beta^*)=\sum_{i=1}^n\bigl(x_i\Delta\alpha+\Delta\beta\bigr)^2 \ge 0.
Como a soma do lado direito é zero apenas se \Delta\alpha=\Delta\beta=0 (porque D>0 garante que não existe (\Delta\alpha,\Delta\beta)\neq(0,0) que torne todos os termos x_i\Delta\alpha+\Delta\beta simultaneamente zero), segue que E(\alpha,\beta)\ge E(\alpha^*,\beta^*) para todo (\alpha,\beta) e a igualdade só ocorre em (\alpha^*,\beta^*). Portanto o mínimo é global e único.

Resposta

(\alpha^*,\beta^*) com \displaystyle \alpha^{*}=\frac{n\sum_{i=1}^n x_i y_i -\left(\sum_{i=1}^n x_i\right)\left(\sum_{i=1}^n y_i\right)}{n\sum_{i=1}^n x_i^2 -\left(\sum_{i=1}^n x_i\right)^2} e \displaystyle \beta^{*}=\frac{\left(\sum_{i=1}^n x_i^2\right)\left(\sum_{i=1}^n y_i\right)-\left(\sum_{i=1}^n x_i\right)\left(\sum_{i=1}^n x_i y_i\right)}{n\sum_{i=1}^n x_i^2 -\left(\sum_{i=1}^n x_i\right)^2}.\newline
O ponto crítico é único e é um ponto de mínimo global de E (logo mínimo local estrito também).

Exercícios relacionados