Enconte o mínimo da função utilizando o Método do Gradiente (Gradient Descent) com o passo 0,1. Faça 3 estágios de minimização manual os outros use o excel.
f(\mathbf{x})=\left(x_{1}-3\right)^{2}+9 \cdot\left(x_{2}-5\right)^{2}
considerando o chute inicial : \mathbf{X}^{(0)}=\binom{1}{1}

Passo 1

O enunciado pede que eu encontre o mínimo da função
f(\mathbf{x})=\left(x_{1}-3\right)^{2}+9\cdot\left(x_{2}-5\right)^{2}
usando o Método do Gradiente (Gradient Descent) com passo (taxa de aprendizagem) \alpha=0{,}1. O chute inicial é
\mathbf{X}^{(0)}=\binom{1}{1}.
Requisitos explícitos: realizar manualmente os primeiros 3 estágios (iterações) do método; os demais estágios devem ser feitos no Excel (aqui eu explico como fazê-los e dou a forma fechada para facilitar o uso no Excel). O objetivo final é encontrar o ponto mínimo e o valor mínimo da função.
Informações relevantes dadas:
  • Função f de duas variáveis x_{1} e x_{2}.
  • Chute inicial \mathbf{X}^{(0)}=\binom{1}{1}.
  • Passo (learning rate) \alpha=0{,}1.
  • Fazer 3 iterações manuais do método do gradiente.

Passo 2

O método do gradiente (descida do gradiente) funciona assim, de forma intuitiva e prática:
  • Em cada iteração calculamos o gradiente \nabla f(\mathbf{X}^{(k)}), que aponta a direção de subida mais íngreme de f.
  • Para minimizar, movemo-nos na direção oposta ao gradiente: a regra de atualização é
\mathbf{X}^{(k+1)}=\mathbf{X}^{(k)}-\alpha\,\nabla f(\mathbf{X}^{(k)}),
onde \alpha é o passo (taxa de aprendizagem). Aqui:
  • \mathbf{X}^{(k)}=\binom{x_{1}^{(k)}}{x_{2}^{(k)}} é o ponto na iteração k.
  • \nabla f(\mathbf{X}^{(k)})=\binom{\dfrac{\partial f}{\partial x_{1}}(\mathbf{X}^{(k)})}{\dfrac{\partial f}{\partial x_{2}}(\mathbf{X}^{(k)})}.
Primeiro calculamos as derivadas parciais de f. Derivando termo a termo:
  • Para x_{1}: a derivada de \left(x_{1}-3\right)^{2} é 2\left(x_{1}-3\right). O outro termo não depende de x_{1}.
  • Para x_{2}: a derivada de 9\left(x_{2}-5\right)^{2} é 9\cdot 2\left(x_{2}-5\right)=18\left(x_{2}-5\right).
Logo o gradiente é
\nabla f(\mathbf{x})=\begin{pmatrix}2\left(x_{1}-3\right)\\[4pt]18\left(x_{2}-5\right)\end{pmatrix}.
Explicando em linguagem prática: cada componente do gradiente mede quanto a função cresce se aumentarmos um pouco aquela coordenada, mantendo a outra fixa. No método do gradiente a gente multiplica esse vetor por \alpha e subtrai do ponto atual — isso dá o próximo ponto.]

Passo 3

Iteração 1 (manual).
Dados iniciais: \mathbf{X}^{(0)}=\binom{1}{1}, \alpha=0{,}1.
Calculamos o gradiente em \mathbf{X}^{(0)}:
\nabla f(\mathbf{X}^{(0)})=\begin{pmatrix}2\left(1-3\right)\\[4pt]18\left(1-5\right)\end{pmatrix} =\begin{pmatrix}2\cdot(-2)\\[4pt]18\cdot(-4)\end{pmatrix} =\begin{pmatrix}-4\\[4pt]-72\end{pmatrix}.
Aplicamos a atualização
\mathbf{X}^{(1)}=\mathbf{X}^{(0)}-\alpha\,\nabla f(\mathbf{X}^{(0)}) =\binom{1}{1}-0{,}1\cdot\binom{-4}{-72} =\binom{1+0{,}4}{1+7{,}2} =\binom{1{,}4}{8{,}2}.
Calculamos o valor da função neste ponto (útil para ver a descida):
f(\mathbf{X}^{(1)})=(1{,}4-3)^{2}+9\cdot(8{,}2-5)^{2}=(-1{,}6)^{2}+9\cdot(3{,}2)^{2}=2{,}56+9\cdot10{,}24=94{,}72.
Comentário amigável: já caiu de 148 em \mathbf{X}^{(0)} para 94{,}72 em \mathbf{X}^{(1)}. Notou que a segunda coordenada pulou para cima (8{,}2) — isso acontece porque o passo é relativamente grande para o termo com coeficiente 18; veremos que haverá oscilações, mas que diminuem.]

Passo 4

Iteração 2 (manual).
Ponto atual: \mathbf{X}^{(1)}=\binom{1{,}4}{8{,}2}.
Gradiente em \mathbf{X}^{(1)}:
\nabla f(\mathbf{X}^{(1)})=\begin{pmatrix}2(1{,}4-3)\\[4pt]18(8{,}2-5)\end{pmatrix} =\begin{pmatrix}2\cdot(-1{,}6)\\[4pt]18\cdot 3{,}2\end{pmatrix} =\begin{pmatrix}-3{,}2\\[4pt]57{,}6\end{pmatrix}.
Atualização:
\mathbf{X}^{(2)}=\mathbf{X}^{(1)}-0{,}1\cdot\nabla f(\mathbf{X}^{(1)}) =\binom{1{,}4}{8{,}2}-0{,}1\cdot\binom{-3{,}2}{57{,}6} =\binom{1{,}4+0{,}32}{8{,}2-5{,}76} =\binom{1{,}72}{2{,}44}.
Valor da função:
f(\mathbf{X}^{(2)})=(1{,}72-3)^{2}+9(2{,}44-5)^{2}=(-1{,}28)^{2}+9\cdot(-2{,}56)^{2}=1{,}6384+9\cdot6{,}5536=60{,}6208.
Comentário: o valor diminuiu novamente. A segunda coordenada agora ficou abaixo de 5 (2{,}44), mostrando a oscilação.]

Passo 5

Iteração 3 (manual).
Ponto atual: \mathbf{X}^{(2)}=\binom{1{,}72}{2{,}44}.
Gradiente em \mathbf{X}^{(2)}:
\nabla f(\mathbf{X}^{(2)})=\begin{pmatrix}2(1{,}72-3)\\[4pt]18(2{,}44-5)\end{pmatrix} =\begin{pmatrix}2\cdot(-1{,}28)\\[4pt]18\cdot(-2{,}56)\end{pmatrix} =\begin{pmatrix}-2{,}56\\[4pt]-46{,}08\end{pmatrix}.
Atualização:
\mathbf{X}^{(3)}=\mathbf{X}^{(2)}-0{,}1\cdot\nabla f(\mathbf{X}^{(2)}) =\binom{1{,}72}{2{,}44}-0{,}1\cdot\binom{-2{,}56}{-46{,}08}} =\binom{1{,}72+0{,}256}{2{,}44+4{,}608} =\binom{1{,}976}{7{,}048}.
Valor da função:
f(\mathbf{X}^{(3)})=(1{,}976-3)^{2}+9(7{,}048-5)^{2}=(-1{,}024)^{2}+9\cdot(2{,}048)^{2} =1{,}048576+9\cdot4{,}194304=38{,}797312.
Comentário: ainda desce, mas a segunda coordenada volta a ficar acima de 5. Essas oscilações acontecem porque o fator efetivo na atualização da segunda coordenada é maior (por causa de 18), o que gera sinal alternado; contudo a amplitude reduz a cada iteração (vamos ver o porquê logo).]

Passo 6

Padrão e forma fechada (útil para continuar no Excel e entender a convergência).
Observando as atualizações componente-a-componente, elas são independentes — podemos escrever recursões simples.
Da regra geral:
x_{1}^{(k+1)}=x_{1}^{(k)}-0{,}1\cdot 2\left(x_{1}^{(k)}-3\right)=x_{1}^{(k)}-0{,}2\left(x_{1}^{(k)}-3\right).
Reorganizando:
x_{1}^{(k+1)}=0{,}8\,x_{1}^{(k)}+0{,}6.
Subtraindo 3 de ambos os lados e simplificando, obtém-se a solução fechada
x_{1}^{(k)}=3-\bigl(3-x_{1}^{(0)}\bigr)\,0{,}8^{\,k}.
Com x_{1}^{(0)}=1 isso fica
x_{1}^{(k)}=3-2\cdot 0{,}8^{\,k}.
Para a segunda coordenada:
x_{2}^{(k+1)}=x_{2}^{(k)}-0{,}1\cdot 18\left(x_{2}^{(k)}-5\right)=x_{2}^{(k)}-1{,}8\left(x_{2}^{(k)}-5\right),
que leva a
x_{2}^{(k+1)}=-0{,}8\,x_{2}^{(k)}+9.
Subtraindo 5 e resolvendo a recorrência nota-se que
x_{2}^{(k)}=5+\bigl(x_{2}^{(0)}-5\bigr)(-0{,}8)^{\,k}.
Com x_{2}^{(0)}=1 isso dá
x_{2}^{(k)}=5-4\cdot(-0{,}8)^{\,k}.
Interpretação e convergência:
  • Para x_{1} o fator multiplicativo é 0{,}8 (módulo menor que 1), então x_{1}^{(k)}\to 3 exponencialmente, sem oscilações.
  • Para x_{2} o fator é -0{,}8, então há alternância de sinal (oscilações) com decaimento geométrico; portanto x_{2}^{(k)}\to 5.
  • Assim o ponto limite (mínimo) é \bigl(3,5\bigr).
Como usar no Excel:
  • Método iterativo: numa planilha coloque colunas para k, x_{1}^{(k)}, x_{2}^{(k)}, calcule \nabla f e aplique a fórmula \mathbf{X}^{(k+1)}=\mathbf{X}^{(k)}-\alpha\nabla f(\mathbf{X}^{(k)}). Copie as fórmulas para baixo.
  • Forma fechada: você também pode usar diretamente as fórmulas fechadas acima para cada k (fácil: use a função POTÊNCIA para 0{,}8^{k} e (-0{,}8)^{k}) para verificar valores rápidos e a convergência.
Observação final (rápida matemática): se quisermos achar o mínimo analiticamente, basta zerar o gradiente:
2(x_{1}-3)=0\Rightarrow x_{1}=3,\qquad 18(x_{2}-5)=0\Rightarrow x_{2}=5,
confirmando o limite do método do gradiente.

Resposta

\mathbf{X}^{\star}=\binom{3}{5}\
f(\mathbf{X}^{\star})=0

Exercícios relacionados