Qual é diferença entre mínimos quadrados linear e mínimos quadrados não linear?

Passo 1

Beleza, o enunciado quer saber qual é a diferença entre mínimos quadrados linear e não linear. Isso cai dentro de ajuste de curvas e regressão, onde a gente tenta “casar” um modelo matemático com um conjunto de dados, minimizando o erro quadrático. Para resolver isso, precisamos entender:
  • O que é o método dos mínimos quadrados (a ideia de minimizar a soma dos erros ao quadrado).
  • O que define um modelo linear em relação aos parâmetros.
  • Por que alguns modelos não são lineares e como a gente lida com eles.

Passo 2

Primeiro, o que é mínimos quadrados?
Imagina que você tem dados ei = yi - f(xi, theta) e um modelo S(theta) = sumi=1^n ei^2 = sumi=1^n l(yi - f(xi,theta)r)^2 (onde são os parâmetros que vamos ajustar). A gente calcula o erro em cada ponto:
e define a soma dos quadrados desses erros:
O objetivo é encontrar que minimiza . Essa é a essência dos mínimos quadrados.

Passo 3

Mínimos quadrados linear
Aqui o “linear” se refere à dependência de f(x,theta) = theta0 + theta1 x em relação aos parâmetros y = X,theta + varepsilon, . Um modelo linear clássico é:
X = 1 & x1 1 & x2 vdots & vdots 1 & xn , theta = theta0 theta1 , y = y1 y2 vdots yn
Note que hattheta = (X^T X)^-1 X^T,y e aparecem de forma linear (sem produtos ou exponenciais deles). Nesse caso podemos escrever em forma matricial:
onde
Para minimizar fechamos com as chamadas equações normais e obtemos a solução em uma única “conta”:
Vantagem: existe solução exata (se for invertível), não precisamos de iteração.

Passo 4

Mínimos quadrados não linear
Aqui o modelo faz algo tipo
f(x,theta) = theta0 , e^theta1 x
ou qualquer função em que S(theta) = sumi=1^n l(yi - f(xi,theta)r)^2, apareça non-linearmente (produto entre parâmetros, exponencial, log, etc.). A soma de erros continua
porém não há fórmula fechada para . A gente parte de um chute inicial e refina usando métodos iterativos, tipo:
  • Gauss–Newton
  • Levenberg–Marquardt
  • Gradiente descendente
Cada iteração tenta diminuir até a convergência. Pode dar trabalho calcular derivadas parciais e tem risco de ficar preso em mínimo local se o chute inicial não for bom.

Passo 5

Principais diferenças resumidas
  1. Linear: modelo linear em , solução analítica . Rápido, único mínimo global (se bem condicionado).
  2. Não linear: modelo não linear em , precisa de otimização iterativa, exige chute inicial e cuidado com mínimos locais e convergência.

Resposta

A diferença está em como o modelo depende dos parâmetros:
  • Se for linear em , há fórmula fechada (método dos mínimos quadrados linear).
  • Se for não linear em , precisa de métodos iterativos (método dos mínimos quadrados não linear).

Exercícios relacionados