Qual é diferença entre mínimos quadrados linear e mínimos quadrados não linear?
Passo 1
Beleza, o enunciado quer saber qual é a diferença entre mínimos quadrados linear e não linear. Isso cai dentro de ajuste de curvas e regressão, onde a gente tenta “casar” um modelo matemático com um conjunto de dados, minimizando o erro quadrático. Para resolver isso, precisamos entender:
O que é o método dos mínimos quadrados (a ideia de minimizar a soma dos erros ao quadrado).
O que define um modelo linear em relação aos parâmetros.
Por que alguns modelos não são lineares e como a gente lida com eles.
Passo 2
Primeiro, o que é mínimos quadrados?
Imagina que você tem dados e um modelo (onde são os parâmetros que vamos ajustar). A gente calcula o erro em cada ponto:
e define a soma dos quadrados desses erros:
O objetivo é encontrar que minimiza . Essa é a essência dos mínimos quadrados.
Passo 3
Mínimos quadrados linear
Aqui o “linear” se refere à dependência de em relação aos parâmetros . Um modelo linear clássico é:
Note que e aparecem de forma linear (sem produtos ou exponenciais deles). Nesse caso podemos escrever em forma matricial:
onde
Para minimizar fechamos com as chamadas equações normais e obtemos a solução em uma única “conta”:
Vantagem: existe solução exata (se for invertível), não precisamos de iteração.
Passo 4
Mínimos quadrados não linear
Aqui o modelo faz algo tipo
f(x,theta) = theta0 , e^theta1 x
ou qualquer função em que S(theta) = sumi=1^n l(yi - f(xi,theta)r)^2, apareça non-linearmente (produto entre parâmetros, exponencial, log, etc.). A soma de erros continua
porém não há fórmula fechada para . A gente parte de um chute inicial e refina usando métodos iterativos, tipo:
Gauss–Newton
Levenberg–Marquardt
Gradiente descendente
Cada iteração tenta diminuir até a convergência. Pode dar trabalho calcular derivadas parciais e tem risco de ficar preso em mínimo local se o chute inicial não for bom.
Passo 5
Principais diferenças resumidas
Linear: modelo linear em , solução analítica . Rápido, único mínimo global (se bem condicionado).
Não linear: modelo não linear em , precisa de otimização iterativa, exige chute inicial e cuidado com mínimos locais e convergência.
Resposta
A diferença está em como o modelo depende dos parâmetros:
Se for linear em , há fórmula fechada (método dos mínimos quadrados linear).
Se for não linear em , precisa de métodos iterativos (método dos mínimos quadrados não linear).