Cite os principais métodos de estimação e é a ideia central de cada um deles.
Passo 1
Você pediu para eu citar os principais métodos de estimação e explicar a ideia central de cada um. Vou listar os métodos mais usados e, em cada caso, mostrar a intuição, a fórmula principal e um mini-exemplo prático e bem mastigado que você conseguirá reproduzir na prova. Não vou te pedir nada — vou assumir o caso genérico: temos uma amostra
i.i.d. de uma distribuição que depende de parâmetro(es)
.
Passo 2
Antes de entrar nos métodos, uma pequena lição sobre “o que é estimar”: queremos produzir um valor (ou regra)
que sirva para aproximar o parâmetro verdadeiro
. Boas propriedades que costumamos buscar são: consistência (
conforme
), viés pequeno (idealmente
), e variância pequena (eficiência). Vou mencionar essas propriedades quando relevantes.
Passo 3
Ideia central: escolher o valor de
que torna os dados observados mais prováveis.
- Definição prática:
é a função verossimilhança. Normalmente trabalhamos com a log-verossimilhança
O estimador
é um
que maximiza
. Em muitas situações resolvemos a equação
e verificamos que é máximo.
- Mini-exemplo (muito comum): amostra de uma Normal com média
e variância conhecida .
A log-verossimilhança é
Derivando e igualando a zero:
logo
- Propriedades: o MLE costuma ser consistente, assintoticamente normal e eficiente sob condições regulares; tem propriedade de invariância: se
é MLE para , então é MLE para .
Passo 4
Ideia central: igualar momentos amostrais aos momentos teóricos e resolver para
.
- Procedimento:
- Calcule os momentos amostrais:
para . - Escreva as expressões dos momentos teóricos
. - Iguale
para tantos momentos quanto parâmetros e resolva.
- Mini-exemplo: se
, temos . Igualando:
- Observações: simples e rápido; pode ser menos eficiente que o MLE, mas é útil quando a verossimilhança é complicada.
Passo 5
Ideia central: em modelos de regressão linear, escolher parâmetros que minimizem a soma dos quadrados dos resíduos (diferenças entre observado e previsto).
- Modelo linear:
, onde é vetor , é matriz , é vetor de parâmetros . - Critério:
- Fórmula fechada (quando
é invertível):
- Intuição: projetar
no subespaço gerado pelas colunas de — a diferença é ortogonal ao subespaço. - Propriedades: sob hipóteses (erros com média zero, homocedasticidade, não correlacionados),
é unbiasedo e tem variância mínima entre estimadores lineares não viciados (teorema de Gauss–Markov).
Passo 6
Ideia central: tratar
como variável aleatória, combinar crença prévia (prior) com informação dos dados (verossimilhança) para obter a distribuição a posteriori de
.
- Fórmula-chave (Regra de Bayes):
onde
é o prior e
é o posterior.
- Estimadores comuns:
- MAP (Maximum A Posteriori): o valor de
que maximiza . - Posterior mean:
.
- MAP (Maximum A Posteriori): o valor de
- Mini-exemplo (conjugado e prático):
com conhecido e prior . O posterior é normal e a média posterior é uma média ponderada entre e :
- Observações: Bayes incorpora informação externa; o resultado depende do prior (em grandes amostras, o dado domina).
Passo 7
Ideia central: partir de um estimador não-ótimo e melhorá‑lo condicionando sobre uma estatística suficiente; o resultado pode ser o estimador não viesado de variância mínima (MVUE).
- Ferramenta principal: o teorema de Rao–Blackwell diz que, se
é uma estatística suficiente e é qualquer estimador não-viesado, então
é um estimador não-viesado com variância menor ou igual. Se
for completo e suficiente,
é MVUE (Teorema de Lehmann–Scheffé).
- Mini-exemplo simples (intuição): para
, é suficiente; condicionar um estimador simples em melhora e leva ao MVUE para funções de .
Passo 8
Ideia central (GMM): usar condições momentuais teóricas
e escolher
que faz os momentos amostrais o mais próximos possível de zero, em um sentido quadrático.
- Critério GMM:
onde
e
é uma matriz de pesos (idealmente a inversa da variância de
).
- Estimating equations (equações de estimação): são equações do tipo
. MLEs e muitas estimativas robustas podem ser vistas assim (por ex., equação da “score” ). - Observações: GMM é muito usado em econometria e quando há momentos fáceis de obter; com escolha ótima de
, GMM é eficiente dentro da classe de estimadores baseados nesses momentos.
Passo 9
Ideia central: ajustar parâmetros fazendo com que percentis teóricos coincidam com percentis amostrais (útil para distribuições sem momentos finitos ou com caudas pesadas).
- Procedimento: escolha percentis
, calcule quantis amostrais e resolva
onde
é a função quantil da família paramétrica.
- Observações: simples e robusto; muito usado em hidrologia e aplicações com dados extremos.
Passo 10
- Se houver verossimilhança fácil: prefira MLE — é padrão e tem ótimas propriedades assintóticas. Mostre que derivou
, igualou derivada a zero e verificou máximo. - Se verossimilhança é complicada: método dos momentos ou GMM são alternativas rápidas.
- Em regressão linear: OLS é a escolha natural; derive a fórmula matricial para ganhar tempo.
- Se houver prior/experiência externa: Bayes (posteriores cerram em fórmulas simples em casos conjugados).
- Se a questão pedir “estimator unbiased com menor variância”, pense em Rao–Blackwell / Lehmann–Scheffé.
- Em provas, sempre verifique condições (domínio, diferenciabilidade) quando usar MLE e comente sobre viés/consistência se pedirem.
Resposta
Máxima verossimilhança (MLE): escolher
que maximiza a verossimilhança
(ou a log-verossimilhança
); resolver
.\n
Método dos momentos (MM): igualar momentos amostrais aos momentos teóricos
e resolver para
.\n
Mínimos quadrados ordinários (OLS / Least Squares): em regressão linear, minimizar ; solução
.\n
Estimação Bayesiana (posterior / MAP / posterior mean): combinar prior com verossimilhança via
; usar média posterior ou MAP.\n
MVUE / Rao–Blackwell–Lehmann–Scheffé: melhorar um estimador não-viesado condicionando sobre estatística suficiente para obter variância menor; se completo e suficiente, fornece o MVUE.\n
Generalized Method of Moments (GMM) / Estimating equations: usar condições e minimizar
ou resolver
.\n
Método dos percentis / quantis (e L-moments): igualar quantis teóricos a quantis amostrais para ajustar parâmetros (útil para caudas pesadas e distribuições sem momentos).
Método dos momentos (MM): igualar momentos amostrais
Mínimos quadrados ordinários (OLS / Least Squares): em regressão linear, minimizar
Estimação Bayesiana (posterior / MAP / posterior mean): combinar prior
MVUE / Rao–Blackwell–Lehmann–Scheffé: melhorar um estimador não-viesado condicionando sobre estatística suficiente para obter variância menor; se completo e suficiente, fornece o MVUE.\n
Generalized Method of Moments (GMM) / Estimating equations: usar condições
Método dos percentis / quantis (e L-moments): igualar quantis teóricos a quantis amostrais para ajustar parâmetros (útil para caudas pesadas e distribuições sem momentos).