Cite os principais métodos de estimação e é a ideia central de cada um deles.

Passo 1

Você pediu para eu citar os principais métodos de estimação e explicar a ideia central de cada um. Vou listar os métodos mais usados e, em cada caso, mostrar a intuição, a fórmula principal e um mini-exemplo prático e bem mastigado que você conseguirá reproduzir na prova. Não vou te pedir nada — vou assumir o caso genérico: temos uma amostra X_1,\dots,X_n i.i.d. de uma distribuição que depende de parâmetro(es) \theta.

Passo 2

Antes de entrar nos métodos, uma pequena lição sobre “o que é estimar”: queremos produzir um valor (ou regra) \hat\theta=\hat\theta(X_1,\dots,X_n) que sirva para aproximar o parâmetro verdadeiro \theta. Boas propriedades que costumamos buscar são: consistência ( \hat\theta\to\theta conforme n\to\infty ), viés pequeno (idealmente \mathbb{E}[\hat\theta]=\theta), e variância pequena (eficiência). Vou mencionar essas propriedades quando relevantes.

Passo 3

Ideia central: escolher o valor de \theta que torna os dados observados mais prováveis.
  • Definição prática:
L(\theta)=\prod_{i=1}^n f(X_i;\theta)
é a função verossimilhança. Normalmente trabalhamos com a log-verossimilhança
\ell(\theta)=\sum_{i=1}^n \log f(X_i;\theta).
O estimador \hat\theta_{MLE} é um \theta que maximiza \ell(\theta). Em muitas situações resolvemos a equação
\frac{d}{d\theta}\ell(\theta)=0
e verificamos que é máximo.
  • Mini-exemplo (muito comum): amostra de uma Normal com média \mu e variância conhecida \sigma^2.
f(x;\mu)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\Big(-\frac{(x-\mu)^2}{2\sigma^2}\Big).
A log-verossimilhança é
\ell(\mu)=-\frac{n}{2}\log(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum_{i=1}^n (X_i-\mu)^2.
Derivando e igualando a zero:
\frac{d}{d\mu}\ell(\mu)=\frac{1}{\sigma^2}\sum_{i=1}^n (X_i-\mu)=0
logo
\hat\mu_{MLE}=\bar X=\frac{1}{n}\sum_{i=1}^n X_i.
  • Propriedades: o MLE costuma ser consistente, assintoticamente normal e eficiente sob condições regulares; tem propriedade de invariância: se \hat\theta é MLE para \theta, então g(\hat\theta) é MLE para g(\theta).

Passo 4

Ideia central: igualar momentos amostrais aos momentos teóricos e resolver para \theta.
  • Procedimento:
  1. Calcule os momentos amostrais: \displaystyle m_k=\frac{1}{n}\sum_{i=1}^n X_i^k para k=1,2,\dots.
  2. Escreva as expressões dos momentos teóricos \mu_k(\theta)=\mathbb{E}[X^k;\theta].
  3. Iguale m_k=\mu_k(\theta) para tantos momentos quanto parâmetros e resolva.
  • Mini-exemplo: se X_i\sim\text{Poisson}(\lambda), temos \mathbb{E}[X]=\lambda. Igualando:
\hat\lambda_{MM}=\bar X.
  • Observações: simples e rápido; pode ser menos eficiente que o MLE, mas é útil quando a verossimilhança é complicada.

Passo 5

Ideia central: em modelos de regressão linear, escolher parâmetros que minimizem a soma dos quadrados dos resíduos (diferenças entre observado e previsto).
  • Modelo linear: Y=X\beta+\varepsilon, onde Y é vetor n\times 1, X é matriz n\times p, \beta é vetor de parâmetros p\times 1.
  • Critério:
\hat\beta_{OLS}=\arg\min_b \sum_{i=1}^n (Y_i - X_{i\cdot} b)^2.
  • Fórmula fechada (quando X'X é invertível):
\hat\beta_{OLS}=(X'X)^{-1}X'Y.
  • Intuição: projetar Y no subespaço gerado pelas colunas de X — a diferença é ortogonal ao subespaço.
  • Propriedades: sob hipóteses (erros com média zero, homocedasticidade, não correlacionados), \hat\beta_{OLS} é unbiasedo e tem variância mínima entre estimadores lineares não viciados (teorema de Gauss–Markov).

Passo 6

Ideia central: tratar \theta como variável aleatória, combinar crença prévia (prior) com informação dos dados (verossimilhança) para obter a distribuição a posteriori de \theta.
  • Fórmula-chave (Regra de Bayes):
\pi(\theta\mid X_1,\dots,X_n)\propto L(\theta)\,\pi(\theta),
onde \pi(\theta) é o prior e \pi(\theta\mid\cdot) é o posterior.
  • Estimadores comuns:
    • MAP (Maximum A Posteriori): o valor de \theta que maximiza \pi(\theta\mid \text{dados}).
    • Posterior mean: \displaystyle \hat\theta_{post}=\mathbb{E}[\theta\mid \text{dados}].
  • Mini-exemplo (conjugado e prático): X_i\sim N(\mu,\sigma^2) com \sigma^2 conhecido e prior \mu\sim N(\mu_0,\tau^2). O posterior é normal e a média posterior é uma média ponderada entre \bar X e \mu_0:
\hat\mu_{post} = \frac{\frac{n}{\sigma^2}\bar X + \frac{1}{\tau^2}\mu_0}{\frac{n}{\sigma^2} + \frac{1}{\tau^2}}.
  • Observações: Bayes incorpora informação externa; o resultado depende do prior (em grandes amostras, o dado domina).

Passo 7

Ideia central: partir de um estimador não-ótimo e melhorá‑lo condicionando sobre uma estatística suficiente; o resultado pode ser o estimador não viesado de variância mínima (MVUE).
  • Ferramenta principal: o teorema de Rao–Blackwell diz que, se T é uma estatística suficiente e \hat\theta é qualquer estimador não-viesado, então
\tilde\theta=\mathbb{E}[\hat\theta\mid T]
é um estimador não-viesado com variância menor ou igual. Se T for completo e suficiente, \tilde\theta é MVUE (Teorema de Lehmann–Scheffé).
  • Mini-exemplo simples (intuição): para \text{Exponencial}(\lambda), T=\sum X_i é suficiente; condicionar um estimador simples em T melhora e leva ao MVUE para funções de \lambda.

Passo 8

Ideia central (GMM): usar condições momentuais teóricas \mathbb{E}[m(X,\theta)]=0 e escolher \hat\theta que faz os momentos amostrais o mais próximos possível de zero, em um sentido quadrático.
  • Critério GMM:
\hat\theta_{GMM}=\arg\min_\theta \; \bar m(\theta)' W \,\bar m(\theta),
onde \bar m(\theta)=\frac{1}{n}\sum_{i=1}^n m(X_i,\theta) e W é uma matriz de pesos (idealmente a inversa da variância de \sqrt{n}\bar m(\theta)).
  • Estimating equations (equações de estimação): são equações do tipo \sum_{i=1}^n \psi(X_i,\theta)=0. MLEs e muitas estimativas robustas podem ser vistas assim (por ex., equação da “score” \sum \partial\log f/\partial\theta=0).
  • Observações: GMM é muito usado em econometria e quando há momentos fáceis de obter; com escolha ótima de W, GMM é eficiente dentro da classe de estimadores baseados nesses momentos.

Passo 9

Ideia central: ajustar parâmetros fazendo com que percentis teóricos coincidam com percentis amostrais (útil para distribuições sem momentos finitos ou com caudas pesadas).
  • Procedimento: escolha percentis p_1,\dots,p_k, calcule quantis amostrais q_{p_j} e resolva
Q_{theo}(p_j;\theta)=q_{p_j},\quad j=1,\dots,k,
onde Q_{theo} é a função quantil da família paramétrica.
  • Observações: simples e robusto; muito usado em hidrologia e aplicações com dados extremos.

Passo 10

  • Se houver verossimilhança fácil: prefira MLE — é padrão e tem ótimas propriedades assintóticas. Mostre que derivou \ell(\theta), igualou derivada a zero e verificou máximo.
  • Se verossimilhança é complicada: método dos momentos ou GMM são alternativas rápidas.
  • Em regressão linear: OLS é a escolha natural; derive a fórmula matricial para ganhar tempo.
  • Se houver prior/experiência externa: Bayes (poste­riores cerram em fórmulas simples em casos conjugados).
  • Se a questão pedir “estimator unbiased com menor variância”, pense em Rao–Blackwell / Lehmann–Scheffé.
  • Em provas, sempre verifique condições (domínio, diferenciabilidade) quando usar MLE e comente sobre viés/consistência se pedirem.

Resposta

Máxima verossimilhança (MLE): escolher \theta que maximiza a verossimilhança L(\theta) (ou a log-verossimilhança \ell(\theta)); resolver \frac{d}{d\theta}\ell(\theta)=0.\n
Método dos momentos (MM): igualar momentos amostrais m_k aos momentos teóricos \mu_k(\theta) e resolver para \theta.\n
Mínimos quadrados ordinários (OLS / Least Squares): em regressão linear, minimizar \sum (Y_i-X_{i\cdot}\beta)^2; solução \hat\beta=(X'X)^{-1}X'Y.\n
Estimação Bayesiana (posterior / MAP / posterior mean): combinar prior \pi(\theta) com verossimilhança via \pi(\theta\mid \text{dados})\propto L(\theta)\pi(\theta); usar média posterior ou MAP.\n
MVUE / Rao–Blackwell–Lehmann–Scheffé: melhorar um estimador não-viesado condicionando sobre estatística suficiente para obter variância menor; se completo e suficiente, fornece o MVUE.\n
Generalized Method of Moments (GMM) / Estimating equations: usar condições \mathbb{E}[m(X,\theta)]=0 e minimizar \bar m(\theta)'W\bar m(\theta) ou resolver \sum \psi(X_i,\theta)=0.\n
Método dos percentis / quantis (e L-moments): igualar quantis teóricos a quantis amostrais para ajustar parâmetros (útil para caudas pesadas e distribuições sem momentos).

Exercícios relacionados