O gráfico da função de log-verossimilhança \ell(\theta) pode ser “mais pontiagudo” (curvatura acentuada) ou “mais achatado”. Qual a relação entre a curvatura dessa função no ponto de máximo e a precisão (variância) do estimador? Relacione sua resposta com o conceito de Informação de Fisher.

Passo 1

O que a pergunta pede e o que já temos:
  • Pergunta: qual é a relação entre a curvatura da função de log-verossimilhança \ell(\theta) no ponto de máximo e a precisão (variância) do estimador; relacionar isso com a Informação de Fisher.
  • Informação dada implicitamente: a forma geral da log-verossimilhança \ell(\theta) (função do parâmetro \theta ) e a noção de máximo (o estimador de máxima verossimilhança \hat\theta é o ponto que maximiza \ell(\theta)).
Vou explicar passo a passo a intuição, a fórmula matemática que liga curvatura a variância, e um exemplo concreto para fixar.

Passo 2

Intuição simples e visual (sem fórmulas ainda):
  • Se \ell(\theta) tem um pico muito pontiagudo em \hat\theta (curvatura alta, isto é, desce rápido ao sair de \hat\theta), pequenas variações nos dados movem pouco o máximo — o estimador é preciso (baixa variância).
  • Se \ell(\theta) é bem achatada perto de \hat\theta, pequenas variações nos dados podem deslocar muito o máximo — o estimador é impreciso (alta variância).
    Agora vamos transformar essa intuição em cálculo.

Passo 3

Desenvolvimento de Taylor da log-verossimilhança em torno do máximo:
  • Seja \hat\theta o ponto que maximiza \ell(\theta). Por definição \ell'(\hat\theta)=0 e \ell''(\hat\theta)<0 (máximo).
  • Fazendo expansão de Taylor de \ell(\theta) em torno de \hat\theta:
\ell(\theta) \approx \ell(\hat\theta) + \tfrac{1}{2}\ell''(\hat\theta)\,(\theta-\hat\theta)^2
(a ordem linear some porque \ell'(\hat\theta)=0).
  • Interpretação: perto do máximo, a log-verossimilhança é aproximadamente uma parábola com coeficiente \tfrac{1}{2}\ell''(\hat\theta). Quanto mais negativa for \ell''(\hat\theta), mais “estreita” é a parábola — pico mais afiado.

Passo 4

Ligando curvatura à variância por aproximação normal (argumento do Laplace / aproximação quadrática):
  • Se \ell(\theta) é aproximadamente quadrática, a forma da verossimilhança \exp(\ell(\theta)) é aproximadamente gaussiana centrada em \hat\theta com variância proporcional a (- \ell''(\hat\theta))^{-1}. Mais precisamente, localmente
\exp(\ell(\theta)) \approx \exp(\ell(\hat\theta)) \exp\!\bigg(\tfrac{1}{2}\ell''(\hat\theta)\,(\theta-\hat\theta)^2\bigg),
logo a “largura” da gaussiana é controlada por -\ell''(\hat\theta).
  • Conclusão prática: curvatura maior em módulo (isto é, -\ell''(\hat\theta) grande) implica variância menor; curvatura pequena (achatamento, -\ell''(\hat\theta) pequeno) implica variância maior.

Passo 5

Definição do score e da Informação de Fisher (conceitos formais):
  • Score (função escore): U(\theta)=\ell'(\theta)=\dfrac{\partial}{\partial\theta}\ell(\theta). É a derivada da log-verossimilhança.
  • Informação de Fisher por observação:
I(\theta)=\mathbb{E}\!\left[\left(\dfrac{\partial}{\partial\theta}\log f(X;\theta)\right)^2\right],
onde a expectativa é em relação à distribuição de X com parâmetro \theta. Outra forma equivalente (quando valerem as hipóteses regulares) é
I(\theta) = -\mathbb{E}\!\big[\ell''(\theta)\big].
  • Para uma amostra de tamanho n a informação total é I_n(\theta)=n I(\theta).

Passo 6

Resultado assintótico que relaciona Informação de Fisher e variância do MLE:
  • Sob condições regulares, o estimador de máxima verossimilhança \hat\theta satisfaz, para n grande,
\sqrt{n}\,(\hat\theta-\theta)\\ \xrightarrow{d}\\ N\big(0,\; I(\theta)^{-1}\big).
  • Equivalente em termos de variância aproximada:
\operatorname{Var}(\hat\theta)\approx \dfrac{1}{n\,I(\theta)}.
  • Interpretação: maior I(\theta) (mais informação, que corresponde a curvatura média maior em módulo de \ell(\theta)) leva a menor variância assintótica do estimador.

Passo 7

Informação observada e estimação prática da variância:
  • Informação observada (observed information) é -\ell''(\hat\theta). Em prática, uma estimativa da variância de \hat\theta é
\widehat{\operatorname{Var}}(\hat\theta)\approx \dfrac{1}{-\ell''(\hat\theta)}.
  • Para amostras maiores, -\ell''(\hat\theta) costuma ser próximo de n I(\theta), então \widehat{\operatorname{Var}}(\hat\theta)\approx 1/(n I(\hat\theta)). Esse é o procedimento padrão em muitos pacotes para formar erros padrão do MLE.

Passo 8

Exemplo numérico simples para fixar (Binomial):
  • Considere X\sim\mathrm{Binomial}(n,p) e \hat p=X/n. A log-verossimilhança é
\ell(p)=X\log p + (n-X)\log(1-p).
  • Segundo derivada:
\ell''(p) = -\dfrac{X}{p^2} - \dfrac{n-X}{(1-p)^2}.
  • A informação de Fisher (por observação) é
I(p)=\dfrac{1}{p(1-p)},
logo para amostra n tem-se nI(p)=\dfrac{n}{p(1-p)}. A variância aproximada do estimador é
\operatorname{Var}(\hat p)\approx \dfrac{1}{nI(p)}=\dfrac{p(1-p)}{n},
o que coincide com o que já conhecemos. Aqui percebe-se claramente: se p está perto de 0{,}5 a informação é maior e \hat p é mais preciso; se p perto de 0 ou 1 a informação diminui e \hat p tem maior variância relativa.

Passo 9

Resumo didático e motivacional:
  • Curvatura da \ell(\theta) no máximo (medida por -\ell''(\hat\theta)) é diretamente ligada à precisão do estimador: curvatura alta → informação alta → variância baixa; curvatura baixa (achatamento) → informação baixa → variância alta.
  • Formalmente, Fisher information quantifica a curvatura em média: I(\theta)=-\mathbb{E}[\ell''(\theta)]. A variância assintótica do MLE é aproximadamente 1/(nI(\theta)).
  • Prática: para estimar o erro padrão do MLE usa-se frequentemente \widehat{\operatorname{Var}}(\hat\theta)\approx 1/(-\ell''(\hat\theta)).
    Força moral: quando a verossimilhança tem um pico bem definido, confia — o estimador costuma ser estável; quando está chapada, cuidado — resultado incerto e intervalo de confiança largo.

Resposta

Maior curvatura em módulo em torno do máximo (pico mais pontiagudo) significa maior Informação de Fisher e, portanto, menor variância do estimador. Formalmente, com amostra de tamanho n,
\operatorname{Var}(\hat\theta)\approx \dfrac{1}{nI(\theta)},
onde I(\theta)=-\mathbb{E}[\ell''(\theta)]=\mathbb{E}\!\left[\left(\dfrac{\partial}{\partial\theta}\log f(X;\theta)\right)^2\right]; na prática usa-se a informação observada -\ell''(\hat\theta) e estima-se \widehat{\operatorname{Var}}(\hat\theta)\approx 1/(-\ell''(\hat\theta)).

Exercícios relacionados