Exercício 22. Seja X_{1}, X_{2}, \ldots, X_{n} uma amostra aleatória tal que X_{i} \mid \theta tenha função (densidade) de probabilidade p(x \mid \theta), i=1,2, \ldots, n.
(a) Mostre que
E_{\theta \mid X}\left[\log \frac{p(\theta \mid \boldsymbol{x})}{p(\theta)}\right] \geq 0, \quad \forall \boldsymbol{x},
com igualdade obtida apenas quando p(\theta \mid \boldsymbol{x})=p(\theta);

Passo 1

O enunciado pede para mostrar que, para qualquer vetor de dados \boldsymbol{x}, vale
E_{\theta\mid X=\boldsymbol{x}}\!\Bigl[\log\frac{p(\theta\mid\boldsymbol{x})}{p(\theta)}\Bigr]\ge0,
com igualdade se, e somente se, p(\theta\mid\boldsymbol{x})=p(\theta).
O conteúdo usado aqui é a divergência de Kullback–Leibler entre a distribuição a posteriori p(\theta\mid\boldsymbol{x}) e a priori p(\theta), e o fato de que essa divergência é sempre não negativa (desigualdade de Gibbs ou Jensen).

Passo 2

Escrevemos a quantidade desejada como a divergência de Kullback–Leibler
D_{\mathrm{KL}}\bigl(p(\theta\mid\boldsymbol{x})\;\|\;p(\theta)\bigr) =\int p(\theta\mid\boldsymbol{x})\, \log\frac{p(\theta\mid\boldsymbol{x})}{p(\theta)}\,d\theta.
Portanto
E_{\theta\mid X=\boldsymbol{x}}\!\Bigl[\log\frac{p(\theta\mid\boldsymbol{x})}{p(\theta)}\Bigr] = D_{\mathrm{KL}}\bigl(p(\theta\mid\boldsymbol{x})\;\|\;p(\theta)\bigr).

Passo 3

Para ver que D_{\mathrm{KL}}\ge0, note que a função
\varphi(u)=u\log u
é convexa para u>0. Usando a forma integral da desigualdade de Jensen com a medida de referência p(\theta), definimos
u(\theta)=\frac{p(\theta\mid\boldsymbol{x})}{p(\theta)},
e obtemos
D_{\mathrm{KL}} =\int p(\theta)\,\varphi\bigl(u(\theta)\bigr)\,d\theta \;\ge\; \varphi\!\Bigl(\int p(\theta)\,u(\theta)\,d\theta\Bigr) =\varphi(1) =0,
pois
\int p(\theta)\,u(\theta)\,d\theta=\int p(\theta\mid\boldsymbol{x})\,d\theta=1.

Passo 4

A igualdade em Jensen ocorre somente se u(\theta) for constante quase certamente. Logo
\frac{p(\theta\mid\boldsymbol{x})}{p(\theta)}=C\quad\text{q.o.}
Mas como ambas distribuições integram 1, esse C deve ser 1. Concluímos
p(\theta\mid\boldsymbol{x}) = p(\theta) \quad\text{quase certamente.}

Resposta

O valor
E_{\theta\mid X=\boldsymbol{x}}\!\Bigl[\log\tfrac{p(\theta\mid\boldsymbol{x})}{p(\theta)}\Bigr]
é igual à divergência de Kullback–Leibler entre p(\theta\mid\boldsymbol{x}) e p(\theta), portanto é sempre não negativo, com igualdade se e somente se
p(\theta\mid\boldsymbol{x})=p(\theta).

Exercícios relacionados