Exercício 22. Seja
uma amostra aleatória tal que
tenha função (densidade) de probabilidade
.
(a) Mostre que
com igualdade obtida apenas quando
;
(a) Mostre que
Passo 1
O enunciado pede para mostrar que, para qualquer vetor de dados
, vale
com igualdade se, e somente se,
.
O conteúdo usado aqui é a divergência de Kullback–Leibler entre a distribuição a posteriori e a priori
, e o fato de que essa divergência é sempre não negativa (desigualdade de Gibbs ou Jensen).
O conteúdo usado aqui é a divergência de Kullback–Leibler entre a distribuição a posteriori
Passo 2
Escrevemos a quantidade desejada como a divergência de Kullback–Leibler
Portanto
Passo 3
Para ver que
, note que a função
é convexa para . Usando a forma integral da desigualdade de Jensen com a medida de referência
, definimos
é convexa para
e obtemos
pois
.
Passo 4
A igualdade em Jensen ocorre somente se
for constante quase certamente. Logo
Mas como ambas distribuições integram 1, esse
deve ser
. Concluímos
Resposta
O valor
é igual à divergência de Kullback–Leibler entre
e
, portanto é sempre não negativo, com igualdade se e somente se