Suponha que X seja uma variável aleatória que assuma 5 valores possíveis com respectivas probabilidades 0,35, 0,2, 0,2, 0,2 e 0,05. Além disso, seja X uma variável aleatória que assuma 5 valores possíveis com respectivas probabilidades 0,05,0,35, 0,1,0,15 e 0,35.

a) Mostre que H(X) > H(Y).

b) Usando o resultado do Problema 9.13, forneça uma explicação intuitiva para a desigualdade acima.

Passo 1

Fala galeraaa!

Vamos que vamos!

No item (a), temos:

Nós temos o seguinte:

H X = - ∑ i p i l o g   p i = - 0,35   l o g 2   0,35 - 3 ⋅ 0,2   l o g 2 0,2 - 0,05   l o g 2   0,05 = 2,14

e por outro lado temos que:

H Y = - ∑ i p i log ⁡ p i - 0,05 log 2 ⁡ 0,05 - 0,35 log 2 ⁡ 0,35 - 0,1   l o g 2   0,1  

- 0,15   l o g 2   0,15 - 0,35   l o g 2   0,35 = 2,02

então mostramos que H ( X ) > H ( Y ) .

No item (b), temos:

Observe que a variável aleatória X tem muito mais incerteza do que Y, ou seja, sua distribuição é muito mais próxima da distribuição uniforme do que Y e do problema 9.13. sabemos que a distribuição uniforme tem entropia máxima.

Resposta

a )   H ( X ) = 2,14 ,   H ( Y ) = 2,02 .

b) X está mais próximo da distribuição uniforme do que Y.

.