Calcule a entropia em cada caso:
(d) Um dado honesto.
Baseando-se nas respostas acima e sabendo que a entropia é uma medida de incerteza, que tipo de distribuição discreta de probabilidades apresenta a máxima entropia? Justifique.

Passo 1

Beleza, vamos lá! O enunciado pede pra calcular a entropia de um dado honesto (ou seja, seis faces com probabilidade igual) e, com base nisso, dizer que tipo de distribuição discreta tem entropia máxima. O assunto aqui é Entropia na Teoria da Informação, e vamos precisar da fórmula
H(X) = -sumi pi log2 pi
onde são as probabilidades dos eventos (as faces do dado).

Passo 2

Antes de começar a conta, vamos entender a teoria de entropia:
  1. Entropia é uma medida de incerteza ou surpresa.
  2. Quanto mais “espalhadas” (ou uniformes) estiverem as probabilidades, maior é a incerteza.
  3. A fórmula H(X) = -sumi pi log2 pisoma, para cada evento , o produto da probabilidade pelo logaritmo de .

Passo 3

No caso do dado honesto:
  • Há 6 faces, cada uma com probabilidade H(X) = -sumi=1^6 16 log2!l(tfrac16r) = -6 times 16 log2!l(tfrac16r) = -log2!l(tfrac16r) .
    Substituindo na fórmula:
H(X) = log2 6 approx 2,585 bits
E como , isso dá

Passo 4

Agora, pensando geral: qual distribuição discreta de eventos maximiza a entropia?
  • Se a gente espalha igualzinho a probabilidade entre todos os eventos (ou seja, ), a incerteza fica maior, porque cada evento é igualmente provável e não há “favoritos”.
  • Matemáticamente, mostra-se que qualquer desvio da uniformidade diminui .

Resposta

Entropia do dado honesto:
H(X) = log2 6 approx 2,585 bits
A distribuição discreta que apresenta entropia máxima é a distribuição uniforme (todas as probabilidades iguais), pois ela gera a maior incerteza possível.

Exercícios relacionados