Calcule a entropia em cada caso:
(d) Um dado honesto.
Baseando-se nas respostas acima e sabendo que a entropia é uma medida de incerteza, que tipo de distribuição discreta de probabilidades apresenta a máxima entropia? Justifique.
(d) Um dado honesto.
Baseando-se nas respostas acima e sabendo que a entropia é uma medida de incerteza, que tipo de distribuição discreta de probabilidades apresenta a máxima entropia? Justifique.
Passo 1
Beleza, vamos lá! O enunciado pede pra calcular a entropia de um dado honesto (ou seja, seis faces com probabilidade igual) e, com base nisso, dizer que tipo de distribuição discreta tem entropia máxima. O assunto aqui é Entropia na Teoria da Informação, e vamos precisar da fórmula
onde
são as probabilidades dos eventos (as faces do dado).
Passo 2
Antes de começar a conta, vamos entender a teoria de entropia:
- Entropia é uma medida de incerteza ou surpresa.
- Quanto mais “espalhadas” (ou uniformes) estiverem as probabilidades, maior é a incerteza.
- A fórmula
soma, para cada evento , o produto da probabilidade pelo logaritmo de .
Passo 3
No caso do dado honesto:
- Há 6 faces, cada uma com probabilidade
.
Substituindo na fórmula:
E como
, isso dá
Passo 4
Agora, pensando geral: qual distribuição discreta de
eventos maximiza a entropia?
- Se a gente espalha igualzinho a probabilidade entre todos os
eventos (ou seja, ), a incerteza fica maior, porque cada evento é igualmente provável e não há “favoritos”. - Matemáticamente, mostra-se que qualquer desvio da uniformidade diminui
.
Resposta
Entropia do dado honesto:
A distribuição discreta que apresenta entropia máxima é a distribuição uniforme (todas as probabilidades iguais), pois ela gera a maior incerteza possível.