Calcule a entropia em cada caso:
(a) Uma moeda viciada que apresenta probabilidade de cara de 0,95 ;
(a) Uma moeda viciada que apresenta probabilidade de cara de 0,95 ;
Passo 1
Beleza, o enunciado pede para calcular a entropia de uma moeda “viciada” que cai cara com probabilidade 0,95 (e, portanto, coroa com probabilidade 0,05). Isso é um problema de Teoria da Informação, mais especificamente de entropia de Shannon. Para resolver, a gente vai precisar:
- Da definição de entropia
- Das probabilidades dos eventos (cara e coroa)
- De usar logaritmo na base 2
Passo 2
A entropia
de uma variável aleatória
que pode gerar eventos
com probabilidades
é dada por:
No nosso caso
só tem dois resultados: cara (probabilidade
) e coroa (probabilidade
). Então:
Passo 3
Agora a gente calcula termo a termo:
- Para cara:
- Para coroa:
Passo 4
Juntando os dois:
Arredondando um pouco, dá cerca de
bits.
Resposta
A entropia da moeda viciada é aproximadamente