Calcule a entropia em cada caso:
(a) Uma moeda viciada que apresenta probabilidade de cara de 0,95 ;

Passo 1

Beleza, o enunciado pede para calcular a entropia de uma moeda “viciada” que cai cara com probabilidade 0,95 (e, portanto, coroa com probabilidade 0,05). Isso é um problema de Teoria da Informação, mais especificamente de entropia de Shannon. Para resolver, a gente vai precisar:
  1. Da definição de entropia
  2. Das probabilidades dos eventos (cara e coroa)
  3. De usar logaritmo na base 2

Passo 2

A entropia H(X) ;=; -sumi pi ,log2 pi de uma variável aleatória H = -l[,pcaralog2 pcara ;+; pcoroalog2 pcoroar] que pode gerar eventos com probabilidades é dada por:
No nosso caso só tem dois resultados: cara (probabilidade ) e coroa (probabilidade ). Então:

Passo 3

Agora a gente calcula termo a termo:
  1. Para cara:
log2(0,95) = ln(0,95)ln 2 approx -0,073998 Longrightarrow 0,95 times log2(0,95) approx 0,95 times (-0,073998) = -0,070298
  1. Para coroa:
log2(0,05) = ln(0,05)ln 2 approx -4,32193 Longrightarrow 0,05 times log2(0,05) approx 0,05 times (-4,32193) = -0,21610

Passo 4

Juntando os dois:
H = -l[(-0,070298) + (-0,21610)r] ;=; -(-0,286398) ;=; 0,286398
Arredondando um pouco, dá cerca de bits.

Resposta

A entropia da moeda viciada é aproximadamente
boxedH approx 0,2864 bits

Exercícios relacionados