Considere uma fonte X que produz 8 símbolos com as seguintes probabilidades de ocorrência p=(1045,845,745,645,545,545,345,145).
(a) Calcule a entropia desta fonte.

Passo 1

Beleza, vamos de info teoria. A questão diz que a fonte X gera 8 símbolos cujas “probabilidades” estão listadas como p=(10 45, 8 45, 7 45, 6 45, 5 45, 5 45, 3 45, 1 45). Na real isso significa que cada probabilidade é o número indicado dividido por 45 (pois 10+8+7+…+1=45). O conteúdo aqui é Entropia de uma fonte discreta, e o que precisamos é usar a fórmula
H(X) ;=; -sumi=1^8 pi,log2(pi)

Passo 2

Primeiro, vamos escrever de verdade cada :

Passo 3

A fórmula da entropia é
H(X) ;=; -sumi=1^8 pi ,log2(pi)
Isso vem da definição de informação média por símbolo, onde mede quantos bits aquele símbolo “vale” em média.

Passo 4

Vamos calcular cada termo -,1045,log2!l(tfrac1045r) approx ;0,2222times2,17 ;=;0,4822 . Por exemplo, para :
Fazendo isso para todos os , temos (arredondando em 4 casas):
- : 0,4822
- : 0,4430
- : 0,4178
- : 0,3884
- e : 0,3522 cada
- : 0,2606
- : 0,1221

Passo 5

Agora soma tudo:
H(X) approx 0,4822 +0,4430 +0,4178 +0,3884 +2times0,3522 +0,2606 +0,1221 approx 2,82 bits

Resposta

A entropia da fonte é aproximadamente
boxedH(X)approx2,82 bits

Exercícios relacionados