Considere uma fonte
que produz 8 símbolos com as seguintes probabilidades de ocorrência
.
(a) Calcule a entropia desta fonte.
(a) Calcule a entropia desta fonte.
Passo 1
Beleza, vamos de info teoria. A questão diz que a fonte X gera 8 símbolos cujas “probabilidades” estão listadas como p=(10 45, 8 45, 7 45, 6 45, 5 45, 5 45, 3 45, 1 45). Na real isso significa que cada probabilidade é o número indicado dividido por 45 (pois 10+8+7+…+1=45). O conteúdo aqui é Entropia de uma fonte discreta, e o que precisamos é usar a fórmula
Passo 2
Primeiro, vamos escrever de verdade cada
:
Passo 3
A fórmula da entropia é
Isso vem da definição de informação média por símbolo, onde
mede quantos bits aquele símbolo “vale” em média.
Passo 4
Vamos calcular cada termo
. Por exemplo, para
:
Fazendo isso para todos os
, temos (arredondando em 4 casas):
- : 0,4822
- : 0,4430
- : 0,4178
- : 0,3884
- e
: 0,3522 cada
- : 0,2606
- : 0,1221
-
-
-
-
-
-
-
Passo 5
Agora soma tudo:
Resposta
A entropia da fonte é aproximadamente