Baseando-se no texto abaixo (4.10 ENTROPIA), traduzido para o português da obra de Leon-Garcia, A. Probability, Statistics, and Random Processes for Electrical Engineering.
ed. Upper Saddle River: Prentice Hall, 2008, mostre que a entropia da variável aleatória
com distribuição geométrica de parâmetro
atinge 2 bits quando
.
Dica 1:
, se
.
Dica 2:
, se
.
Dica 2:
Passo 1
O que o enunciado pede: mostrar que a entropia da variável aleatória
com distribuição geométrica de parâmetro
atinge 2 bits quando
.
Informações dadas e hipóteses que vou usar (tudo explicitado):
- A variável
tem distribuição geométrica com parâmetro no formato
- A entropia em bits de uma variável discreta
é dada por
- Dicas fornecidas (séries geométricas) que usarei:
Passo 2
Escrevo a entropia substituindo
:
Uso a propriedade do logaritmo
para separar:
Portanto
Passo 3
Distribuo a soma em duas partes:
Vou calcular cada soma separadamente.
Passo 4
Primeira soma:
Pelo resultado da dica 1, com
(note que
salvo caso
que não nos interessa), temos
Multiplicando por
obtemos
Passo 5
Segunda soma:
Note que o termo
é zero, então podemos começar a soma em
. Usando a dica 2:
. Multiplicando ambos os lados por
obtemos
Coloco
. Assim
Multiplicando por
vem
Passo 6
Volto para a expressão de
e substituo as duas somas encontradas:
Ou de forma mais clara:
Passo 7
Agora avalio em
. Primeiro calcule os termos:
Substituindo em
: