Baseando-se no texto abaixo (4.10 ENTROPIA), traduzido para o português da obra de Leon-Garcia, A. Probability, Statistics, and Random Processes for Electrical Engineering. 3{ }^{\text {rd }} ed. Upper Saddle River: Prentice Hall, 2008, mostre que a entropia da variável aleatória X com distribuição geométrica de parâmetro p atinge 2 bits quando p=1 / 2.
Dica 1: \sum_{n=0}^{\infty} t^{n}=(1-t)^{-1}, se |t|<1.
Dica 2: \sum_{n=1}^{\infty} n \cdot t^{n-1}=(1-t)^{-2}, se |t|<1.

Passo 1

O que o enunciado pede: mostrar que a entropia da variável aleatória X com distribuição geométrica de parâmetro p atinge 2 bits quando p=1/2.
Informações dadas e hipóteses que vou usar (tudo explicitado):
  • A variável X tem distribuição geométrica com parâmetro p no formato
P(X=n)=p(1-p)^{n},\qquad n=0,1,2,\dots
  • A entropia em bits de uma variável discreta X é dada por
H(X)=-\sum_{n=0}^{\infty} P(X=n)\,\log_{2}P(X=n).
  • Dicas fornecidas (séries geométricas) que usarei:
\sum_{n=0}^{\infty} t^{n}=\frac{1}{1-t},\quad |t|<1,
\sum_{n=1}^{\infty} n\,t^{n-1}=\frac{1}{(1-t)^{2}},\quad |t|<1.

Passo 2

Escrevo a entropia substituindo P(X=n)=p(1-p)^{n}:
H(X)=-\sum_{n=0}^{\infty} p(1-p)^{n}\,\log_{2}\bigl(p(1-p)^{n}\bigr).
Uso a propriedade do logaritmo \log_{2}(ab)=\log_{2}a+\log_{2}b para separar:
\log_{2}\bigl(p(1-p)^{n}\bigr)=\log_{2}p + n\log_{2}(1-p).
Portanto
H(X)=-\sum_{n=0}^{\infty} p(1-p)^{n}\bigl(\log_{2}p + n\log_{2}(1-p)\bigr).

Passo 3

Distribuo a soma em duas partes:
H(X)=-\log_{2}p\;\sum_{n=0}^{\infty} p(1-p)^{n}\;-\;\log_{2}(1-p)\;\sum_{n=0}^{\infty} n\,p(1-p)^{n}.
Vou calcular cada soma separadamente.

Passo 4

Primeira soma:
\sum_{n=0}^{\infty} p(1-p)^{n}=p\sum_{n=0}^{\infty}(1-p)^{n}.
Pelo resultado da dica 1, com t=1-p (note que 0<p\le1\Rightarrow |1-p|<1 salvo caso p=0 que não nos interessa), temos
\sum_{n=0}^{\infty}(1-p)^{n}=\frac{1}{1-(1-p)}=\frac{1}{p}.
Multiplicando por p obtemos
\sum_{n=0}^{\infty} p(1-p)^{n}=1.

Passo 5

Segunda soma:
\sum_{n=0}^{\infty} n\,p(1-p)^{n}=p\sum_{n=0}^{\infty} n(1-p)^{n}.
Note que o termo n=0 é zero, então podemos começar a soma em n=1. Usando a dica 2: \sum_{n=1}^{\infty} n\,t^{n-1}=(1-t)^{-2}. Multiplicando ambos os lados por t obtemos
\sum_{n=1}^{\infty} n\,t^{n}=\frac{t}{(1-t)^{2}}.
Coloco t=1-p. Assim
\sum_{n=0}^{\infty} n(1-p)^{n}=\sum_{n=1}^{\infty} n(1-p)^{n}=\frac{1-p}{\bigl(1-(1-p)\bigr)^{2}}=\frac{1-p}{p^{2}}.
Multiplicando por p vem
\sum_{n=0}^{\infty} n\,p(1-p)^{n}=\frac{1-p}{p}.

Passo 6

Volto para a expressão de H(X) e substituo as duas somas encontradas:
H(X)=-\log_{2}p\cdot 1 \;-\;\log_{2}(1-p)\cdot\frac{1-p}{p}.
Ou de forma mais clara:
H(X)=-\log_{2}p \;-\; \frac{1-p}{p}\,\log_{2}(1-p).

Passo 7

Agora avalio em p=\tfrac{1}{2}. Primeiro calcule os termos:
\log_{2}\!\left(\tfrac{1}{2}\right)=-1,\qquad 1-p=\tfrac{1}{2},\qquad \frac{1-p}{p}=1.
Substituindo em H(X):
H(X)=-\log_{2}\!\left(\tfrac{1}{2}\right) - 1\cdot\log_{2}\!\left(\tfrac{1}{2}\right) = -(-1) -1\cdot(-1)=1+1=2.

Resposta

2\\ \text{bits}

Exercícios relacionados