Seja X uma variável aleatória assumindo valores em \mathcal{X}=\{1,2, \ldots, K\} com função de probabilidade p_{k}=P(X=k). Queremos quantificar a incerteza do evento A_{k}=\{X=k\}. Claramente, a incerteza a respeito de A_{k} será pequena se sua probabilidade associada for próxima de um, e será grande se a probabilidade for pequena. A seguinte medida de incerteza satisfaz essas duas propriedades:
I(X=k)=\ln \frac{1}{P(X=k)}=-\ln P(X=k)
É fácil ver que I(X=k)=0 se P(X=k)=1, de forma que I(X=k) aumenta a medida em que P(X=k) diminui. A entropia da variável aleatória X é definida como o valor esperado da incerteza a respeito de suas possíveis respostas, isto é,
H_{X}=E[I(X)]=-\sum_{k=1}^{K} P(X=k) \ln P(X=k)
Note que, na definição dada acima, utilizamos I(X) como uma função da variável aleatória. A unidade de entropia é chamada “bits” quando a base do logaritmo é 2. Como estamos utilizando logaritmos naturais, a unidade da entropia é “nats”. A mudança de base do logaritmo é equivalente a multiplicar a entropia por uma constante, uma vez que \ln x=\ln 2 \log _{2} x.

Passo 1

O enunciado fornece os seguintes dados e pede implicitamente que entendamos e trabalhemos com essa definição de informação e entropia. Perguntas que vamos responder ao longo da resolução (sem que você precise me dizer mais nada):
  • Quais são as propriedades básicas da função de informação I(X=k)?
  • Como interpretar a entropia H_X e como calculá‑la a partir de p_1,\dots,p_K?
  • Provar que H_X é sempre não negativa e quando é zero.
  • Determinar qual distribuição maximiza H_X e qual é o valor máximo.
  • Como trocar a unidade de nats para bits; e um exemplo concreto (Bernoulli).
Informações dadas no enunciado:
\mathcal{X}=\{1,2,\ldots,K\},\qquad p_k=P(X=k)
I(X=k)=\ln\frac{1}{P(X=k)}=-\ln P(X=k)
H_X=E[I(X)]=-\sum_{k=1}^{K}P(X=k)\ln P(X=k)=-\sum_{k=1}^{K}p_k\ln p_k

Passo 2

Entendendo I(X=k) (a “surpresa” ou informação de um evento). Vamos analisar propriedades simples e intuitivas:
  • Primeiro, observe que \ln x é crescente para x>0. Como 0<p_k\le1, temos \ln p_k\le0. Portanto
I(X=k)=-\ln p_k \ge 0.
Isto confirma formalmente a frase do enunciado: quando p_k está próximo de 1, -\ln p_k está próximo de 0 (pouca surpresa); quando p_k é pequeno, -\ln p_k é grande (muita surpresa).
  • Derivada para ver monotonicidade: considere a função f(p)=-\ln p para p\in(0,1]. Sua derivada é
f'(p)=-\frac{1}{p}<0,
ou seja, f é estritamente decrescente: aumentar p diminui a surpresa. Isso é exatamente a propriedade desejada.

Passo 3

Interpretação da entropia como valor esperado da surpresa. Por definição,
H_X=E[I(X)]=- \sum_{k=1}^{K} p_k \ln p_k.
Explicando passo a passo: cada resultado k traz uma surpresa I(X=k)=-\ln p_k. Multiplicamos essa surpresa pela probabilidade p_k de ocorrer e somamos sobre todos os k: isso dá a surpresa média—a incerteza média sobre X. Exemplificando com números simples (para fixar a ideia): se K=2 e p=(1/2,1/2), então
H_X=-\tfrac{1}{2}\ln\tfrac{1}{2}-\tfrac{1}{2}\ln\tfrac{1}{2}=-\ln\tfrac{1}{2}=\ln 2.
Isto significa que a incerteza média é \ln 2 nats.

Passo 4

Provar que H_X\ge 0 e caracterizar quando H_X=0. Como já vimos -\ln p_k\ge0 para cada k e p_k\ge0, cada parcela -p_k\ln p_k\ge0. Somando parcelas não negativas:
H_X=-\sum_{k=1}^{K} p_k\ln p_k \ge 0.
Além disso, H_X=0 ocorre iff todas as parcelas são zero. Note que -p_k\ln p_k=0 pode acontecer de duas formas: p_k=0 (então termo é 0 por continuidade) ou p_k=1 com os demais 0. Como \sum_k p_k=1, a única distribuição que faz todos os termos zero simultaneamente é a distribuição degenerada: existe algum j tal que p_j=1 e p_{k\ne j}=0. Conclusão:
H_X\ge 0,\quad H_X=0 \iff \text{há certeza (uma única }k\text{ com }p_k=1)}.

Passo 5

Provar que H_X é maximizada pela distribuição uniforme e que o máximo vale \ln K. Método prático de prova (Lagrange multipliers), passo a passo — é o que costumam pedir em provas:
Queremos maximizar
H_X=-\sum_{k=1}^{K} p_k\ln p_k
sujeito à restrição
\sum_{k=1}^{K} p_k=1
e p_k\ge0. Formamos a função de Lagrange (introduzimos multiplicador \lambda):
\mathcal{L}(p_1,\dots,p_K,\lambda)=-\sum_{k=1}^{K} p_k\ln p_k + \lambda\Big(\sum_{k=1}^{K} p_k-1\Big).
Agora derivamos \mathcal{L} em relação a p_i e igualamos a zero (condição de estacionariedade):
\frac{\partial \mathcal{L}}{\partial p_i} = -(\ln p_i + 1) + \lambda = 0.
Isto implica
\ln p_i = \lambda - 1 \quad\text{para todo }i.
Logo todos os \ln p_i são iguais, então todos os p_i são iguais. Pela restrição \sum p_k=1 vem
p_i=\frac{1}{K}\quad\text{para todo }i.
Esse ponto crítico fornece o máximo porque H_X é função côncava nos p_k (pode-se verificar que a matriz Hessiana é negativa definida), de modo que qualquer ponto estacionário sob a restrição é máximo global. Calculando o valor máximo:
H_{\max}=-\sum_{k=1}^{K}\frac{1}{K}\ln\frac{1}{K}=-K\cdot\frac{1}{K}\cdot\big(-\ln K\big)=\ln K.
Portanto
H_X\le \ln K,\quad\text{com igualdade quando }p_k=\tfrac{1}{K}\\ \forall k.

Passo 6

Comentário alternativo curto (intuição): a entropia mede espalhamento da massa de probabilidade. Distribuição mais espalhada possível em um conjunto com K pontos é a uniforme, por isso ela dá maior incerteza; quando a massa está concentrada em um ponto, a incerteza é zero.

Passo 7

Mudança de base do logaritmo (nats ↔ bits) e exemplo concreto (Bernoulli). Se usarmos logaritmo na base 2 obtemos entropia em bits; com log natural obtemos nats. A relação é simples porque
\ln x = \ln 2 \cdot \log_2 x.
Assim, se H_X^{(\ln)} é a entropia em nats e H_X^{(2)} é a entropia em bits,
H_X^{(2)}=\frac{H_X^{(\ln)}}{\ln 2}.
Exemplo importante: variável Bernoulli com P(X=1)=p e P(X=0)=1-p. A entropia é
H(p)=-p\ln p-(1-p)\ln(1-p).
Casos especiais: p=\tfrac{1}{2}
H\big(\tfrac{1}{2}\big)=-\tfrac{1}{2}\ln\tfrac{1}{2}-\tfrac{1}{2}\ln\tfrac{1}{2}=\ln 2\\ \text{nats}=\;1\\ \text{bit}.
Se p=0 ou p=1, então H(p)=0 (certeza).

Passo 8

Dicas rápidas para prova (prático e amistoso):
  • Para provar máximo de entropia use Lagrange; é direto e costuma cair em provas. Mostre sempre que é um máximo verificando concavidade (ou argumente por intuição se a prova exigir menos formalidade).
  • Para mostrar H_X\ge0 basta usar que -\ln p_k\ge0. Não esqueça de mencionar o caso de igualdade.
  • Se pedirem conversão para bits, lembre-se da divisão por \ln 2.
  • Em exercícios numéricos, calcule termo a termo -p_k\ln p_k e some; para evitar calculadora, escolha exemplos com p_k como frações simples (por exemplo 1/2,1/3,1/4) ou deixe o resultado em termos de \ln.

Resposta

I(X=k)=-\ln p_k,\quad H_X=-\sum_{k=1}^{K}p_k\ln p_k.
H_X\ge 0 com igualdade se e somente se existe j tal que p_j=1 (distribuição degenerada).
H_X\le \ln K com igualdade se e somente se p_k=\tfrac{1}{K} para todo k (distribuição uniforme).
Mudança de unidade: H_X^{(\text{bits})}=H_X^{(\ln)}/\ln 2.
Bernoulli: H(p)=-p\ln p-(1-p)\ln(1-p), com H(\tfrac{1}{2})=\ln 2 nats =1 bit.

Exercícios relacionados