Seja
uma variável aleatória assumindo valores em
com função de probabilidade
. Queremos quantificar a incerteza do evento
. Claramente, a incerteza a respeito de
será pequena se sua probabilidade associada for próxima de um, e será grande se a probabilidade for pequena. A seguinte medida de incerteza satisfaz essas duas propriedades:
É fácil ver que
se
, de forma que
aumenta a medida em que
diminui. A entropia da variável aleatória
é definida como o valor esperado da incerteza a respeito de suas possíveis respostas, isto é,
Note que, na definição dada acima, utilizamos
como uma função da variável aleatória. A unidade de entropia é chamada “bits” quando a base do logaritmo é 2. Como estamos utilizando logaritmos naturais, a unidade da entropia é “nats”. A mudança de base do logaritmo é equivalente a multiplicar a entropia por uma constante, uma vez que
.
Passo 1
O enunciado fornece os seguintes dados e pede implicitamente que entendamos e trabalhemos com essa definição de informação e entropia. Perguntas que vamos responder ao longo da resolução (sem que você precise me dizer mais nada):
- Quais são as propriedades básicas da função de informação
? - Como interpretar a entropia
e como calculá‑la a partir de ? - Provar que
é sempre não negativa e quando é zero. - Determinar qual distribuição maximiza
e qual é o valor máximo. - Como trocar a unidade de nats para bits; e um exemplo concreto (Bernoulli).
Informações dadas no enunciado:
Passo 2
Entendendo
(a “surpresa” ou informação de um evento). Vamos analisar propriedades simples e intuitivas:
- Primeiro, observe que
é crescente para . Como , temos . Portanto
Isto confirma formalmente a frase do enunciado: quando
está próximo de
,
está próximo de
(pouca surpresa); quando
é pequeno,
é grande (muita surpresa).
- Derivada para ver monotonicidade: considere a função
para . Sua derivada é
ou seja,
é estritamente decrescente: aumentar
diminui a surpresa. Isso é exatamente a propriedade desejada.
Passo 3
Interpretação da entropia como valor esperado da surpresa. Por definição,
Explicando passo a passo: cada resultado
traz uma surpresa
. Multiplicamos essa surpresa pela probabilidade
de ocorrer e somamos sobre todos os
: isso dá a surpresa média—a incerteza média sobre
. Exemplificando com números simples (para fixar a ideia): se
e
, então
Isto significa que a incerteza média é
nats.
Passo 4
Provar que
e caracterizar quando
. Como já vimos
para cada
e
, cada parcela
. Somando parcelas não negativas:
Além disso,
ocorre iff todas as parcelas são zero. Note que
pode acontecer de duas formas:
(então termo é
por continuidade) ou
com os demais
. Como
, a única distribuição que faz todos os termos zero simultaneamente é a distribuição degenerada: existe algum
tal que
e
. Conclusão:
Passo 5
Provar que
é maximizada pela distribuição uniforme e que o máximo vale
. Método prático de prova (Lagrange multipliers), passo a passo — é o que costumam pedir em provas:
Queremos maximizar
sujeito à restrição
e
. Formamos a função de Lagrange (introduzimos multiplicador
):
Agora derivamos
em relação a
e igualamos a zero (condição de estacionariedade):
Isto implica
Logo todos os
são iguais, então todos os
são iguais. Pela restrição
vem
Esse ponto crítico fornece o máximo porque
é função côncava nos
(pode-se verificar que a matriz Hessiana é negativa definida), de modo que qualquer ponto estacionário sob a restrição é máximo global. Calculando o valor máximo:
Portanto
Passo 6
Comentário alternativo curto (intuição): a entropia mede espalhamento da massa de probabilidade. Distribuição mais espalhada possível em um conjunto com
pontos é a uniforme, por isso ela dá maior incerteza; quando a massa está concentrada em um ponto, a incerteza é zero.
Passo 7
Mudança de base do logaritmo (nats ↔ bits) e exemplo concreto (Bernoulli). Se usarmos logaritmo na base
obtemos entropia em bits; com log natural obtemos nats. A relação é simples porque
Assim, se
é a entropia em nats e
é a entropia em bits,
Exemplo importante: variável Bernoulli com
e
. A entropia é
Casos especiais:
dá
Se
ou
, então
(certeza).
Passo 8
Dicas rápidas para prova (prático e amistoso):
- Para provar máximo de entropia use Lagrange; é direto e costuma cair em provas. Mostre sempre que é um máximo verificando concavidade (ou argumente por intuição se a prova exigir menos formalidade).
- Para mostrar
basta usar que . Não esqueça de mencionar o caso de igualdade. - Se pedirem conversão para bits, lembre-se da divisão por
. - Em exercícios numéricos, calcule termo a termo
e some; para evitar calculadora, escolha exemplos com como frações simples (por exemplo ) ou deixe o resultado em termos de .
Resposta
Mudança de unidade:
Bernoulli: