Defina Entropia
Passo 1
Beleza, o enunciado pede “Defina Entropia”. Isso cai na matéria de Teoria da Informação, onde a gente usa conceitos de probabilidade e logaritmo. Para resolver, vamos precisar saber o que é uma distribuição de probabilidades e entender a ideia de “incerteza” de um evento. A partir daí, a gente introduz a fórmula da entropia de Shannon.
Passo 2
Primeiro, o que é entropia? Pense numa variável aleatória
que pode ter vários resultados
, cada um com probabilidade
. A entropia mede o quanto a gente fica “na dúvida” antes de saber qual resultado ocorreu. Quanto mais igualitárias forem as probabilidades, maior a dúvida/entropia.
Passo 3
A fórmula da entropia de Shannon é
Aqui:
-
é a probabilidade de o evento acontecer. - O somatório vai por todos os possíveis resultados.
- O logaritmo
define a unidade: se , a gente mede em bits; se , em nats. - O sinal “–” serve pra que
fique positivo, já que é negativo quando .
Passo 4
Vamos ver um exemplo rápido: uma moeda justa tem dois lados, cara e coroa, cada um com
. Então
Isso faz sentido: uma moeda justa carrega exatamente 1 bit de incerteza.
Resposta
A entropia de uma variável aleatória
é dada por
que quantifica a incerteza média (ou a quantidade de informação) dos possíveis resultados de
.