Defina Entropia

Passo 1

Beleza, o enunciado pede “Defina Entropia”. Isso cai na matéria de Teoria da Informação, onde a gente usa conceitos de probabilidade e logaritmo. Para resolver, vamos precisar saber o que é uma distribuição de probabilidades e entender a ideia de “incerteza” de um evento. A partir daí, a gente introduz a fórmula da entropia de Shannon.

Passo 2

Primeiro, o que é entropia? Pense numa variável aleatória que pode ter vários resultados , cada um com probabilidade . A entropia mede o quanto a gente fica “na dúvida” antes de saber qual resultado ocorreu. Quanto mais igualitárias forem as probabilidades, maior a dúvida/entropia.

Passo 3

A fórmula da entropia de Shannon é
H(X) ;=; - sumi=1^n p(xi),logb p(xi)
Aqui:
  • é a probabilidade de o evento acontecer.
  • O somatório vai por todos os possíveis resultados.
  • O logaritmo define a unidade: se , a gente mede em bits; se , em nats.
  • O sinal “–” serve pra que fique positivo, já que é negativo quando .

Passo 4

Vamos ver um exemplo rápido: uma moeda justa tem dois lados, cara e coroa, cada um com H(moeda) = -l(0.5log2 0.5 + 0.5log2 0.5r) = -l(0.5cdot(-1) + 0.5cdot(-1)r) = 1;bit . Então
Isso faz sentido: uma moeda justa carrega exatamente 1 bit de incerteza.

Resposta

A entropia de uma variável aleatória boxedH(X) ;=; - sumi=1^n p(xi),logb p(xi), é dada por
que quantifica a incerteza média (ou a quantidade de informação) dos possíveis resultados de .

Exercícios relacionados