Seja
, onde
é uma variável aleatória que assume um número finito de valores. Qual ou quais das seguintes afirmações são verdadeiras?
(b)
(b)
Passo 1
Beleza, então o enunciado é: temos uma variável aleatória discreta
que assume um número finito de valores, e definimos outra variável aleatória
. A pergunta (letra b) é: será que vale sempre
Nesse problema a matéria envolvida é Entropia em Teoria da Informação. Para responder isso, a gente vai precisar lembrar a definição de entropia e ver o que acontece quando aplicamos uma função injetora (isto é, sem “misturar” valores) numa variável aleatória.
Passo 2
Primeiro, recapitula a definição de entropia de
:
onde
. De modo análogo,
Passo 3
Agora, note que
é obtido de
pela função
Essa função é injetora: cada valor de
vira um valor diferente de
. Logo, existe uma correspondência biunívoca entre os pontos
e os pontos
.
Isso implica que a distribuição de
é só uma “reindexação” da de
:
Passo 4
Como
e
têm exatamente as mesmas probabilidades, só “com nome trocado”, a entropia não muda:
Se
, então claramente vale
Resposta
A afirmação
é verdadeira (na verdade, dá até igualdade:
).