Seja Y=2^X, onde X é uma variável aleatória que assume um número finito de valores. Qual ou quais das seguintes afirmações são verdadeiras?
(b) H(Y) <= H(X)

Passo 1

Beleza, então o enunciado é: temos uma variável aleatória discreta H(Y) <= H(X);? que assume um número finito de valores, e definimos outra variável aleatória . A pergunta (letra b) é: será que vale sempre
Nesse problema a matéria envolvida é Entropia em Teoria da Informação. Para responder isso, a gente vai precisar lembrar a definição de entropia e ver o que acontece quando aplicamos uma função injetora (isto é, sem “misturar” valores) numa variável aleatória.

Passo 2

Primeiro, recapitula a definição de entropia de H(X) ;=; -sumx pX(x),log pX(x), :
H(Y) ;=; -sumy pY(y),log pY(y)
onde . De modo análogo,

Passo 3

Agora, note que g(x) = 2^x é obtido de pY(y) ;=;Pr[Y=y] =Pr[2^X=y] =Pr[X=log2 y] = pX(log2 y) pela função
Essa função é injetora: cada valor de vira um valor diferente de . Logo, existe uma correspondência biunívoca entre os pontos e os pontos .
Isso implica que a distribuição de é só uma “reindexação” da de :

Passo 4

Como H(Y) =-sumy pY(y),log pY(y) =-sumx pX(x),log pX(x) =H(X) e H(Y)<= H(X) têm exatamente as mesmas probabilidades, só “com nome trocado”, a entropia não muda:
Se , então claramente vale

Resposta

A afirmação é verdadeira (na verdade, dá até igualdade: ).

Exercícios relacionados