Seja Y=2^X, onde X é uma variável aleatória que assume um número finito de valores. Qual ou quais das seguintes afirmações são verdadeiras?
(a) H(Y) >= H(X)

Passo 1

Beleza, a questão diz que temos uma variável aleatória discreta finita X e definimos Y = 2^X. Queremos saber se a afirmação
(a) H(Y) ≥ H(X)
é verdadeira.
Conteúdo: Entropia de Shannon e o que acontece com a entropia quando a gente aplica uma transformação unívoca (ou bijetiva) na variável.
O que vamos usar:
  1. Definição de entropia H(X).
  2. A ideia de que, se Y é obtido de X por um mapeamento um-pra-um, as probabilidades “se mantêm” e a entropia não muda.

Passo 2

Primeiro, lembra do que é entropia de Shannon para X discreta:
H(X) ;=; -sumx pX(x),log2 pX(x),
Isso mede a “incerteza” de X. Agora, como Y = 2^X, cada valor x de X leva a um valor y = 2^x em Y. Note que se x1 ≠ x2, então 2^{x1} ≠ 2^{x2} — ou seja, é um mapeamento injetor (um-pra-um).

Passo 3

Quando temos um mapeamento um-pra-um, a distribuição de Y é simplesmente
pY(y) ;=; pX(x)com y=2^x
Logo
H(Y) ;=; -sumy pY(y),log2 pY(y) ;=; -sumx pX(x),log2 pX(x) ;=; H(X)
Ou seja, a entropia não muda.

Resposta

A afirmação (a) é verdadeira, pois na verdade vale H(Y) = H(X), então H(Y) ≥ H(X).

Exercícios relacionados