Seja
, onde
é uma variável aleatória que assume um número finito de valores. Qual ou quais das seguintes afirmações são verdadeiras?
(a)
(a)
Passo 1
Beleza, a questão diz que temos uma variável aleatória discreta finita X e definimos Y = 2^X. Queremos saber se a afirmação
(a) H(Y) ≥ H(X)
é verdadeira.
Conteúdo: Entropia de Shannon e o que acontece com a entropia quando a gente aplica uma transformação unívoca (ou bijetiva) na variável.
O que vamos usar:
(a) H(Y) ≥ H(X)
é verdadeira.
Conteúdo: Entropia de Shannon e o que acontece com a entropia quando a gente aplica uma transformação unívoca (ou bijetiva) na variável.
O que vamos usar:
- Definição de entropia H(X).
- A ideia de que, se Y é obtido de X por um mapeamento um-pra-um, as probabilidades “se mantêm” e a entropia não muda.
Passo 2
Primeiro, lembra do que é entropia de Shannon para X discreta:
Isso mede a “incerteza” de X. Agora, como Y = 2^X, cada valor x de X leva a um valor y = 2^x em Y. Note que se x1 ≠ x2, então 2^{x1} ≠ 2^{x2} — ou seja, é um mapeamento injetor (um-pra-um).
Passo 3
Quando temos um mapeamento um-pra-um, a distribuição de Y é simplesmente
Logo
Ou seja, a entropia não muda.
Resposta
A afirmação (a) é verdadeira, pois na verdade vale H(Y) = H(X), então H(Y) ≥ H(X).