Ao transmitir um bit do ponto A para o ponto B, se fizermos com que X represente o valor do bit enviado e Y, o valor do bit recebido, então H ( X )   -   H , ( X ) é a taxa de transmissão de informação de A para B, A taxa de transmissão máxima, em função de P { X   =   1 )   =   1   -   P { X   =   O ] , é chamada de canal. Mostre que, para um canal binário simétrico com P { Y   =   1 I X   =

1   =   P { Y   =   O I X   =   O ]   =   p , a capacidade de canal é atingida pela taxa de transmissão de informação quando P { X   =   11   =   i e seu canal binário simétrico com P { Y   =   1 I X   =   v a l o r   é   1   +   p   l o g p   +   ( 1   - p ) l o g ( l   - p ) .

Passo 1

Fala galeraaa!

Vamos que vamos!

Suponha que:

X ∼ 0 1 1 - r r

Vamos determinar H ( X ) - H Y ( X ) . Nós sabemos que:

H ( X ) = - ( 1 - r )   l o g   ( 1 - r ) - r   l o g   r

Também, temos que:

H Y ( X ) = H Y = 0 ( X )   P ( Y = 0 ) + H _ ( Y = 1 )   P ( Y = 1 )

Avançamos para:

H Y = 0 X = - P ( X = 0 ∣   Y = 0 )   l o g   P ( X = 0 ∣   Y = 0 )

- P ( X = 1 ∣   Y = 0 )   l o g   P ( X = 1 ∣   Y = 0 )

Usando a fórmula Bayesiana, podemos obter probabilidades condicionais, temos:

P X = 0 Y = 0 = P Y = 0 X = 0 P X = 0   P ( Y = 0 ∣ X = 0 )   P ( X = 0   ) + P ( Y = 0 ∣ X = 1 )   P ( X = 1 )

= p 1 - r p 1 - r + 1 - p r

e da mesma forma:

P ( X = 1 ∣ Y = 0 ) = P Y = 0 X = 1 P X = 1 P Y = 0 X = 0 P X = 0   + P Y = 0 X = 1 P X = 1

= 1 - p r p 1 - r + 1 - p r

o que implica que:

H Y = 0 X = - p 1 - r p 1 - r + 1 - p r l o g p 1 - r   p 1 - r + 1 - p r

- 1 - p r p 1 - r + 1 - p r l o g 1 - p r p 1 - r + 1 -   p r

Passo 2

Da mesma forma, temos que:

H Y = 1 X = - 1 - p 1 - r 1 - p 1 - r + p r l o g 1 - p 1 - r 1 - p 1 - r + p r

- p r 1 - p 1 - r + p r l o g p r 1 - p 1 - r + p   r

Por fim, temos que:

P ( Y = 0 )   = P ( Y = 0 ∣ X = 0 )   P ( X = 0 ) + P ( Y = 0 ∣ X = 1 )   P ( X = 1 )

= p ( 1 - r ) + ( 1 - p ) r

e

P ( Y = 1 )   = P ( Y = 1 ∣ X = 0 )   P ( X = 0 ) + P ( Y = 1 ∣   X = 1 )   P ( X = 1 )  

= ( 1 - p ) ( 1 - r ) + p r

Agora, diferencie-o e defina-o para o zero. Temos que o diferencial é igual a zero se e somente se r = 1 2 . Nesse caso, a taxa de transmissão da informação de A para B é igual a 1 + p   l o g   p + ( 1 - p )   l o g   ( 1 - p ) que precisava ser provado.

Resposta

Detecte o que é de fato H ( X ) - H Y ( X ) e encontre seu valor máximo.