Exercício 2. Mostre que as classes Normal e Normal-Gama são fechadas por amostragem.

Passo 1

O enunciado pede para mostrar que, em modelo Bayesiano, a família Normal (com variância conhecida) e a família Normal–Gama (quando se trata de média e precisão conjuntas) são fechadas por amostragem, ou seja, o posterior permanece na mesma classe do prior. Para isso vamos usar o Teorema de Bayes, escrever as densidades de prior e verossimilhança, multiplicá-las e verificar que o resultado é da mesma forma funcional do prior, com parâmetros atualizados.

Passo 2

Considere X_{1},\dots,X_{n} i.i.d. com
X_{i}\mid \mu \sim N(\mu,\sigma^{2}),
onde \sigma^{2} é conhecida, e prior
\mu \sim N(\mu_{0},\sigma_{0}^{2}),
cuja densidade é
p(\mu)\propto \exp\!\biggl(-\frac{1}{2\sigma_{0}^{2}}(\mu-\mu_{0})^{2}\biggr).
A verossimilhança conjunta é
p(\mathbf{x}\mid \mu)\propto \exp\!\Bigl(-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)^{2}\Bigr).
Pela regra de Bayes,
p(\mu\mid \mathbf{x})\propto p(\mathbf{x}\mid \mu)\,p(\mu) \;\propto\; \exp\!\Bigl(-\frac{1}{2\sigma^{2}}\sum_{i}(x_{i}-\mu)^{2}-\frac{1}{2\sigma_{0}^{2}}(\mu-\mu_{0})^{2}\Bigr).
No expoente, agrupamos os termos em \mu^{2} e em \mu:
coeficiente de \mu^{2} é \tfrac{n}{2\sigma^{2}}+\tfrac{1}{2\sigma_{0}^{2}}=\tfrac{1}{2\sigma_{n}^{2}},
coeficiente de \mu é -\bigl(\tfrac{\sum x_{i}}{\sigma^{2}}+\tfrac{\mu_{0}}{\sigma_{0}^{2}}\bigr)= -\tfrac{\mu_{n}}{\sigma_{n}^{2}}.
Isso define
\sigma_{n}^{2}=\frac{1}{\,n/\sigma^{2}+1/\sigma_{0}^{2}\,}, \qquad \mu_{n} =\sigma_{n}^{2}\Bigl(\frac{n\bar x}{\sigma^{2}}+\frac{\mu_{0}}{\sigma_{0}^{2}}\Bigr).
Portanto
p(\mu\mid \mathbf{x}) \propto \exp\!\Bigl(-\frac{1}{2\sigma_{n}^{2}}(\mu-\mu_{n})^{2}\Bigr),
que é a densidade de N(\mu_{n},\sigma_{n}^{2}). Logo a classe Normal é fechada.

Passo 3

Agora considere o caso em que \mu e a precisão \tau=1/\sigma^{2} são desconhecidas, com prior Normal–Gama:
p(\mu,\tau) =\underbrace{\frac{\beta_{0}^{\alpha_{0}}}{\Gamma(\alpha_{0})}\tau^{\alpha_{0}-1}e^{-\beta_{0}\tau}}_{\text{Gamma}(\alpha_{0},\beta_{0})} \;\times\; \underbrace{\sqrt{\frac{\lambda_{0}\tau}{2\pi}} \exp\!\bigl(-\tfrac{\lambda_{0}\tau}{2}(\mu-\mu_{0})^{2}\bigr)}_{N\bigl(\mu_{0},( \lambda_{0}\tau)^{-1}\bigr)}.
A verossimilhança de \mathbf{x} é
p(\mathbf{x}\mid \mu,\tau) \propto \tau^{n/2}\exp\!\Bigl(-\frac{\tau}{2}\sum_{i=1}^{n}(x_{i}-\mu)^{2}\Bigr).
Multiplicando prior e verossimilhança e agrupando potências de \tau e termos quadráticos em \mu, obtemos
p(\mu,\tau\mid \mathbf{x}) \propto \tau^{\alpha_{0}-1 + \tfrac{1}{2} + \tfrac{n}{2}} \exp\!\Bigl(-\tau\bigl[\beta_{0}+\tfrac{1}{2}\sum_{i}(x_{i}-\mu)^{2}+\tfrac{\lambda_{0}}{2}(\mu-\mu_{0})^{2}\bigr]\Bigr).
Fazendo a soma de quadrados e completando o quadrado em \mu, definimos
\lambda_{n}=\lambda_{0}+n, \quad \mu_{n}=\frac{\lambda_{0}\mu_{0}+n\bar x}{\lambda_{n}}, \quad \alpha_{n}=\alpha_{0}+\frac{n}{2},
\beta_{n} =\beta_{0} +\frac{1}{2}\sum_{i=1}^{n}(x_{i}-\bar x)^{2} +\frac{\lambda_{0}n}{2\lambda_{n}}(\bar x-\mu_{0})^{2}.
O resultado se fatoriza como
p(\mu\mid\tau,\mathbf{x}) \sim N\bigl(\mu_{n},(\lambda_{n}\tau)^{-1}\bigr), \qquad p(\tau\mid\mathbf{x}) \sim \mathrm{Gamma}(\alpha_{n},\beta_{n}),
que é exatamente uma distribuição Normal–Gama com hiperparâmetros \mu_{n},\lambda_{n},\alpha_{n},\beta_{n}. Assim a classe Normal–Gama também é fechada por amostragem.

Resposta

As duas famílias são conjugadas:
– Para variância conhecida, o posterior de \mu é Normal com média \mu_{n} e variância \sigma_{n}^{2}.
– Para média e precisão desconhecidas, o posterior de (\mu,\tau) é Normal–Gama com parâmetros \mu_{n},\lambda_{n},\alpha_{n},\beta_{n}.

Exercícios relacionados