a) Mostre que \operatorname{Var}(\hat{\boldsymbol{\beta}})=\left(\mathbf{X}^{\prime} \mathbf{X}\right)^{-1} \sigma^{2}.
b) Mostre que \hat{\boldsymbol{\beta}} \sim N\left(\boldsymbol{\beta},\left(\mathbf{X}^{\prime} \mathbf{X}\right)^{-1} \sigma^{2}\right).

Passo 1

O que o enunciado pede e o que temos de dado.
  • Pedidos:
    • (a) Mostrar que \operatorname{Var}(\hat{\boldsymbol{\beta}})=\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\sigma^{2}.
    • (b) Mostrar que \hat{\boldsymbol{\beta}}\sim N\!\left(\boldsymbol{\beta},\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\sigma^{2}\right).
  • Informações (hipóteses padrão do modelo linear que serão usadas; assumidas válidas pelo enunciado):
    • Observa-se o modelo linear \mathbf{y}=\mathbf{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon},onde \mathbf{y} é n\times1, \mathbf{X} é n\times p com posto p (logo \mathbf{X}^{\prime}\mathbf{X} é inversível), e \boldsymbol{\beta} é p\times1.
    • \boldsymbol{\varepsilon} é o vetor de erros com \mathbb{E}[\boldsymbol{\varepsilon}]=\mathbf{0},\qquad \operatorname{Var}(\boldsymbol{\varepsilon})=\sigma^{2}\mathbf{I}_{n}.
    • Para a parte (b) também se assume que \boldsymbol{\varepsilon}\sim N(\mathbf{0},\sigma^{2}\mathbf{I}_{n}).
  • Definição do estimador dos mínimos quadrados ordinários (OLS):
    \hat{\boldsymbol{\beta}}=\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\mathbf{y}.

Passo 2

Expressar \hat{\boldsymbol{\beta}} em função de \boldsymbol{\varepsilon} — passo chave para calcular média, variância e distribuição.
Substituindo \mathbf{y}=\mathbf{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon} na expressão do estimador:
\hat{\boldsymbol{\beta}} =\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}(\mathbf{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon}) =\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\mathbf{X}\,\boldsymbol{\beta} +\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\boldsymbol{\varepsilon}.
Como \left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\mathbf{X}=\mathbf{I}_{p}, obtemos a decomposição útil:
\hat{\boldsymbol{\beta}}=\boldsymbol{\beta}+\underbrace{\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\boldsymbol{\varepsilon}}_{\text{termo devido ao erro}}.

Passo 3

Calcular a esperança de \hat{\boldsymbol{\beta}} (verificação de insesgamento) — aula rápida sobre expectativa em matrizes.
Propriedade usada: \mathbb{E}[A\mathbf{Z}+b]=A\,\mathbb{E}[\mathbf{Z}]+b para matriz A, vetor aleatório \mathbf{Z} e vetor constante b.
Aplicando a \hat{\boldsymbol{\beta}}=\boldsymbol{\beta}+\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\boldsymbol{\varepsilon}:
\mathbb{E}[\hat{\boldsymbol{\beta}}] =\boldsymbol{\beta}+\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\mathbb{E}[\boldsymbol{\varepsilon}] =\boldsymbol{\beta}+\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\mathbf{0} =\boldsymbol{\beta}.
Comentário didático: isso mostra que \hat{\boldsymbol{\beta}} é um estimador insesgado de \boldsymbol{\beta}. A etapa foi simples: expectativa da parte determinística é ela mesma e a expectativa do erro é zero.

Passo 4

Propriedade usada para variância: variância de transformação linear de vetor aleatório.
Teorema (útil): se \mathbf{z} é vetor aleatório com \operatorname{Var}(\mathbf{z})=\mathbf{\Sigma} e A é matriz constante, então
\operatorname{Var}(A\mathbf{z})=A\,\mathbf{\Sigma}\,A^{\prime},
onde A^{\prime} é a transposta de A. Vamos aplicar isso ao termo que contém \boldsymbol{\varepsilon}.
No nosso caso, a parte aleatória de \hat{\boldsymbol{\beta}} é A\boldsymbol{\varepsilon} com
A=\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}.
Portanto
\operatorname{Var}(\hat{\boldsymbol{\beta}}) =\operatorname{Var}\!\big(A\boldsymbol{\varepsilon}\big) = A\,\operatorname{Var}(\boldsymbol{\varepsilon})\,A^{\prime}.

Passo 5

Substituir \operatorname{Var}(\boldsymbol{\varepsilon})=\sigma^{2}\mathbf{I}_{n} e simplificar a expressão da variância (álgebra matricial passo a passo).
Começando de
\operatorname{Var}(\hat{\boldsymbol{\beta}}) = \left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\,(\sigma^{2}\mathbf{I}_{n})\, \big(\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\big)^{\prime}.
Fatorando \sigma^{2} (constante escalar) e lembrando que a transposta do produto inverte a ordem e transpõe cada fator:
\big(\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\big)^{\prime} = \mathbf{X}\left(\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\right)^{\prime}.
Como \left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1} é simétrica (pois \mathbf{X}^{\prime}\mathbf{X} é simétrica), tem-se
\left(\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\right)^{\prime}=\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}.
Assim
\operatorname{Var}(\hat{\boldsymbol{\beta}}) = \sigma^{2}\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\mathbf{I}_{n}\mathbf{X}\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}.
Como \mathbf{X}^{\prime}\mathbf{I}_{n}\mathbf{X}=\mathbf{X}^{\prime}\mathbf{X}, temos
\operatorname{Var}(\hat{\boldsymbol{\beta}}) = \sigma^{2}\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\mathbf{X}\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}.
Cancelando \mathbf{X}^{\prime}\mathbf{X} com um dos fatores inversos:
\operatorname{Var}(\hat{\boldsymbol{\beta}}) = \sigma^{2}\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}.
Isto prova a parte (a).

Passo 6

Mostrar a normalidade de \hat{\boldsymbol{\beta}} usando propriedade de transformações lineares de variáveis normais.
Propriedade (teorema básico do multivariado): se \mathbf{z}\sim N(\boldsymbol{\mu},\mathbf{\Sigma}) e A é matriz constante e b vetor constante, então
A\mathbf{z}+b \sim N(A\boldsymbol{\mu}+b,\;A\mathbf{\Sigma}A^{\prime}).
No nosso problema sabemos (hipótese para (b)) que \boldsymbol{\varepsilon}\sim N(\mathbf{0},\sigma^{2}\mathbf{I}_{n}). Do Passo 2 temos
\hat{\boldsymbol{\beta}}=\boldsymbol{\beta}+A\boldsymbol{\varepsilon}, \qquad A=\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}.
Aplicando a propriedade acima com \mathbf{z}=\boldsymbol{\varepsilon}, A definido e b=\boldsymbol{\beta}, obtemos
\hat{\boldsymbol{\beta}} \sim N\!\big(\boldsymbol{\beta}+A\mathbf{0},\;A(\sigma^{2}\mathbf{I}_{n})A^{\prime}\big) = N\!\big(\boldsymbol{\beta},\;\sigma^{2}A A^{\prime}\big).
Mas já calculámos em detalhe no Passo 5 que \sigma^{2}A A^{\prime}=\sigma^{2}\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}. Portanto
\hat{\boldsymbol{\beta}}\sim N\!\left(\boldsymbol{\beta},\;\sigma^{2}\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\right),
que é exatamente o que se pedia na parte (b).

Passo 7

Comentário didático final e checagem de hipóteses (importante para a prova).
  • A parte (a) usou apenas que \mathbb{E}[\boldsymbol{\varepsilon}]=\mathbf{0}, \operatorname{Var}(\boldsymbol{\varepsilon})=\sigma^{2}\mathbf{I}_{n} e que \mathbf{X}^{\prime}\mathbf{X} é inversível. Essas hipóteses são as condições clássicas de homocedasticidade e não correlacionadas dos erros; sob elas a expressão da variância vale mesmo que os erros não sejam normais.
  • A parte (b) precisa adicionalmente da hipótese \boldsymbol{\varepsilon}\sim N(\mathbf{0},\sigma^{2}\mathbf{I}_{n}) para concluir que \hat{\boldsymbol{\beta}} é exatamente multivariada normal. Se os erros não forem normais, \hat{\boldsymbol{\beta}} ainda tem média \boldsymbol{\beta} e variância dada acima, mas sua distribuição exata não é normal (porém, por Teorema Central do Limite, pode ser aproximadamente normal para n grande em muitos casos).

Resposta

\operatorname{Var}(\hat{\boldsymbol{\beta}})=\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\sigma^{2}
\hat{\boldsymbol{\beta}}\sim N\!\left(\boldsymbol{\beta},\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\sigma^{2}\right)

Exercícios relacionados