a) Mostre que \operatorname{Var}(\hat{\boldsymbol{\beta}})=\left(\mathbf{X}^{\prime} \mathbf{X}\right)^{-1} \sigma^{2}.
b) Mostre que \hat{\boldsymbol{\beta}} \sim N\left(\boldsymbol{\beta},\left(\mathbf{X}^{\prime} \mathbf{X}\right)^{-1} \sigma^{2}\right).
Passo 1
O que o enunciado pede e o que temos de dado.
Pedidos:
(a) Mostrar que \operatorname{Var}(\hat{\boldsymbol{\beta}})=\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\sigma^{2}.
(b) Mostrar que \hat{\boldsymbol{\beta}}\sim N\!\left(\boldsymbol{\beta},\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\sigma^{2}\right).
Informações (hipóteses padrão do modelo linear que serão usadas; assumidas válidas pelo enunciado):
Observa-se o modelo linear\mathbf{y}=\mathbf{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon},onde \mathbf{y} é n\times1, \mathbf{X} é n\times p com posto p (logo \mathbf{X}^{\prime}\mathbf{X} é inversível), e \boldsymbol{\beta} é p\times1.
\boldsymbol{\varepsilon} é o vetor de erros com\mathbb{E}[\boldsymbol{\varepsilon}]=\mathbf{0},\qquad \operatorname{Var}(\boldsymbol{\varepsilon})=\sigma^{2}\mathbf{I}_{n}.
Para a parte (b) também se assume que\boldsymbol{\varepsilon}\sim N(\mathbf{0},\sigma^{2}\mathbf{I}_{n}).
Definição do estimador dos mínimos quadrados ordinários (OLS):
Como \left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\mathbf{X}=\mathbf{I}_{p}, obtemos a decomposição útil:
\hat{\boldsymbol{\beta}}=\boldsymbol{\beta}+\underbrace{\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\boldsymbol{\varepsilon}}_{\text{termo devido ao erro}}.
Passo 3
Calcular a esperança de \hat{\boldsymbol{\beta}} (verificação de insesgamento) — aula rápida sobre expectativa em matrizes.
Propriedade usada: \mathbb{E}[A\mathbf{Z}+b]=A\,\mathbb{E}[\mathbf{Z}]+b para matriz A, vetor aleatório \mathbf{Z} e vetor constante b.
Aplicando a \hat{\boldsymbol{\beta}}=\boldsymbol{\beta}+\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{X}^{\prime}\boldsymbol{\varepsilon}:
Comentário didático: isso mostra que \hat{\boldsymbol{\beta}} é um estimador insesgado de \boldsymbol{\beta}. A etapa foi simples: expectativa da parte determinística é ela mesma e a expectativa do erro é zero.
Passo 4
Propriedade usada para variância: variância de transformação linear de vetor aleatório.
Teorema (útil): se \mathbf{z} é vetor aleatório com \operatorname{Var}(\mathbf{z})=\mathbf{\Sigma} e A é matriz constante, então
Substituir \operatorname{Var}(\boldsymbol{\varepsilon})=\sigma^{2}\mathbf{I}_{n} e simplificar a expressão da variância (álgebra matricial passo a passo).
Comentário didático final e checagem de hipóteses (importante para a prova).
A parte (a) usou apenas que \mathbb{E}[\boldsymbol{\varepsilon}]=\mathbf{0}, \operatorname{Var}(\boldsymbol{\varepsilon})=\sigma^{2}\mathbf{I}_{n} e que \mathbf{X}^{\prime}\mathbf{X} é inversível. Essas hipóteses são as condições clássicas de homocedasticidade e não correlacionadas dos erros; sob elas a expressão da variância vale mesmo que os erros não sejam normais.
A parte (b) precisa adicionalmente da hipótese \boldsymbol{\varepsilon}\sim N(\mathbf{0},\sigma^{2}\mathbf{I}_{n}) para concluir que \hat{\boldsymbol{\beta}} é exatamente multivariada normal. Se os erros não forem normais, \hat{\boldsymbol{\beta}} ainda tem média \boldsymbol{\beta} e variância dada acima, mas sua distribuição exata não é normal (porém, por Teorema Central do Limite, pode ser aproximadamente normal para n grande em muitos casos).