Prove o seguinte:
Sejam y e \varepsilon matrizes n \times 1, \beta uma matriz k \times 1 e X uma matriz n \times k. Se X^{T} \varepsilon=\mathbf{0}, onde \mathbf{0} é uma matriz n \times 1 de zeros, então y=X \beta+\varepsilon implica que \beta=\left(X^{T} X\right)^{-1}\left(X^{T} y\right).

Passo 1

O enunciado trata da regressão linear em forma matricial: temos um vetor de observações \,y\in\mathbb{R}^{n\times1}, um vetor de parâmetros \,\beta\in\mathbb{R}^{k\times1}, uma matriz de regressores X\in\mathbb{R}^{n\times k} e um vetor de erros \varepsilon\in\mathbb{R}^{n\times1}. Sabemos que
y = X\beta + \varepsilon
e que os resíduos estão ortogonais às colunas de X, isto é,
X^{T}\varepsilon = \mathbf{0}.
O objetivo é mostrar que, sob a condição de X^{T}X invertível, o vetor de parâmetros satisfaz
\beta = \bigl(X^{T}X\bigr)^{-1}X^{T}y.

Passo 2

Multiplicamos a equação de regressão pela matriz transposta de X. Partindo de
y = X\beta + \varepsilon
temos
X^{T}y = X^{T}(X\beta + \varepsilon).
Pelo distributivo de matrizes, isto dá
X^{T}y = X^{T}X\,\beta + X^{T}\varepsilon.

Passo 3

Aplicamos a hipótese de ortogonalidade dos resíduos, que diz
X^{T}\varepsilon = \mathbf{0}.
Substituindo em
X^{T}y = X^{T}X\,\beta + X^{T}\varepsilon
obtemos as chamadas equações normais:
X^{T}y = X^{T}X\,\beta.

Passo 4

Para isolar \beta precisamos que X^{T}X seja invertível (o que ocorre quando as colunas de X são linearmente independentes). Assumindo essa invertibilidade, multiplicamos a equação normal pela inversa de X^{T}X à esquerda:
\bigl(X^{T}X\bigr)^{-1}X^{T}y = \bigl(X^{T}X\bigr)^{-1}\bigl(X^{T}X\bigr)\beta.

Passo 5

Como \bigl(X^{T}X\bigr)^{-1}(X^{T}X)=I_{k}, o lado direito simplifica para \beta. Logo chegamos à solução desejada:
\beta = \bigl(X^{T}X\bigr)^{-1}X^{T}y.

Resposta

\displaystyle \beta = \bigl(X^{T}X\bigr)^{-1}X^{T}y

Exercícios relacionados