Considere os modelos:
Em que,
são variáveis padronizadas. Mostre que
e, portanto, estabeleça que, embora os coeficientes angulares da regressão sejam independentes da mudança da origem, não são independentes da mudança de escala.
Passo 1
O enunciado nos dá dois modelos de regressão linear simples:
em que
e
são as versões padronizadas de
e
.
As perguntas que preciso responder são:
As perguntas que preciso responder são:
- Mostrar a relação entre os coeficientes angulares estimados
e , ou seja provar que . - A partir disso, concluir que o coeficiente angular é independente da mudança da origem (adicionar constantes) mas depende da mudança de escala (multiplicar por constantes).
Informações dadas que vou usar (definições de padronização):
onde
e
são constantes de escala positivas (tipicamente as desvios-padrão amostrais) e
são as médias amostrais.
Passo 2
Relembrando a fórmula do estimador de mínimos quadrados da inclinação em regressão linear simples. Para o Modelo I, o estimador da inclinação
é dado por:
Explicando essa fórmula de forma didática: o numerador é a soma dos produtos das “diferenças em relação às médias” de
e
(essa soma é proporcional à covariância amostral), e o denominador é a soma dos quadrados das diferenças de
em relação à sua média (proporcional à variância amostral de
). Intuitivamente, a inclinação é “quanto em média
varia quando
varia”, e a razão cov/var captura essa ideia.
Todas as variáveis matemáticas nesta fórmula:
-
e são observações; -
e são as médias amostrais; - as somas são sobre
.
Passo 3
Propriedades das variáveis padronizadas que facilitam a conta. Pelo modo como definimos a padronização:
Ou seja, as variáveis padronizadas têm média zero. Isso simplifica a fórmula do estimador para o Modelo II, porque nas fórmulas de mínimos quadrados aparecem sempre as diferenças em relação à média; aqui essas diferenças são simplesmente os próprios
.
Passo 4
Escrever a fórmula da inclinação para o Modelo II usando as padronizações e simplificar. Pela fórmula de mínimos quadrados aplicada a
:
Como
, isso vira
Agora substituo as definições
e
nas somas:
e
Agora a razão dá:
Pelo passo 2, a fração final é exatamente
. Portanto chegamos a
Passo 5
Interpretação e conclusão sobre mudança de origem versus mudança de escala.
-
Mudança da origem (adicionar constantes): se substituirmos
por ou por , as diferenças e não mudam (porque e mudam na mesma quantidade), logo a fórmula de permanece inalterada. Assim o coeficiente angular é independente da mudança da origem. -
Mudança de escala (multiplicar por constantes): se multiplicarmos
por uma constante e por uma constante , a inclinação transforma-se por um fator (ver observação rápida: covariação escala com , variância de escala com , daí ). No caso de padronização nós multiplicamos por e por , portanto a inclinação é multiplicada por . Isso mostra explicitamente que o coeficiente angular depende da mudança de escala.
Um exemplo numérico rápido para fixar a intuição: se
e
, então
. Ou seja, ao dividir
por
(diminuir a escala de
) e manter
igual, a inclinação medida em unidades padronizadas dobra.