Regressão Linear

Teoria Completa

Introdução à Regressão Linear

Cara, eu vou tentar te passar a ideia do que vai acontecer nessa teoria com duas imagens. Se liga só nessa primeira aqui:

Eu quero que você olhe pra esses pontos e tente imaginar uma reta que se passa “perto” de todos eles.

Uma reta possível seria essa aqui, concorda?

O que a gente faz em regressão linear é exatamente encontrar de uma reta dessa!

O que a gente tem que ter na cabeça antes de ir às contas é o seguinte:

  • Cada ponto ( x , y ) dessa figura é composto de duas variáveis, que são nossos dados.

Por exemplo, nessa figura aí de cima a variável x poderia ser o número de gols que um time marcou em uma partida e a variável y o número de tentativas que foram feitas. Só pra você pegar uma ideia do que tá acontecendo, os dados vieram dessa tabela aqui:

O que a gente tá fazendo ao encontrar essa reta é tentando relacionar uma variável à outra, através de uma equação. A fórmula é a seguinte:

Y = α X + β + e

Onde:

- α : c o e f i c i e n t e   d e p e n d e n t e

- β : c o e f i c i e n t e   i n d e p e n d e n t e  

- e : e r r o

Não precisa encrencar com esse erro não. É bom representar ele nas nossas respostas finais só pra ficar matematicamente correto, mas não precisamos calcular nada sobre ele.

Encontrando a equação da reta

Exemplo: Deseja-se relacionar a taxa de mortalidade infantil com a taxa de analfabetismo do país.

Considere:

- Taxa de Analfabetismo: variável independente (X)

- Taxa de Mortalidade Infantil: variável dependente (Y)

Tem-se os seguintes dados:

Qual a reta de regressão que descreve melhor a taxa de mortalidade infantil em função do analfabetismo?

Passo 1)

Para montarmos a função temos que descobrir o valor dos parâmetros α e β .

Temos as seguintes fórmulas:

α = n   .   ∑ x i y i - ∑ x i . ∑ y i n . ∑ x i 2 - ∑ x i 2

β = y - - α x -

Masôqueee? Relaxa! Vamos ver direitinho o que cada termo aí dentro significa.

O n é o número de elementos da nossa amostra. Como nosso quadro nos dá informações sobre 5 regiões do país, n = 5 . Os x i e y i são os dados individuais de cada variável. E x -   e y - são as médias amostrais desses dados.

Repara que o exemplo já trouxe valores calculados para nós na tabela. Os “totais” nada mais são que os somatórios:

∑ x i y i = 2892,87

∑ x i = 166,7

∑ y i = 71,4

∑ x i 2 = 6485,50

Então o coeficiente α vale:

α = 5 . 2892,87 - 166,7 . 71,4 5 . 6485,50 - 166,7 2 = 0,55

Passo 2)

Para o cálculo do β , precisamos das médias amostrais, que vão ser dadas por:

x - = ∑ x i n = 33,34

y - = ∑ y i n = 14,28

Então:

β = y - - α x - = 14,28 - 0,55 ( 33,24 ) = - 4,1

Passo 3)

Agora podemos juntar tudo na fórmula da reta:

Y = 0,55 X - 4,1

Essa aí é nossa melhor reta aproximada!

Covariância e correlação

Beleza, mas para descrever uma relação como uma reta, é bom que esses dados sejam linearmente dependentes, certo?

Imagina só, se a gente tivesse dados que se relacionam em formato de parábola, seria muito estranho tentar relacioná-los usando o método da reta de regressão, concorda comigo?

Como que nós podemos saber o quanto dois conjuntos de dados tem uma relação realmente próxima a uma reta, então? Vamos ver isso com calma.

Vamos pensar nesse exemplo da tabela abaixo, onde temos a evolução de casos de Malária no decorrer das semanas numa certa região.

Se a gente fizesse o diagrama de dispersão desses dados (nº de casos em função do tempo), teríamos isso aqui:

No gráfico a gente percebe que quanto mais as semanas passam menos casos são observados. Pequenos valores pras semanas se relacionam a grandes valores no número de casos e vice e versa.

Existe uma relação linear clara entre esses dados, certo? Como determinar “o quão linear” ela é? Calculando a covariância e a correlação desses dados!

Aqui, como estamos lidando com dados de uma amostra, vamos nos limitar ao cálculo da covariância amostral e do coeficiente de correlação amostral.

Vamos falar primeiro sobre a covariância amostral. Como calcula esse negócio? Respira fundo e vai:

s x y = ∑ i = 1 n x i . y i - ∑ i = 1 n x i ∑ i = 1 n y i n n - 1

Achou que as fórmulas iam parar? Que iam diminuir? Me perdoa, eu também não queria que fosse assim…

****

Um fato bem importante sobre ela: a covariância é negativa se acontece igual no nosso exemplo, uma tendência decrescente. Se a tendência for crescente, a covariância é positiva. Se num tiver tendência linear nenhuma, a covariância é zero.

E a outra medida é o coeficiente de correlação:

r x y = s x y s x . s y

Onde s x e s y são os desvios padrões.

Esse r aí vai sempre estar entre 1 e - 1 . Quanto mais próximo o módulo da correlação for de 1 , mais linear é a relação entre x e y .

Se ele for positivo, quando uma cresce, a outra deve crescer junto. Se for negativo, quando uma cresce, a outra diminui.

E se for 0 quer dizer que x e y são não tem correlação linear! Mas isso não significa que x e y são independentes!!! Porém, se x e y são independentes, a covariância e a correlação deles vale zero.

A covariância e a correlação medem apenas a relação linear entre as variáveis! Então se eles tiverem, por exemplo, uma relação exponencial, isso não será refletido nessas medidas.

No nosso exemplo a reta seria mais ou menos assim:

Ela também poderia ter sido calculada a partir da covariância, quer saber como?

Vimos que a reta de regressão tem essa cara:

Y = b X + a + e r r o

Nosso trabalho então é encontrar os valores de a e de b :

b = s x y s x 2

Já com o valor de b , partiu encontrar o a :

a = ∑ i = 1 n y i - b . ∑ i = 1 n x i n

b mede o coeficiente angular da reta e a é o valor que a reta corta o eixo y , só lembrando.

O lado bom de ter a equação da reta, é que você pode determinar o valor de Y para qualquer valor de X que você queira e vice e versa.

Expandir

Exercício Resolvido #1

Elaboração própria

Foram observados 4 lotes aleatórios de sucos concentrados, cada um com a sua respectiva quantidade (em mg) por pacote e a quantidade de água necessária (em ml).

Estime os parâmetros da reta de regressão Y = a + b X . Onde X é a quantidade em mg.

MOSTRAR SOLUÇÃO COMPLETA

Passo 1

Bom, pra fazer isso a gente só vai precisar aplicar fórmulas.

b = s x y s x 2

Sendo que...

s x y = ∑ i = 1 n x i . y i - ∑ i = 1 n x i ∑ i = 1 n y i n n - 1

s x 2 = ∑ x i 2 - n . x ¯ 2 n - 1 = ∑ ( x i - x - ) ² n - 1

Lembrando que temos essas duas formas de escrever a variância, uma simplificada e outra não. Você pode escolher qual usar, elas dão o mesmo resultado, afinal, são a mesma coisa!

Fazendo as contas vamos ter:

s x y = 119000 - 1200 × 340 4 4 - 1 = 5666,67

s x 2 = 460000 - 4 300 2 4 - 1 = 33 333,33

Lembrando que o X é a quantidade em mg e que sua média x - vale 300.

Com isso...

b = 0,17

Passo 2

Pra calcular o a ...

a = ∑ i = 1 n y i - b . ∑ i = 1 n x i n

Substituindo os valores na fórmula..

a = 340 - 0,17 × 1200 4

a = 34

Resposta

Y = 34 + 0,17 X

Exercício Resolvido #2

João Ismael D. Pinheiro, Probabilidade e Estatística: Quantificando a incerteza, Rio de Janeiro: Elsevier Editora Ltda, 2012, pp. 286.

Em seu livro Uncertainties analysis, loads and safety in Structural Engineering (Prentice Hall, 1982) – em português, Análise de incertezas, cargas e segurança em Engenharia de Estruturas -, Gary C. Hart apresenta o conjunto de dados a seguir, que nos permite investigar a relação de dependência entre duas propriedades mecânicas do concreto: X = módulo secante (em 10 6 psi) e Y = força de compressão (em 10 3 psi).

  1. Obtenha um diagrama de dispersão relativo a esses dados;
  2. Calcule o coeficiente de correlação entre X e Y ;
  3. Ajuste os dados a reta de regressão Y = a + b x .
MOSTRAR SOLUÇÃO COMPLETA

Passo 1

(a)

Diagrama de dispersão é colocar os pontos ( X , Y ) num gráfico;

Passo 2

(b)

Coeficiente de correlação é a fórmula:

r x y = s x y s x . s y

Então vamos calcular cada parte separadamente.

s x 2 = ∑ x i 2 - n . x ¯ 2 n - 1

x ¯ = ∑ i = 1 n x i n = 3,5155

∑ i = 1 20 x i 2 = 247,6033

s x 2 = 0,022

s x = 0,15

Passo 3

s y 2 = ∑ y i 2 - n . y ¯ 2 n - 1

y ¯ = ∑ i = 1 n y i n = 7,295

∑ i = 1 20 y i 2 = 1102,11

s y 2 = 1,99

s y = 1,41