Estimador De Máxima Verossimilhança

Teoria Completa

Cara, vamos supor que você tem uma amostra de n notebooks e que a vida útil da bateria deles é sua variável X , sendo que:

X ~ E x p λ

Ou seja, X segue uma distribuição exponencial de parâmetro λ . Mas você não conhece esse tal de λ e tem que estimar ele a partir da sua amostra!

Bom, até agora tudo que a gente precisou estimar, tinha um estimador conhecido né? Mas, como nem tudo são flores, em muitos casos a escolha do estimador mais adequado não é tão fácil assim.

Existem alguns métodos que permitem construir estimadores. O mais importante deles é o método da máxima verossimilhança que é o título aqui do nosso tópico xD

Pra isso, vamos seguir um passo-a-passo:

Passo 1: Escrever a função de probabilidade.

No nosso caso, temos uma distribuição exponencial, então

f x , λ = λ ⋅ e - λ x

Passo 2: Chamar nosso parâmetro desconhecido de θ :

f x , θ = θ ⋅ e - θ x

Passo 3: Calcular nossa querida função de verossimilhança L θ :

L θ = f x 1 , θ ⋅ f x 2 , θ ⋅ … ⋅ f x n , θ = ∏ i = 1 n f ( x i , θ )

No nosso exemplo:

L θ = ∏ i = 1 n θ ⋅ e - θ x i = θ ⋅ e - θ x 1 × θ ⋅ e - θ x 2 × … × θ ⋅ e - θ x n

Multiplicando os θ em evidência e somando os expoentes do e :

L θ = θ n ⋅ e - θ x 1 + x 2 + … + x n = θ n ⋅ e - θ ∑ x i

Passo 4: Maximizar a função L θ

Bom, nesse passo vamos usar um macetinho. Bom, L θ e ln ⁡ L θ tem seu máximo no mesmo ponto! Então maximizar uma dá no mesmo que maximizar a outra, e normalmente maximizar o l n vai ser mais fácil pra gente porque normalmente vão aparecer exponenciais e o l n tem umas propriedades muito úteis!

Pra maximizar, basta derivar e igualar a zero, lembra? Então queremos: d ( ln ⁡ L ( θ ) d θ = 0

Do nosso exemplo:

ln ⁡ θ n ⋅ e - θ ∑ x i = ln ⁡ θ n + ln ⁡ e - θ ∑ x i = n ln ⁡ θ - θ ∑ x i

Derivando:

d n ln ⁡ θ - θ ∑ x i d θ = n θ - ∑ x i

Igualando a zero:

n θ - ∑ x i = 0

θ = n ∑ x i

Opa, lembra que nossa média amostral era justamente ∑ x i n ?! Então, encontramos nosso estimador de máxima verossimilhança!

θ = 1 x ¯

Agora partiu exercitar isso!

Expandir

Exercício Resolvido #1

PUC – 2011.1 – P3 - Estimador de Máxima Verossimilhança

Seja X ~ E x p ( λ ) ; λ > 0 e X > 0 . Calcule:

  1. Qual o estimador de máxima verossimilhança do parâmetro deste modelo, mostrar todos os passos da solução.
  2. Admitindo-se que a X = ( 2,3 ; 3,0 ; 2,6 ; 2,2 ; 2,4 ) , qual seria o valor de "   λ   ̂ " .
MOSTRAR SOLUÇÃO COMPLETA

Passo 1

(a)

Bom a gente tem uma variável que segue a distribuição exponencial, com parâmetro λ que precisamos estimar.

X ~ E x p ( λ )

A gente conhece a função de probabilidade da exponencial, lembra?

f x ; λ = λ . e - λ x

Passo 2

Primeira coisa, vamos chamar de θ o estimador de máximo verossimilhança para o parâmetro e calcular a sua função de verossimilhança.

L θ = ∏ i = 1 n θ . e - θ x

Quando a gente multiplica n vezes o θ , é a mesma coisa que elevar ele a n - é s i m a potência.

E quando multiplicamos n exponenciais é a mesma coisa que somar todos os expoentes da exponencial. Concorda? Quando multiplicamos exponenciais, somamos os expoentes.

Ficaria assim então:

L θ = θ n . e ∑ - θ x

Passo 3

Agora calculamos o l n .

ln ⁡ L θ = ln ⁡ θ n . e ∑ - θ x

= ln ⁡ θ n + ln ⁡ e ∑ - θ x

= n . ln ⁡ θ - ∑ i = 1 n θ x i

Passo 4

Pra finalizar calculamos a derivada e igualamos a zero.

d ln ⁡ L θ d θ = d n . ln ⁡ θ - ∑ i = 1 n θ x i d θ

= n θ - ∑ i = 1 n x i

Igualando isso a zero, teremos:

n θ - ∑ i = 1 n x i = 0

∑ i = 1 n x i = n θ

θ = n ∑ i = 1 n x i

Isso é a mesma coisa que dizer que nosso estimador de máxima verossimilhança é igual a:

θ = 1 x ¯

Passo 5

(b)

Pra gente descobrir o que queremos, primeiro temos que calcular a média desses valores e substituir na fórmula que a gente acabou de achar para o estimador.

x ¯ = 2,3 + 3 + 2,6 + 2,2 + 2,4 5 = 12,5 5 = 2,5

Com isso:

θ = 1 2,5 = 0,4

Resposta

a   θ = 1 x ¯

b   θ = 0,4

Exercício Resolvido #2

PUC – 2013.1 – P3 - Estimador de Máxima Verossimilhança

Este modelo probabilístico (paramétrico) é uma variável aleatória discreta, que modela um experimento em “ n ” repetições de uma Bernoulli até atingir o 1º sucesso.

Pergunta-se:

Qual o estimador de máxima verossimilhança do parâmetro deste modelo, mostrar todos os passos da solução.

MOSTRAR SOLUÇÃO COMPLETA

Passo 1

Primeira pergunta: que modelo probabilístico é esse? Lembra?

É o modelo geométrico, que tem a seguinte função de probabilidade:

P X = x = p 1 - p x - 1

Beleza?

É a partir disso que vamos estimar o parâmetro p desse modelo. Primeiro, substituímos ele por uma estimativa θ .

P X = x = θ . 1 - θ x - 1

Passo 2

Agora calculamos L ( θ ) .

L θ = ∏ i = 1 n θ . 1 - θ x - 1

Multiplicando n vezes um mesmo θ , temos θ n . A mesma ideia pode ser aplicada a outra parte da função, ficaríamos com:

L θ = θ n . 1 - θ ∑ i = 1 n x i - n

Passo 3

Calculamos ln ⁡ L θ .

ln ⁡ L θ = ln ⁡ ( θ n . 1 - θ ∑ i = 1 n x i - n )

= ln ⁡ θ n + ln ⁡ 1 - θ ∑ i = 1 n x i - n

= n . ln ⁡ θ + ∑ i = 1 n x i - n × ln ⁡ 1 - θ

Passo 4

Calcular a derivada desse l n em função do parâmetro estimado θ .

d ln ⁡ L θ d θ = n θ + n - ∑ i = 1 n x i 1 - θ

E igualamos essa derivada a zero para calcular o estimador de máxima verossimilhança.

- n θ = n - ∑ x i 1 - θ

- n + n θ = n θ - θ ∑ x i

n - θ ∑ x i = 0

θ = n ∑ x i    

Ou seja...

θ = 1 X ¯

Podemos substituir θ por θ M V , já que esse é o estimador de máxima verossimilhança.

θ M V = 1 X ¯

Resposta

θ M V = 1 X ¯

Exercício Resolvido #3

PUC – 2012.2 – P3 -

Queremos modelar tempos de duração de equipamentos, esta propriedade indica que a vida restante de um equipamento não depende da idade atual deste equipamento. Pergunta-se:

  1. Qual o modelo probabilístico que você adotaria para este experimento?
  2. Qual o estimador de máxima verossimilhança do parâmetro deste modelo, mostrar todos os passos da solução.
MOSTRAR SOLUÇÃO COMPLETA

Passo 1

(a)

Pra modelar o tempo de duração de um equipamento precisamos de uma variável contínua, concorda? Isso era a primeira coisa que você tinha que notar, já que o tempo é algo contínuo né...

Qual das distribuições contínuas que a gente conhece melhor se enquadra pra representar o tempo... a exponencial.

X   ~   E x p o n e n c i a l   θ

θ é o parâmetro que a gente não conhece, que a gente vai estimar agora na letra (b).

Passo 2

(b)

Bom a gente tem uma variável que segue a distribuição exponencial, com parâmetro λ que precisamos estimar.

X ~ E x p ( λ )

A gente conhece a função de probabilidade da exponencial, lembra?

f x ; λ = λ . e - λ x

Passo 3

Primeira coisa, vamos chamar de θ o estimador de máximo verossimilhança para o parâmetro e calcular a sua função de verossimilhança.

L θ = ∏ i = 1 n θ . e - θ x

Quando a gente multiplica n vezes o θ , é a mesma coisa que elevar ele a n - é s i m a potência.

E quando multiplicamos n exponenciais é a mesma coisa que somar todos os expoentes da exponencial. Concorda? Quando multiplicamos exponenciais, somamos os expoentes.

Ficaria assim então:

L θ = θ n . e ∑ - θ x

Passo 4

Agora calculamos o l n .

ln ⁡ L θ = ln ⁡ θ n . e ∑ - θ x

= ln ⁡ θ n + ln ⁡ e ∑ - θ x

= n . ln ⁡ θ - ∑ i = 1 n θ x i

Passo 5

Pra finalizar calculamos a derivada e igualamos a zero.

d ln ⁡ L θ d θ = d n . ln ⁡ θ - ∑ i = 1 n θ x i d θ

= n θ - ∑ i = 1 n x i

Igualando isso a zero, teremos:

n θ - ∑ i = 1 n x i = 0