Considere um classificador logístico com duas variáveis de entrada x_{1} e x_{2}. A probabilidade de um ponto pertencer à classe 1 é dada por
p\left(x_{1}, x_{2}\right)=\frac{1}{1+e^{-\left(w_{1} x_{1}+w_{2} x_{2}+b\right)}}
onde w_{1}, w_{2} \in \mathbb{R} são os pesos do modelo e b \in \mathbb{R} é o viés.
Suponha que a regra de classificação seja a seguinte: o ponto é classificado como classe 1 se p\left(x_{1}, x_{2}\right) \geq 0.5 e como classe 0 caso contrário.
a) Mostre que, para qualquer constante c \in(0,1), a curva de nível definida por
p\left(x_{1}, x_{2}\right)=c
é uma reta no plano \left(x_{1}, x_{2}\right).
b) Mostre que a fronteira de decisão do classificador logístico (isto é, o conjunto de pontos para os quais p\left(x_{1}, x_{2}\right)=0.5 ) é dada por uma equação linear em x_{1} e x_{2}.
c) Considere agora o modelo com parâmetros
w_{1}=1, \quad w_{2}=-2, \quad b=1
Acha a classe prevista do modelo para o ponto \left(x_{1}, x_{2}\right)=(2,1).

Passo 1

O enunciado dá a função de probabilidade do classificador logístico e pede três coisas:
  • Dados: a probabilidade
p\left(x_{1},x_{2}\right)=\frac{1}{1+e^{-\left(w_{1}x_{1}+w_{2}x_{2}+b\right)}},
os parâmetros w_{1},w_{2}\in\mathbb{R} e b\in\mathbb{R}, e a regra de classificação: classificar como classe 1 se p\left(x_{1},x_{2}\right)\geq 0,5 e como classe 0 caso contrário.
  • Pergunta (a): mostrar que, para qualquer constante c\in(0,1), a curva de nível p\left(x_{1},x_{2}\right)=c é uma reta no plano (x_{1},x_{2}).
  • Pergunta (b): mostrar que a fronteira de decisão (onde p=0,5) é dada por uma equação linear em x_{1} e x_{2}.
  • Pergunta (c): com w_{1}=1, w_{2}=-2, b=1, determinar a classe prevista para o ponto (x_{1},x_{2})=(2,1).

Passo 2

Primeiro vamos escrever uma notação curta. Defina
z := w_{1}x_{1}+w_{2}x_{2}+b.
A função logística é então
p=\frac{1}{1+e^{-z}}.
Queremos caracterizar o conjunto \{(x_{1},x_{2}) : p=c\} para um dado c\in(0,1). Começamos resolvendo a equação p=c em termos de z. Desenvolvendo algebricamente:
c=\frac{1}{1+e^{-z}}
\Rightarrow \frac{1}{c}=1+e^{-z}
\Rightarrow e^{-z}=\frac{1}{c}-1=\frac{1-c}{c}.

Passo 3

Agora aplicamos logaritmo natural para isolar z. Como \frac{1-c}{c}>0 para c\in(0,1), o logaritmo está bem definido:
-z=\ln\!\left(\frac{1-c}{c}\right)
\Rightarrow z=\ln\!\left(\frac{c}{1-c}\right).
Substituindo z=w_{1}x_{1}+w_{2}x_{2}+b obtemos a equação que caracteriza a curva de nível:
w_{1}x_{1}+w_{2}x_{2}+b=\ln\!\left(\frac{c}{1-c}\right).

Passo 4

Interprete a equação encontrada. A expressão
w_{1}x_{1}+w_{2}x_{2}+b=\text{constante}
é, por definição, a equação de uma reta no plano (x_{1},x_{2}) (se w_{1} e w_{2} não são ambos zero). Portanto, para qualquer c\in(0,1) a curva de nível p(x_{1},x_{2})=c é uma reta. Isso responde (a).

Passo 5

Agora especializamos para a fronteira de decisão, que corresponde a c=0,5. Calcule a constante do passo anterior:
\ln\!\left(\frac{c}{1-c}\right)=\ln\!\left(\frac{0,5}{1-0,5}\right)=\ln(1)=0.
Logo a fronteira de decisão é dada por
w_{1}x_{1}+w_{2}x_{2}+b=0,
que é uma equação linear em x_{1},x_{2}. Isso responde (b).

Passo 6

Passando para o item (c), com os parâmetros fornecidos:
w_{1}=1,\qquad w_{2}=-2,\qquad b=1,
calcule z no ponto (x_{1},x_{2})=(2,1):
z=w_{1}x_{1}+w_{2}x_{2}+b = 1\cdot 2 + (-2)\cdot 1 + 1 = 2-2+1 = 1.

Passo 7

Com z=1, a probabilidade p vale
p=\frac{1}{1+e^{-1}}\approx\frac{1}{1+0,367879}= \frac{1}{1,367879}\approx 0,731058\ldots
A regra de classificação é: classificar como classe 1 se p\geq 0,5, caso contrário classe 0. (A conclusão final sobre qual classe é apresentada na seção de resposta abaixo.)

Resposta

a) \;w_{1}x_{1}+w_{2}x_{2}+b=\ln\!\left(\dfrac{c}{1-c}\right).
b) \;w_{1}x_{1}+w_{2}x_{2}+b=0.
c) Classe 1.

Exercícios relacionados