(Exercício elaborado com auxílio do Google Gemini com adaptações) Em Inteligência Artificial, especialmente em Processamento de Linguagem Natural (PLN), podemos representar palavras como vetores em um espaço vetorial de alta dimensão (como
ou mais…). Essa representação é chamada de Word Embedding. A ideia principal é que palavras com significados semelhantes terão vetores que apontam para direções “próxima” neste espaço. A “proximidade” e “direção” são medidas usando os conceitos de Álgebra
Linear que você está estudando! O produto interno é a ferramenta matemática fundamental para medir essa similaridade. Neste exercício, vamos trabalhar com um modelo simplificado, usando vetores no
, para analisar o sentimento de palavras relacionadas a críticas de filmes. Usaremos o produto interno usual (ou produto escalar) de
.
Lembre-se da relação entre o produto interno e o ângulo
entre dois vetores
e
:
A partir disso, a similaridade de cosseno, que varia de -1 (opostos) a 1 (mesma direção), é definida como:
Um valor próximo de 1 significa alta similaridade, próximo de 0 significa baixa similaridade (ortogonais), e próximo de -1 significa que têm significados opostos.
Problema:
Um engenheiro de Machine Learning treinou um modelo simples e obteve os seguintes vetores (embeddings) para algumas palavras:
-
ótimo
-
bom
-
ruim
-
filme
Use o produto interno usual de
, para resolver as seguintes questões:
a) Análise de “Força” da Palavra (Norma): A norma de um vetor pode ser interpretada como a “força” ou “magnitude” do conceito que ele representa. Calcule a norma dos vetores para as palavras “ótimo” (
) e “bom” (
). Qual palavra tem maior magnitude no nosso modelo? Isso faz sentido intuitivamente?
b) Medindo a Similaridade (Similaridade de Cosseno):
(a) “ótimo” (
) e “bom” (
)
(b) “bom”
e “ruim”
(c) “bom” (
) e “filme” (
)
c) Componente de Sentimento (Projeção Ortogonal): Suponha que o vetor “bom” (
) define a direção do “sentimento positivo”. Queremos saber o quão “positiva” a palavra “ótimo” (
) é em relação a “bom”. Para isso, calcule a projeção ortogonal de
sobre
.
d) Em Busca da Neutralidade (Ortogonalidade): Um conceito “neutro” em relação a sentimento seria ortogonal tanto à palavra “bom” quanto à “ruim”. Encontre um vetor
não-nulo que represente uma palavra hipotética (“neutra”) que seja ortogonal a
e a
simultaneamente.
e) Desafio - Classificando uma Frase Simples: Uma forma simples de representar uma frase é somar os vetores de suas palavras. Considere a frase “filme bom”. O vetor para essa frase seria
. Qual sentimento predomina nessa frase? Para descobrir, verifique se
está mais “próximo” (menor ângulo / maior similaridade de cosseno) do vetor “ótimo” (
) ou do vetor “ruim” (
).
Lembre-se da relação entre o produto interno e o ângulo
Problema:
Um engenheiro de Machine Learning treinou um modelo simples e obteve os seguintes vetores (embeddings) para algumas palavras:
a) Análise de “Força” da Palavra (Norma): A norma de um vetor pode ser interpretada como a “força” ou “magnitude” do conceito que ele representa. Calcule a norma dos vetores para as palavras “ótimo” (
b) Medindo a Similaridade (Similaridade de Cosseno):
(a) “ótimo” (
(b) “bom”
(c) “bom” (
c) Componente de Sentimento (Projeção Ortogonal): Suponha que o vetor “bom” (
d) Em Busca da Neutralidade (Ortogonalidade): Um conceito “neutro” em relação a sentimento seria ortogonal tanto à palavra “bom” quanto à “ruim”. Encontre um vetor
e) Desafio - Classificando uma Frase Simples: Uma forma simples de representar uma frase é somar os vetores de suas palavras. Considere a frase “filme bom”. O vetor para essa frase seria
Passo 1
O enunciado nos dá quatro vetores em
representando palavras:
,
,
e
.
Pede-se:
a) calcular normas de e
e compará-las;
b) medir similaridades de cosseno entre pares de vetores;
c) projetar sobre
;
d) achar um vetor não-nulo ortogonal a e
;
e) somar e ver se o resultado se aproxima mais de
ou de
.
Pede-se:
a) calcular normas de
b) medir similaridades de cosseno entre pares de vetores;
c) projetar
d) achar um vetor não-nulo ortogonal a
e) somar
Passo 2
Para as normas usamos
Assim,
Portanto,
. Intuitivamente faz sentido: “ótimo” tem magnitude maior que “bom”.
Passo 3
Para a similaridade de cosseno entre
e
usamos
onde
é o produto interno usual. Calculamos:
(a) Entre
e
:
(b) Entre
e
:
(c) Entre
e
:
Passo 4
A projeção de
sobre
é
Passo 5
Queremos
tal que
Resolvendo, da segunda vem
. Substituindo
da primeira na segunda obtemos
e então
. Tomando
, uma solução é
Passo 6
Para a frase “filme bom” somamos
Calculamos cosenos:
Com
:
Com
:
Como
, a frase está mais próxima de “ótimo” (sentimento positivo).
Resposta
a)
,
. Palavra “ótimo” tem maior magnitude.
b)(a)
(b)
(c)
c) .
d) Um exemplo é .
e) A frase “filme bom” está mais próxima de “ótimo” (cos ) que de “ruim” (cos ≈ –0,516), ou seja, predomina sentimento positivo.
b)(a)
(b)
(c)
c)
d) Um exemplo é
e) A frase “filme bom” está mais próxima de “ótimo” (cos