Informações relevantes dadas: \vec{a}\neq\vec{0}, \vec{b}\neq\vec{0} e a definição da função cosseno entre vetores via produto escalar e normas.
Passo 2
Vamos lembrar o que são o produto escalar e a norma, com calma. Para vetores reais:
O produto escalar \vec{u}\cdot\vec{v} é um número real que satisfaz propriedades lineares e simétricas.
A norma de um vetor \vec{u} é \|\vec{u}\|=\sqrt{\vec{u}\cdot\vec{u}}. Para \vec{u}\neq\vec{0} temos \|\vec{u}\|>0.
Essas definições serão usadas ao expandir expressões do tipo \|\vec{a}-t\vec{b}\|^2.
Passo 3
Considere a função real de t:
f(t)=\|\vec{a}-t\vec{b}\|^2.
Observação importante: \|\vec{a}-t\vec{b}\|^2 é um quadrado de norma, logo f(t)\ge 0 para todo t\in\mathbb{R}. Esta é a peça-chave — uma expressão quadrática que nunca fica negativa.
Passo 4
Expandimos f(t) usando as propriedades do produto escalar:
Portanto f(t) é um polinômio quadrático em t com coeficiente principal a=\|\vec{b}\|^2>0.
Passo 5
Fato sobre quadráticas: um polinômio quadrático at^2+bt+c com a>0 satisfaz at^2+bt+c\ge 0 para todo t se, e somente se, o discriminante \Delta=b^2-4ac é não-positivo (\Delta\le 0). Aqui isso vale porque, se \Delta>0, a quadrática teria duas raízes reais e seria negativa entre elas, contradizendo f(t)\ge 0 para todo t.
A desigualdade |\cos(\vec{a},\vec{b})|\le 1 é equivalente a
-1 \le \cos(\vec{a},\vec{b}) \le 1,
que é exatamente o que pedimos para mostrar.
Passo 9
Pequena intuição com exemplos (pra não ficar só no abstrato): se \vec{a}=\vec{b} então \vec{a}\cdot\vec{b}=\|\vec{a}\|^2 e \cos(\vec{a},\vec{b})=1. Se \vec{a}=-\vec{b} então \cos(\vec{a},\vec{b})=-1. Se \vec{a} é ortogonal a \vec{b} então \vec{a}\cdot\vec{b}=0 e \cos(\vec{a},\vec{b})=0. Esses casos encaixam perfeitamente na desigualdade que provamos.