Aqui \times é o produto vetorial (cross product) entre vetores em \mathbb{R}^3.
\|\cdot\| denota a norma (comprimento) de um vetor.
Justificativa curta: \|\vec{AB}\times\vec{AC}\|=\|\vec{AB}\|\,\|\vec{AC}\|\sin\theta é a área do paralelogramo com lados \vec{AB} e \vec{AC}; dividindo por \|\vec{AB}\| fica \|\vec{AC}\|\sin\theta, que é exatamente a distância perpendicular do ponto C à reta.
Passo 3
Calcular os vetores \vec{AB} e \vec{AC} (subtração coordenada a coordenada):
\vec{AB}=B-A=(2-1,\;0-5,\;-1-1)=(1,\,-5,\,-2).
\vec{AC}=C-A=(2-1,\;1-5,\;3-1)=(1,\,-4,\;2).
Passo 4
Calcular o produto vetorial \vec{AB}\times\vec{AC}.
Usando a fórmula componente a componente, para \vec{a}=(a_1,a_2,a_3) e \vec{b}=(b_1,b_2,b_3) vale