Vou usar propriedades básicas do produto vetorial \times (ele é ortogonal ao plano dos fatores e bilinear) e do produto escalar \cdot (bilinear).
A resolução começa no próximo passo.]
Passo 2
Relembrando e explicando com calma o que é e as propriedades que preciso:
Definição: \,[\vec{u},\vec{v},\vec{w}]=\vec{u}\cdot(\vec{v}\times\vec{w}). Aqui \vec{v}\times\vec{w} é um vetor perpendicular ao plano gerado por \vec{v} e \vec{w}. O produto escalar com \vec{u} mede a componente de \vec{u} nessa direção perpendicular.
Bilinearidade e alternância (intuição e fórmulas):
O produto misto é linear em cada argumento. Por exemplo, para escalares a,b e vetores \vec{a_1},\vec{a_2},
Interpretação geométrica inicial: |[\vec{u},\vec{v},\vec{w}]| é o volume (orientado) do paralelepípedo formado pelos três vetores. Volume zero significa que o paralelepípedo tem “espessura” nula, isto é, os vetores estão no mesmo plano (ou em uma só reta).
Com essas propriedades em mente, vamos à prova da equivalência.
Passo 3
Provar a implicação direta: se \vec{u},\vec{v},\vec{w} são linearmente dependentes então [\vec{u},\vec{v},\vec{w}]=0.
Explicação passo a passo:
Linearmente dependentes significa que existem escalares \alpha,\beta,\gamma, não todos zero, tais que
\alpha\vec{u}+\beta\vec{v}+\gamma\vec{w}=\vec{0}.
Há várias formas de argumentar; uma forma simples é notar que, se forem dependentes, então pelo menos um vetor é combinação linear dos outros. Sem perda de generalidade, suponha que exista a,b tais que
\vec{w}=a\vec{u}+b\vec{v}.
Usando a linearidade do produto misto em seu terceiro argumento:
Mas [\vec{u},\vec{v},\vec{u}]=0 e [\vec{u},\vec{v},\vec{v}]=0 porque o produto vetorial de um vetor consigo mesmo é zero (logo o produto misto com dois vetores iguais tem fator nulo). Então a soma é zero, isto é,
[\vec{u},\vec{v},\vec{w}] = 0.
Portanto, dependência linear implica produto misto zero. (Intuição: se um vetor está no plano dos outros dois, o paralelepípedo tem volume zero.)
Passo 4
Provar a implicação reversa: se [\vec{u},\vec{v},\vec{w}]=0 então \vec{u},\vec{v},\vec{w} são linearmente dependentes.
Isto é apenas reescrever a definição trocando a ordem com o sinal adequado; aqui usei a forma que mostra \vec{w} aplicada ao vetor normal \vec{u}\times\vec{v}.
Duas situações a considerar:
(i) Se \vec{u}\times\vec{v}=\vec{0}. Isso significa que \vec{u} e \vec{v} são paralelos (colineares). Logo \vec{u} e \vec{v} sozinhos já são linearmente dependentes; qualquer terceiro vetor \vec{w} torna o conjunto \{\vec{u},\vec{v},\vec{w}\} dependente (porque dois vetores colineares mais um terceiro sempre formam um conjunto dependente em \mathbb{R}^3). Portanto neste caso a dependência é imediata.
(ii) Se \vec{u}\times\vec{v}\neq\vec{0}. Então \vec{u}\times\vec{v} é um vetor normal ao plano gerado por \vec{u} e \vec{v}. A hipótese [\vec{u},\vec{v},\vec{w}]=0 diz que
\vec{w}\cdot(\vec{u}\times\vec{v}) = 0.
Um produto escalar igual a zero significa que \vec{w} é ortogonal a \vec{u}\times\vec{v}. Mas ser ortogonal ao vetor normal significa estar contido no plano gerado por \vec{u} e \vec{v}. Em outras palavras, \vec{w} pertence ao espaço \mathrm{span}\{\vec{u},\vec{v}\}. Logo existem escalares a,b tais que
\vec{w} = a\vec{u}+b\vec{v},
e assim o conjunto é linearmente dependente.
Concluindo os dois casos: [\vec{u},\vec{v},\vec{w}]=0 implica que os três vetores são linearmente dependentes.
Observação alternativa (mais algébrica): como mencionado, o produto misto é o determinante da matriz com colunas \vec{u},\vec{v},\vec{w}. Determinante zero implica colunas linearmente dependentes, isto é, existes escalares não todos nulos com \alpha\vec{u}+\beta\vec{v}+\gamma\vec{w}=\vec{0}. Isso é uma forma direta e equivalente de ver a implicação reversa.
Passo 5
Interpretação geométrica do sinal do produto misto e exemplos práticos (jeito fácil de visualizar):
Geometria do valor absoluto: |[\vec{u},\vec{v},\vec{w}]| é o volume do paralelepípedo construído sobre \vec{u},\vec{v},\vec{w}. Mais exatamente,
|[\vec{u},\vec{v},\vec{w}]| = \text{(área da base)}\times\text{(altura)} = |\vec{u}\times\vec{v}|\cdot\bigl|\text{proj}_{\vec{u}\times\vec{v}}\vec{w}\bigr| = |\vec{w}\cdot(\vec{u}\times\vec{v})|.á
Volume zero significa que o paralelepípedo é “achatado” — os vetores estão no mesmo plano (ou numa reta).
Geometria do sinal (orientação): o sinal de [\vec{u},\vec{v},\vec{w}] indica a orientação do triplo (\vec{u},\vec{v},\vec{w}).
Se [\vec{u},\vec{v},\vec{w}]>0, então a sequência \vec{u},\vec{v},\vec{w} tem orientação direta (pense em uma base de \mathbb{R}^3 que respeita a regra da mão direita).
Se [\vec{u},\vec{v},\vec{w}]<0, a sequência tem orientação inversa (trocar a ordem de dois vetores inverte o sinal).
Concretamente: para \vec{e}_1=(1,0,0),\,\vec{e}_2=(0,1,0),\,\vec{e}_3=(0,0,1) tem-se
[\vec{e}_1,\vec{e}_2,\vec{e}_3]=1>0,
que é a orientação padrão (regra da mão direita). Se permutar dois vetores, por exemplo [\vec{e}_2,\vec{e}_1,\vec{e}_3]=-1, o sinal inverte.
Intuição física: o sinal diz se a terceira aresta do paralelepípedo “sai” no sentido da normal obtida por \vec{u}\times\vec{v} (positivo) ou no sentido oposto (negativo).
Resposta
[\vec{u},\vec{v},\vec{w}]=0 se, e somente se, \vec{u},\vec{v},\vec{w} são linearmente dependentes.
Geom.: |[\vec{u},\vec{v},\vec{w}]| é o volume do paralelepípedo gerado por \vec{u},\vec{v},\vec{w} (zero ⇔ vetores coplanares/dependentes). O sinal de [\vec{u},\vec{v},\vec{w}] indica a orientação (direta/indireta) do triplo (\vec{u},\vec{v},\vec{w}).