Princípio chave (explicação didática): um sistema homogêneo A\mathbf{v}=\mathbf{0} tem solução não trivial se, e somente se, as linhas (ou colunas) da matriz A forem linearmente dependentes. Para matrizes quadradas isso é equivalente a dizer que o determinante de A é zero. Portanto, para encontrar os k buscados basta calcular o determinante de A e impor \det(A)=0.
Fórmula do determinante para uma matriz 2\times2: se
M=\begin{pmatrix}a & b\\[4pt] c & d\end{pmatrix},
então
\det(M)=ad-bc.
Aqui a,b,c,d são os coeficientes das entradas da matriz; o determinante combina o produto dos elementos da diagonal principal e subtrai o produto da diagonal secundária. É uma forma direta e rápida de testar se duas linhas/colunas são independentes: se \det(M)\neq0 então existe inversa e só há solução trivial; se \det(M)=0 então há dependência e existe solução não trivial.]
Passo 3
Aplicando a fórmula do determinante à matriz dos coeficientes
Para existir solução não trivial queremos \det(A)=0, ou seja
k^2-k-6=0.]
Passo 4
Resolver a equação quadrática k^2-k-6=0. Podemos fatorar procurando dois números cujo produto seja -6 e soma seja -1. Esses números são -3 e 2, pois (-3)\cdot 2=-6 e (-3)+2=-1. Portanto
Verificação e interpretação (útil para a prova): para k=3 as equações ficam
2x+2y=0\quad\text{e}\quad 3x+3y=0,
que são múltiplas entre si (as duas representam a mesma reta), logo há infinitas soluções não triviais. Um parâmetro comum é escolher y=t; da primeira equação 2x+2t=0\Rightarrow x=-t. Assim as soluções são (x,y)=(-t,t) com t\in\mathbb{R}.
Para k=-2 as equações ficam
-3x+2y=0\quad\text{e}\quad 3x-2y=0,
novamente dependentes (a segunda é -1 vezes a primeira), então também há infinitas soluções. Tomando x=t, da segunda 3t-2y=0\Rightarrow y=\tfrac{3}{2}t. Assim (x,y)=\left(t,\tfrac{3}{2}t\right), t\in\mathbb{R}.
Resumo: exatamente para k=3 e k=-2 o determinante anula-se e o sistema tem soluções não triviais.