“Solução não trivial” significa existir um vetor (x,y,z)\neq(0,0,0) que satisfaça o sistema.
O enunciado pede uma condição em \alpha,\beta que caracteriza quando existe essa solução não trivial.]
Passo 2
Lembrete teórico (curtinho e essencial): para um sistema homogêneo A\mathbf{v}=\mathbf{0} com matriz quadrada A vale:
Se \det(A)\neq 0 então A é invertível e a única solução é a trivial \mathbf{v}=\mathbf{0}.
Se \det(A)=0 então A é singular e existe um subespaço não trivial de soluções (ou seja, existe solução não trivial).
Portanto basta calcular \det(A) e verificar para quais \alpha,\beta ele é zero.
Passo 3
Vou calcular \det(A). Primeiro, uso operações elementares de linha que não alteram o determinante: trocar uma linha por ela menos outra não altera o valor de \det. Faço
Agora calculo o determinante expandindo pela primeira coluna (ou usando a fórmula do determinante 3×3). Como as entradas abaixo do primeiro elemento na primeira coluna são zeros, temos
Pelo passo 2 (teorema sobre sistemas homogêneos), isso é exatamente a condição para existir solução não trivial. Logo o sistema tem solução não trivial se, e somente se, \alpha=\beta.
Passo 6
Para reforçar, um exemplo explícito de solução não trivial quando \alpha=\beta é (x,y,z)=(1,-1,0): substituindo nas equações com \beta=\alpha todas as três ficam satisfeitas. Isso confirma concretamente a existência de solução não trivial sempre que \alpha=\beta.