O enunciado pede os valores de k para que o sistema linear em (x,y,z) tenha solução única. Isso é conteúdo de Álgebra Linear: um sistema 3\times3 tem solução única se, e somente se, a matriz dos coeficientes for invertível, isto é, seu determinante for diferente de zero.
Passo 2
Vamos montar a matriz A dos coeficientes:
A = \begin{pmatrix} 1 & 5+k & -3\\\\ 5 & 1 & -4\\\\ 1 & 5 & k \end{pmatrix}
Passo 3
Calculamos \det(A) pela expansão na primeira linha: