O enunciado nos dá o sistema linear em (x,y,z)\):
\[\begin{cases} 3x + a y + 4z = 0,\\\ x + y + 3z = -5,\\\\ 2x -3y + z = b. \end{cases}
Queremos saber para quais ((a,b)\in\mathbb{R}^2] este sistema não admite solução. O critério é comparar o posto da matriz de coeficientes com o posto da matriz aumentada: se o posto aumentado for maior que o posto dos coeficientes, o sistema é incompatível.
Passo 2
Calculamos o determinante da matriz de coeficientes
A = \begin{pmatrix} 3 & a & 4\\\\ 1 & 1 & 3\\\\ 2 & -3 & 1 \end{pmatrix}.
Logo \det(A)=0 se, e somente se, 10+5a=0, i.e., a=-2. Para a\neq -2 o sistema tem solução única e, portanto, admite sempre solução.
Passo 3
Para que o sistema seja potencialmente incompatível precisamos de a=-2\). Substituindo \(a=-2\) nas duas primeiras equações e tentando expressar a terceira como combinação linear delas, escrevemos
\[\lambda\,(3x -2y +4z) +\mu\,(x + y +3z) \;=\;2x -3y + z.
Da primeira \mu=2-3\lambda\]. Substituindo na segunda:
\[-2\lambda + (2-3\lambda) = -3 \;\Longrightarrow\;-5\lambda = -5 \;\Longrightarrow\;\lambda=1,\;\mu=-1,\]
e a terceira é satisfeita: \(4\cdot1+3\cdot(-1)=1.
Passo 4
Para manter consistência, o lado direito da terceira equação deve coincidir com a combinação dos lados direitos das duas primeiras:
Isto é, se b=5 a terceira equação é dependente das duas primeiras (posto aumentado = posto dos coeficientes =2) e há infinitas soluções. Se b\neq 5, a igualdade não vale, o posto aumentado seria 3 enquanto o posto da matriz de coeficientes é 2, e o sistema fica incompatível.
Resposta
O sistema não admite solução exatamente quando
a=-2 \quad\text{e}\quad b\neq 5.
Cálculo - Marcelo Rufino de Oliveira - Elementos da matemática - Vol 3 - 3ª Edição - Capítulo 12.Exercícios - Ex. 35