Queremos que ele seja impossível. Para isso precisamos que a matriz de coeficientes seja singular (determinante zero) e que a matriz aumentada tenha posto maior que o da matriz de coeficientes.
Passo 2
Calculemos o determinante da matriz de coeficientes
Com a=-1, a terceira linha de A fica (5,7,-1). Note que
(5,7,-1)=(2,3,-4)+(3,4,3),
isto é, a terceira equação é soma das duas primeiras em relação aos coeficientes.
Passo 5
Para que o sistema seja impossível, a mesma combinação não pode valer nos termos independentes. Como a soma dos termos independentes das duas primeiras é
1 + b,
para consistir com a terceira precisaríamos 8=1+b, ou seja b=7. Logo, se b\neq7 há incompatibilidade nos termos independentes e o sistema fica impossível.