Perguntas explícitas:
a) Para quais a o sistema não possui solução?
b) Para quais a o sistema possui uma única solução?
c) Para quais a o sistema possui infinitas soluções?
Dados relevantes que extraí da matriz (lembre-se: cada linha representa uma equação):
Da primeira linha: x_{1}=0.
Da segunda linha: x_{2}=2.
Da terceira linha: x_{3}-3x_{4}=7.
Da quarta linha: (a^{2}-5a+6)\,x_{4}=a^{2}-3a+2.
Observação: a quarta linha contém o único lugar onde aparece a; tudo o mais é fixo.
Passo 2
Estratégia (explicação didática do que vamos usar, sem formalismo pesado):
Em sistemas lineares escritos em forma escalonada, o número de pivôs (linhas não-nulas com um coeficiente principal) no sistema de coeficientes determina o posto (rank) da matriz de coeficientes.
Se a equação final for do tipo 0\cdot x_{4}=c com c\neq 0, o sistema é inconsistente (nenhuma solução).
Se a equação final tiver coeficiente diferente de zero em x_{4}, então temos pivô nessa coluna e, como já existem pivôs nas colunas de x_{1},x_{2},x_{3}, teremos pivôs em todas as 4 colunas (4 variáveis) e, portanto, solução única.
Se o coeficiente na quarta linha for zero e o segundo membro também for zero, a linha é 0=0 (linha nula): o posto cai e sobra ao menos uma variável livre (aqui x_{4}), então haverá infinitas soluções.
Resumo prático: só precisamos analisar a quarta linha, mais precisamente os valores de
a^{2}-5a+6\quad\text{e}\quad a^{2}-3a+2.
Passo 3
Fato útil: fatoramos as quadráticas (isso facilita muito).
a^{2}-5a+6=(a-2)(a-3).
a^{2}-3a+2=(a-1)(a-2).
Essas fatorações mostram imediatamente quando cada expressão é zero:
a^{2}-5a+6=0 se, e somente se, a=2 ou a=3.
a^{2}-3a+2=0 se, e somente se, a=1 ou a=2.
Passo 4
Caso 1: a\neq 2 e a\neq 3.
Então a^{2}-5a+6\neq 0, ou seja, o coeficiente de x_{4} na quarta linha é não nulo. Isso significa que há pivô em todas as quatro colunas de variáveis (x_{1},x_{2},x_{3},x_{4}). Consequência: o sistema é compatível determinado — tem exatamente uma solução. Podemos até escrever essa solução explicitamente (útil para a prova): da quarta linha,
x_{4}=\frac{a^{2}-3a+2}{a^{2}-5a+6}.
Usando as fatorações e cancelando o fator (a-2) (válido porque a\neq 2), obtemos
Logo a quarta linha vira 0\cdot x_{4}=0, ou seja, uma linha nula. Isso implica que o posto da matriz de coeficientes é 3 (pivôs em x_{1},x_{2},x_{3}) e o posto da matriz aumentada também é 3, portanto o sistema é compatível. Como temos 4 variáveis e apenas 3 pivôs, sobra uma variável livre (podemos escolher x_{4}=t livre). Assim existem infinitas soluções. Podemos parametrizar: