O sistema \left\{\begin{array}{l}a^{2} x+a y+z=1 \\\ a x+y+b z=1 \\\ x+b y+b^{2} z=1\end{array}\right. é impossível para qual relação entre a e b.
Passo 1
O enunciado nos dá o sistema linear
\begin{cases} a^{2}x + a y + z = 1,\\[4pt] a x + y + b z = 1,\\[4pt] x + b y + b^{2} z = 1, \end{cases}
com parâmetros a e b, e pergunta para que relação entre a e b o sistema é impossível (incompatível).
Informações fornecidas:
Três equações lineares em três incógnitas x,y,z.
Os coeficientes dependem dos parâmetros a e b.
Queremos a condição sobre a e b que torne o sistema sem solução.]
Passo 2
Estratégia (passo-a-passo do que vamos fazer):
Escrever a matriz de coeficientes M e o vetor do termo independente.
Calcular o determinante de M. Lembrar: se \det(M)\neq0 então o sistema tem solução única (logo é possível). Se \det(M)=0 pode ser ou infinito de soluções ou nenhum — aí é preciso verificar compatibilidade (ranks).
No caso \det(M)=0, usar operações elementares (ou inspeção linear) para decidir se o vetor dos termos independentes está no espaço gerado pelas colunas de M. Se não estiver, o sistema é impossível.
Vou seguir esse plano e explicar cada conceito quando aparecer.
Passo 3
Matriz de coeficientes e vetor ampliado.
A matriz dos coeficientes é
M=\begin{pmatrix} a^{2} & a & 1\\[4pt] a & 1 & b\\[4pt] 1 & b & b^{2} \end{pmatrix},
Lembrete rápido: se \det(M)\neq0 então M é invertível e existe exatamente uma solução (x,y,z)^T = M^{-1}\mathbf{t}. Se \det(M)=0 então M não é invertível e devemos verificar se \mathbf{t} está no espaço coluna de M.]
Passo 4
Calcular \det(M) de forma direta (expansão por cofatores sobre a primeira linha é simples aqui).
Conclusão importante: \det(M)=0 exatamente quando \,ab-1=0, isto é, quando \,ab=1. Se ab\neq1 então \det(M)\neq0 e o sistema tem solução única (logo é possível).]
Passo 5
Analisar o caso crítico \,ab=1 (onde \det(M)=0) para decidir incompatibilidade.
Quando ab=1 observe as combinações lineares das linhas da matriz de coeficientes:
Se ab=1, ambos os vetores acima tornam-se o vetor nulo; portanto, para ab=1 as três linhas ficam proporcionais (cada uma é múltipla da linha do meio) e a matriz M tem posto 1 (ou, no máximo, posto 1).
Agora olhemos o vetor dos termos independentes sob as mesmas operações:
1 - a\cdot 1 = 1-a, \qquad 1 - b\cdot 1 = 1-b.
Se ab=1 e, por exemplo, a\neq1, então da expressão \text{linha}_1 - a\cdot\text{linha}_2 obtemos a equação 0 (coeficientes) = 1-a (termo independente), isto é uma contradição 0 = 1-a \neq 0. Logo o sistema é incompatível (impossível).
Para ser compatível quando ab=1 é necessário que 1-a=0 e 1-b=0 simultaneamente, o que força a=1 e b=1. De fato, se a=b=1 então ab=1 e as três equações coincidem em x+y+z=1, dando infinitas soluções (sistema possível, mas indeterminado). Portanto:
Se ab\neq1: sistema tem solução única (possível).
Se ab=1 e (a,b)=(1,1): sistema possível com infinitas soluções.
Se ab=1 e (a,b)\neq(1,1): sistema impossível.
Passo 6
Resumo final e interpretação prática para a prova:
Calcular \det(M) = -\bigl(ab-1\bigr)^{2} é a chave: só quando \,ab=1 a matriz é singular; então só nesse caso pode faltar solução.
Para decidir impossibilidade, aplicar combinações lineares das linhas para ver se o vetor de termos independentes satisfaz as mesmas relações. Usando \text{linha}_1 - a\cdot\text{linha}_2 e \text{linha}_3 - b\cdot\text{linha}_2 verificou-se que, para ab=1, a consistência exige a=1 e b=1. Se isso não ocorre, a contradição mostra impossibilidade.