As perguntas são:
(a) Para quais valores de k o sistema tem solução única?
(b) Para quais valores de k o sistema tem infinitas soluções?
(c) Para quais valores de k o sistema não tem solução?
Listei claramente o que foi dado (a matriz aumentada) e o que se pede. A partir daqui vou resolver passo a passo.
Passo 2
Breve explicação do método que vou usar (teoria necessária, explicada de forma direta):
Vou usar eliminação de Gauss para triangularizar a matriz aumentada e, com isso, determinar os pivôs e as linhas nulas. Isso permite calcular os postos (ranks) da matriz dos coeficientes C (as três primeiras colunas) e da matriz aumentada A.
Conceitos importantes:
Se \operatorname{rank}\text{(C)}=\operatorname{rank}(A)=n onde n é o número de incógnitas, o sistema tem solução única.
Se \operatorname{rank}\text{(C)}=\operatorname{rank}(A)=r<n, o sistema tem infinitas soluções (graus de liberdade n-r).
Se \operatorname{rank}\text{(C)}<\operatorname{rank}(A), o sistema é inconsistente (nenhuma solução).
Aqui n=3 (três incógnitas). Então eu preciso calcular o posto das matrizes, variando k.
Passo 3
Começo a eliminação de Gauss usando as linhas da matriz aumentada. Denoto as linhas por R_{1},R_{2},R_{3},R_{4} conforme aparecem.
Observação: factorizei o polinômio da terceira coluna:
k^{2}-4k+3=(k-1)(k-3).]
Passo 5
Interpretação das linhas finais e análise dos casos. A partir das duas últimas linhas, as condições que determinam consistência são claras:
A linha R_{4} é [0\\\ 0\\\ 0\\ \mid\\\ 2k-4]. Se 2k-4\neq 0 (isto é, se k\neq 2), essa linha representa a equação impossível 0=2k-4\neq 0. Portanto, para qualquer k\neq 2 o sistema é inconsistente e não tem solução.
Logo, a única possibilidade de consistência é k=2. Vamos analisar k=2 e também verificar os valores que anulam o coeficiente em R_{3}.
Considere a linha R_{3}:
R_{3}: \\ [0\\\ 0\\ (k-1)(k-3)\\ \mid\\ k-1].
Três subcasos possíveis para R_{3}:
k\neq 1 e k\neq 3: então (k-1)(k-3)\neq 0. Assim R_{3} fornece um pivô na coluna x_{3}. Se além disso R_{4} for zero (ou seja, k=2), então teremos 3 pivôs (nas colunas 1,2,3) e posto igual a 3 — solução única.
k=1: então R_{3} tem coeficiente (k-1)(k-3)=0 e termo independente k-1=0. Assim R_{3} vira [0\\\ 0\\\ 0\\ \mid\\\ 0]. Mas para k=1 temos R_{4}=[0\\\ 0\\\ 0\\ \mid\\\ 2k-4]=[0\\\ 0\\\ 0\\ \mid\\\ -2], que é inconsistente. Portanto k=1 produz sistema sem solução.
k=3: então R_{3} tem coeficiente (3-1)(3-3)=0 e termo independente k-1=2, ou seja R_{3}=[0\\\ 0\\\ 0\\ \mid\\\ 2], que é uma equação impossível. Além disso R_{4}=[0\\\ 0\\\ 0\\ \mid\\\ 2k-4]=[0\\\ 0\\\ 0\\ \mid\\\ 2] também é impossível. Então k=3 é inconsistente.
Resumo até aqui: qualquer k\neq 2 já tem R_{4} com termo independente não nulo, então inconsistente. Os casos especiais k=1 e k=3 também foram verificados como inconsistentes por causa de R_{3} e R_{4}. A única chance de consistência é k=2.
Passo 6
Análise detalhada do caso k=2 (onde o sistema pode ser consistente e ter solução única ou infinitas soluções).
R_{3}=[0\\\ 0\\ (k-1)(k-3)\\ \mid\\ k-1]. Para k=2,(k-1)(k-3)=(2-1)(2-3)=1\cdot(-1)=-1, \qquad k-1=1.Assim R_{3}=[0\\\ 0\\\ -1\\ \mid\\\ 1], que é uma equação válida com pivô em x_{3}.
Com k=2 temos pivôs em três colunas (das incógnitas), logo \operatorname{rank}\text{(C)}=\operatorname{rank}(A)=3. Como n=3, o posto é igual ao número de incógnitas, o sistema tem solução única.
Passo 7
Conclusões finais resumidas:
Para k=2: sistema consistente e tem pivôs nas três colunas dos coeficientes \Rightarrow solução única.
Para qualquer k\neq 2: a linha R_{4} fica [0\\\ 0\\\ 0\\ \mid\\\ 2k-4] com 2k-4\neq 0, o que representa uma equação impossível 0=2k-4\Rightarrow sistema sem solução.
Não existe valor de k que torne \operatorname{rank}\text{(C)}=\operatorname{rank}(A)<3; portanto não há valores de k que produzam infinitas soluções.
Resposta
(a) k=2
(b) nenhum valor de k
(c) k\in\mathbb{R}\setminus\{2\}