existe P invertível e uma matriz diagonal com entradas -3,\;a,\;b (nessa ordem) tal que A=P\operatorname{diag}(-3,a,b)P^{-1} e sabemos que a<b.
A tarefa é descobrir qual vetor (ou multiplo dele) corresponde à 3ª coluna de P.
Passo 2
Primeiro conceito importante (explicado passo a passo): se
A = P D P^{-1},
onde D é diagonal com entradas D_{11}=\lambda_1,\;D_{22}=\lambda_2,\;D_{33}=\lambda_3, então as colunas de P são vetores próprios (autovetores) de A associados aos autovalores \lambda_1,\lambda_2,\lambda_3 respectivamente. Vou mostrar porquê:
escreva P=[p_1\\ p_2\\ p_3] (cada p_j coluna). Então
AP = P D.
O produto à direita P D multiplica cada coluna p_j por \lambda_j, logo
que é precisamente a equação de autovetor para A. Portanto a 3ª coluna de P é um autovetor de A associado ao autovalor que aparece na 3ª posição da diagonal, isto é, associado a b.
Passo 3
Temos, portanto, que os autovalores de A são -3,\;a,\;b. Vamos calcular explicitamente os autovalores de A encontrando o polinômio característico \det(A-\lambda I). Escrevo
Comparando com a diagonal dada \operatorname{diag}(-3,a,b) e lembrando que o enunciado diz a<b, identificamos os autovalores como -3,\;0,\;2 em alguma ordem. Como a matriz diagonal no enunciado está na ordem -3,\;a,\;b, com a<b, segue que
a=0,\qquad b=2.
Logo a 3ª coluna de P é um autovetor de A associado ao autovalor b=2.
Passo 5
Agora vou calcular um autovetor de A associado a \lambda=2. Resolvemos
Dividindo a primeira por 3 obtenho uma forma mais simples:
x_1-3x_2-x_3=0\quad\Rightarrow\quad x_1=3x_2+x_3.
A terceira equação é
- x_1+3x_2+x_3=0,
que rearranjada dá a mesma relação x_1=3x_2+x_3. Então as equações 1 e 3 são equivalentes; resta usar a segunda para relacionar x_2 e x_3. Substituo x_1=3x_2+x_3 na segunda:
Note que este vetor tem primeira componente 4 e terceira componente -2.]
Passo 6
Comparando com as opções dadas, a única que pede um vetor com primeiro componente 4 e terceiro componente -2 é a opção (A), que é da forma \left[\begin{array}{r}4\\[2pt]\star\\[2pt]-2\end{array}\right]. Portanto a 3ª coluna de P é múltipla dessa opção.]