O enunciado fornece várias matrizes e pede, entre outras coisas, o valor de \operatorname{tr}(A). As matrizes dadas são (vou anotar também a dimensão de cada uma, contando linhas \times colunas):
A questão (I) é especificamente: calcular \operatorname{tr}(A).
Passo 2
O que é a \operatorname{tr} (traço) de uma matriz? Vou explicar de um jeito direto e prático.
Para uma matriz quadrada de ordem n (isto é, dimensão n\times n), a definição é
\operatorname{tr}(M)=\sum_{i=1}^{n} m_{ii},
onde m_{ii} é o elemento da linha i e coluna i da matriz M.
Em palavras: o traço é a soma dos elementos da diagonal principal (do canto superior esquerdo ao inferior direito).
Importante: essa definição exige que a matriz seja quadrada; sem ser quadrada, a noção padrão de traço não está definida na álgebra linear elementar.
Exemplo simples para fixar: se
M=\begin{bmatrix}2 & 5\\\\ 1 & -3\end{bmatrix},
então \operatorname{tr}(M)=2+(-3)=-1. Note como eu somei apenas os elementos (1,1) e (2,2).
Passo 3
Aplicando ao nosso caso: contei as linhas e colunas de A. A tem 3 linhas e 2 colunas, ou seja dimensão 3\times2. Portanto A não é uma matriz quadrada (3\neq2). Pela definição que vimos, o traço só é definido para matrizes n\times n. Conclusão direta: \operatorname{tr}(A) não está definida no sentido usual.
Passo 4
Só para esclarecer uma possível confusão que às vezes aparece em prova: algumas pessoas, por hábito, somam os elementos na posição (1,1), (2,2) — isto é, os elementos da diagonal que existem — e obtêm 3+2=5. Isso é a soma dos elementos a_{11} e a_{22}, mas não é a definição canônica de traço quando a matriz não é quadrada. Em exames e na maior parte dos livros, a resposta correta é afirmar que o traço não está definido porque a matriz não é quadrada. Se o enunciado pedisse explicitamente “soma dos elementos da diagonal que existem”, aí sim seria 3+2=5, mas não foi o caso.
Resposta
\operatorname{tr}(A) não está definida, pois A não é quadrada (3\times2).