O enunciado pede para mostrar que a transposta de um produto de matrizes satisfaz a igualdade
(AB)^{T}=B^{T}A^{T}.
Informações implícitas e relevantes:
As matrizes A e B são tais que o produto AB está definido. Vou tomar A de dimensão m\times n e B de dimensão n\times p. Então AB tem dimensão m\times p e (AB)^{T} tem dimensão p\times m.
A igualdade a provar é entre duas matrizes de mesma dimensão p\times m.
Passo 2
Definição de transposta (a ferramenta principal que vamos usar).
Se M é uma matriz de dimensão r\times s, a sua transposta M^{T} é a matriz de dimensão s\times r cujos elementos são obtidos trocando linhas por colunas. Em termos de entradas:
(M^{T})_{ij}=M_{ji}\quad\text{para todo }i,j.
Explanação: aqui M_{ji} é o elemento da linha j e coluna i de M; ao transpor, esse elemento passa para a linha i e coluna j em M^{T}.
Passo 3
Fórmula do produto de matrizes (outra ferramenta necessária).
Se C=AB com A de dimensão m\times n e B de dimensão n\times p, então C é m\times p e seus elementos são dados por
C_{ij}=\sum_{k=1}^{n} A_{ik}\,B_{kj}.
Explicação: para obter o elemento na linha i e coluna j de C, multiplica-se a linha i de A pelos elementos correspondentes da coluna j de B e soma-se os produtos.
Passo 4
Calcular uma entrada genérica de (AB)^{T}.
Seja ((AB)^{T})_{ij} o elemento na linha i e coluna j de (AB)^{T}. Pela definição de transposta,
((AB)^{T})_{ij}=(AB)_{ji}.
Pelo item anterior (produto de matrizes),
(AB)_{ji}=\sum_{k=1}^{n} A_{jk}\,B_{ki}.
Logo, para todo i=1,\dots,p e j=1,\dots,m,
((AB)^{T})_{ij}=\sum_{k=1}^{n} A_{jk}\,B_{ki}.
Passo 5
Calcular a mesma entrada na matriz B^{T}A^{T}.
Primeiro observe as dimensões: B^{T} tem dimensão p\times n e A^{T} tem dimensão n\times m; o produto B^{T}A^{T} é definido e tem dimensão p\times m, então faz sentido comparar suas entradas com as de (AB)^{T}.
O elemento genérico de B^{T}A^{T} na linha i e coluna j é, pela fórmula do produto,
Como os termos A_{jk} e B_{ki} são escalares, a multiplicação é comutativa em cada produto A_{jk}B_{ki}=B_{ki}A_{jk}. Portanto os dois somatórios são idênticos para todo i,j. Logo cada entrada de (AB)^{T} é igual à entrada correspondente de B^{T}A^{T}.
Conclusão: (AB)^{T}=B^{T}A^{T}.
Passo 7
Pequena intuição e exemplo (pra fixar).
Intuição: transpor troca linhas por colunas; quando se tem AB primeiro se combinam linhas de A com colunas de B. Ao transpor o resultado, o que eram colunas vira linha — isso corresponde a primeiro transpor cada fator (viram colunas) e então multiplicá-los na ordem invertida.
Calcula-se AB (fica 3\times3), depois (AB)^{T} e, separadamente, B^{T}A^{T} (ambos 3\times3). Se fizer as contas verá que são iguais, confirmando o argumento geral acima. (Se quiser, eu faço as contas numéricas passo a passo também.)]