A matriz conhecida A=\begin{pmatrix}11 & 5 \\[2pt] 2 & 1\end{pmatrix} é de dimensão 2\times2 (peguei isso do enunciado).
O termo do lado direito é o vetor coluna b=\binom{2}{3}, que tem dimensão 2\times1.
A incógnita é a matriz X. O objetivo é encontrar X tal que a igualdade acima seja verdadeira.]
Passo 2
Regra de existência do produto matricial (aula rápida e prática).
Se X tem dimensão m\times n e A tem dimensão p\times q, então o produto X\cdot A está definido se, e somente se, n=p. Nesse caso o produto resultante tem dimensão m\times q.
Aqui A tem dimensão 2\times2. Então, para que X\cdot A esteja definido, a segunda dimensão de X tem que ser 2. Ou seja, escrevendo X como m\times 2, o produto existe e tem dimensão m\times 2.
Passo 3
Comparando com o lado direito: o resultado pedido b tem dimensão 2\times1.
Se X for m\times2, então X\cdot A terá dimensão m\times2.
Para que X\cdot A seja igual a b (que é 2\times1) precisamos que as dimensões coincidam, isto é:m\times 2 \;=\; 2\times 1.Isso exige simultaneamente que m=2 e 2=1. A segunda igualdade 2=1 é impossível.
Passo 4
Verificação por tentativa de formas comuns de X:
Se X for um vetor linha 1\times2, então X\cdot A é 1\times2, não pode ser igual a um vetor 2\times1.
Se X for um vetor coluna 2\times1, então o produto X\cdot A não está definido (as dimensões internas não batem: 1\neq 2).
Se X for 2\times2, então X\cdot A é 2\times2, não igual a 2\times1.
Portanto nenhuma forma usual de X permite que X\cdot A seja um vetor 2\times1.
Passo 5
Conclusão sobre a equação como foi escrita:
A equação dada é incompatível em termos de dimensões e, portanto, não existe nenhuma matriz X que satisfaçaX\cdot\begin{pmatrix}11 & 5 \\[2pt] 2 & 1\end{pmatrix}=\binom{2}{3}.
Em palavras: o produto à esquerda sempre terá 2 colunas (porque A tem 2 colunas), enquanto o lado direito tem 1 coluna — dimensões diferentes, impossível igualar.]
Passo 6
(Comentário útil — se for um erro de escrita comum)
Frequentemente o autor queria resolver \begin{pmatrix}11 & 5 \\[2pt] 2 & 1\end{pmatrix}\cdot X=\binom{2}{3} (ou seja, o sistema A X=b). Nesse caso a forma está bem definida e pode-se encontrar X resolvendo X=A^{-1}b, desde que A seja inversível.
Exemplo de cálculo (só para treinar a técnica de inversa 2×2):
Para A=\begin{pmatrix}11 & 5 \\[2pt] 2 & 1\end{pmatrix} tem-se \det(A)=11\cdot1-5\cdot2=1.
Multiplicando por b=\binom{2}{3}:X=A^{-1}b=\begin{pmatrix}1 & -5 \\[2pt] -2 & 11\end{pmatrix}\binom{2}{3} =\binom{1\cdot2+(-5)\cdot3}{-2\cdot2+11\cdot3}=\binom{-13}{29}.
Ou seja, se o enunciado tivesse sido A X=b, a solução seria X=\binom{-13}{29}.
Observação: este passo é apenas uma demonstração de solução para o caso em que os fatores estivessem trocados; não resolve a equação exatamente como escrita no enunciado.]
Resposta
Não existe matriz X que satisfaça a equação dada, porque as dimensões do produto são incompatíveis.