(a) Encontre S^{\perp}.
(b) Encontre uma base ortogonal para S^{\perp}.
(c) Verifique que \left(S^{\perp}\right)^{\perp} \neq S.
Passo 1
O enunciado trabalha no espaço V de todas as matrizes 2\times2 triangulares superiores, com produto interno de Frobenius
\langle A,B\rangle = \mathrm{tr}(A^T B)
e define o conjunto
S = \left\{I,\;N\right\},\quad I=\begin{pmatrix}1&0\\\ 0&1\end{pmatrix},\; N=\begin{pmatrix}1&1\\\ 0&1\end{pmatrix}.
Precisamos achar
(a) S^{\perp}=\{M\in V:\langle M,X\rangle=0\;\forall X\in S\},
(b) uma base ortogonal de S^{\perp},
(c) mostrar que \bigl(S^{\perp}\bigr)^{\perp}\neq S.
Passo 2
Seja uma matriz genérica em V,
M=\begin{pmatrix}x&y\\\ 0&z\end{pmatrix}.
Impor M\in S^{\perp} significa \langle M,I\rangle=0 e \langle M,N\rangle=0.
Como
\langle M,I\rangle = x + z, \qquad \langle M,N\rangle = x + y + z,
temos o sistema
\begin{cases} x + z = 0,\\\ x + y + z = 0. \end{cases}
Uma base ortogonal (em geral não normalizada) de S^{\perp} é dada por um único vetor-gerador, por exemplo
E = \begin{pmatrix}1&0\\\ 0&-1\end{pmatrix}.
De fato, todo elemento de S^{\perp} é xE e E satisfaz \langle E,I\rangle=0, \langle E,N\rangle=0.
Passo 5
Agora \bigl(S^{\perp}\bigr)^{\perp} consiste em todas as matrizes \displaystyle M=\begin{pmatrix}a&b\\\ 0&c\end{pmatrix} tais que \langle M,E\rangle=0. Calculamos
\langle M,E\rangle = a\cdot1 + b\cdot0 + 0\cdot0 + c\cdot(-1) = a - c = 0
Repare que S é apenas o conjunto dos dois vetores I e N, enquanto \bigl(S^{\perp}\bigr)^{\perp} é o subespaço \{\begin{pmatrix}a&b\\\ 0&a\end{pmatrix}\}, de dimensão 2. Esse subespaço contém outros elementos além de I e N.
Por exemplo, \displaystyle M=\begin{pmatrix}2&0\\\ 0&2\end{pmatrix}\in\bigl(S^{\perp}\bigr)^{\perp}
mas M\notin S. Portanto
\bigl(S^{\perp}\bigr)^{\perp}\neq S.
Resposta
(a) \displaystyle S^{\perp}=\bigl\{\begin{pmatrix}x&0\\\ 0&-x\end{pmatrix}:x\in\mathbb{R}\bigr\}.
(b) Uma base ortogonal de S^{\perp} é \displaystyle\left\{\begin{pmatrix}1&0\\\ 0&-1\end{pmatrix}\right\}.
(c) \displaystyle\bigl(S^{\perp}\bigr)^{\perp}=\bigl\{\begin{pmatrix}a&b\\\ 0&a\end{pmatrix}\bigr\}\neq S.