Em cada item, cite ao menos um exemplo explicitando o conjunto e a operação que definem a estrutura do grupo.
Um grupo infinito e não abeliano.
Passo 1
O enunciado pede um exemplo de um grupo que seja ao mesmo tempo infinito e não abeliano. Além disso, devo explicitar o conjunto e a operação que definem esse grupo. Vou apresentar um exemplo concreto e verificar, passo a passo, que ele satisfaz os axiomas de grupo, que é infinito e que não é comutativo.
Passo 2
Lembrando a definição de grupo (para eu e você ficarmos alinhados): um conjunto G com uma operação binária \ast é um grupo se satisfaz, para todos x,y,z\in G:
(Fechamento) x\ast y\in G.
(Associatividade) (x\ast y)\ast z = x\ast (y\ast z).
(Elemento neutro) Existe e\in G tal que e\ast x = x\ast e = x para todo x\in G.
(Inversos) Para todo x\in G existe x^{-1}\in G com x\ast x^{-1}=x^{-1}\ast x=e.
Um grupo é abeliano se, além disso, valem as leis comutativas x\ast y = y\ast x para todo x,y\in G. Nós queremos um grupo onde essa última propriedade falhe (ou seja, exista pelo menos um par x,y com x\ast y \neq y\ast x). Também queremos que G tenha infinitos elementos.
Passo 3
Vou apresentar o exemplo padrão e muito usado: o grupo das matrizes invertíveis 2\times2 com entradas reais, com a operação sendo multiplicação de matrizes. Defino explicitamente:
G \;=\; \mathrm{GL}(2,\mathbb{R}) \;=\; \left\{\, A=\begin{pmatrix}a & b\\[4pt] c & d\end{pmatrix} \in M_{2}(\mathbb{R}) \;\middle|\; \det(A)=ad-bc \neq 0 \,\right\},
com operação \ast dada por multiplicação de matrizes usual:
A\ast B \;=\; A\,B.
Agora vou verificar os axiomas de grupo para \mathrm{GL}(2,\mathbb{R}).]
Passo 4
Verificação dos axiomas (com explicações didáticas):
Fechamento. Se A,B\in \mathrm{GL}(2,\mathbb{R}), então \det(A)\neq0 e \det(B)\neq0. A regra de determinante diz que \det(AB)=\det(A)\det(B). Como o produto de dois números não nulos é não nulo, \det(AB)\neq0. Logo AB\in\mathrm{GL}(2,\mathbb{R}). Isso garante fechamento.
Associatividade. A multiplicação de matrizes (AB)C = A(BC) é uma propriedade básica da multiplicação matricial (decorrente da definição via combinação linear das colunas). Não é preciso recalcular: associatividade vale para todas as matrizes de dimensão compatível, portanto vale em particular para elementos de \mathrm{GL}(2,\mathbb{R}).
Elemento neutro. A matriz identidade
I = \begin{pmatrix}1 & 0\\[4pt] 0 & 1\end{pmatrix}
satisfaz IA = AI = A para toda matriz A. Além disso \det(I)=1\neq0, logo I\in\mathrm{GL}(2,\mathbb{R}). Assim I é o elemento neutro do grupo.
Inversos. Se A=\begin{pmatrix}a & b\\[4pt] c & d\end{pmatrix}\in\mathrm{GL}(2,\mathbb{R}) então, por definição, \det(A)=ad-bc\neq0. A fórmula explícita da inversa de uma matriz 2\times2 diz:
A^{-1} \;=\; \dfrac{1}{ad-bc}\begin{pmatrix} d & -b\\[4pt] -c & a\end{pmatrix}.
Como ad-bc\neq0, essa matriz existe e tem determinante \dfrac{1}{(ad-bc)^2}\neq0, portanto pertence a \mathrm{GL}(2,\mathbb{R}). Verifica-se que AA^{-1}=A^{-1}A=I. Logo todo elemento tem inverso em G.
Com isso, \mathrm{GL}(2,\mathbb{R}) satisfaz os quatro axiomas: é de fato um grupo sob multiplicação de matrizes.]
Passo 5
Mostrando que o grupo não é abeliano (ou seja, a multiplicação não é comutativa lá dentro). Vou dar dois exemplos de matrizes A,B\in\mathrm{GL}(2,\mathbb{R}) tais que AB\neq BA.
Claramente \begin{pmatrix}2 & 1\\[4pt] 1 & 1\end{pmatrix} \neq \begin{pmatrix}1 & 1\\[4pt] 1 & 2\end{pmatrix}. Portanto AB\neq BA. Isso prova que \mathrm{GL}(2,\mathbb{R}) não é abeliano.]
Passo 6
Mostrando que \mathrm{GL}(2,\mathbb{R}) é infinito. Uma maneira simples: já existem infinitos escalares não nulos em \mathbb{R}, e para cada t\in\mathbb{R}\setminus\{0\} a matriz diagonal
pertence a \mathrm{GL}(2,\mathbb{R}) porque \det(D_t)=t\cdot1 = t\neq0. Como há infinitos valores diferentes de t em \mathbb{R}\setminus\{0\}, obtemos infinitas matrizes distintas D_t em G. Logo G é infinito.
Outra observação intuitiva: as entradas das matrizes variam em \mathbb{R}, então habitualmente há infinitos elementos possíveis.]
Passo 7
Resumo intuitivo e incentivo: então \mathrm{GL}(2,\mathbb{R}) é um exemplo bem natural — o conjunto de todas as matrizes 2\times2 invertíveis com entradas reais, a operação é a multiplicação de matrizes, e verificamos: é um grupo (fechamento, associatividade, neutro, inversos), é infinito (parâmetro contínuo t fornece infinitos elementos) e não é abeliano (exibimos A,B com AB\neq BA). Dá pra usar esse exemplo na prova com confiança. Se quiser um exemplo discreto em vez de contínuo, pode-se usar \mathrm{GL}(2,\mathbb{Z}) (matrizes invertíveis com entradas inteiras) — também é infinito e não abeliano; a verificação é análoga.
Resposta
G=\mathrm{GL}(2,\mathbb{R}) com a operação sendo a multiplicação de matrizes.