Como é definida a função composta f^{\circ} g ? Qual seu domínio?
Passo 1
O enunciado pede duas coisas claras:
Definir o que é a função composta f^{\circ} g (ou seja, dizer como ela age sobre um ponto x).
Dizer qual é o domínio da função composta.
As informações implícitas que usamos são: existem duas funções g e f para as quais faz sentido tentar compô‑las (mais abaixo explico as condições).
Passo 2
Primeira ideia intuitiva (sem fórmulas ainda). Compor f com g significa: primeiro aplica g ao número x; isso te dá um valor g(x). Em seguida aplica f a esse resultado g(x). O resultado final é f(g(x)). Ou seja, a composição faz duas aplicações em sequência: x \xmapsto{\,g\,} g(x) \xmapsto{\,f\,} f(g(x)).
Passo 3
Agora a definição formal. Suponha que g e f sejam funções com domínios e contradomínios quaisquer, por exemplo g: A\to B e f: D\to C. Para que f(g(x)) faça sentido, o valor g(x) precisa pertencer ao domínio de f. Portanto definimos a função composta f^{\circ} g por
(f^{\circ} g)(x) = f\bigl(g(x)\bigr)
sempre que x for um número para o qual g(x) está definido e, além disso, g(x) está definido dentro do domínio de f.
Passo 4
Precisamos explicitar com precisão o que é o domínio de f^{\circ} g. Denotando por \operatorname{dom}(h) o domínio de uma função h, o domínio de f^{\circ} g é o conjunto de todos os x tais que:
x\in \operatorname{dom}(g) (para que g(x) exista), e
g(x)\in \operatorname{dom}(f) (para que f(g(x)) exista).
Esse é o caso mais simples: basta tomar o domínio de g.
Se não houver essa inclusăo, o domínio de f^{\circ} g será um subconjunto próprio de \operatorname{dom}(g); na prática, para encontrar o domínio faça:
escreva \operatorname{dom}(g);
imponha a condição algebraica g(x)\in\operatorname{dom}(f) (por exemplo, para f(t)=\sqrt{t} exige g(x)\ge 0; para f(t)=1/t exige g(x)\neq 0);
resolva essas condições e escreva o intervalo/conjunto resultante.
Passo 6
Dois exemplos curtinhos para fixar:
Exemplo 1: g(x)=x^2 com \operatorname{dom}(g)=\mathbb{R}, e f(t)=\sqrt{t} com \operatorname{dom}(f)=[0,\infty). Então (f^{\circ} g)(x)=\sqrt{x^2}=|x| e como x^2\ge 0 para todo x, tem-se \operatorname{dom}(f^{\circ} g)=\mathbb{R}.
Exemplo 2: g(x)=\sqrt{x} com \operatorname{dom}(g)=[0,\infty), e f(t)=1/t com \operatorname{dom}(f)=\mathbb{R}\setminus\{0\}. Aqui (f^{\circ} g)(x)=1/\sqrt{x} e a condição g(x)\neq 0 vira x\neq 0. Logo \operatorname{dom}(f^{\circ} g)=(0,\infty).
Passo 7
Receita prática para a prova (passo a passo rápido):
Identificar \operatorname{dom}(g) e \operatorname{dom}(f).
Calcular a expressão simbólica de g(x).
Impor a condição g(x)\in\operatorname{dom}(f) (traduz isso em desigualdades ou proibições).
Interseccionar com \operatorname{dom}(g) e escrever o resultado final como domínio de f^{\circ} g.