É uma parábola voltada para baixo (coeficiente de x^2 negativo), então tem um máximo local no vértice.
Vértice em x=1 (porque g'(x)=0 \Rightarrow x=1). O valor máximo é
g(1)=1(2-1)=1.
Valores nos extremos do intervalo de X:
g(0)=0, \qquad g(2)=0, \qquad g(4)=4(2-4)= -8.
Mas atenção: X só toma valores em 0<x<4 (extremos não incluídos). No entanto x=2 e x=1 estão no intervalo, então Y atinge 0 (no x=2) e atinge 1 (no x=1). Em x\to4^{-} temos g(x)\to-8^{+} (não atinge -8 porque x=4 não faz parte do suporte). Assim o conjunto de valores possíveis de Y é
\{y: -8<y\le 1\}.
(ou seja, o suporte de Y é (-8,1]).
Passo 3
Resolver a equação g(x)=y para encontrar as pré-imagens de um valor y. Isso é necessário porque g não é monotônica em todo o suporte de X (ela sobe até x=1 e depois desce), então, para um mesmo y pode haver duas raízes x com g(x)=y.
Resolver
-x^{2}+2x = y \quad\Longleftrightarrow\quad x^{2}-2x+y=0.
As raízes são
x = 1 \pm \sqrt{1-y}.
Essas raízes são reais se e somente se 1-y\ge 0, isto é, se y\le 1. Para y>1 não há solução real (o que bate com o máximo 1 de g).
Para y próximo de -8 tem-se x_{-}(y)<0 e x_{+}(y) próximo de 4.
Para y\in(0,1] ambos x_{-}(y) e x_{+}(y) estão dentro do suporte (0,4).
Para y\in(-8,0] temos x_{-}(y)\le 0 (logo fora do suporte à esquerda) e 0<x_{+}(y)<4.
Essas observações mostram que devemos tratar separadamente as faixas de y:
y\le -8,
-8<y<0,
0\le y\le 1,
y>1.
Passo 4
Calcular a f.d.a. [F_{Y}(y)=P(Y\le y)) por integração das pré-imagens no suporte de X. A idéia: para cada y calcular o conjunto A_y=\{x\in(0,4): g(x)\le y\} e integrar f_X sobre A_y.
Lembrete de integral (vou usar isto várias vezes): para f_X(x)=x/8,
\int \frac{x}{8}\,dx = \frac{x^{2}}{16}.
Agora os casos:
Caso y\le -8.
Como observado, para todo x\in(0,4) tem-se g(x)>-8. Logo
F_{Y}(y)=0\quad\text{se } y\le -8.
Caso -8<y<0.
As soluções x_{-}(y) e x_{+}(y) existem, mas x_{-}(y)\le 0 (fora do suporte) e 0<x_{+}(y)<4.
Para a parábola voltada para baixo, a desigualdade g(x)\le y corresponde a x\le x_{-}(y) ou x\ge x_{+}(y). Intersecando com o suporte 0<x<4 obtemos x\in[x_{+}(y),4).
Em y\to -8^{+}\]: \(\sqrt{1-y}\to 3 e F_{Y}\to (14-8-2\cdot 3)/16 = 0.
Em y\to 0^{-}: \sqrt{1-y}\to 1 e F_{Y}\to (14+0-2\cdot1)/16 = 12/16 = 3/4.
Em y=0 pela fórmula do intervalo superior: F_{Y}(0)=1-\tfrac14\cdot1=3/4. Então F é contínua em y=0.
Em y=1: F_{Y}(1)=1-\tfrac14\cdot 0=1, consistente com o caso y>1.]
Passo 5
Determinar a f.d.p. f_{Y}(y) derivando F_{Y}(y) por partes (e comentar a forma alternativa via soma sobre as raízes, que é mais direta quando se conhece a regra).
Derivando as expressões obtidas:
Para y\le -8 e y>1: f_{Y}(y)=0.
Para -8<y<0:
F_{Y}(y)=\frac{14 + y - 2\sqrt{1-y}}{16}.
Derivando: seja s(y)=\sqrt{1-y}=(1-y)^{1/2}. Então s'(y)=-\dfrac{1}{2\sqrt{1-y}}=-\dfrac{1}{2s}.
Observação (método alternativo e mais compacto): quando y\in(0,1) existem duas pré-imagens x_{-} e x_{+} no suporte e a fórmula geral para transformação por funções diferenciáveis e monotônicas por ramo dá
o que coincide com a derivada encontrada. Para -8<y<0 só há uma pré-imagem no suporte (apenas x_{+}), daí resulta a fórmula do item correspondente.
Podemos definir o valor em y=0 por continuidade: ambos os limites laterais valem 1/8, então podemos tomar f_{Y}(0)=1/8 (isso não altera probabilidades pois é um ponto).