No Passo 2 e no Passo 3 vou verificar cada uma dessas condições passo a passo, explicando cada ideia e conta com calma.]
Passo 2
Verificar a não negatividade: mostrar que f(x)\ge 0 para todo x.
Para x fora de [0,1] temos pela definição que f(x)=0, então aí já está claro que f(x)\ge 0.
Para x em [0,1] observe que
x-x^{2}=x(1-x).
Agora pense assim: para x\in[0,1] temos x\ge 0 e 1-x\ge 0. O produto de dois números não negativos é não negativo, logo
x(1-x)\ge 0\quad\text{para todo }x\in[0,1].
Multiplicando por 6 (um número positivo) mantém a desigualdade, portanto
6\bigl(x-x^{2}\bigr)\ge 0\quad\text{para todo }x\in[0,1].
Portanto f(x)\ge 0 para todo x\in\mathbb{R}. Primeira condição verificada.
Observação intuitiva rápida: a função x(1-x) é uma parábola que vale 0 em x=0 e x=1 e é positiva entre esses pontos — por isso faz sentido que f seja não negativa no intervalo.
Passo 3
Verificar que a integral total é 1: calcular \displaystyle \int_{-\infty}^{\infty} f(x)\,dx.
Como f(x)=0 fora de [0,1], basta integrar em [0,1]:
Segunda condição verificada: a integral total é 1.
Passo 4
Como verificamos as duas condições necessárias — f(x)\ge 0 para todo x e \displaystyle \int_{-\infty}^{\infty} f(x)\,dx=1 — concluímos que f(x) é, de fato, uma função densidade de probabilidade (f.d.p.).
Força aí — essa verificação é exatamente o que pedem nas provas: checar não-negatividade e integrar para 1. Se surgir outra densidade parecida com um polinômio, o mesmo procedimento funciona (fatorar para checar sinal e integrar termo a termo).
Resposta
Sim. f(x) é uma f.d.p., pois f(x)\ge 0 para todo x\in\mathbb{R} e \displaystyle \int_{-\infty}^{\infty} f(x)\,dx=\int_{0}^{1}6(x-x^{2})\,dx=1.