Para o termo e^x do lado direito, usamos ansatz y_{p2}=M e^x.
Substituindo em
L[y]=y^{(5)}+y^{(4)}-2y''+3y',
todas as derivadas de M e^x são M e^x. Logo
L[M e^x] = M e^x\bigl(1 +1 -2+3\bigr) = M e^x\cdot 3.
Para que isso seja igual a e^x, precisamos 3M=1, ou seja
M = \tfrac13.
Assim
y_{p2}(x)=\tfrac13\,e^x.
Passo 4
Para o termo x^2\sin(x), escolhemos ansatz
y_{p1}(x) = \bigl(Ax^2+Bx+C\bigr)\,\sin x \;+\;\bigl(Dx^2+Ex+F\bigr)\,\cos x,
com seis constantes A,B,C,D,E,F.
Ao aplicar o operador L em y_{p1}, toda derivada de \sin x e \cos x retorna combinação de \sin x e \cos x, e os polinômios também geram termos até x^2.
De fato, organizando
L[y_{p1}] = S(x)\,\sin x + T(x)\,\cos x,
onde S e T são polinômios de grau \le2. Exigimos
S(x)=x^2 \quad\text{e}\quad T(x)=0,
o que gera um sistema linear de 6 equações para A,B,C,D,E,F.
Passo 5
Fazendo as contas (derivando até a quinta vez e coletando coeficientes) chega-se ao sistema