O enunciado dá uma equação diferencial linear de terceira ordem não-homogênea e condições iniciais. Vou listar claramente o que é pedido e as informações fornecidas.
Procuramos soluções da forma y=e^{rx}. O polinômio característico é
r^{3}-3r^{2}+3r-1.
Observação: esse polinômio é a expansão de (r-1)^3, pois
(r-1)^3 = r^{3}-3r^{2}+3r-1.
Portanto a raiz é r=1 de multiplicidade 3. Para uma raiz real r=1 de multiplicidade 3, a combinação linear independente de soluções homogêneas é
e^{x},\qquad x e^{x},\qquad x^{2} e^{x}.
Logo a solução geral da homogênea é
y_{h}(x)=\big(C_{1}+C_{2}x+C_{3}x^{2}\big)e^{x},
onde C_{1},C_{2},C_{3} são constantes a determinar pelas condições iniciais após incluirmos a parte particular.
Explicando rapidamente o porquê: quando uma raiz r tem multiplicidade m, as m soluções independentes são e^{rx}, x e^{rx}, x^{2}e^{rx},\dots,x^{m-1}e^{rx}.
Passo 3
Escolher e construir um palpite para a solução particular usando o método dos coeficientes a determinar.
O lado direito é \sin(2x). Para forçar funções \sin(2x) e \cos(2x) usa-se um palpite do tipo
y_{p}(x)=A\cos(2x)+B\sin(2x),
onde A e B são constantes desconhecidas. Antes de escolher este palpite, verificamos se alguma solução homogênea tem a mesma forma (multiplicidade de raízes complexas com r=\pm 2i); como as raízes homogêneas são somente r=1, não há conflito — portanto o palpite acima é adequado.
Agora precisamos calcular y_{p}^{\prime},y_{p}^{\prime\prime},y_{p}^{\prime\prime\prime} e substituir na equação para determinar A e B.
Passo 4
Calcular as derivadas de y_{p} e aplicar o operador diferencial L[y]=y^{\prime\prime\prime}-3y^{\prime\prime}+3y^{\prime}-y.
Começando por y_{p}:
y_{p}(x)=A\cos(2x)+B\sin(2x).
Derivadas (usar regra da cadeia: \dfrac{d}{dx}\cos(2x)=-2\sin(2x), \dfrac{d}{dx}\sin(2x)=2\cos(2x)):