O que é pedido: obter a solução geral y(x) — ou seja, a família de soluções com duas constantes arbitrárias — e escrever ela na forma em séries mostrada acima.
Passo 2
Estratégia de resolução (explicada de forma simples e didática).
Vou resolver por séries de potências centradas em x=0, isto é, supondo
y(x)=\sum_{n=0}^{\infty} a_n x^n,
e obtendo uma relação de recorrência para os coeficientes a_n. Esse método é natural porque a resposta indicada está em série de potências; além disso, para equações com coeficientes que são polinômios em x (aqui o coeficiente de y' é -x), o método de série dá recursões simples que determinam todos os coeficientes a partir de alguns livres (neste caso dois, como deve ser para uma EDO de segunda ordem).
Vou mostrar passo a passo como obter a recorrência e calcular os primeiros coeficientes para comparar com a forma pedida.
Passo 3
Escrevendo y, y' e y'' como séries e ajustando índices.
Partimos de
y(x)=\sum_{n=0}^{\infty} a_n x^n.
Diferenciando termo a termo temos
y'(x)=\sum_{n=1}^{\infty} n a_n x^{n-1} = \sum_{m=0}^{\infty} (m+1)a_{m+1} x^{m},
onde no último passo troquei o índice m=n-1 para escrever a soma em potências x^m.
x y' = \sum_{m=0}^{\infty} (m+1)a_{m+1} x^{m+1} = \sum_{n=1}^{\infty} n a_n x^n,
onde renomeei o índice por n. Assim, o coeficiente de x^m em x y' é m a_m para m\ge1, e é 0 para m=0.
Passo 4
Obtenção da relação de recorrência.
Comparando coeficientes de x^m\) em ambos os lados da equação \(y''-x y'=12 x^3\), obtemos para cada \(m\ge0\)
\[(m+2)(m+1)a_{m+2} - \begin{cases} 0, & m=0,\\[4pt] m a_m, & m\ge1, \end{cases} = \begin{cases} 12, & m=3,\\[4pt] 0, & m\ne 3. \end{cases}
Isto pode ser escrito de forma única (válida para m\ge0\]) como
\[(m+2)(m+1)\,a_{m+2} - m a_m = b_m,\]
onde
\[b_m=\begin{cases}12,&m=3,\\\ 0,&m\ne3.\end{cases}\]
Isolando \(a_{m+2},
a_{m+2}=\frac{m a_m + b_m}{(m+2)(m+1)}.
Essa é a recorrência que permite calcular todos os a_n a partir de a_0 e a_1 (os dois parâmetros livres, como deve ser).]
Passo 5
Começando a calcular coeficientes concretos (mostrando cada conta).
Esses cálculos mostram que os coeficientes pares (além de a_0) são zero: a_2=a_4=a_6=\cdots=0. Os coeficientes ímpares a partir de a_1 são determinados por a_1 mais contribuições vindas do termo forçado quando m=3 (que gerou as parcelas constantes 3/5,\;1/14,\dots).
Passo 8
Escrevendo a série solução agrupando as partes “livres” (constantes de integração) e a parte particular.
A primeira linha a_0 é a constante de integração associada à solução de segunda ordem.
O termo multiplicando a_1 é a série que aparece quando a solução homogênea é escrita como série; de forma geral essa série é a expansão de \displaystyle\int_0^x e^{t^2/2}\,dt (mas aqui trabalhamos só com séries, como o enunciado mostrou).
O último grupo entre parênteses é uma solução particular (fixa) da EDO — repara que começa em x^5, já que os termos mais baixos de ordem ímpar podem ser absorvidos na parte homogênea.
Passo 9
Comentários finais, incentivo e checagem.
Encontramos a solução geral com duas constantes arbitrárias a_0 e a_1, exatamente como deve ser para uma EDO linear de segunda ordem.
A forma coincide com a resposta fornecida no enunciado; os primeiros coeficientes da série particular são \dfrac{3}{5}x^{5} e \dfrac{1}{14}x^{7}, como solicitado.
Você fez bem em pedir a resolução em série: ela mostra explicitamente como os coeficientes surgem e é prática na prova — é só aplicar a recorrência e calcular os poucos primeiros termos pedidos.