Para que a integral convirja precisamos que o fator exponencial decaia quando t\to\infty, isto é, que \operatorname{Re}(s-a)>0 ou equivalentemente \operatorname{Re}(s)>a. Vou assumir essa condição durante os cálculos e depois deixo explícita a região de convergência.
Passo 3
A integral a calcular é uma integral imprópria do tipo polinômio vezes exponencial. Um método direto e seguro para integrá-la é a integração por partes.
Recordando a fórmula da integração por partes:
\int u\,dv = uv - \int v\,du,
onde u e dv são funções de t, e du e v são suas diferenciais/antiderivadas.
Escolho:
u = t,\qquad dv = e^{-(s-a)t}\,dt.
Assim:
du = dt,\qquad v = \int e^{-(s-a)t}\,dt = -\frac{1}{s-a}\,e^{-(s-a)t},
válido desde que s\neq a; para a convergência precisamos ainda \operatorname{Re}(s-a)>0.
Avalio o termo de fronteira \left. t e^{-(s-a)t}\right|_{0}^{\infty}.
Em t=0 esse termo vale 0 porque o fator t anula tudo: \left. t e^{-(s-a)t}\right|_{t=0}=0.
No limite t\to\infty: como \operatorname{Re}(s-a)>0, o fator e^{-(s-a)t} decai exponencialmente (muito mais rápido que o crescimento linear de t). Portanto
\lim_{t\to\infty} t e^{-(s-a)t} = 0.
Isso justifica que o termo de fronteira no infinito é 0.
Logo o termo de fronteira total é 0-0=0, e a integral reduz-se a
Uma antiderivada de e^{-(s-a)t} é -\dfrac{1}{s-a}e^{-(s-a)t}. Avaliando de 0 a \infty (novamente usando \operatorname{Re}(s-a)>0 para anular o termo no infinito) obtemos
Aplicando com f(t)=e^{a t} dá \mathcal{L}\{t e^{a t}\}(s) = -\dfrac{d}{ds}\!\left(\dfrac{1}{s-a}\right)=\dfrac{1}{(s-a)^2}, a mesma resposta — mas aqui fizemos o cálculo direto pela definição, como você pediu.)