O enunciado pede para calcular a integral indefinida
\int \frac{dx}{\sqrt{x^{2}-2x-8}},
que é um problema de Cálculo envolvendo técnicas de integração por mudança de variável e uso da forma padrão \displaystyle \int \frac{du}{\sqrt{u^{2}-a^{2}}}=\ln\bigl|u+\sqrt{u^{2}-a^{2}}\bigr|+C.
Passo 2
Primeiro, completamos o quadrado no radicando:
x^{2}-2x-8 = (x-1)^{2} - 1 - 8 = (x-1)^{2} - 9.
Passo 3
Fazemos a substituição
u = x - 1,
logo
du = dx \quad\text{e}\quad x^{2}-2x-8 = u^{2}-9.
A integral passa a ser
\int \frac{du}{\sqrt{u^{2}-9}}.
Passo 4
Usamos a forma padrão para \displaystyle \int \frac{du}{\sqrt{u^{2}-a^{2}}}
com a=3:
\int \frac{du}{\sqrt{u^{2}-9}} = \ln\Bigl|u+\sqrt{u^{2}-9}\Bigr| + C.
Passo 5
Voltando à variável x (ou seja, u = x-1) e lembrando que \sqrt{u^{2}-9}=\sqrt{x^{2}-2x-8}, obtemos
\int \frac{dx}{\sqrt{x^{2}-2x-8}} = \ln\Bigl|\,x-1+\sqrt{x^{2}-2x-8}\Bigr| + C.
Resposta
\int \frac{dx}{\sqrt{x^{2}-2x-8}} = \ln\bigl|x-1+\sqrt{x^{2}-2x-8}\bigr| + C.