Queremos fazer \dfrac{3|x-5|}{|x-3|}<\varepsilon. O problema está no denominador |x-3|, que depende de x. A estratégia padrão é forçar x a ficar num intervalo onde |x-3| seja uniformemente maior que uma constante positiva, assim eliminamos a dependência complicada.
Escolhemos restringir |x-5|<1. Se |x-5|<1, então x\in(4,6). Para esses x temos
x-3\ge 1 \quad\Rightarrow\quad |x-3|\ge 1.
Além disso essa restrição garante x\neq 3, então a função está bem definida nesse intervalo.
Com |x-3|\ge 1 obtemos a estimativa útil
\frac{3|x-5|}{|x-3|}\le 3|x-5|.
Passo 5
Agora usamos a estimativa para relacionar com \varepsilon. Queremos 3|x-5|<\varepsilon, portanto basta garantir |x-5|<\dfrac{\varepsilon}{3}.
Combine as duas restrições (a de ficar dentro de distância 1 de 5 e a de ficar dentro de \varepsilon/3 de 5) definindo
Isso mostra exatamente a condição da definição: para todo \varepsilon>0 existe \delta>0 (o \delta acima) tal que 0<|x-5|<\delta implica \left|\dfrac{x+3}{x-3}-4\right|<\varepsilon.