O enunciado pede:
(a) Calcular \displaystyle \lim_{(x,y)\to(-3,-3)} f(x,y) ou mostrar que ele não existe.
(b) Determinar se f é contínua em (-3,-3) e justificar.
Observação imediata que vem do enunciado: o valor concreto da função no ponto é f(-3,-3)=\dfrac{3}{2}.]
Passo 2
Vou simplificar a expressão para a região onde ela é dada pela fração (ou seja, para x\neq y). Para isso fatoro o numerador em função de (x-y).
Começo escrevendo
2x^{2}-xy-y^{2}.
Procuro representar isso como (x-y)(\text{algo}). Testando a forma (x-y)(2x+y) e expandindo, obtemos
(x-y)(2x+y)=2x^{2}+xy-2xy-y^{2}=2x^{2}-xy-y^{2},
que coincide com o numerador. Portanto
2x^{2}-xy-y^{2}=(x-y)(2x+y).
Passo 3
Com essa fatoração, para pontos com x\neq y e além disso com x+y\neq 0 (para evitar divisão por zero), a expressão da função simplifica-se:
Logo, em qualquer ponto onde x\neq y e x+y\neq 0 vale
f(x,y)=\frac{2x+y}{x+y}.
Agora note que no ponto de interesse (-3,-3) temos (-3)+(-3)=-6\neq 0. Isso significa que existe uma pequena vizinhança de (-3,-3) onde x+y permanece diferente de zero (por exemplo, se \sqrt{(x+3)^2+(y+3)^2}<1 então |x+3|<1 e |y+3|<1, portanto x+y\in(-8,-4) e nunca 0). Assim, ao aproximar (-3,-3) por pontos distintos de (x,y), podemos usar a fórmula simplificada \dfrac{2x+y}{x+y}.
Passo 4
Usando a expressão simplificada e a continuidade das funções polinomiais e das quocientes (sempre que o denominador não seja zero), o limite é o valor obtido por substituição direta:
Aqui usei que, numa vizinhança de (-3,-3) (excluindo eventualmente o próprio ponto), f(x,y)=\dfrac{2x+y}{x+y} e essa função é contínua no ponto porque o denominador em (-3,-3) é diferente de zero.
Passo 5
Agora interpreto esse resultado em termos de continuidade: por definição f é contínua em (-3,-3) se e somente se
\lim_{(x,y)\to(-3,-3)} f(x,y)=f(-3,-3).
Encontramos \lim_{(x,y)\to(-3,-3)} f(x,y)=\dfrac{3}{2} e o enunciado nos diz que f(-3,-3)=\dfrac{3}{2}. Portanto os dois são iguais, logo f é contínua em (-3,-3).