O que se pede: discutir a continuidade de f em todo \mathbb{R}^{2}.
Informações relevantes fornecidas:
A expressão racional \dfrac{x-3y}{x^{2}+y^{2}} está definida quando x^{2}+y^{2}\neq 0, isto é, em todos os pontos (x,y)\neq(0,0).
Em (0,0) a função é definida por valor explícito f(0,0)=0.
O objetivo é verificar, ponto a ponto, se f é contínua: primeiro em pontos (x,y)\neq(0,0) e depois em (0,0).]
Passo 2
Lembrete didático (definição de continuidade em um ponto): uma função g é contínua em um ponto a se
\lim_{x\to a} g(x)=g(a).
No nosso caso, para um ponto (x_{0},y_{0}) devemos verificar se
Para (x_{0},y_{0})\neq(0,0) usar que soma, produto e quociente (quando denominador não é zero) de funções contínuas são contínuas.
Para (0,0) calcular o limite \lim_{(x,y)\to(0,0)} \dfrac{x-3y}{x^{2}+y^{2}}. Se esse limite existir e for igual a 0, então f será contínua em (0,0); caso contrário, será descontínua aí. Uma maneira prática de testar existência de limite em duas variáveis é verificar limites por diferentes trajetórias (linhas, por exemplo): se os limites por duas trajetórias coincidem e são finitos, é um indicativo (não prova definitiva) de existência; se encontrarmos duas trajetórias com limites diferentes (ou uma delas diverge), concluímos que o limite não existe.
Passo 3
Continuidade em (x,y)\neq(0,0).
Explicação didática: as funções coordenadas x\mapsto x e y\mapsto y são contínuas; as combinações polinomiais como x-3y e x^{2}+y^{2} são contínuas; o quociente de duas funções contínuas é contínuo onde o denominador é diferente de zero.
Aplicação: para qualquer (x_{0},y_{0})\neq(0,0) tem-se x_{0}^{2}+y_{0}^{2}>0, logo a expressão \dfrac{x-3y}{x^{2}+y^{2}} é quociente de funções contínuas com denominador não nulo naquele ponto. Portanto f é contínua em todo ponto (x_{0},y_{0})\neq(0,0).
Passo 4
Análise do ponto (0,0): calcular \lim_{(x,y)\to(0,0)} \dfrac{x-3y}{x^{2}+y^{2}} por trajetórias.
Trajetória 1 — reta y=\tfrac{1}{3}x.
Substituindo y=\tfrac{1}{3}x (com x\neq0) na expressão:
Portanto, ao aproximar (x,y) de (0,0) pela reta y=\tfrac{1}{3}x, o valor de f(x,y) é identicamente 0 (para x\neq0), logo o limite ao longo dessa trajetória é 0.
Ao tomar x\to 0^{+} obtemos \dfrac{1}{x}\to +\infty e ao tomar x\to 0^{-} obtemos \dfrac{1}{x}\to -\infty. Em qualquer caso, não há convergência a um número finito ao aproximar pela reta y=0; a expressão é não limitada e não tende a 0.
Passo 6
Conclusão sobre o limite em (0,0).
Temos duas observações incompatíveis:
Pela trajetória y=\tfrac{1}{3}x o valor de f(x,y) tende a 0.
Pela trajetória y=0 os valores de f(x,y) divergem (não têm limite finito).
Como os limites ao longo de trajetórias diferentes não coincidem (de fato um diverge), o limite \lim_{(x,y)\to(0,0)} \dfrac{x-3y}{x^{2}+y^{2}} não existe como número finito. Logo não é igual a f(0,0)=0. Pela definição de continuidade, f não é contínua em (0,0).
Passo 7
Resumo final (interpretação prática):
f é contínua em todo ponto (x,y) com (x,y)\neq(0,0) por ser quociente de funções polinomiais com denominador não nulo.
f é descontínua em (0,0) porque o limite \lim_{(x,y)\to(0,0)} f(x,y) não existe (trajetórias diferentes dão comportamentos diferentes, uma dá 0, outra diverge).
Resposta
f é contínua em \mathbb{R}^{2}\setminus\{(0,0)\} e descontínua em (0,0).