O que se pede: provar que o conjunto dos pontos onde f é contínua é \mathbb{R}^{2}\setminus\{(0,0)\}.
Informações relevantes:
A função está explicitada por duas fórmulas: uma para pontos diferentes da origem e outra para a origem.
É preciso verificar continuidade em dois tipos de pontos: em um ponto arbitrário (a,b) com (a,b)\neq(0,0) e no ponto (0,0).]
Passo 2
Lembrete didático sobre continuidade (passo-a-passo, sem jargões):
Definição prática: uma função f é contínua em um ponto p se \lim_{(x,y)\to p} f(x,y)=f(p). Ou seja, os valores de f(x,y) para pontos próximos a p ficam arbitrariamente próximos de f(p).
Fatos úteis (aceitos como teoremas básicos, com uma explicação intuitiva):
As projeções (x,y)\mapsto x e (x,y)\mapsto y são contínuas.
Somas, produtos e composições de funções contínuas são contínuas.
Se g e h são contínuas e h(p)\neq 0, então g/h é contínua em p. Intuição: perto de p o denominador não zera, então a divisão faz sentido e varia de forma contínua.
Aplicação a polinômios em duas variáveis: funções como xy e x^{2}+y^{2} são polinômios em x,y e, portanto, contínuas por serem combinações de projeções por soma e produto.
Passo 3
Provar continuidade para um ponto (a,b) com (a,b)\neq(0,0).
Observe que a função para (x,y)\neq(0,0) pode ser escrita como
f(x,y)=\frac{N(x,y)}{D(x,y)},
onde N(x,y)=xy e D(x,y)=x^{2}+y^{2}.
Explicação sobre N e D:
N(x,y)=x\cdot y é produto das projeções x e y, logo N é contínua.
D(x,y)=x^{2}+y^{2} é soma de produtos das projeções, logo D é contínua.
Para o ponto (a,b) dado, como (a,b)\neq(0,0) temos
D(a,b)=a^{2}+b^{2}>0.
Defina m:=D(a,b)>0.
Pela continuidade de D existe \delta_{1}>0 tal que, se \|(x,y)-(a,b)\|<\delta_{1}, então
|D(x,y)-D(a,b)|<\frac{m}{2}.
Isto implica, para tais (x,y),
D(x,y)>D(a,b)-\frac{m}{2}=\frac{m}{2}>0.
Portanto, num vizinhança de (a,b) o denominador não zera, e a expressão N(x,y)/D(x,y) está bem definida nessa vizinhança.
Agora uma estimativa \varepsilon-\delta direta (mostra o procedimento que se faria na prova formal):
Para (x,y) perto de (a,b),
Além disso, na vizinhança escolhida temos D(x,y)\ge m/2, então o denominador é maior ou igual a (m/2)D(a,b).
Assim, dados \varepsilon>0, como N e D são contínuos em (a,b) podemos escolher \delta>0 tal que ambos |N(x,y)-N(a,b)| e |D(x,y)-D(a,b)| fiquem suficientemente pequenos quando \|(x,y)-(a,b)\|<\delta; isso faz a expressão inteira ficar menor que \varepsilon. (A construção explícita de \delta segue diretamente desta desigualdade.)
Conclusão: \lim_{(x,y)\to(a,b)} f(x,y)=f(a,b). Logo f é contínua em todo (a,b)\neq(0,0).
Passo 4
Mostrar que f NÃO é contínua em (0,0).
Para testar continuidade em (0,0) verificamos \lim_{(x,y)\to(0,0)} f(x,y) e comparamos com f(0,0)=0.
Limite ao longo do eixo x (linha y=0):
Se y=0 e x\neq 0, então
f(x,0)=\frac{x\cdot 0}{x^{2}+0^{2}}=0.
Logo ao aproximar (x,0)\to(0,0) obtemos limite 0.
Limite ao longo da reta y=x:
Se y=x e x\neq 0, então
Logo ao aproximar (x,x)\to(0,0) obtemos limite \tfrac{1}{2}.
Como os limites ao longo de duas trajetórias diferentes dão valores diferentes (um dá 0 e outro dá \tfrac{1}{2}), o limite \lim_{(x,y)\to(0,0)} f(x,y) não existe. Em particular não é igual a f(0,0)=0.
Conclusão: f é descontínua em (0,0).
Passo 5
Juntando os resultados:
f é contínua em todo ponto (a,b) com (a,b)\neq(0,0).
f é descontínua em (0,0).
Portanto o conjunto dos pontos de continuidade de f é exatamente \mathbb{R}^{2}\setminus\{(0,0)\}.