O que nos pedem: determinar os pontos de continuidade de f (ou seja, para quais pontos (x,y) existe e é igual o limite de f(x,y) quando (x,y) tende ao ponto).
Informações relevantes fornecidas:
A expressão para (x,y)\neq(0,0) é uma razão de polinômios com denominador x^{4}+y^{4}.
A definição em (0,0) é f(0,0)=0.]
Passo 2
Primeiro vamos tratar todos os pontos (x_0,y_0) com (x_0,y_0)\neq(0,0).
Observação útil (fato que vou usar): polinômios em variáveis reais são funções contínuas; produtos e somas de funções contínuas são contínuas; a razão \dfrac{g}{h} é contínua onde h é diferente de zero.
No nosso caso, para qualquer ponto (x_0,y_0)\neq(0,0) tem-se
x_0^{4}+y_0^{4}>0,
porque t^{4}\ge0 para todo t, e a soma só é zero se ambos são zero. Como o denominador é estritamente positivo em (x_0,y_0), existe uma vizinhança de (x_0,y_0) onde o denominador também não se anula. Logo a função
(x,y)\mapsto \frac{x^{2}y}{x^{4}+y^{4}}
é razão de funções polinomiais contínuas com denominador não nulo nessa vizinhança, portanto é contínua em (x_0,y_0).
Conclusão desta etapa: f é contínua em todo ponto (x,y) com (x,y)\neq(0,0).
Passo 3
Agora vamos investigar a continuidade em (0,0). Para isso precisamos estudar o limite
\lim_{(x,y)\to(0,0)} \frac{x^{2}y}{x^{4}+y^{4}}
e ver se é igual a f(0,0)=0.
Lembrete sobre limite por caminhos: se existem dois caminhos distintos que levam ao mesmo ponto e os limites das restrições da função a esses caminhos são diferentes, então o limite total não existe.
Vou calcular o valor de f ao longo de dois caminhos específicos.
Passo 4
Caminho 1: eixo x (ou seja, y=0).
Para y=0 e x\neq0 temos
f(x,0)=\frac{x^{2}\cdot 0}{x^{4}+0}=0.
Portanto
\lim_{x\to 0} f(x,0)=0.
Assim, ao aproximar (0,0) pelo eixo x o valor tende a 0.
Como os dois caminhos deram limites diferentes ao aproximar (0,0) — pelo eixo x o limite vale 0, e pela curva y=x^{2} o limite vale 1 — o limite total
\lim_{(x,y)\to(0,0)} \frac{x^{2}y}{x^{4}+y^{4}}
não existe. Em particular não é igual a f(0,0)=0. Portanto f é descontínua em (0,0).
Resposta
A função f é contínua em todos os pontos (x,y) tais que (x,y)\neq(0,0) e é descontínua em (0,0). Ou seja, o conjunto de continuidade é \mathbb{R}^{2}\setminus\{(0,0)\}.