e pergunta se f é contínua. Informações relevantes que extraí do enunciado:
A fórmula vale para todos os pontos (x,y) diferentes de (0,0).
Não foi dada explicitamente a definição de f(0,0).
Portanto há duas questões implícitas: (i) f é contínua em pontos (x,y)\neq(0,0)? (ii) existe \lim_{(x,y)\to(0,0)} f(x,y) e, se existir, qual é — assim podemos saber se f pode ser estendida continuamente em (0,0)?
Passo 2
Continuidade em pontos (x,y)\neq(0,0).
Explicação didática: uma razão de polinômios é função contínua onde o denominador é diferente de zero. Aqui o numerador 7x^{3}y+4xy^{3} e o denominador x^{2}+y^{2} são polinômios, e para (x,y)\neq(0,0) temos x^{2}+y^{2}>0. Logo f é contínua em todo ponto (x,y)\neq(0,0).
Passo 3
Preparar a função para estudar o limite em (0,0): fatoração.
Fatoramos o numerador para simplificar e facilitar estimativas:
7x^{3}y+4xy^{3}=xy(7x^{2}+4y^{2}).
Portanto, para (x,y)\neq(0,0),
f(x,y)=\frac{xy(7x^{2}+4y^{2})}{x^{2}+y^{2}}.
Passo 4
Estimativa do módulo de f(x,y). Objetivo: mostrar que f(x,y)\to 0 quando (x,y)\to(0,0).
Agora usamos a desigualdade simples que vem de (x-y)^{2}\ge 0 (ou da AM-GM): para todo x,y,
2|xy|\le x^{2}+y^{2},
ou seja
|xy|\le\frac{x^{2}+y^{2}}{2}.
Combinando as duas desigualdades obtemos
|f(x,y)|\le 7\,|xy|\le \frac{7}{2}(x^{2}+y^{2}).
Passo 5
Conclusão sobre o limite em (0,0).
A estimativa do Passo 4 mostra que, quando (x,y)\to(0,0), o lado direito \frac{7}{2}(x^{2}+y^{2})\to 0. Pelo teorema do confronto (ou encadeamento),
\lim_{(x,y)\to(0,0)} f(x,y)=0.
Isto prova que o limite existe e vale 0.
Passo 6
Interpretação final sobre continuidade.
Como mostrado no Passo 2, f é contínua em todo ponto (x,y)\neq(0,0).
Pelo Passo 5, \lim_{(x,y)\to(0,0)} f(x,y)=0. Se quisermos que f seja contínua também em (0,0), basta definir
f(0,0)=0,
então a função estendida será contínua em todo \mathbb{R}^{2}.
Se a função for considerada apenas com a fórmula dada (sem valor em (0,0)), então ela não está definida em (0,0) e, portanto, a pergunta de continuidade ali depende da definição no ponto. Mas matematicamente podemos afirmar que o limite existe e é 0, permitindo a extensão contínua.
Resposta
f é contínua em todo ponto (x,y)\neq(0,0). \displaystyle \lim_{(x,y)\to(0,0)} f(x,y)=0, logo definindo f(0,0)=0 a função fica contínua em todo \mathbb{R}^2.