O que se pede: mostrar que f é contínua em todo ponto diferente da origem, isto é, provar que para todo ponto (a,b) com (a,b)\neq(0,0) vale
\lim_{(x,y)\to(a,b)} f(x,y)=f(a,b).
Informações dadas que vamos usar:
A expressão explícita de f para (x,y)\neq(0,0).
Em qualquer ponto (a,b)\neq(0,0) temos a^{4}+b^{2}>0 (logo o denominador aí é estritamente positivo).]
Passo 2
Lembrete prático (definição e fatos que vamos usar):
Definição de continuidade num ponto: uma função F é contínua em (a,b) se \lim_{(x,y)\to(a,b)}F(x,y)=F(a,b).
Fatos básicos sobre funções polinomiais e operações: polinômios (e somas, produtos) são contínuos; se U e V são contínuos e V(a,b)\neq0, então a função (x,y)\mapsto U(x,y)/V(x,y) é contínua em (a,b). Vou demonstrar esse fato com um argumento tipo \varepsilon-\delta aplicado ao nosso caso, para que fique bem claro como usar no exame.
Aqui convém separar f em duas partes: a constante 3 (que é contínua) e a parte racional
g(x,y)=\frac{6x^{2}y}{x^{4}+y^{2}}.
Se eu mostrar que g é contínua em (a,b) então f=g+3 também será contínua em (a,b).
Passo 3
Escolha de um ponto arbitrário fora da origem e análise do denominador.
Seja (a,b) tal que (a,b)\neq(0,0). Defina
U(x,y)=6x^{2}y,\qquad V(x,y)=x^{4}+y^{2}.
Observe que U e V são polinômios em x,y, logo são contínuos em toda parte. Em particular, definimos
Como (a,b)\neq(0,0) temos V_{0}>0. Por continuidade de V existe um raio \delta_{1}>0 tal que, sempre que \sqrt{(x-a)^{2}+(y-b)^{2}}<\delta_{1},
|V(x,y)-V_{0}|<\frac{V_{0}}{2}.
Isto implica, para tais (x,y), que
V(x,y)>V_{0}-\frac{V_{0}}{2}=\frac{V_{0}}{2}>0.
Assim perto de (a,b) o denominador nunca se anula e, melhor ainda, fica limitado abaixo por V_{0}/2. Esse é o passo importante para poder dividir por V(x,y) sem sustos.
Passo 4
Prova \varepsilon-\delta de continuidade de g em (a,b).
Queremos mostrar: para todo \varepsilon>0 existe \delta>0 tal que se \sqrt{(x-a)^{2}+(y-b)^{2}}<\delta então
Agora vêm escolhas explícitas de \delta. Como U e V são contínuos em (a,b), existem \delta_{2}>0 e \delta_{3}>0 tais que sempre que \sqrt{(x-a)^{2}+(y-b)^{2}}<\delta_{2} temos
|U(x,y)-U_{0}|<\frac{\varepsilon V_{0}}{4},
e sempre que \sqrt{(x-a)^{2}+(y-b)^{2}}<\delta_{3} temos
Se U_{0}=0 então o segundo termo já é nulo e não exige controle extra; se U_{0}\neq0 a escolha acima é válida. Tome
\delta=\min\{\delta_{1},\delta_{2},\delta_{3}\}
(com a convenção de que, se U_{0}=0, não é necessário usar \delta_{3}). Para \sqrt{(x-a)^{2}+(y-b)^{2}}<\delta as duas desigualdades acima valem, e então, pela estimativa anterior,
Isso demonstra que \lim_{(x,y)\to(a,b)} g(x,y)=g(a,b), ou seja, g é contínua em (a,b). Como f=g+3 e somar uma constante preserva continuidade, concluímos que f é contínua em (a,b).
Passo 5
Conclusão geral e comentário final.
Como (a,b)\neq(0,0) foi escolhido de forma arbitrária, o argumento acima mostra que f é contínua em todo ponto do plano exceto possivelmente na origem. (O enunciado pedia exatamente isso: mostrar continuidade exceto na origem.) Se for necessário analisar a origem separadamente, isto é outro problema (investigar \lim_{(x,y)\to(0,0)} f(x,y) e comparar com f(0,0)=0), mas aqui encerramos mostrando continuidade em qualquer (a,b)\neq(0,0).
Resposta
A função f é contínua em todo ponto (x,y) tal que (x,y)\neq(0,0).