As informações relevantes são a fórmula para (x,y)\neq(0,0) e o valor f(0,0)=0.]
Passo 2
Lembrete importante (definição e consequência que vou usar).
Dizemos que f é diferenciável em um ponto a=(a_1,a_2) se existe uma aplicação linear (no caso de \mathbb{R}^2 é um produto escalar com o gradiente) L:\mathbb{R}^2\to\mathbb{R} tal que
Uma consequência imediata é que se f é diferenciável em a então f é contínua em a. Portanto, se mostrarmos que f NÃO é contínua em a, já concluímos que não é diferenciável lá.
Vou usar essa consequência para o caso (0,0), e para pontos distintos de zero usarei que quocientes de polinômios com denominador não nulo são funções suaves.
Passo 3
Verificar continuidade (e portanto diferenciabilidade) em (0,0) por um caminho simples.
Considere a reta y=x. Para t\neq0 temos
Portanto f não é contínua em (0,0). Pelo item anterior, não pode ser diferenciável em (0,0).
Passo 4
Comentário didático extra (por que às vezes confundem com derivadas parciais): mesmo que as derivadas parciais em (0,0) existam, isso não garante diferenciabilidade. Vamos calcular as derivadas parciais em (0,0) para ver essa sutileza.
Portanto as derivadas parciais em (0,0) existem e valem zero; contudo, já vimos que f não é contínua (e portanto não diferenciável) em (0,0). Isso ilustra que existência de derivadas parciais isoladas não implica diferenciabilidade.
Passo 5
Outra forma de ver a falha da linearidade (intuição): se f fosse diferenciável em (0,0) com diferencial dada por \nabla f(0,0)=(0,0) (já que as parciais são zero), então qualquer derivada direcional teria que ser zero. Mas ao aproximar por uma reta y=mx (com m\neq 0) obtemos para t\neq0
que é uma constante não nula quando m\neq0. Assim \lim_{t\to 0}f(t,mt)\neq 0, e a razão \dfrac{f(t,mt)-0}{t} não tende a zero (na verdade diverge), contradizendo a linearização esperada. Isso reforça que f não é diferenciável em (0,0).
Passo 6
Agora tratar o caso (x,y)\neq(0,0). Para pontos fora da origem a expressão
f(x,y)=\frac{xy}{x^{2}+y^{2}}
é um quociente de polinômios cujo denominador x^{2}+y^{2} é estritamente positivo quando (x,y)\neq(0,0). Funções polinomiais são C^{\infty} e, onde o denominador não se anula, o quociente é também C^{\infty} (aplicando a regra do quociente). Portanto f é diferenciável em todo ponto (x,y)\neq(0,0).
Passo 7
Para concretizar, calculemos as derivadas parciais em um ponto (x,y)\neq(0,0) usando a regra do quociente. Fazendo as contas:
Essas expressões são funções racionais com denominador positivo e contínuas em qualquer ponto com x^{2}+y^{2}\neq0. Assim o gradiente existe e é contínuo fora da origem, o que garante diferenciabilidade lá.
Resposta
f não é diferenciável em (0,0).\nf é diferenciável em todo ponto (x,y)\neq(0,0).