e pede: determinar o maior conjunto de pontos onde f é diferenciável.
Informações relevantes extraídas do enunciado:
A função está explicitamente definida em todos os pontos de \mathbb{R}^{2}.
Para (x,y)\neq(0,0) a expressão é uma razão de polinômios com denominador não nulo.
No ponto (0,0) o valor foi definido como 0.
O que se quer: identificar todos os pontos (x,y) em que f é diferenciável (e justificar).]
Passo 2
Argumento geral para (x,y)\neq(0,0): explicar por que f é diferenciável aí.
Teoria necessária (em palavras simples): uma função obtida por operações algébricas (soma, produto, quociente) de funções polinomiais é diferenciável onde o quociente é bem definido (isto é, onde o denominador é diferente de zero). Isso porque polinômios são infinitamente diferenciáveis e operações básicas preservam diferenciabilidade.
Aplicando ao caso: para (x,y)\neq(0,0) tem-se x^{2}+y^{2}\neq0, logo (x,y)\mapsto x y e (x,y)\mapsto x^{2}+y^{2} são polinômios, e a divisão é bem definida; portanto f é diferenciável (na verdade C^{\infty}) em todo ponto com (x,y)\neq(0,0).
Observação ilustrativa: se quiser calcular derivadas parciais para praticar, por exemplo para (x,y)\neq(0,0) pode usar a regra do quociente:
ou seja, f depende só do ângulo \theta e não do raio r. Isso já dá uma pista: ao aproximar a origem por direções diferentes, f tende a valores diferentes (em geral), porque o valor só depende da direção.
Passo 4
Conclusão sobre continuidade e diferenciabilidade em (0,0).
Lembrete teórico curto e importante: se uma função é diferenciável num ponto então ela é, em particular, contínua nesse ponto. Logo, para provar que f não é diferenciável em (0,0) basta mostrar que f não é contínua em (0,0).
Teste de limites por retas (método didático simples): aproximar (0,0) pela reta y=m x (com m constante). Para x\neq0,
f(x,mx)=\frac{x\cdot m x}{x^{2}+m^{2}x^{2}}=\frac{m x^{2}}{x^{2}(1+m^{2})}=\frac{m}{1+m^{2}}.
Esse valor não depende de x; portanto, ao aproximar a origem ao longo da reta y=mx a função tende a \dfrac{m}{1+m^{2}}. Como esse limite depende de m, ao escolher direções diferentes obtém-se limites diferentes. Por exemplo:
para m=0 (eixo x) o limite é 0;
para m=1 (reta y=x) o limite é \dfrac{1}{2}.
Como os limites direcionais não coincidem, o limite \lim_{(x,y)\to(0,0)} f(x,y) não existe; portanto f não é contínua em (0,0). Assim f também não pode ser diferenciável em (0,0).
Comentário extra (didático): mesmo que as derivadas parciais em (0,0) existam (e neste caso elas existem e valem zero, cálculo rápido: \partial f/\partial x(0,0)=\lim_{h\to0}\tfrac{f(h,0)-0}{h}=0, e similar para y), isso não garante diferenciabilidade — a continuidade (ou melhor, o comportamento do resto na aproximação linear) é essencial. Aqui a falta de limite único já elimina diferenciabilidade.
Passo 5
Síntese e resposta final lógica: juntando os fatos:
em todo ponto (x,y) com (x,y)\neq(0,0) a função é diferenciável (é uma razão de polinômios com denominador não nulo);
em (0,0) a função não é contínua e, portanto, não é diferenciável.
Logo o maior conjunto de pontos onde f é diferenciável é \mathbb{R}^{2}\setminus\{(0,0)\}.