O domínio onde queremos estudar integrabilidade é a região B dada por
B:\; x^{2}+y^{2}\leq 2x.
O enunciado pede para estudar a integrabilidade de f em B. Ou seja, decidir se f é integrável em B (interpreto aqui como integrabilidade de Riemann em \mathbb{R}^2; comentarei também sobre integrabilidade de Lebesgue).
Informações úteis que extraí do enunciado:
A função é composta por \cos de 1/(x^{2}-2x-y) quando o denominador não é zero, e é definida igual a 0 exatamente na curva onde x^{2}-2x-y=0.
A região B é o disco centrado em (1,0) de raio 1 (porque x^{2}+y^{2}\le 2x equivale a (x-1)^{2}+y^{2}\le 1). Logo B é compacto e tem área finita.]
Passo 2
Entender onde f é contínua e onde pode ser descontínua.
Se x^{2}-2x-y\neq 0, então a expressão \dfrac{1}{x^{2}-2x-y} é bem definida e é função contínua dessa variável; compose com \cos que é contínua → f é contínua nesses pontos.
Logo possíveis pontos de descontinuidade só podem ocorrer na curva
E=\{(x,y)\in B:\; x^{2}-2x-y=0\}.
Em muitos exercícios parecidos, pontos onde aparece \cos(1/t) com t\to 0 geram oscilações sem limite, então devemos verificar o comportamento de f ao aproximar pontos de E.
Passo 3
Mostrar que em cada ponto de E a função é de fato descontínua (i.e., o limite não existe e portanto há descontinuidade).
Tome um ponto qualquer (x_0,y_0)\in E, então x_0^{2}-2x_0-y_0=0.
Considere uma sequência de pontos (x_n,y_n) em que x_n^{2}-2x_n-y_n=t_n\neq 0 e t_n\to 0. Então nos pontos (x_n,y_n) vale f(x_n,y_n)=\cos(1/t_n).
É conhecido (e fácil de ver) que a função g(t)=\cos(1/t) não tem limite quando t\to 0: pode-se escolher t_n de modo que 1/t_n = n\pi (onde \cos vale \pm 1) ou 1/t_n = \pi/2 + 2n\pi (onde \cos vale 0), obtendo limites distintos. Assim \cos(1/t_n) não converge para um único valor quando t_n\to 0.
Portanto, ao aproximar qualquer (x_0,y_0)\in E por pontos fora de E (onde a fórmula com \cos vale), f oscila e não tem limite. Já que f(x_0,y_0)=0, a falta de limite implica que f é descontínua em todo ponto de E.
Passo 4
Identificar a natureza geométrica do conjunto de descontinuidade E e estimar sua “medida”.
Reescrevendo a equação de E:
x^{2}-2x-y=0 \quad\Longleftrightarrow\quad y = x^{2}-2x.
Observe que o disco B tem projeção no eixo x dada por x\in[0,2] (já que (x-1)^{2}+y^{2}\le 1 \Rightarrow (x-1)^{2}\le1 \Rightarrow x\in[0,2]). Logo
E \subset \{(x,y): x\in[0,2],\; y=x^{2}-2x\}.
Assim E é contido no gráfico da função contínua h(x)=x^{2}-2x restrita ao intervalo compacto [0,2]. Em particular E é uma curva suave (imagem do intervalo por uma função C^\infty).
Passo 5
Mostrar que E tem medida (área) zero em \mathbb{R}^2.
Explicação didática do porquê um gráfico suave sobre um intervalo tem área zero (argumento construtivo, que dá intuição para a prova):
A função h(x)=x^{2}-2x é diferenciável no intervalo [0,2]; seu derivado é h'(x)=2x-2, que é limitado em [0,2]. Assim h é Lipschitz localmente e, sobre [0,2], tem constante de Lipschitz L=\max_{[0,2]}|h'(x)| finita.
Divida o intervalo [0,2] em n subintervalos de comprimento \Delta x=2/n. Em cada subintervalo a variação em y do gráfico é no máximo L\Delta x. Então cada pedaço do gráfico fica dentro de um retângulo de área \Delta x\cdot (L\Delta x)=L(\Delta x)^2.
Somando os n retângulos, a área total que cobre o gráfico fica \le n\cdot L(\Delta x)^2 = n\cdot L(2/n)^2 = 4L/n.
Fazendo n\to\infty essa soma tende a 0. Assim, para qualquer \varepsilon>0 existe cobertura por retângulos cuja área total é <\varepsilon. Isso é precisamente a definição de conjunto de medida (área) zero em \mathbb{R}^2.
Conclusão: E tem medida nula (área zero) em \mathbb{R}^2.
Passo 6
Aplicar o critério de integrabilidade (Riemann) em \mathbb{R}^2.
Vou enunciar a ferramenta que usamos (e explicá-la):
Teorema (critério de Lebesgue para Riemann integrabilidade em \mathbb{R}^2): se D é um conjunto limitado e bem comportado (por exemplo um conjunto Jordan-mensurável, como um disco fechado) e g é uma função limitada em D, então g é Riemann integrável em D se, e somente se, o conjunto dos pontos de descontinuidade de g tem medida zero em \mathbb{R}^2.
Agora aplicando ao nosso caso:
O conjunto B é compacto (disco fechado) e tem fronteira de medida zero, logo é adequado para o critério.
A função f é limitada (de fato |f(x,y)|\le 1 sempre, visto que \cos está entre -1 e 1 e no lugar onde definiram 0 também está entre -1 e 1).
Mostramos que os únicos pontos de descontinuidade são os pontos de E e que E tem medida zero.
Portanto, pelo critério, f é Riemann integrável sobre B.
Passo 7
Comentário adicional (sobre integrabilidade de Lebesgue) e observação prática.
Porque f é limitada e é contínua quase em todo lugar (descontínua só em conjunto de medida zero), f também é Lebesgue mensurável e integrável no sentido de Lebesgue em B. Além disso, o integral de Riemann coincide com o integral de Lebesgue para funções limitadas que são Riemann integráveis.
Na prática, para calcular o valor do integral seria necessário integrar uma função oscilante; mas a questão apenas pedia estudar a integrabilidade, não calcular o integral. O que é importante na prova é saber usar o critério de que descontinuidades em conjunto de medida zero garantem integrabilidade.
Resposta
A função f é Riemann integrável em B (e portanto também Lebesgue integrável).