Expliquei a escolha porque é a forma mais comum em cursos de análise/EDO/transformadas e porque o enunciado não dá outra convenção. Se outra normalização fosse exigida, multiplicadores constantes teriam que aparecer no resultado.
Passo 3
Como f(x)=0 para x>k, a integral sobre [0,\infty) reduz-se a uma integral sobre [0,k]. Assim
\hat{f}_{c}(w)=\int_{0}^{k} x\cos(w x)\,dx.
Isto simplifica bastante: temos uma integral de uma função polinomial vezes cosseno em intervalo finito.
Passo 4
Para calcular \displaystyle \int_{0}^{k} x\cos(w x)\,dx uso integração por partes. Lembrete da fórmula de integração por partes: para funções u(x) e v(x),
\int u\,dv = u v - \int v\,du.
Escolho u=x (então du=dx) e dv=\cos(w x)\,dx. Então v é uma primitiva de \cos(w x):
v=\frac{\sin(w x)}{w}\quad\text{(válido para }w\neq 0\text{)}.
Consistência: tomando o limite da expressão para w\to 0 obtém-se o mesmo valor \dfrac{k^{2}}{2}, portanto a expressão estendida por continuidade está correta.
Passo 7
Resumo interpretativo breve (como usar na prova): quando a função tem suporte compacto em [0,k], a transformada cosseno é simplesmente a integral de x\cos(wx) de 0 a k. A técnica padrão é integração por partes (escolher u como a parte polinomial x e dv como a parte trigonométrica). Não esquecer de tratar w=0 separadamente (ou verificar o limite).