é convexa ou côncava (no espaço de variáveis (x,y,z), para todos os pontos).
Vou usar as constantes abaixo para simplificar a escrita (peguei essas combinações diretamente do enunciado):
O que nos é pedido: determinar condições (sobre c_1,c_2,c_3,c_4) que garantam convexidade ou concavidade de f (ou, se não for possível, dizer que não é côncava/convexa em geral).
Passo 2
Regra central (fórmula que vamos usar): para uma função g:\mathbb{R}^n\to\mathbb{R} duas vezes diferenciável vale
Explicação simples: a derivada da exponencial traz sempre um fator \exp(g); a segunda derivada gera dois tipos de termos: um que é produto das derivadas primeiras (\nabla g)(\nabla g)^T (sempre matriz semidefinida positiva) e outro que é a Hessiana de g. Portanto, ao somar termos da forma constante vezes \exp(g), a Hessiana de cada parcela é da forma (constante)\times\exp(g)\times(\text{PSD})\,+\,(\text{constante})\times\exp(g)\times(\nabla^2 g). Se a constante multiplicadora for não negativa e \nabla^2 g for PSD, o produto total será PSD e a parcela é convexa; se a constante for não positiva e \nabla^2 g for PSD então a parcela é concava (negativo de convexa). Vou aplicar essa ideia termo a termo.
g_2 é convexa (cada x^4 gera segunda derivada 12x^2\ge0), portanto \exp(g_2) é função convexa de x,y,z e A_2\exp(g_2) é convexa quando A_2\ge0 e concava quando A_2\le0.
g_3=(x-3y)^2+2z^2 é um quadrático que é claramente convexa (é soma de quadrados), portanto \exp(g_3) é convexa; com coeficiente A_3 a parcela é convexa se A_3\ge0 e côncava se A_3\le0.
g_1 é um quadrático com fator B_1. A convexidade de g_1 depende de B_1 e de \alpha,\beta. Em particular, q_1(x,y,z)=x^{2}+\alpha y^{2}+\beta z^{2} é convexa exatamente quando \alpha\ge0 e \beta\ge0. Se q_1 é convexa e B_1\ge0 então g_1 é convexo e \exp(g_1) é convexa; se B_1<0 então g_1 é concavo (escala negativa de um quadrático convexo), mas atenção: \exp(\text{concavo}) não é, em geral, uma função côncava (expõe problemas), então temos que tratar g_1 com cuidado.]
Passo 4
Cálculo rápido das derivadas (mostrando que as matrizes internas são PSD se as condições nas constantes forem adequadas).
Logo a matriz que aparece na fórmula da Hessiana de \exp(g_1) é
\nabla g_1\nabla g_1^{T} + \nabla^2 g_1 =4B_1^{2}\begin{pmatrix}x\\\ \alpha y \\\ \beta z\end{pmatrix}\!\!\begin{pmatrix}x & \alpha y & \beta z\end{pmatrix} +2B_1\operatorname{diag}(1,\alpha,\beta).
O primeiro termo é sempre PSD (é um produto vetor·vetor^T multiplicado por 4B_1^2\ge0).
O segundo termo tem o mesmo sinal de B_1 (escala a matriz diagonal). Assim, se B_1\ge0 e \alpha\ge0,\beta\ge0, então \nabla g_1\nabla g_1^{T} + \nabla^2 g_1 é soma de PSDs, logo PSD para todo (x,y,z). Então \exp(g_1) é convexa.
Então \nabla g_2\nabla g_2^{T} + \nabla^2 g_2 é soma de uma matriz de tipo vetor·vetor (PSD) com uma diagonal com entradas \ge0; portanto é PSD para todo (x,y,z). Assim \exp(g_2) é convexa, e A_2\exp(g_2) será convexa se A_2\ge0 e côncava se A_2\le0 (pois multiplicar por número negativo inverte o sinal da Hessiana).
e \nabla^2 g_3 é PSD (é a matriz do soma de quadrados). Logo \nabla g_3\nabla g_3^{T} + \nabla^2 g_3 é PSD sempre; assim \exp(g_3) é convexa e A_3\exp(g_3) segue o mesmo raciocínio de sinal que para g_2.
Passo 5
Condição suficiente para convexidade (e porque é natural):
Se todas as parcelas que compõem f são convexas, então f (soma delas) é convexa. Pelos cálculos:
a parcela \exp(g_1) é convexa se B_1\ge0 e \alpha\ge0 e \beta\ge0, isto é, seB_1 = c_{1}+c_{3}+c_{4}+5 \ge 0,\qquad c_{2}+2 \ge 0,\qquad c_{3}+3 \ge 0.
a parcela A_2\exp(g_2) é convexa se A_2\ge0, isto éA_2 = c_{1}+c_{2}+5 \ge 0.
a parcela A_3\exp(g_3) é convexa se A_3\ge0, isto éA_3 = c_{3}+c_{4}+7 \ge 0.
Portanto, se todas as cinco desigualdades acima forem satisfeitas simultaneamente, cada parcela tem Hessiana PSD e, como a soma de matrizes PSD é PSD, a Hessiana de f é PSD em todo \mathbb{R}^3. Conclusão: essas condições são suficientes para f ser convexa.
Passo 6
Discussão sobre concavidade (quando pode ou não acontecer):
Note que a primeira parcela tem coeficiente exterior igual a 1 (sempre positivo): é \exp(g_1). Para que f seja globalmente côncava, cada parcela deve contribuir com Hessiana NÃO-positiva de maneira que a soma seja NSD em todo lugar. Em particular, a parcela \exp(g_1) por si só não pode ser transformada em uma parcela do tipo “negativa de convexa” (porque seu coeficiente exterior é +1): ela é ou convexa ou indefinida quanto a concavidade dependendo de B_1.
Uma observação chave (necessidade): se B_1\neq0 então \exp(B_1 x^2) numa fatia unidimensional (take y=0,z=0) não é côncava globalmente. Exemplo numérico: para a função h(x)=\exp(B_1 x^2) temosh''(x)=\exp(B_1 x^2)\big(4B_1^2 x^2 + 2B_1\big).Se B_1\neq0 esse termo torna-se positivo para x suficientemente grande (porque o termo 4B_1^2 x^2 domina), portanto h''(x)>0 para tais x e h não é côncava globalmente. Assim, para que exista alguma chance de f ser côncava em todo \mathbb{R}^3 é necessário ter B_1=0 (caso contrário a primeira parcela já impede concavidade global).
Se B_1=0 então a primeira parcela vale a constante \exp(0)=1 e não interfere na concavidade. Nesse caso f reduz-se af(x,y,z)= 1 + A_2\exp(g_2) + A_3\exp(g_3).Como vimos, \exp(g_2) e \exp(g_3) são convexas (sempre), portanto A_2\exp(g_2) e A_3\exp(g_3) são côncavas exatamente quando A_2\le0 e A_3\le0. A soma de funções constantes e de funções côncavas é côncava. Logo, condição suficiente (e natural) para f ser côncava éB_1 = 0,\qquad A_2 \le 0,\qquad A_3 \le 0,i.e.c_{1}+c_{3}+c_{4}+5 = 0,\qquad c_{1}+c_{2}+5\le0,\qquad c_{3}+c_{4}+7\le0.
Resumindo a parte da concavidade: é impossível f ser côncava em todo \mathbb{R}^3 se B_1\neq0. Se B_1=0, então f é côncava exatamente quando A_2\le0 e A_3\le0.
Passo 7
Recapitulando de forma prática e amigável:
Para garantir convexidade global de f basta (e de fato é uma condição natural) exigir que cada parcela seja convexa, o que dá as condições lineares simples em c_i.
Para concavidade global, o termo com coeficiente externo 1 obriga B_1 a ser zero (caso contrário esse termo sozinho já impede concavidade). Quando B_1=0, as outras duas parcelas devem ter coeficientes não-positivos para que a soma seja côncava.
Resposta
A função f é convexa se c_{2}+2 \ge 0,\quad c_{3}+3 \ge 0,\quad c_{1}+c_{3}+c_{4}+5 \ge 0,\quad c_{1}+c_{2}+5 \ge 0,\quad c_{3}+c_{4}+7 \ge 0.
A função f é côncava somente no caso em que c_{1}+c_{3}+c_{4}+5 = 0 e c_{1}+c_{2}+5 \le 0 e c_{3}+c_{4}+7 \le 0.