Uma pesquisadora deseja comparar o desempenho de três modelos de inteligência artificial utilizados para prever a produção agrícola: um modelo de Regressão Linear (RL), um modelo Random Forest (RF) e uma Rede Neural Artificial (RNA). Para cada modelo, foram obtidos valores do erro quadrático médio (MSE) em 6 execuções independentes:
RL: 12.5, 13.1, 12.8, 13.4, 12.9, 13.2
RF: 10.2, 9.8, 10.5, 10.1, 9.9, 10.3
RNA: 8.9, 9.4, 9.1, 9.3, 9.0, 9.2
Utilizando uma ANOVA de uma via, responda:
(a) Formule as hipóteses do teste para comparar o desempenho médio dos três modelos de IA.
(b) Construa a tabela ANOVA (SQTrat, SQRes, QM, F).
(c) Ao nível de significância de 5%, conclua qual modelo apresenta desempenho significativamente melhor.

Passo 1

O enunciado dá as observações do erro quadrático médio (MSE) em 6 execuções independentes para cada um dos três modelos. As perguntas são:
(a) Formular as hipóteses do teste ANOVA unifatorial para comparar as médias dos três modelos.
(b) Construir a tabela ANOVA com soma dos quadrados do tratamento (SQTrat), soma dos quadrados do resíduo (SQRes), quadrados médios (QM) e estatística F.
(c) Ao nível de significância de 5\%, concluir qual modelo apresenta desempenho significativamente melhor (menor MSE).
Dados fornecidos:
  • Regressão Linear (RL): 12{,}5,\;13{,}1,\;12{,}8,\;13{,}4,\;12{,}9,\;13{,}2
  • Random Forest (RF): 10{,}2,\;9{,}8,\;10{,}5,\;10{,}1,\;9{,}9,\;10{,}3
  • Rede Neural Artificial (RNA): 8{,}9,\;9{,}4,\;9{,}1,\;9{,}3,\;9{,}0,\;9{,}2
Tamanhos: k=3 grupos, n_i=6 observações em cada grupo, total N=18.
A resolução começa a partir do Passo 2.

Passo 2

Calcular as médias de cada grupo e a média geral. Lembre que a média de um grupo é a soma das observações dividida pelo número de observações do grupo; a média geral é a soma de todas as observações dividida por N.
Cálculos:
  • Soma e média do grupo RL: \text{soma}_{\text{RL}} = 12{,}5+13{,}1+12{,}8+13{,}4+12{,}9+13{,}2 = 77{,}9
\bar{x}_{\text{RL}} = \frac{77{,}9}{6}=12{,}983333\ldots
  • Soma e média do grupo RF: \text{soma}_{\text{RF}} = 10{,}2+9{,}8+10{,}5+10{,}1+9{,}9+10{,}3 = 60{,}8
\bar{x}_{\text{RF}} = \frac{60{,}8}{6}=10{,}133333\ldots
  • Soma e média do grupo RNA: \text{soma}_{\text{RNA}} = 8{,}9+9{,}4+9{,}1+9{,}3+9{,}0+9{,}2 = 54{,}9
\bar{x}_{\text{RNA}} = \frac{54{,}9}{6}=9{,}150000
  • Média geral: \text{soma}_{\text{total}} = 77{,}9+60{,}8+54{,}9 = 193{,}6
\bar{x}_{\text{geral}} = \frac{193{,}6}{18}=10{,}755555\ldots
Interpretação prática: as médias indicam que a RNA tem a menor média de MSE ( 9{,}15), seguida por RF ( \approx 10{,}13) e RL ( \approx 12{,}98). Mas ainda precisamos do teste ANOVA para saber se essas diferenças são estatisticamente significativas.

Passo 3

Explicar e calcular a soma dos quadrados entre grupos (SQTrat). Conceito: SQTrat mede a variabilidade entre as médias dos grupos em relação à média geral. Fórmula:
\text{SQTrat}=\sum_{i=1}^{k} n_i\left(\bar{x}_i-\bar{x}_{\text{geral}}\right)^2.
Aqui n_i=6 para todos os grupos.
Cálculos para cada grupo:
  • Para RL: \bar{x}_{\text{RL}}-\bar{x}_{\text{geral}}=12{,}983333\ldots-10{,}755555\ldots=2{,}227777\ldots
6\cdot(2{,}227777\ldots)^2 \approx 6\cdot4{,}9648765432 \approx 29{,}7892592592
  • Para RF: \bar{x}_{\text{RF}}-\bar{x}_{\text{geral}}=10{,}133333\ldots-10{,}755555\ldots=-0{,}622222\ldots
6\cdot(-0{,}622222\ldots)^2 \approx 6\cdot0{,}3873950617 \approx 2{,}3243703704
  • Para RNA: \bar{x}_{\text{RNA}}-\bar{x}_{\text{geral}}=9{,}150000-10{,}755555\ldots=-1{,}605555\ldots
6\cdot(-1{,}605555\ldots)^2 \approx 6\cdot2{,}5793858025 \approx 15{,}4763148150
Somando:
\text{SQTrat} \approx 29{,}7892592592+2{,}3243703704+15{,}4763148150 \approx 47{,}5899444446.
Arredondando para três casas decimais: \text{SQTrat}\approx 47{,}5899.

Passo 4

Explicar e calcular a soma dos quadrados residuais (SQRes). Conceito: SQRes (também chamada SSE) mede a variabilidade dentro de cada grupo, isto é, quão espalhados estão os valores em torno das respectivas médias de grupo. Fórmula geral para um grupo:
\text{SQ}_{\text{grupo}}=\sum_{j=1}^{n_i}(x_{ij}-\bar{x}_i)^2,
e \text{SQRes}=\sum_{i=1}^k \text{SQ}_{\text{grupo}}.
Calcular para cada grupo (mostrando os desvios e quadrados, para aprender a fazer na prova):
  • RL (média 12{,}983333\ldots):
    Desvios e quadrados: 12{,}5-\bar{x}_{\text{RL}}=-0{,}483333\ldots,\;(-0{,}483333\ldots)^2\approx0{,}233600
13{,}1-\bar{x}_{\text{RL}}=0{,}116666\ldots,\;(0{,}116666\ldots)^2\approx0{,}013611
12{,}8-\bar{x}_{\text{RL}}=-0{,}183333\ldots,\;(\cdot)^2\approx0{,}033611
13{,}4-\bar{x}_{\text{RL}}=0{,}416666\ldots,\;(\cdot)^2\approx0{,}173611
12{,}9-\bar{x}_{\text{RL}}=-0{,}083333\ldots,\;(\cdot)^2\approx0{,}006944
13{,}2-\bar{x}_{\text{RL}}=0{,}216666\ldots,\;(\cdot)^2\approx0{,}046944
Soma dos quadrados do grupo RL:
\text{SQ}_{\text{RL}}\approx0{,}233600+0{,}013611+0{,}033611+0{,}173611+0{,}006944+0{,}046944\approx0{,}508321
  • RF (média 10{,}133333\ldots):
    Desvios e quadrados (resumo):
    \text{SQ}_{\text{RF}}\approx0{,}004444+0{,}111111+0{,}134444+0{,}001111+0{,}054444+0{,}027778\approx0{,}333332
  • RNA (média 9{,}150000):
    Desvios e quadrados (resumo):
    \text{SQ}_{\text{RNA}}\approx0{,}0625+0{,}0625+0{,}0025+0{,}0225+0{,}0225+0{,}0025\approx0{,}175000
Somando as 3 contribuições:
\text{SQRes} \approx 0{,}508321+0{,}333332+0{,}175000 \approx 1{,}016653.
Arredondando: \text{SQRes}\approx 1{,}0167.
Observação didática: na prova, calcule os desvios x_{ij}-\bar{x}_i, eleve ao quadrado, some; faça para cada grupo; some os grupos para obter a variabilidade dentro dos grupos.

Passo 5

Montar a tabela ANOVA e calcular os quadrados médios e estatística F.
Graus de liberdade:
\text{df}_{\text{trat}}=k-1=3-1=2,
\text{df}_{\text{res}}=N-k=18-3=15,
\text{df}_{\text{total}}=N-1=17.
Quadrados médios:
\text{QM}_{\text{trat}}=\frac{\text{SQTrat}}{\text{df}_{\text{trat}}} \approx \frac{47{,}589944}{2}\approx 23{,}794972
\text{QM}_{\text{res}}=\frac{\text{SQRes}}{\text{df}_{\text{res}}} \approx \frac{1{,}016653}{15}\approx 0{,}0677769
Estatística F:
F=\frac{\text{QM}_{\text{trat}}}{\text{QM}_{\text{res}}}\approx\frac{23{,}794972}{0{,}0677769}\approx351{,}13.
Tabela ANOVA (valores aproximados, arredondados):
  • SQTrat \approx 47{,}5899, df =2, QM \approx 23{,}7950
  • SQRes \approx 1{,}0167, df =15, QM \approx 0{,}0678
  • SQTotal \approx 48{,}6066, df =17
Comparação com valor crítico: para \alpha=0{,}05, F_{(2,15),0{,}05}\approx 3{,}68. Nossa estatística F\approx 351{,}13 é muito maior que 3{,}68, portanto rejeitamos a hipótese nula (ver Passo 6 para detalhar).

Passo 6

Interpretação do resultado ANOVA e comparação entre pares (post-hoc). Explicação didática: o teste ANOVA indica se há evidência de diferenças entre as médias dos grupos, porém não diz quais pares diferem. Para saber isso, fazemos comparações pareadas. Como as amostras têm variância estimada comum (usamos a QM residual como estimativa da variância comum), podemos usar o erro padrão da diferença de médias e fazer testes t pareados entre médias de grupos (ou fazer Tukey HSD). Vou usar o teste pareado com variância pooled (equivalente ao procedimento de comparações múltiplas com correção: as estatísticas serão tão grandes que são significantes mesmo com correções).
Erro padrão da diferença entre duas médias (mesmo n em cada grupo) é:
\text{SE}_{\text{dif}}=\sqrt{\text{QM}_{\text{res}}\left(\frac{1}{n_i}+\frac{1}{n_j}\right)}.
Como n_i=n_j=6,
\text{SE}_{\text{dif}}=\sqrt{\text{QM}_{\text{res}\,}\cdot\frac{2}{6}}=\sqrt{\text{QM}_{\text{res}}\cdot\frac{1}{3}}.
Substituindo \text{QM}_{\text{res}}\approx0{,}0677769,
\text{SE}_{\text{dif}}\approx\sqrt{0{,}0677769\cdot\frac{1}{3}}\approx\sqrt{0{,}0225923}\approx0{,}150306.
Diferenças de médias e estatísticas t (diferença dividida por \text{SE}_{\text{dif}}):
  • RL vs RF: \bar{x}_{\text{RL}}-\bar{x}_{\text{RF}}=12{,}983333\ldots-10{,}133333\ldots=2{,}850000
t\approx\frac{2{,}85}{0{,}150306}\approx18{,}95
  • RL vs RNA: \bar{x}_{\text{RL}}-\bar{x}_{\text{RNA}}=12{,}983333\ldots-9{,}15=3{,}833333
t\approx\frac{3{,}833333}{0{,}150306}\approx25{,}50
  • RF vs RNA: \bar{x}_{\text{RF}}-\bar{x}_{\text{RNA}}=10{,}133333\ldots-9{,}15=0{,}983333
t\approx\frac{0{,}983333}{0{,}150306}\approx6{,}54
Comparação com um critério: para \alpha=0{,}05 mesmo se aplicarmos uma correção conservadora (Bonferroni), teríamos nível por teste \alpha'=\frac{0{,}05}{3}\approx0{,}0167; o valor crítico t_{(15,\,\alpha'/2)} fica em torno de 2{,}6. Todas as três estatísticas t são muito superiores a esse valor crítico. Logo, todas as diferenças pareadas são estatisticamente significativas a 5\%.
Conclusão prática do Passo 6: a média da RNA é significativamente menor que a média da RF e da RL; a média da RF é significativamente menor que a média da RL. Em termos de desempenho (menor MSE = melhor desempenho), a RNA apresenta desempenho significativamente melhor que os outros dois; RF é intermediário e também significativamente melhor que RL.

Passo 7

Resumo interpretativo e incentivo: rejeitamos a hipótese de igualdade das médias; os resultados mostram diferenças grandes entre os modelos comparadas com a variabilidade interna das execuções — por isso a estatística F ficou enorme. A melhor escolha (menor MSE) é a RNA, de forma estatisticamente significativa. Parabéns: com esses cálculos você consegue mostrar na prova que a diferença não é só aparência — é estatisticamente real.

Resposta

(a) H_0:\\ \mu_{\text{RL}}=\mu_{\text{RF}}=\mu_{\text{RNA}} \n H_1: pelo menos uma média é diferente.
(b) \text{SQTrat}\approx47{,}5899,\\ \text{df}=2,\\ \text{QM}_{\text{trat}}\approx23{,}7950 \n \text{SQRes}\approx1{,}0167,\\ \text{df}=15,\\ \text{QM}_{\text{res}}\approx0{,}0678 \n F\approx351{,}13 (SQTotal \approx48{,}6066,\\ \text{df}=17).
(c) Ao nível de 5\% rejeita-se H_0. A RNA (média de MSE =9{,}15) apresenta desempenho significativamente melhor (menor MSE) que RF e RL; RF ( \approx10{,}13) é significativamente melhor que RL ( \approx12{,}98).

Exercícios relacionados