Uma pesquisadora deseja comparar o desempenho de três modelos de inteligência artificial utilizados para prever a produção agrícola: um modelo de Regressão Linear (RL), um modelo Random Forest (RF) e uma Rede Neural Artificial (RNA). Para cada modelo, foram obtidos valores do erro quadrático médio (MSE) em 6 execuções independentes:
RL: 12.5, 13.1, 12.8, 13.4, 12.9, 13.2
RF: 10.2, 9.8, 10.5, 10.1, 9.9, 10.3
RNA: 8.9, 9.4, 9.1, 9.3, 9.0, 9.2
Utilizando uma ANOVA de uma via, responda:
(a) Formule as hipóteses do teste para comparar o desempenho médio dos três modelos de IA.
(b) Construa a tabela ANOVA (SQTrat, SQRes, QM, F).
(c) Ao nível de significância de 5%, conclua qual modelo apresenta desempenho significativamente melhor.
RF: 10.2, 9.8, 10.5, 10.1, 9.9, 10.3
RNA: 8.9, 9.4, 9.1, 9.3, 9.0, 9.2
(a) Formule as hipóteses do teste para comparar o desempenho médio dos três modelos de IA.
(b) Construa a tabela ANOVA (SQTrat, SQRes, QM, F).
(c) Ao nível de significância de 5%, conclua qual modelo apresenta desempenho significativamente melhor.
Passo 1
O enunciado dá as observações do erro quadrático médio (MSE) em 6 execuções independentes para cada um dos três modelos. As perguntas são:
(a) Formular as hipóteses do teste ANOVA unifatorial para comparar as médias dos três modelos.
(b) Construir a tabela ANOVA com soma dos quadrados do tratamento (SQTrat), soma dos quadrados do resíduo (SQRes), quadrados médios (QM) e estatística .
(c) Ao nível de significância de , concluir qual modelo apresenta desempenho significativamente melhor (menor MSE).
(a) Formular as hipóteses do teste ANOVA unifatorial para comparar as médias dos três modelos.
(b) Construir a tabela ANOVA com soma dos quadrados do tratamento (SQTrat), soma dos quadrados do resíduo (SQRes), quadrados médios (QM) e estatística
(c) Ao nível de significância de
Dados fornecidos:
- Regressão Linear (RL):
- Random Forest (RF):
- Rede Neural Artificial (RNA):
Tamanhos:
grupos,
observações em cada grupo, total
.
A resolução começa a partir do Passo 2.
A resolução começa a partir do Passo 2.
Passo 2
Calcular as médias de cada grupo e a média geral. Lembre que a média de um grupo é a soma das observações dividida pelo número de observações do grupo; a média geral é a soma de todas as observações dividida por
.
Cálculos:
- Soma e média do grupo RL:
- Soma e média do grupo RF:
- Soma e média do grupo RNA:
- Média geral:
Interpretação prática: as médias indicam que a RNA tem a menor média de MSE (
), seguida por RF (
) e RL (
). Mas ainda precisamos do teste ANOVA para saber se essas diferenças são estatisticamente significativas.
Passo 3
Explicar e calcular a soma dos quadrados entre grupos (SQTrat). Conceito: SQTrat mede a variabilidade entre as médias dos grupos em relação à média geral. Fórmula:
Aqui
para todos os grupos.
Cálculos para cada grupo:
- Para RL:
- Para RF:
- Para RNA:
Somando:
Arredondando para três casas decimais:
.
Passo 4
Explicar e calcular a soma dos quadrados residuais (SQRes). Conceito: SQRes (também chamada SSE) mede a variabilidade dentro de cada grupo, isto é, quão espalhados estão os valores em torno das respectivas médias de grupo. Fórmula geral para um grupo:
e
.
Calcular para cada grupo (mostrando os desvios e quadrados, para aprender a fazer na prova):
- RL (média
):
Desvios e quadrados:
Soma dos quadrados do grupo RL:
-
RF (média
):
Desvios e quadrados (resumo): -
RNA (média
):
Desvios e quadrados (resumo):
Somando as 3 contribuições:
Arredondando:
.
Observação didática: na prova, calcule os desvios
, eleve ao quadrado, some; faça para cada grupo; some os grupos para obter a variabilidade dentro dos grupos.
Passo 5
Montar a tabela ANOVA e calcular os quadrados médios e estatística
.
Graus de liberdade:
Quadrados médios:
Estatística
:
Tabela ANOVA (valores aproximados, arredondados):
- SQTrat
, df , QM - SQRes
, df , QM - SQTotal
, df
Comparação com valor crítico: para
,
. Nossa estatística
é muito maior que
, portanto rejeitamos a hipótese nula (ver Passo 6 para detalhar).
Passo 6
Interpretação do resultado ANOVA e comparação entre pares (post-hoc). Explicação didática: o teste ANOVA indica se há evidência de diferenças entre as médias dos grupos, porém não diz quais pares diferem. Para saber isso, fazemos comparações pareadas. Como as amostras têm variância estimada comum (usamos a QM residual como estimativa da variância comum), podemos usar o erro padrão da diferença de médias e fazer testes t pareados entre médias de grupos (ou fazer Tukey HSD). Vou usar o teste pareado com variância pooled (equivalente ao procedimento de comparações múltiplas com correção: as estatísticas serão tão grandes que são significantes mesmo com correções).
Erro padrão da diferença entre duas médias (mesmo
em cada grupo) é:
Como
,
Substituindo
,
Diferenças de médias e estatísticas t (diferença dividida por
):
- RL vs RF:
- RL vs RNA:
- RF vs RNA:
Comparação com um critério: para
mesmo se aplicarmos uma correção conservadora (Bonferroni), teríamos nível por teste
; o valor crítico
fica em torno de
. Todas as três estatísticas
são muito superiores a esse valor crítico. Logo, todas as diferenças pareadas são estatisticamente significativas a
.
Conclusão prática do Passo 6: a média da RNA é significativamente menor que a média da RF e da RL; a média da RF é significativamente menor que a média da RL. Em termos de desempenho (menor MSE = melhor desempenho), a RNA apresenta desempenho significativamente melhor que os outros dois; RF é intermediário e também significativamente melhor que RL.
Passo 7
Resumo interpretativo e incentivo: rejeitamos a hipótese de igualdade das médias; os resultados mostram diferenças grandes entre os modelos comparadas com a variabilidade interna das execuções — por isso a estatística
ficou enorme. A melhor escolha (menor MSE) é a RNA, de forma estatisticamente significativa. Parabéns: com esses cálculos você consegue mostrar na prova que a diferença não é só aparência — é estatisticamente real.
Resposta
(a)
\n
pelo menos uma média é diferente.
(b) \n
\n
(SQTotal
).
(c) Ao nível de rejeita-se
. A RNA (média de MSE
) apresenta desempenho significativamente melhor (menor MSE) que RF e RL; RF (
) é significativamente melhor que RL (
).
(b)
(c) Ao nível de