(4 pontos) Em um estudo sobre a influência do tipo de treinamento em aprendizado de máquina no tempo de processamento de modelos, pesquisadores analisaram dois grupos de experimentos: o primeiro grupo (Grupo I) consistia em modelos treinados em GPUs com otimização padrão; o segundo grupo (Grupo II), em GPUs com otimizações avançadas, como fusão de kernels e uso de memória compartilhada. A hipótese dos pesquisadores é que o tempo médio de processamento dos modelos difere entre os dois grupos. A partir desses dados amostrais foram realizados dois testes de hipóteses: um para a igualdade de variâncias
-valor
e outro para igualdade de médias ( p -valor
). Considerando um nível de significância de
, marque as afirmações como verdadeiras ou falsas, justificando as falsas.
(a) (1 ponto) As hipóteses nula e alternativa neste problema são:
o tempo médio de processamento dos modelos com otimização padrão é diferente do tempo médio com otimização avançada;
o tempo médio de processamento dos modelos com otimização padrão é igual ao tempo médio com otimização avançada;
(b) (1 ponto) No contexto deste problema o erro do Tipo II é: concluir que os tempos médios de processamento são diferentes quando na verdade eles são iguais;
(c) (1 ponto) Os testes estatísticos usados nesta questão foram: teste para a razão de variâncias de duas populações e teste para diferença de médias de duas populações
desconhecido e diferente entre as populações.
(d) (1 ponto) Com base nos resultados obtidos, a conclusão sobre a hipótese dos pesquisadores é de que temos evidências suficientes para rejeitar a igualdade dos tempos médios de processamento dos modelos nos dois grupos, ao nível de significância de
.
(a) (1 ponto) As hipóteses nula e alternativa neste problema são:
(b) (1 ponto) No contexto deste problema o erro do Tipo II é: concluir que os tempos médios de processamento são diferentes quando na verdade eles são iguais;
(c) (1 ponto) Os testes estatísticos usados nesta questão foram: teste para a razão de variâncias de duas populações e teste para diferença de médias de duas populações
(d) (1 ponto) Com base nos resultados obtidos, a conclusão sobre a hipótese dos pesquisadores é de que temos evidências suficientes para rejeitar a igualdade dos tempos médios de processamento dos modelos nos dois grupos, ao nível de significância de
Passo 1
O enunciado dá as seguintes informações importantes e perguntas a responder:
- Existem dois grupos de experimentos: Grupo I (otimização padrão) e Grupo II (otimizações avançadas).
- Foram feitos dois testes a partir dos dados amostrais:
- Teste de igualdade de variâncias:
p-valor (este dado foi fornecido no enunciado). - Teste de igualdade de médias:
p)-valor (este dado foi fornecido no enunciado).
- Teste de igualdade de variâncias:
- Nível de significância indicado no enunciado geral:
, mas a parte (d) pergunta sobre 3% . - A hipótese dos pesquisadores (descrita no enunciado) é que os tempos médios diferem entre os dois grupos.
As perguntas (a)–(d) pedem para marcar Verdadeira ou Falsa; se falsa, justificar o porquê. Vou analisar cada afirmação passo a passo.
Passo 2
Conceitos essenciais (curtinho, mas claro) que vou usar:
- Hipótese nula
: é a afirmação de “sem efeito” ou “sem diferença” que assumimos verdadeira até evidências contrárias. Em testes de diferença de médias bilateral, normalmente . - Hipótese alternativa
: é a afirmação que queremos demonstrar quando há evidência contra . Para diferença bilateral, . - p-valor: é a probabilidade, sob
, de obtermos um resultado tão extremo quanto o observado. Se p-valor , rejeitamos ; se p-valor , não rejeitamos .
Agora avalio a afirmação (a).
Análise da (a):
- A afirmação dada em (a) foi:
o tempo médio com otimização padrão é diferente do tempo médio com otimização avançada; os tempos médios são iguais. - Isso inverte os papéis usuais de
e . Em um teste usual para “diferença de médias” (a hipótese dos pesquisadores é que há diferença), a forma padrão é:
- Portanto a afirmação (a) está incorreta porque trocou
e .
Passo 3
Explicação do erro do Tipo II e aplicação à (b):
- Definição: Erro do Tipo I é rejeitar
quando é verdadeira (falso positivo). A probabilidade de erro do Tipo I é . - Definição: Erro do Tipo II é não rejeitar
quando é falsa (falso negativo). A probabilidade de erro do Tipo II é .
A afirmação (b) diz: “No contexto deste problema o erro do Tipo II é: concluir que os tempos médios de processamento são diferentes quando na verdade eles são iguais.” - Essa descrição corresponde a “concluir diferentes quando na verdade iguais” = rejeitar
quando é verdadeira. Isso é um erro do Tipo I, não do Tipo II. - Logo a afirmação (b) é falsa. A forma correta seria:
- Erro do Tipo I: concluir que os tempos médios são diferentes quando na verdade são iguais.
- Erro do Tipo II: concluir que não há diferença (ou seja, não rejeitar
) quando na verdade os tempos médios são diferentes.
Passo 4
Análise detalhada da (c) — quais testes foram ou deveriam ser usados:
- O enunciado informou que foi feito “um teste para a igualdade de variâncias” com p-valor
. Esse teste típico é o teste da razão de variâncias (teste de duas amostras) ou outro análogo; portanto afirmar que um “teste para a razão de variâncias de duas populações” foi usado é plausível. - Interpretação do p-valor do teste de variâncias:
p é bem maior que , então não rejeitamos de igualdade de variâncias. Ou seja, os dados não mostram evidência de variâncias diferentes; portanto, ao testar médias normalmente escolhe-se o teste de duas amostras para médias assumindo variâncias iguais (o t de duas amostras com variância agrupada — pooled t-test). - A afirmação (c) diz que o teste para diferença de médias foi “com
desconhecido e diferente entre as populações.” Isso significa usar a versão de Welch (t de Welch), que é apropriada quando as variâncias são diferentes e desconhecidas. - Porém, dada a alta p-valor no teste de variâncias (
p ), a decisão correta é não rejeitar igualdade de variâncias e, portanto, usar o teste t de duas amostras com variâncias assumidas iguais (ou pelo menos justificar o uso do teste pooled). - Conclusão: a parte sobre “teste para a razão de variâncias” é correta, mas a parte que afirma que o teste de médias foi “com
desconhecido e diferente entre as populações” está errada, porque o resultado do teste de variâncias indica que não há evidência de variâncias diferentes; assim o procedimento adequado é usar o teste de diferença de médias assumindo variâncias iguais (ou explicar por que se escolheu outro). Portanto (c) é falsa.
Além disso — mini-aula prática sobre a escolha do teste:
- Se o teste de variâncias (teste
) resulta em p-valor pequeno ( ), rejeitamos igualdade de variâncias e usamos a versão de Welch para diferenças de médias (que não assume variâncias iguais). - Se o teste de variâncias resulta em p-valor grande (
), não rejeitamos igualdade de variâncias e normalmente usamos o t-pool (variâncias iguais), cujo estimador de variância agrupada é onde são tamanhos amostrais e as variâncias amostrais. A estatística t é com graus de liberdade. - Tudo isso mostra que afirmar que foi usado o teste para médias “com variâncias diferentes” não bate com o resultado do teste de variâncias.
Passo 5
Análise da (d) — decisão usando o p-valor do teste de médias:
- O p-valor do teste de igualdade de médias foi dado como
p . - Regra prática: rejeitamos
de igualdade de médias se p . - A pergunta (d) afirma que, com base nos resultados obtidos, temos evidências suficientes para rejeitar a igualdade dos tempos médios ao nível de significância de
3% (ou seja, ). - Compare:
p . Como o p-valor é menor que , rejeitamos ao nível de 3% . - Portanto a afirmação (d) é verdadeira: há evidência suficiente para rejeitar igualdade das médias no nível de significância de
3% .
Observação pedagógica sobre interpretação de p-valor vs. níveis:
- Se você testar em
, também rejeita ( ). Se pedirem , aí não rejeitaria ( ). Sempre compare p-valor com o pedido.
Resposta
(a) Falsa
(b) Falsa
(c) Falsa
(d) Verdadeira
(b) Falsa
(c) Falsa
(d) Verdadeira