(4 pontos) Em um estudo sobre a influência do tipo de treinamento em aprendizado de máquina no tempo de processamento de modelos, pesquisadores analisaram dois grupos de experimentos: o primeiro grupo (Grupo I) consistia em modelos treinados em GPUs com otimização padrão; o segundo grupo (Grupo II), em GPUs com otimizações avançadas, como fusão de kernels e uso de memória compartilhada. A hipótese dos pesquisadores é que o tempo médio de processamento dos modelos difere entre os dois grupos. A partir desses dados amostrais foram realizados dois testes de hipóteses: um para a igualdade de variâncias (\mathrm{p}-valor =0,912) e outro para igualdade de médias ( p -valor =0,0119 ). Considerando um nível de significância de \alpha=5 \%, marque as afirmações como verdadeiras ou falsas, justificando as falsas.
(a) (1 ponto) As hipóteses nula e alternativa neste problema são: H_{0}: o tempo médio de processamento dos modelos com otimização padrão é diferente do tempo médio com otimização avançada; H_{a}: o tempo médio de processamento dos modelos com otimização padrão é igual ao tempo médio com otimização avançada;
(b) (1 ponto) No contexto deste problema o erro do Tipo II é: concluir que os tempos médios de processamento são diferentes quando na verdade eles são iguais;
(c) (1 ponto) Os testes estatísticos usados nesta questão foram: teste para a razão de variâncias de duas populações e teste para diferença de médias de duas populações \operatorname{com} \sigma^{2} desconhecido e diferente entre as populações.
(d) (1 ponto) Com base nos resultados obtidos, a conclusão sobre a hipótese dos pesquisadores é de que temos evidências suficientes para rejeitar a igualdade dos tempos médios de processamento dos modelos nos dois grupos, ao nível de significância de 3 \%.

Passo 1

O enunciado dá as seguintes informações importantes e perguntas a responder:
  • Existem dois grupos de experimentos: Grupo I (otimização padrão) e Grupo II (otimizações avançadas).
  • Foram feitos dois testes a partir dos dados amostrais:
    • Teste de igualdade de variâncias: p-valor =0,912 (este dado foi fornecido no enunciado).
    • Teste de igualdade de médias: p)-valor =0,0119 (este dado foi fornecido no enunciado).
  • Nível de significância indicado no enunciado geral: \alpha=5\% , mas a parte (d) pergunta sobre 3% .
  • A hipótese dos pesquisadores (descrita no enunciado) é que os tempos médios diferem entre os dois grupos.
As perguntas (a)–(d) pedem para marcar Verdadeira ou Falsa; se falsa, justificar o porquê. Vou analisar cada afirmação passo a passo.

Passo 2

Conceitos essenciais (curtinho, mas claro) que vou usar:
  • Hipótese nula H_0 : é a afirmação de “sem efeito” ou “sem diferença” que assumimos verdadeira até evidências contrárias. Em testes de diferença de médias bilateral, normalmente H_0:\mu_1=\mu_2 .
  • Hipótese alternativa H_a : é a afirmação que queremos demonstrar quando há evidência contra H_0 . Para diferença bilateral, H_a:\mu_1\neq\mu_2 .
  • p-valor: é a probabilidade, sob H_0 , de obtermos um resultado tão extremo quanto o observado. Se p-valor <\alpha, rejeitamos H_0 ; se p-valor \ge\alpha, não rejeitamos H_0 .
    Agora avalio a afirmação (a).
Análise da (a):
  • A afirmação dada em (a) foi: H_{0}: o tempo médio com otimização padrão é diferente do tempo médio com otimização avançada; H_{a}: os tempos médios são iguais.
  • Isso inverte os papéis usuais de H_0 e H_a. Em um teste usual para “diferença de médias” (a hipótese dos pesquisadores é que há diferença), a forma padrão é: H_0:\mu_{\text{pad}}=\mu_{\text{adv}}
H_a:\mu_{\text{pad}}\neq\mu_{\text{adv}}
  • Portanto a afirmação (a) está incorreta porque trocou H_0 e H_a.

Passo 3

Explicação do erro do Tipo II e aplicação à (b):
  • Definição: Erro do Tipo I é rejeitar H_0 quando H_0 é verdadeira (falso positivo). A probabilidade de erro do Tipo I é \alpha .
  • Definição: Erro do Tipo II é não rejeitar H_0 quando H_0 é falsa (falso negativo). A probabilidade de erro do Tipo II é \beta .
    A afirmação (b) diz: “No contexto deste problema o erro do Tipo II é: concluir que os tempos médios de processamento são diferentes quando na verdade eles são iguais.”
  • Essa descrição corresponde a “concluir diferentes quando na verdade iguais” = rejeitar H_0 quando H_0 é verdadeira. Isso é um erro do Tipo I, não do Tipo II.
  • Logo a afirmação (b) é falsa. A forma correta seria:
    • Erro do Tipo I: concluir que os tempos médios são diferentes quando na verdade são iguais.
    • Erro do Tipo II: concluir que não há diferença (ou seja, não rejeitar H_0 ) quando na verdade os tempos médios são diferentes.

Passo 4

Análise detalhada da (c) — quais testes foram ou deveriam ser usados:
  • O enunciado informou que foi feito “um teste para a igualdade de variâncias” com p-valor 0,912. Esse teste típico é o teste da razão de variâncias (teste F de duas amostras) ou outro análogo; portanto afirmar que um “teste para a razão de variâncias de duas populações” foi usado é plausível.
  • Interpretação do p-valor do teste de variâncias: p =0,912 é bem maior que 0,05 , então não rejeitamos H_0 de igualdade de variâncias. Ou seja, os dados não mostram evidência de variâncias diferentes; portanto, ao testar médias normalmente escolhe-se o teste de duas amostras para médias assumindo variâncias iguais (o t de duas amostras com variância agrupada — pooled t-test).
  • A afirmação (c) diz que o teste para diferença de médias foi “com \sigma^2 desconhecido e diferente entre as populações.” Isso significa usar a versão de Welch (t de Welch), que é apropriada quando as variâncias são diferentes e desconhecidas.
  • Porém, dada a alta p-valor no teste de variâncias ( p =0,912 ), a decisão correta é não rejeitar igualdade de variâncias e, portanto, usar o teste t de duas amostras com variâncias assumidas iguais (ou pelo menos justificar o uso do teste pooled).
  • Conclusão: a parte sobre “teste para a razão de variâncias” é correta, mas a parte que afirma que o teste de médias foi “com \sigma^2 desconhecido e diferente entre as populações” está errada, porque o resultado do teste de variâncias indica que não há evidência de variâncias diferentes; assim o procedimento adequado é usar o teste de diferença de médias assumindo variâncias iguais (ou explicar por que se escolheu outro). Portanto (c) é falsa.
Além disso — mini-aula prática sobre a escolha do teste:
  • Se o teste de variâncias (teste F) resulta em p-valor pequeno ( <\alpha), rejeitamos igualdade de variâncias e usamos a versão de Welch para diferenças de médias (que não assume variâncias iguais).
  • Se o teste de variâncias resulta em p-valor grande ( \ge\alpha), não rejeitamos igualdade de variâncias e normalmente usamos o t-pool (variâncias iguais), cujo estimador de variância agrupada é s_p^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2},onde n_1,n_2 são tamanhos amostrais e s_1^2,s_2^2 as variâncias amostrais. A estatística t é t=\frac{\bar X_1-\bar X_2}{s_p\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}com n_1+n_2-2 graus de liberdade.
  • Tudo isso mostra que afirmar que foi usado o teste para médias “com variâncias diferentes” não bate com o resultado do teste de variâncias.

Passo 5

Análise da (d) — decisão usando o p-valor do teste de médias:
  • O p-valor do teste de igualdade de médias foi dado como p =0,0119 .
  • Regra prática: rejeitamos H_0 de igualdade de médias se p <\alpha .
  • A pergunta (d) afirma que, com base nos resultados obtidos, temos evidências suficientes para rejeitar a igualdade dos tempos médios ao nível de significância de 3% (ou seja, \alpha=0,03 ).
  • Compare: p =0,0119 <0,03 . Como o p-valor é menor que 0,03 , rejeitamos H_0 ao nível de 3% .
  • Portanto a afirmação (d) é verdadeira: há evidência suficiente para rejeitar igualdade das médias no nível de significância de 3% .
Observação pedagógica sobre interpretação de p-valor vs. níveis:
  • Se você testar em \alpha=5\%, também rejeita ( 0,0119<0,05). Se pedirem \alpha=1\%, aí não rejeitaria ( 0,0119>0,01). Sempre compare p-valor com o \alpha pedido.

Resposta

(a) Falsa
(b) Falsa
(c) Falsa
(d) Verdadeira

Exercícios relacionados