Uma equipe de marketing deseja testar diferentes versões de uma landing page para descobrir qual combinação converte mais visitantes em compradores.
Eles têm as seguintes variáveis para testar:
  • 3 títulos diferentes para o site: \mathrm{A}, \mathrm{B}, \mathrm{C};
  • 2 cores de fundo: Claro, Escuro;
  • 4 imagens de produto: I1, I2, I3, I4;
  • 2 versões de botão de chamada para ação (CTA): Verde, Vermelho.
Se testassem todas as combinações possíveis, o número total de versões seria:
3 \times 2 \times 4 \times 2=48 \text { combinações. }çõ
Isso implica criar 48 páginas diferentes, distribuir tráfego de forma equilibrada, analisar estatísticas, o que consome tempo, orçamento e visitantes.
a) Qual o problema prático de testar todas as combinações possíveis neste contexto?
b) Explique como o uso de um design combinatório, como um design de bloco incompleto balanceado ou um covering array, pode ajudar a selecionar um subconjunto inteligente das combinações a serem testadas.
c) Sabendo que com apenas 12 combinações bem escolhidas é possível garantir que cada par de elementos (por exemplo, título A + imagem I2) apareça pelo menos uma vez, discuta as vantagens dessa abordagem em relação ao teste de todas as combinações.

Passo 1

O enunciado descreve um teste A/B/C para uma landing page com quatro fatores — título \mathrm{A},\mathrm{B},\mathrm{C}, cor de fundo (Claro, Escuro), imagem (I1–I4) e botão (Verde, Vermelho). O conteúdo envolvido é o de design combinatório para testes, em especial covering arrays ou designs de bloco incompletos balanceados, que visam reduzir o número de combinações a serem testadas sem deixar de cobrir interações importantes entre fatores.

Passo 2

O problema prático de testar todas as combinações é que, como
3 \times 2 \times 4 \times 2 = 48,
seriam necessárias 48 versões distintas da página. Cada variante exigiria tráfego suficiente para obter estatísticas confiáveis, gerando:
  1. Alto custo de criação e manutenção de 48 páginas.
  2. Demanda de tráfego grande para dividir igualmente entre todas as variantes.
  3. Longo tempo de teste, pois a coleta de dados satisfatórios para cada combinação pode demorar, atrasando decisões de marketing.

Passo 3

Um design de bloco incompleto balanceado ou um covering array de força t=2 (pairwise) busca escolher um subconjunto de versões de forma que todas as combinações de qualquer par de fatores apareçam pelo menos uma vez. Por exemplo, um covering array \mathrm{CA}(12;2,4,(3,2,4,2)) tem 12 linhas (testes) cobrindo todos os pares de níveis entre os 4 fatores com 3, 2, 4 e 2 níveis, respectivamente. Em vez de 48, testam-se apenas 12 páginas, mas cada par de elementos (como título \mathrm{A} com imagem I2) aparece em pelo menos uma época de teste.

Passo 4

As vantagens de usar esse subconjunto de 12 combinações são:
  • Redução de custo e esforço (só criar 12 páginas).
  • Menor demanda de tráfego, pois cada variante recebe mais visitantes, melhorando o poder estatístico.
  • Agilidade nas decisões, pois conclui-se o teste mais rápido.
  • Cobertura garantida de todas as interações de dois fatores, capturando efeitos principais e pares críticos sem testar combinações de ordem superior que muitas vezes trazem pouco ganho de insight.

Resposta

a) Testar todas as combinações ( 48 páginas) exige muito tempo, tráfego e orçamento, tornando o teste impraticável.
b) Um design combinatório (bloco incompleto balanceado ou covering array) seleciona um subconjunto inteligente de versões para que todas as interações de nível t=2 apareçam pelo menos uma vez, reduzindo drasticamente o número de testes.
c) Com apenas 12 combinações bem escolhidas, reduz-se custo, tráfego e tempo, aumenta-se o poder estatístico em cada variante e ainda há cobertura garantida de todas as combinações de pares de fatores.

Exercícios relacionados