Planejamento e avaliação de testes A/B

Uma hipótese priorizada vira um teste quando é transformada em uma comparação específica: qual experiência atual será mantida, qual única mudança será introduzida e por que essa mudança pode afetar o comportamento.

No caso da Loja Ipê, A — controle é a página atual. B — variante mantém a mesma página, mas move o bloco Frete e prazo de entrega para imediatamente acima do botão Comprar.

A hipótese é que antecipar essa informação reduz a incerteza antes da compra. O teste não avalia se a página “ficou mais bonita”: ele busca isolar o efeito dessa mudança delimitada.

Para que A e B possam ser comparadas, as versões precisam estar disponíveis ao mesmo tempo e as pessoas precisam ser distribuídas aleatoriamente entre elas. Assim, diferenças de dia, campanha, sazonalidade ou origem do tráfego têm menos chance de se confundirem com a mudança testada.

Aleatoriedade não elimina toda diferença entre grupos, mas cria uma comparação mais apropriada do que escolher uma versão para um período e outra para outro período. Também é essencial preservar as demais condições da experiência: B não deve receber, além da nova posição do bloco, um desconto ou uma oferta diferente.

Antes de distribuir versões, defina quem pode entrar no teste. No caso condutor da Loja Ipê, são elegíveis os usuários autenticados que acessam, pelo celular, a página do produto selecionado.

Esse mesmo filtro vale para A e B. Quem não atende aos critérios não deve entrar em um grupo apenas para aumentar o volume. A unidade distribuída é o usuário autenticado — não a visita, a sessão nem o pedido.

Na primeira entrada elegível, registre a participação e distribua o usuário autenticado aleatoriamente: 50% para A — controle e 50% para B — variante. Nas visitas seguintes, a pessoa deve continuar vendo a versão originalmente recebida.

Assim, a comparação preserva a experiência de cada grupo. Redistribuir a cada visita pode fazer a mesma pessoa ver A e B, criando exposição cruzada e dificultando atribuir uma diferença à mudança testada.

A hipótese da Loja Ipê é que antecipar o bloco Frete e prazo de entrega pode reduzir a incerteza antes da compra. Portanto, o resultado principal a acompanhar é a compra paga — não cliques, tempo na página ou quantidade de pedidos.

Defina a métrica antes de iniciar o teste e mantenha-a mesmo que outro indicador pareça mais favorável depois. No caso condutor, a métrica principal é a taxa de usuários com compra paga em até 7 dias.

A janela começa na primeira entrada elegível de cada usuário. No numerador, cada usuário conta no máximo uma vez: basta ter pelo menos uma compra paga dentro dos 7 dias. No denominador, entram todos os usuários distribuídos para aquela versão, inclusive quem não comprou.

A unidade é o usuário distribuído: dois pedidos pagos da mesma pessoa ainda representam uma única conversão na métrica principal.

Indicadores de proteção verificam se um possível ganho na métrica principal vem acompanhado de dano relevante. Eles não substituem a métrica principal: funcionam como limites para a decisão.

No caso condutor, acompanhe uma proteção econômica por pedido pago e uma proteção técnica por usuário distribuído. Defina também denominadores, janela e limites antes do início. Uma métrica secundária pode ajudar a diagnosticar o mecanismo, mas não deve ser promovida a critério de sucesso depois de observar os dados.

Associe cada indicador ao papel e ao denominador ou base de cálculo que lhe correspondem no plano da Loja Ipê.

Volume começa pela pergunta de negócio

Antes de estimar participantes, registre duas premissas:

• Taxa de referência: no caso condutor, 10,0% é a taxa usada para planejar. Ela não obriga o controle A a terminar exatamente em 10,0%.
• Melhoria mínima relevante: +2,0 p.p. é o ganho mínimo que justificaria uma decisão de negócio. Partindo de 10,0%, ela corresponde a comparar com 12,0% como referência de planejamento.

Isso não é o mesmo que “aumentar 2%”: 2% de 10,0% é 0,2 p.p., chegando a 10,2%. Já +2,0 p.p. leva de 10,0% a 12,0% — uma variação relativa de 20%.

Essas premissas orientam o volume necessário; não são uma previsão do resultado final.

A estimativa do caso já foi fornecida

Para a métrica principal — taxa de usuários com compra paga em até 7 dias — a Loja Ipê usará o requisito ilustrativo de 4.000 usuários por grupo.

Essa estimativa considera, em conjunto, a taxa de referência de 10,0%, a melhoria mínima relevante de +2,0 p.p., uma comparação bilateral, nível de confiança de 95% e poder de 80%. Não é preciso calcular a fórmula manualmente neste tutorial.

O número não é universal: outra taxa de referência, outro efeito relevante, outra métrica ou outras premissas podem exigir outro volume. Portanto, “ter muitas conversões” ou “deixar o teste por bastante tempo” não substitui verificar o requisito aplicável ao plano.

Projetar não é garantir

O calendário prevê 400 novos usuários elegíveis por dia durante 21 dias de entrada. A projeção é:

400 × 21 = 8.400 usuários elegíveis

Com distribuição planejada de 50% para A e 50% para B, isso indica aproximadamente 4.200 usuários por grupo. Assim, a previsão supera o requisito de 4.000 por grupo em cerca de 200 usuários por grupo.

Mas a distribuição realizada não será necessariamente exata, e o tráfego elegível pode variar. Ao fim, é preciso conferir as contagens reais de usuários únicos em cada grupo. Os 7 dias de acompanhamento do último participante fazem o calendário total chegar a aproximadamente 28 dias.

Primeiro, leia as contagens

Em um teste já encerrado, comece por três informações da mesma métrica e janela: usuários distribuídos, usuários com pelo menos uma compra paga em até 7 dias e a taxa resultante.

Nos dados fictícios abaixo, cada grupo tem 4.000 usuários. Em A, 400 tiveram compra paga; em B, 480. A janela de 7 dias começa na primeira entrada elegível de cada usuário.

A diferença observada é sempre B − A: 12,0% − 10,0% = +2,0 pontos percentuais (p.p.).

Isso não é “aumento de 2%”. Em variação relativa, o aumento seria 2,0 ÷ 10,0 = 20,0%. Neste tutorial, compare A e B pela diferença em p.p.

A faixa informa a incerteza da diferença

Além da estimativa, use o intervalo de confiança de 95% da diferença B − A fornecido no relatório. Ele resume uma faixa de diferenças compatíveis com os dados segundo o método e suas premissas; não é garantia sobre o efeito verdadeiro.

• Faixa toda acima de zero: sustenta evidência de diferença positiva para B.
• Faixa toda abaixo de zero: sustenta evidência de diferença negativa para B.
• Faixa que inclui zero: ainda admite nenhuma diferença e, portanto, ausência de vantagem demonstrada para B.

Não conclua pela sobreposição de intervalos separados das taxas de A e B. Para esta pergunta, interprete a faixa já calculada para a diferença entre os grupos.

Antes de distribuir qualquer usuário, registre o plano que sustentará a decisão. No caso da Loja Ipê, o registro reúne: hipótese; A — controle e B — variante; a única mudança de posição do bloco Frete e prazo de entrega; elegibilidade no celular; unidade usuário autenticado; divisão 50%/50%; persistência da versão; métricas, limites, volume, calendário e regra de avaliação.

Esse registro evita ajustar o critério depois de conhecer o resultado. A decisão deve responder à hipótese planejada, não à taxa que parecer mais atraente em um dia específico.

Dados fictícios — planejamento do caso condutor: entram cerca de 400 novos usuários elegíveis por dia durante 21 dias. Isso projeta 8.400 usuários, aproximadamente 4.200 por grupo, mas a distribuição realizada não precisa ser exatamente igual.

Cada usuário tem 7 dias a partir de sua primeira entrada elegível para gerar uma compra paga. Portanto, o resultado final não é lido no 21º dia: o último usuário incluído ainda precisa completar sua janela. O encerramento planejado ocorre aproximadamente no dia 28.

Durante o teste, monitore a operação: erros técnicos, sinais de dano e integridade da mensuração. Isso serve para proteger usuários e investigar falhas; não autoriza declarar B vencedora antes do marco final só porque sua taxa parece maior.

Antes de avaliar eficácia, confirme: mensuração comparável entre A e B; versão persistente nas visitas seguintes; ausência de mudança concorrente incompatível; e distribuição anômala investigada. Se alguma dessas condições impedir a comparação, registre inválido para avaliar eficácia — não interprete isso como ausência de efeito.

Antes de interpretar a diferença B − A, audite se o relatório ainda representa o teste planejado. Confira nesta ordem:

1. Distribuição: A e B receberam usuários elegíveis conforme o plano?
2. Usuários únicos: cada usuário autenticado aparece uma vez, no grupo originalmente recebido?
3. Eventos: a compra paga foi registrada de modo comparável nos dois grupos?
4. Janela: todos tiveram 7 dias desde a primeira entrada elegível?
5. Condições: a versão persistiu e não houve mudança concorrente incompatível?

Só depois dessas verificações a diferença observada pode sustentar uma avaliação de eficácia. Uma taxa maior em B não compensa uma falha que torne a comparação não confiável.

Quando a auditoria, o volume e a janela estão completos, aplique a regra registrada combinando quatro elementos: diferença B − A, intervalo de confiança de 95%, melhoria mínima relevante de +2,0 p.p. e indicadores de proteção. Um ganho na métrica principal não autoriza a adoção se uma proteção confirmada for violada.

Nem todo encerramento gera a mesma decisão. Em dados íntegros, o resultado é favorável à adoção ou desfavorável à adoção quando atende aos respectivos critérios registrados. Somente os resultados avaliáveis que não se enquadram em nenhum desses dois conjuntos são inconclusivos.

Se a mensuração, a persistência da versão ou outra condição de comparação falhar, registre inválido para avaliar eficácia. Se dano ou falha técnica exigir suspender a distribuição, registre interrompido por segurança. Esses estados não provam que B não tem efeito: descrevem limites ou problemas diferentes e exigem encaminhamentos distintos.

Quando o volume realizado não permite uma resposta útil, a decisão prudente é manter A — controle. Isso não prova que B — variante não tenha efeito; apenas reconhece que a evidência disponível não sustenta uma mudança.

Também não transforme um prazo insuficiente em um teste sem fim: prolongar retrospectivamente a coleta até aparecer um resultado desejado muda o plano de avaliação. Registre o limite encontrado e escolha uma investigação que ajude a entender o mecanismo antes de propor outro ciclo.

Antes de consultar o relatório final, reúna o que tornaria a decisão rastreável. O teste não avalia “uma página melhor” de forma geral: avalia uma única mudança, para um público definido, sob uma regra registrada antes dos dados.

No caso da Loja Ipê, a hipótese é que antecipar a informação de frete e prazo reduza a incerteza antes da compra. A decisão só poderá valer para a mudança, o público e a janela efetivamente testados.

Dados fictícios — relatório final do caso condutor

A auditoria confirmou uma entrada por usuário autenticado, manutenção da versão nas visitas seguintes, janela completa de 7 dias e mensuração comparável. Não houve mudança concorrente incompatível durante o teste. Foram concluídos 21 dias de entrada e os 7 dias de acompanhamento do último participante.

A diferença observada é B − A = +2,5 p.p.. O intervalo de confiança de 95% da diferença B − A vai de +1,1 a +3,9 p.p..

Use esta sequência para evitar que uma taxa maior, isoladamente, determine a decisão.