O impacto real de um teste de CRO é a diferença que sobrevive ao ruído: só existe quando a amostra é suficiente para o efeito que você quer detectar, a janela cobre um ciclo completo de compra e os dados foram limpos de pedido cancelado, tráfego interno e bot. Sem volume para significância, a saída não é fingir rigor, é testar mudanças grandes, ler por coorte e declarar a incerteza junto com a decisão.
Quase toda loja que testa alguma coisa em CRO tem uma história de vitória. Poucas conseguem mostrar essa vitória no faturamento três meses depois.
A distância entre as duas coisas quase nunca é má fé. É medição: o teste foi encerrado antes de ter volume para significar alguma coisa, ou foi lido sobre dados que ninguém tratou antes.
O que é o impacto real de um teste de CRO?
É a parte da diferença entre variações que não pode ser explicada por variação natural.
Sua taxa de conversão oscila sozinha, todo dia, sem que você mexa em nada. Muda por dia da semana, por composição de tráfego, por campanha que subiu, por produto que saiu de estoque. Essa oscilação tem tamanho. E se o efeito da sua mudança for menor que ela, o teste não mede a mudança: mede o ruído.
Por isso a pergunta certa não é “a variação B ganhou?”. É: o ganho observado é maior que a oscilação que essa métrica teria mesmo sem teste nenhum?
Por que a maioria dos testes termina antes de concluir alguma coisa?
Porque o tamanho de amostra é calculado depois, ou não é calculado.
O número de sessões que um teste precisa depende de três variáveis, e nenhuma delas é opinião: a taxa de conversão atual (base menor exige mais amostra), o efeito mínimo que você quer conseguir detectar, e o nível de confiança e poder estatístico que você aceita. A relação com o efeito é o que pega: detectar um efeito pela metade exige em torno de quatro vezes mais amostra. É por isso que testar mudança pequena em loja pequena é matematicamente inviável, não apenas difícil.
Três erros derrubam o teste antes do fim:
Parar quando fica positivo. Olhar o painel todo dia e encerrar no dia bom é escolher o momento em que o ruído estava a favor. Quanto mais vezes você espia, maior a chance de encontrar um falso positivo em algum ponto.
Rodar tempo demais sem amostra e chamar de conclusão. Prazo não substitui volume. Oito semanas com pouco tráfego continuam sendo pouco tráfego.
Testar várias coisas ao mesmo tempo na mesma página. Se três elementos mudaram juntos, o resultado não diz qual deles produziu o efeito, e você não consegue replicar o acerto em outro lugar da loja.
Como tratar os dados antes de decidir?
Essa é a etapa que quase ninguém faz e que muda mais leituras do que qualquer ajuste estatístico. Antes de comparar A com B, o dado precisa estar limpo.
| O que contamina | Por que atrapalha | O que fazer |
|---|---|---|
| Pedido cancelado, estornado e devolvido | O teste conta conversão bruta e a variação vencedora pode estar vendendo mais e cancelando mais | Ler conversão líquida, com a janela de cancelamento do seu produto |
| Tráfego interno e de fornecedor | Time, agência e desenvolvedor navegam muito e não compram | Excluir por IP e por parâmetro de visita interna |
| Bot e tráfego automatizado | Infla sessões sem converter e derruba a taxa das duas variações de forma desigual | Filtrar no analytics e conferir picos sem origem clara |
| Pico de campanha ou influenciador | Muda a composição do tráfego no meio do teste | Segmentar por origem e verificar se o efeito se mantém dentro de cada uma |
| Sazonalidade e data comercial | Semana de promoção não representa o comportamento normal | Não iniciar teste em véspera de data; se pegou, marcar a janela e reler |
| Falta de estoque no meio do teste | Derruba a conversão de uma variação por motivo que nada tem a ver com ela | Registrar o evento e excluir o período afetado |
Além da limpeza, três decisões de leitura precisam ser tomadas antes de olhar o resultado, não depois:
A janela. Ela precisa cobrir semanas inteiras, porque terça não se comporta como sábado, e precisa cobrir um ciclo completo de compra do seu produto. Em item de consideração longa, encerrar cedo corta justamente quem ia voltar para comprar.
A métrica principal. Escolha uma, e que seja a mais próxima do dinheiro possível dentro do volume que você tem. Taxa de conversão do pedido é melhor que clique no botão. Receita por sessão é ainda melhor, e é mais ruidosa, então exige mais amostra. As demais entram como métricas de guarda, para detectar efeito colateral.
Os cortes de segmentação. Defina antes quais segmentos você vai olhar (dispositivo, origem, novo contra recorrente). Sair procurando segmento em que o teste ganhou depois de ver que o total empatou é a forma mais educada de inventar um resultado. E o inverso também existe: um teste que ganha no total pode estar perdendo no celular, que é onde está a maior parte do seu tráfego.
O que fazer quando a loja não tem volume para significância?
Esse é o caso da maior parte das operações D2C brasileiras, e fingir que não é resolve nada. Se a conta de amostra diz que o teste levaria mais tempo do que a operação pode esperar, o caminho não é rodar assim mesmo e declarar vitória. É trocar de método.
| Abordagem | Quando usar | O que ela entrega |
|---|---|---|
| Teste A/B clássico, simultâneo | Volume suficiente para a amostra planejada | Leitura limpa, isolada de sazonalidade |
| Teste sequencial com regra de parada definida antes | Volume médio, quando você precisa poder olhar durante o percurso | Permite encerrar cedo sem inflar o falso positivo, porque a espiada está no cálculo |
| Mudança grande, uma por vez, medida por coorte mensal | Volume baixo | Detecta efeito grande, não detecta efeito fino |
| Correção de defeito conhecido, sem teste | Erro evidente (checkout quebrado no celular, frete escondido, página lenta) | Ganho direto. Testar defeito é gastar tempo para confirmar o óbvio |
Na prática, com volume baixo, quatro princípios sustentam a decisão.
Teste coisas grandes. Efeito grande aparece com amostra menor. Reordenar a página de produto inteira é testável onde trocar a cor de um botão nunca será. A mesma lógica que vale para priorizar o que testar vale aqui, e fica mais dura: com pouco tráfego, mudança pequena não é prioridade baixa, é impossível de medir.
Rode em sequência, não em paralelo. Dividir tráfego escasso entre muitas variações garante que nenhuma delas chegue a lugar nenhum.
Leia por coorte. Compare o mês inteiro depois da mudança com o mês inteiro antes, controlando o que der para controlar: mesma composição de origem, mesma ausência de data comercial, mesma faixa de investimento. É uma leitura mais fraca, sujeita a sazonalidade, e serve para efeito grande.
Declare a incerteza junto com a decisão. Escrever “mantivemos a mudança, o indicativo é positivo e a amostra não permite afirmar o tamanho do efeito” é honesto e continua sendo uma decisão. O problema nunca foi decidir sob incerteza, todo mundo faz isso. O problema é registrar a decisão como se fosse um fato medido, porque seis meses depois alguém vai construir em cima dela.
Como saber se o ganho é real depois que o teste acabou?
Três checagens rápidas separam ganho de deslocamento.
A amostra bateu o planejado? Se não bateu, o resultado é indicativo, não conclusão. Anote assim.
O efeito é estável ao longo dos dias ou depende de um pico? Um resultado que só existe por causa de dois dias específicos costuma ser um evento externo, não a sua mudança.
As métricas vizinhas concordam? Conversão que sobe com ticket médio caindo, ou com cancelamento subindo, pode não representar mais dinheiro no fim do mês. Quem decide isso é a margem de contribuição, não a taxa de conversão isolada.
E, depois de tudo, a checagem que resolve a discussão: o efeito aparece no faturamento nos meses seguintes? Um ganho relevante de conversão precisa ser visível fora da ferramenta de teste. Quando ele existe só no painel do teste, na maior parte das vezes ele existia só ali mesmo. Nas operações que a gente acompanha, nem todo ganho declarado em teste se confirma na receita, e é justamente essa checagem que separa o resultado real do resultado de painel.
Para quem esse rigor ainda não é a prioridade
Para quem tem defeito evidente na loja. Se o frete só aparece no último passo, se a busca interna não encontra o próprio produto, se o celular trava no checkout, não teste: corrija. Testar erro conhecido é gastar semanas para confirmar o que já se sabe.
E para quem ainda não tem instrumentação confiável. Se o evento de compra dispara duas vezes, se o analytics não separa tráfego interno, se o pedido cancelado nunca volta para a base, qualquer teste vai medir o defeito do rastreamento. A ordem é arrumar a medição, depois testar. Vale o mesmo raciocínio da estrutura da loja: sem base, o que vem em cima é decoração.
O que fica
Impacto real é o que sobra depois de descontar o ruído, e o ruído tem tamanho. Calcule a amostra antes de subir o teste, defina janela e métrica principal antes de olhar o resultado, e não pare no dia em que o número agrada.
Trate o dado antes de decidir: pedido cancelado, tráfego interno, bot, pico de campanha e falta de estoque mudam a leitura sem avisar. Se a sua loja não tem volume para significância, você não está fora do jogo: teste mudanças grandes, uma de cada vez, leia por coorte e escreva a incerteza junto com a decisão.
O que muda a conta no fim não é a quantidade de testes rodados, é quantos deles você conseguiu confirmar fora da ferramenta. Uma operação que sabe distinguir resultado de ruído acumula ganho de verdade ao longo dos meses, e é essa acumulação, e não um teste vencedor isolado, que aparece no faturamento.
O que fica
- Teste sem amostra suficiente não dá resultado errado por azar: ele dá qualquer resultado, porque a variação natural da conversão é maior que o efeito medido.
- Antes de comparar variações, trate os dados: pedido cancelado, tráfego interno, bot e pico de campanha contaminam a leitura em silêncio.
- Parar o teste no dia em que ele fica positivo é a forma mais comum de transformar ruído em decisão. Defina a janela antes de começar e cumpra.
- A janela mínima precisa cobrir um ciclo completo de compra e semanas inteiras, porque comportamento de segunda não é comportamento de sábado.
- Loja sem volume para significância não está proibida de otimizar. Está proibida de fingir que mediu: teste mudanças grandes, leia por coorte e registre a incerteza.
- O teste que não muda nenhuma decisão, dando certo ou dando errado, não deveria ter sido rodado.
Perguntas frequentes
Quantas conversões preciso para um teste A/B ser confiável?
Depende de três coisas, não de um número mágico: a sua taxa de conversão atual, o tamanho do efeito que você quer conseguir detectar e o nível de confiança que aceita. Quanto menor o ganho que você quer enxergar, mais amostra precisa, e a relação não é proporcional: detectar metade do efeito exige cerca de quatro vezes mais amostra. Use uma calculadora de tamanho de amostra com os seus próprios números antes de subir o teste, não depois.
Quanto tempo devo deixar um teste de CRO rodando?
No mínimo até atingir a amostra planejada e, além disso, semanas inteiras e um ciclo completo de compra do seu produto. Encerrar em cinco dias mistura dias úteis e fim de semana em proporções diferentes entre as variações, e em produto de consideração longa corta gente que ainda ia voltar para comprar. Se o cálculo de amostra indica um prazo longo demais para a operação, o problema é o efeito pequeno que você está tentando medir, não o prazo.
Como saber se o resultado do teste foi sorte?
Olhe três coisas antes de comemorar: se a amostra bateu o que foi planejado, se o resultado se manteve estável nos últimos dias em vez de depender de um pico isolado, e se ele aparece também nas métricas vizinhas (receita por sessão, taxa de adição ao carrinho, cancelamento). Ganho de conversão que vem acompanhado de queda no ticket ou alta no cancelamento não é ganho, é deslocamento.
Dá para fazer teste A/B com pouco tráfego?
Dá para testar, não dá para concluir com precisão fina. Com volume baixo a saída é mudar a estratégia: teste alterações grandes, que produzem efeito grande o suficiente para aparecer em amostra pequena, rode uma coisa de cada vez em sequência em vez de várias em paralelo, compare coortes mensais e assuma a decisão declarando o grau de incerteza. É menos elegante que um teste com significância e continua sendo melhor que decidir por opinião.
Posso parar o teste quando ele fica positivo?
Não, e esse é o erro que mais gera vitória falsa em e-commerce. Se você olha o painel todo dia e para quando o número agrada, você não está medindo o efeito da mudança, está pescando o dia em que a variação natural jogou a favor. A regra é definir amostra e janela antes de começar e só ler o resultado no fim, ou usar um método sequencial que já corrige essa espiada no cálculo.
Equipe Metris
Estratégia, mídia, dados e conteúdo
O time da Metris, assessoria de marketing de performance com mais de 18 anos de experiência: estratégia, mídia paga, CRM, dados e CRO trabalhando juntos para fazer empresas venderem mais, com margem. Os textos saem das contas que a gente opera, e nenhum número entra sem origem.
