Conversão
Cadência de experimentos: quantos testes de marketing por trimestre
Antes de aprovar um programa de testes, vale calcular quantos experimentos sua equipe consegue montar, observar e encerrar bem. Este texto propõe duas planilhas, uma de carga e outra de calendário, e uma ficha de hipótese.
A quantidade de experimentos de marketing por trimestre depende de três limites: quantos a equipe consegue montar com qualidade, quantos o tráfego permite avaliar no prazo e quantos podem rodar juntos sem atrapalhar a leitura uns dos outros. O planejamento precisa caber nos três. Não há uma quantidade que sirva para toda empresa.
Primeiro, separe teste qualitativo de experimento estatístico
Testes qualitativos e experimentos estatísticos pedem planejamentos diferentes. Conversar com cinco clientes sobre uma página pode ajudar a formar hipóteses, sem estimar o comportamento de todo o público. Já um experimento estatístico compara grupos e exige volume e duração definidos de antemão. Separe os dois no planejamento: entrevistas exigem recrutamento e análise, enquanto o experimento também depende da população que passa pelo ponto testado.
Se a dúvida é se um teste isolado tem volume suficiente, o artigo sobre teste A/B com pouco tráfego trata desse ponto. Aqui a pergunta é outra: como organizar o conjunto de testes ao longo do trimestre.
Os três limites que definem o ritmo
A documentação de experimentos da PostHog recomenda hipótese clara, inclusão apenas de quem é afetado pela mudança, alteração pequena e duração definida antes do início. Também oferece uma calculadora de tamanho de amostra e tempo de execução, que parte do tráfego esperado e do menor efeito que se quer detectar. Essas orientações se referem aos experimentos da ferramenta, mas servem de lente para pensar o seu programa. A partir delas, uma forma de avaliar é cruzar três limites.
- Capacidade de execução: quantas pessoas-semana existem para briefar, produzir, configurar, conferir e analisar. Um teste que depende de desenvolvimento, de design e de aprovação jurídica consome mais do que um ajuste de texto.
- Tráfego e amostra: quantas pessoas da população afetada passam pelo ponto testado por semana, e quantas semanas isso leva até atingir a amostra necessária para o menor efeito que importa ao negócio.
- Dependências: testes que usam a mesma página, o mesmo público ou a mesma campanha tendem a se misturar. Uma proposta prudente é evitar essa sobreposição, a menos que o desenho do teste controle a interação entre as mudanças (por exemplo, com atribuição aleatória independente e análise preparada para isso).
Um exemplo hipotético ajuda. Suponha uma empresa de serviços com duas pessoas dedicadas ao programa e 12 semanas disponíveis para rodar testes dentro do trimestre (já descontados feriados, férias e semanas de campanha em que nada deve mudar). Há três páginas de entrada, com tráfego distinto. Se a página principal precisa de cinco semanas para chegar à amostra planejada, ela comporta dois testes em sequência (dez semanas), mesmo que a equipe tivesse braço para quatro. As outras duas páginas podem receber testes em paralelo, desde que o público não se sobreponha. O número final sai do gargalo, e não da ambição.
Dois controles: carga da equipe e calendário por população
Uma proposta prática é manter duas planilhas, porque medem coisas diferentes. A primeira registra a carga de trabalho em pessoas-semana. A segunda registra o tempo corrido de observação de cada população, com as dependências. Somar as duas colunas não faz sentido, já que um teste em leitura ocupa o calendário da página, mas pouco tempo da equipe, que pode montar outro teste em outra página nesse intervalo.
Na planilha de carga, cada candidato recebe uma linha com o esforço de montagem e de análise. Na de calendário, cada população ou página recebe uma linha do tempo, onde os testes entram em sequência. Os valores abaixo são hipotéticos e ilustram o preenchimento.
| Controle | Coluna | O que registrar | Exemplo hipotético |
|---|---|---|---|
| Carga | Esforço de montagem | Pessoas-semana antes de lançar | 1,5 |
| Carga | Esforço de análise | Pessoas-semana depois da leitura | 0,5 |
| Calendário | População | Quem é afetado e onde entra | Visitantes da página de contato |
| Calendário | Semanas até a leitura | Tempo corrido para a amostra planejada, com base no tráfego histórico | 5 semanas |
| Calendário | Dependências | O que não deve rodar junto, salvo desenho que controle a interação | Mesma página do teste de título |
| Fila | Ordem | Pontuação ou critério de prioridade | Posição 2 |
Para ordenar a fila, o modelo RICE, descrito pela Intercom para gestão de produto, pondera alcance, impacto, confiança e esforço. Serve como lente para comparar ideias, e não como regra rígida, pois uma dependência pode justificar passar à frente um item de pontuação menor. Desça a lista e, a cada item, confira duas coisas: se a soma de pessoas-semana ainda cabe na capacidade do trimestre e se o item cabe na linha do tempo da sua população sem sobrepor outro teste. Pare quando um dos limites fechar. Essa contagem é o seu número de testes estatísticos, e ele vale para as estimativas de hoje, que devem ser revistas conforme o tráfego real aparecer.
Ficha de hipótese e critério de encerramento
Para que o programa gere decisão e não apenas atividade, cada teste entra na fila com uma ficha curta, preenchida antes do lançamento.
- Hipótese: a mudança, o efeito esperado e o motivo.
- Métrica principal e uma métrica de cuidado, para notar se algo piorou.
- População: só quem de fato vê a mudança.
- Menor efeito que importa e amostra planejada para detectá-lo.
- Prazo de leitura: data fixada, sem decisão por resultado parcial.
- Critério de encerramento: o que fará adotar, descartar ou repetir a variação.
- Registro: onde o resultado será guardado, inclusive quando for inconclusivo.
O prazo fixo evita encerrar cedo demais por empolgação com números parciais, risco que a própria documentação da PostHog descreve como problema de olhar resultados intermediários. Já um resultado inconclusivo não prova que a mudança não funciona nem que o efeito é pequeno. Ele indica apenas que os dados não permitiram decidir dentro dos parâmetros definidos. A PostHog observa, inclusive, que ter amostra suficiente não garante um resultado significativo, apenas torna provável detectar um efeito do tamanho especificado, se ele existir. Por isso, ao registrar um teste inconclusivo, vale revisar se a amostra, o ruído da métrica e a execução estavam à altura da pergunta, e decidir se a ideia merece uma segunda rodada com desenho melhor ou se o custo de insistir já não compensa.
Como decidir o orçamento do programa
Antes de aprovar, peça as duas planilhas preenchidas para o próximo trimestre e veja qual limite fecha primeiro. Se for a capacidade de execução, avalie pessoas ou montagens mais simples. Se for o tráfego, considere mudanças maiores e menos numerosas, ou métodos qualitativos nas páginas de baixo volume. Se forem as dependências, revise o calendário. O orçamento deve responder à restrição encontrada, não apenas aumentar a meta de testes.
