Design de experimentação

Testar ideias com método (teste A/B, piloto, protótipo) pra decidir com evidência em vez de achismo.

Hard

O que é

Design de experimentação é montar testes sistemáticos pra validar uma hipótese sobre comportamento, feature ou estratégia, gerando evidência confiável pra você decidir. Ele inclui formular a hipótese, planejar o experimento, analisar com estatística e interpretar o resultado com cuidado.

O ciclo costuma ter quatro fases que se encadeiam: formular a hipótese e definir a métrica; montar a variação isolando uma variável de cada vez; rodar o teste com monitoramento; e analisar a significância pra decidir o que escala. Em produto, isso serve pra validar feature antes de construir tudo, otimizar conversão e até testar preço sem apostar no escuro. Os tipos mais comuns são teste A/B, teste multivariado e coorte, somados ao lado qualitativo, que é quem explica o porquê.

Em uma frase

Antes de construir tudo, vamos desenhar um experimento com hipótese clara pra ver se isso move a métrica.

A pergunta que ele responde

Como decido com evidência em vez de achismo antes de gastar meses construindo a feature?

Quando usar

Ajuda quando há dúvida sobre o que funciona e dá pra testar antes de gastar mês de desenvolvimento.

Como não usar

O cuidado é rodar teste sem hipótese clara nem amostra suficiente, e depois ler ruído como se fosse resultado. Aí o método dá aparência de rigor a uma conclusão frágil.

Na prática

Pense num time que, antes de construir a feature inteira, roda um teste com metade dos usuários pra medir se ela move a métrica que importa. É esse teste que evita meses gastos numa aposta que não se sustentava.

Não confunda com

Vale separar experimentação de teste A/B. O A/B é apenas um tipo dentro de um campo bem maior, que inclui multivariado, coorte e estudo qualitativo. Confundir os dois é tomar a parte pelo todo, e acaba estreitando demais o que dá pra investigar.

Dados

Em inglês

Experimentation Design

Pronúncia

n/a

Também chamado de

experimentação, desenho de experimento, teste de hipótese

Origem

n/a

Fonte

Saiba mais

Ron Kohavi, Trustworthy Online Controlled Experiments