Análise estatística

Usar métodos estatísticos pra separar padrão real de variação aleatória nos dados do produto.

Hard

O que é

Análise estatística é aplicar método pra examinar dados, testar hipótese e tirar conclusão que se sustenta, sempre levando em conta a incerteza. No trabalho de produto, ela serve sobretudo pra uma coisa: distinguir um padrão de verdade de um barulho aleatório.

O valor está justamente aí. Sem rigor estatístico, você olha duas semanas com um número um pouco maior e acha que descobriu uma tendência, quando na verdade foi só flutuação. A estatística ajuda a dizer quando a diferença que você viu é provavelmente real e quando ela é só sorte.

Na prática, isso aparece com força em teste A/B, na hora de calcular tamanho de amostra, ler significância e não declarar vitória cedo demais. Você não precisa virar estatístico, mas precisa do suficiente pra não tomar uma decisão grande em cima de ruído.

Em uma frase

A variante está na frente, mas a amostra ainda é pequena, então não dá pra declarar vitória.

A pergunta que ele responde

Como sei se essa diferença nos dados é real ou só coincidência?

Quando usar

Faz sentido ao ler resultado de experimento, teste A/B ou qualquer decisão que dependa de dados pra não confundir padrão com acaso.

Como não usar

O cuidado é encerrar um teste A/B no primeiro dia em que a variante aparece na frente, sem amostra nem significância.

Na prática

Pense num teste A/B em que a variante B aparece na frente. Antes de declarar vitória, você confere se a amostra é grande o suficiente e se a diferença é significativa, não só maior no gráfico.

Não confunda com

Vale separar significância estatística de relevância prática. A significância diz que o resultado provavelmente é real, e não fruto do acaso. A relevância prática diz se ele é grande o bastante pra valer a mudança. Um resultado pode ser estatisticamente real e, mesmo assim, pequeno demais pra justificar o esforço.

D

Em inglês

Statistical Analysis

Pronúncia

n/a

Também chamado de

estatística, análise estatística

Origem

n/a

Fonte

Saiba mais

Ron Kohavi, Trustworthy Online Controlled Experiments