Significância estatística é o que separa um resultado confiável de uma coincidência. Quando você roda um teste A/B e a versão B converte um pouco mais, a pergunta é se essa diferença existe de verdade ou se foi sorte da amostra. A significância é o critério que responde isso, dada a quantidade de dados que você juntou.
O motivo de ela existir é que números pequenos enganam. Com poucos usuários, qualquer versão pode parecer melhor por puro acaso. Declarar vitória cedo, com amostra pequena, faz o time tomar decisão baseada em ruído e depois se frustrar quando o ganho não se confirma em produção.
Na prática, ela vem junto de dois cuidados: ter amostra suficiente antes de olhar o resultado, e definir o critério de sucesso antes de começar. Espiar o teste toda hora e parar no momento que dá a resposta que você queria é uma forma comum de se enganar com estatística.