Teste A/B é o experimento que compara duas versões de uma mesma coisa, como uma tela, um botão ou um texto. Você mostra a versão A pra metade das pessoas e a B pra outra metade, e mede qual delas atinge melhor um objetivo. A é o controle, ou seja, como já está, e B é a mudança que você quer propor.
Pra que a comparação seja limpa, cada pessoa é sorteada pra um grupo e fica nele durante todo o teste. No fim, você olha a métrica nos dois grupos. Quando a diferença é estatisticamente significativa, dá pra atribuir o resultado à mudança, e não a um acaso qualquer.
Vale entender que o teste A/B responde uma pergunta bem específica: quando eu mudo X, a métrica Y melhora? Ele não diz por quê, nem o que a pessoa pensou ao usar. Esse lado é papel da pesquisa qualitativa. Por isso os dois se completam, em vez de um substituir o outro.