Significância Estatística

Breve descrição: Expressa em porcentagem, a significância mostra se uma campanha ou personalização é confiável para gerar uma ação, com base nas impressões ou no aumento de conversão.

Descrição detalhada: Nos testes A/B personalizados, geralmente se formula uma hipótese, e a significância estatística das variações vai definir se os testes realmente funcionaram ou não. Diz-se que uma campanha ou personalização tem alta significância (ou é estatisticamente significativa) se essa personalização específica tiver mostrado eficácia visível em relação ao grupo de controle. Essa eficácia geralmente é medida em termos de uma mudança positiva nas impressões ou de um aumento no aumento das conversões ou nos valores médios dos pedidos.

Por que você deve acompanhar a significância (AOVU)?

Durante um teste A/B, tanto a versão A quanto a versão B vão apresentar resultados diferentes, e você vai querer saber se uma determinada personalização realmente funcionou. Você também vai querer comparar duas personalizações diferentes e a eficácia delas em relação ao grupo de controle. A significância mostra a porcentagem de eficácia, pra que você possa escolher a versão com melhor desempenho pra futuras campanhas. Uma significância baixa indica que sua personalização não está funcionando bem e precisa de ajustes adicionais ou de uma mudança na estratégia.