1001Ferramentas
🧪Calculadoras

Significância A/B Test (Qui-quadrado)

Calcula qui-quadrado para 2x2: variante A (visitas, conversões) vs B. χ²>3.84 = significante p<0.05.

χ² + p<0.05

Significância de teste A/B com qui-quadrado

Monte seus dados numa tabela 2×2 (variante A/B contra converteu/não converteu) e o qui-quadrado de Pearson responde a uma pergunta só: as taxas de conversão realmente diferem? A estatística é χ² = Σ (O − E)² / E com 1 grau de liberdade, e os valores esperados saem de E = (total linha × total coluna) / total geral. Você rejeita H₀ (sem diferença) quando p < 0,05, o que bate com χ² > 3,84. Pegue A = 80/1000 (8%) contra B = 110/1000 (11%): dá χ² ≈ 5,0 e p ≈ 0,025, então o ganho é real. Calcule o tamanho da amostra antes, pela fórmula de Casagrande-Pike, para o teste não ficar sem poder. E cuidado com a tentação de espiar resultados parciais — isso infla o erro tipo I. Fixe o n de antemão, ou parta para um A/B bayesiano com intervalos de credibilidade.

Aplicações

Otimização de conversão (CRO), ajustes de UI como cor de botão ou layout, testes de copy e subject line de email, experimentos de preço, criativos de mídia paga e decisões de produto guiadas por dados em plataformas como Optimizely e VWO (o Google Optimize foi encerrado em 2023).

Perguntas frequentes

Qui-quadrado ou teste z de duas proporções? Numa tabela 2×2 dá no mesmo, matematicamente: z² = χ². Use o que a sua stack já reporta.

E se os esperados forem menores que 5? Recorra ao teste exato de Fisher. A aproximação qui-quadrado deixa de ser confiável em amostras pequenas.

Posso parar o teste assim que dá significativo? Não faça isso. Ficar espiando os dados joga a taxa de falsos positivos bem acima de 5%. Se precisa olhar enquanto os dados chegam, use métodos sequenciais (mSPRT, fronteiras group-sequential) ou regras de decisão bayesianas.

Ferramentas Relacionadas

Os resultados desta ferramenta têm caráter apenas informativo e educativo e não constituem aconselhamento profissional, financeiro, médico, jurídico, tributário ou contábil. Confirme decisões importantes com um profissional qualificado e fontes oficiais.