Significância estatística: a diferença é real ou acaso?

Sua pesquisa mostra que 55% dos homens e 48% das mulheres preferem a marca A. São 7 pontos de diferença. Mas essa diferença é real — existe de fato na população — ou é apenas o acaso de quem, por sorteio, caiu na sua amostra? Responder a essa pergunta com honestidade é o papel da significância estatística.

O problema: toda amostra tem ruído

Quando você entrevista uma parte da população em vez de todo mundo, cada número que você calcula carrega uma dose de sorte. Se sorteasse outra amostra, os percentuais viriam um pouco diferentes — para cima ou para baixo — mesmo que nada tivesse mudado na realidade. Esse balanço natural se chama variação amostral, e ele é inevitável.

Por isso, uma diferença observada entre dois grupos pode ter duas origens muito distintas: pode refletir uma diferença verdadeira (homens e mulheres realmente preferem marcas diferentes) ou pode ser só ruído (os dois grupos são iguais na população, e os 7 pontos apareceram por acaso). A olho nu, os dois casos são idênticos. É preciso um teste para separá-los.

O que é significância estatística

Dizer que uma diferença é estatisticamente significativa é dizer que ela é grande demais para ser explicada apenas pela variação amostral. Em outras palavras: se os dois grupos fossem realmente iguais, seria muito improvável observar uma diferença desse tamanho por puro acaso — então é mais razoável concluir que a diferença é real.

Repare que significância é sempre uma afirmação sobre probabilidade, não uma certeza. Ela não prova nada em definitivo; apenas mede o quanto o acaso é uma explicação plausível para o que você viu.

O valor-p e como interpretá-lo

A ferramenta central desse raciocínio é o valor-p. Ele responde a uma pergunta bem específica: se não houvesse nenhuma diferença real entre os grupos, qual seria a probabilidade de eu observar uma diferença tão grande quanto a que observei — ou maior — só por sorteio da amostra?

Quanto menor o valor-p, mais difícil é atribuir o resultado ao acaso. O limite mais usado em pesquisa de mercado é 0,05: quando o valor-p fica abaixo de 0,05, dizemos que a diferença é significativa ao nível de 95% de confiança. Um valor-p de 0,02, por exemplo, significa que haveria apenas 2% de chance de ver aquela diferença caso os grupos fossem iguais — improvável o bastante para levarmos a diferença a sério. Já um valor-p de 0,30 não permite concluir nada: o acaso explica o resultado com folga.

O teste Z de duas proporções

Para comparar dois percentuais (duas proporções), o teste mais comum é o teste Z. A ideia é medir a diferença entre os grupos em unidades de erro amostral: quantos "desvios" a diferença observada está de zero. Quanto maior o Z, menor o valor-p correspondente.

Aqui, p₁ e p₂ são os percentuais dos dois grupos, n₁ e n₂ os tamanhos das bases, e p̄ é a proporção combinada (a média ponderada dos dois grupos). O numerador é o tamanho da diferença; o denominador é o quanto essa diferença poderia oscilar por acaso. Se a diferença é grande e a oscilação esperada é pequena, o Z cresce e a diferença tende a ser significativa. Você não precisa fazer essa conta à mão — dá para testar qualquer par de percentuais na calculadora de significância.

As letras A, B e C nas tabelas de instituto

Se você já viu uma tabulação de instituto, deve ter notado letrinhas minúsculas ao lado de alguns números — algo como "55%ᴮ". Elas são a forma visual de mostrar significância dentro de uma tabulação cruzada. Cada coluna (cada grupo comparado) recebe uma letra: A, B, C, e assim por diante. Quando um valor traz a letra de outra coluna, significa que ele é significativamente maior do que o valor daquela coluna.

No exemplo, se a coluna dos homens é a "A" e a das mulheres é a "B", um "55%ᴮ" na coluna dos homens indica que a preferência masculina é significativamente maior que a feminina. Se não houver letra nenhuma, a diferença não passou no teste — é tratada como empate estatístico, por mais que os números pareçam distantes.

O papel do tamanho da base

Aqui está o ponto que mais confunde: uma mesma diferença de percentuais pode ser significativa ou não, dependendo do tamanho das amostras. Quanto menor a base, maior a diferença necessária para o teste acusar significância — porque bases pequenas têm muito ruído.

Um exemplo intuitivo: se você joga uma moeda 10 vezes e sai 6 caras, você não desconfia da moeda — 60% em tão poucas jogadas é comum por acaso. Mas se joga 1.000 vezes e saem 600 caras, o mesmo 60% vira uma anomalia gritante. O percentual é idêntico; o que muda é a base. Com pesquisa é a mesma coisa: 7 pontos de diferença podem ser irrelevantes com 40 respondentes por grupo e sólidos com 800 por grupo.

Significância não é relevância prática

Um último alerta, talvez o mais importante para quem toma decisões: significativo não é sinônimo de importante. São coisas diferentes. Com uma amostra enorme, uma diferença de 1 ponto percentual pode ser estatisticamente significativa — real, sim, mas pequena demais para mudar qualquer estratégia. No sentido oposto, uma diferença de 12 pontos num subgrupo pequeno pode não ser significativa e, ainda assim, apontar uma pista que vale investigar com mais dados.

Ou seja: use a significância para saber se pode confiar que a diferença existe, e use seu julgamento de negócio para saber se ela importa. As duas perguntas são necessárias. Se quiser ver como esse teste se encaixa no fluxo completo de leitura dos dados, vale conferir o guia de análise de pesquisa de mercado.

Leia também