Distinguir significância estatística e importância prática

Onde está a magnitude?

Em um resultado quantitativo, effect size é a magnitude estimada de uma diferença ou relação. A expressão não exige uma medida padronizada: o estudo pode apresentar a magnitude em pontos, minutos, dias ou outra unidade definida na pesquisa.

Para localizar o tamanho da diferença, pergunte:

1. O que está sendo comparado?
2. Em qual unidade?
3. Qual grupo ou condição teve valor maior?

O número só ganha sentido completo quando vem acompanhado da comparação e da unidade.

Relacione cada elemento do resultado ao que ele identifica.

“The training group completed the task 3.5 minutes faster than the standard-practice group.”

O resultado de um teste responde a uma pergunta inferencial definida pelo estudo. Assim, statistically significant informa que o resultado atingiu o critério estatístico adotado — por exemplo, p < .05.

Isso não responde, por si só, se a diferença é grande o bastante para importar na pergunta investigada. Para isso, é preciso olhar a magnitude em sua unidade e um critério contextual de relevância.

Leia primeiro a magnitude e depois pergunte: “Qual referência torna essa diferença útil, suficiente ou consequente para esta pergunta?”

Pequena em relação a quê?

Uma diferença pode ser statistically significant e, ainda assim, ficar abaixo do critério que o estudo considera relevante na prática.

Leia o resultado:

The intervention group scored 1.2 points higher than the control group (95% CI 0.5 to 1.9; p = .004). The pre-specified threshold for practical relevance was 3 points.

A estimativa é de 1,2 ponto a mais. O intervalo exclui 0, e o teste resultou significativo. Porém, tanto a estimativa quanto os limites do intervalo ficam abaixo de 3 pontos — o critério contextual declarado.

A formulação a small but statistically significant difference tem valor concessivo:

• small: pequena em relação ao critério ou contexto informado;
• but statistically significant: o procedimento do teste encontrou evidência incompatível com a diferença nula segundo o limiar adotado.

O conectivo but preserva as duas informações; não transforma significância em importância prática. Também não faz de small uma etiqueta universal: sem uma referência contextual, não se sabe qual magnitude merece esse rótulo.

Considere novamente a diferença de 1,2 ponto, com IC de 95% de 0,5 a 1,9, p = .004 e critério de relevância de 3 pontos.

Verdadeiro ou falso? Como p = .004 é menor que .05, a diferença demonstrou importância prática.

Uma estimativa pontual pode parecer relevante sem permitir uma conclusão firme. Considere uma escala em que uma melhora de 5 pontos é o critério contextual de relevância prática.

The intervention group improved by 6 points more than the comparison group (95% CI −2 to 14; p = .18).

A estimativa é de 6 pontos: ela alcança o critério de 5. Mas o intervalo vai de −2 a 14. Portanto, os resultados ainda são compatíveis tanto com ausência de melhora (e até uma pequena piora) quanto com uma melhora relevante.

As duas referências respondem a perguntas diferentes:

• 0 (no difference): o intervalo inclui ausência de diferença? Aqui, sim. Isso é coerente com p = .18: o teste não foi estatisticamente significativo no limiar adotado.
• 5 points (practical criterion): o intervalo inclui diferenças consideradas relevantes? Aqui, sim — ele chega a 14.

Nenhuma dessas leituras autoriza escolher apenas o trecho favorável do intervalo. Como ele abrange valores irrelevantes e relevantes, a importância prática permanece incerta.

Leia novamente o resultado:

The intervention group improved by 6 points more than the comparison group (95% CI −2 to 14; p = .18). A 5-point improvement was considered practically relevant.

Qual comentário em inglês integra corretamente magnitude, precisão, teste e relevância prática?

Ao interpretar um resultado potencialmente relevante, verifique:

1. Magnitude: a estimativa pontual alcança o critério contextual?
2. Precisão: o intervalo é amplo ou estreito para essa decisão?
3. Referência nula: o intervalo inclui ausência de diferença?
4. Critério prático: o intervalo inclui valores abaixo e acima do que seria relevante?
5. Teste: o resultado estatístico concorda com essa leitura, sem substituir as demais?

Uma estimativa pode ser potencialmente relevante e, ao mesmo tempo, imprecisa. Nessa situação, descreva a incerteza em vez de declarar importância prática estabelecida.

Importância prática não é uma propriedade que o p-value revela sozinho. Mesmo quando uma diferença é estatisticamente significativa e estimada com precisão, ainda é preciso uma referência contextual para avaliá-la.

Essa referência pode vir da finalidade da comparação, das consequências de uma mudança ou de um critério justificado pelo estudo. Sem ela, a conclusão responsável não é “irrelevante”; é: não há base suficiente para julgar a importância prática.

Compare estas duas situações:

A. Critério disponível, precisão insuficiente
O estudo define uma melhora de 5 pontos como relevante. A estimativa é de 6 pontos, mas o intervalo vai de 1 a 11. O intervalo inclui diferenças abaixo e acima de 5; portanto, a importância prática não está firmemente estabelecida por causa da incerteza.

B. Estimativa precisa, critério ausente
A diferença média é de 1,8 minuto, com intervalo estreito, e o teste é estatisticamente significativo. Porém, o relato não diz que diferença em minutos faria alguma consequência relevante. A precisão não cria esse critério.

Complete a ressalva em inglês sem inventar um valor de corte:

“Although the difference was statistically significant, its practical importance cannot be assessed because __.”

Um comentário curto, quatro funções

Ao condensar um resultado, não deixe um indicador substituir outro. Organize a frase nesta ordem:

1. Magnitude e comparação: quem diferiu de quem, em qual unidade e por quanto.
2. Precisão: o intervalo da mesma estimativa.
3. Teste: o resultado, por exemplo, p = .01.
4. Relevância prática: uma conclusão ligada ao critério contextual — ou uma ressalva se ele não foi informado.

A significância estatística não prova relevância prática. Por isso, conectores como although, but e however ajudam a manter o contraste visível.

Revisão aplicada: quatro perguntas para cada resultado

Ao ler uma conclusão quantitativa, confira separadamente:

1. Magnitude: qual é a diferença estimada, em que unidade e entre quais grupos?
2. Precisão: o intervalo é estreito ou abrange interpretações diferentes?
3. Teste: o resultado foi statistically significant?
4. Importância prática: há um critério contextual que permita avaliá-la?

Um valor de p favorável não responde sozinho às outras três perguntas.

Leia os dois relatos fictícios. Eles trazem todos os valores necessários para a atividade.

Study A — waiting time

The intervention group waited 1.8 minutes less on average than the comparison group (95% CI 0.9 to 2.7 minutes less; p = .002). The service had predefined a reduction of at least 1.5 minutes as practically relevant.

Study B — questionnaire score

The intervention group scored 4.2 points higher than the comparison group (95% CI 3.7 to 4.7 points; p < .001). The report provides no benchmark, outcome purpose, or consequence associated with a score difference.

Em A, o intervalo exclui zero, mas inclui reduções abaixo e acima de 1.5 minuto. Em B, a estimativa é precisa e estatisticamente significativa, porém falta a referência para julgar sua importância prática.

Associe cada formulação à informação que a justifica.

Checklist final

Antes de aceitar ou escrever uma conclusão, pergunte:

• Mantive a medida, a unidade e a comparação?
• Mencionei o intervalo quando a precisão limita a leitura?
• Tratei o resultado do teste como evidência do procedimento, e não como medida de tamanho ou utilidade?
• Há um critério contextual que sustente a expressão practically important?

Se a última resposta for não, formule uma ressalva; não conclua automaticamente que o resultado é irrelevante.