Interpretar valores de p sem confundir probabilidade e certeza

Uma research hypothesis é uma previsão investigativa: por exemplo, “o formato de feedback pode estar relacionado ao desempenho”. Ela ajuda a formular a pergunta, mas não é automaticamente a hipótese estatística usada pelo teste.

As hipóteses estatísticas fazem afirmações sobre uma quantidade populacional — por exemplo, a diferença média de desempenho entre duas condições na população. O procedimento confronta duas referências:

• null hypothesis (H₀): a referência assumida pelo teste;
• alternative hypothesis (H₁): a possibilidade contrastada pelo procedimento.

Em muitas comparações, H₀ afirma que a diferença populacional é zero. Isso é frequente, não uma regra para qualquer estudo.

Como localizar cada elemento:

• Pergunta investigativa: os dois formatos de feedback estão associados a médias diferentes?
• Quantidade populacional: a diferença entre as médias de quiz na população-alvo — não a diferença observada apenas na amostra.
• H₀: the population mean difference was zero.
• H₁: the population mean difference was not zero.

Não transforme uma frase sobre a amostra em uma afirmação direta sobre a população. E não invente H₀ ou H₁ se o trecho não as declara nem descreve a quantidade que seria testada.

Relacione cada passagem à sua função. Baseie-se somente no que está explicitamente dito.

Associe cada formulação à descrição correta.

Em um teste, a test statistic é um resumo numérico dos dados. O procedimento compara o valor observado dessa estatística com uma referência construída sob H₀ e sob os pressupostos do teste.

A expressão reference distribution nomeia a distribuição dos valores que essa estatística poderia assumir nesse cenário de referência. Ela não é uma fotografia dos dados: é o padrão usado para situar o resultado observado.

Para decidir o que seria “mais extremo”, leia primeiro a hipótese alternativa. A direção não vem do resultado que parece mais conveniente depois de olhar os dados.

Expressões no método ou no plano de análise indicam quais direções serão consideradas.

Leia a alternativa abaixo e selecione o diagrama compatível.

H₁: The new feedback method increases the mean score compared with the standard method. A one-tailed test was specified before data collection.

Considere um esquema simétrico em que aumentos aparecem à direita. Qual diagrama marca a região de resultados mais extremos pertinente a esse procedimento?

A leitura condicional de p

Depois de definir a direção da comparação e a hipótese de referência, leia o p-value assim:

Under the null hypothesis and the test assumptions, the p-value is the probability of obtaining a test statistic at least as extreme as the observed one.

Em português: sob H₀ e os pressupostos do teste, é a probabilidade de obter uma estatística tão ou mais extrema que a observada.

A condição inicial importa: o procedimento começa supondo a referência H₀ e as condições que o método exige. A probabilidade se refere aos possíveis resultados da estatística nesse cenário.

Não leia apenas “a probabilidade de obter exatamente este número”. Em uma distribuição contínua, o foco interpretativo é a região de resultados pelo menos tão extremos quanto o observado, definida pela alternativa e pelo procedimento.

A figura é esquemática: outras comparações podem ter outra região relevante. A direção não é escolhida depois de ver os dados.

Duas perguntas, condições diferentes

Você já viu que um p-value é lido sob uma referência: sob H₀ e os pressupostos do teste, qual é a probabilidade de obter uma estatística tão ou mais extrema que a observada?

Em símbolos, a ideia é P(resultados tão ou mais extremos | H₀ e pressupostos).

Isso não responde à pergunta invertida: P(H₀ é verdadeira | dados observados). Embora ambas mencionem H₀ e os dados, elas condicionam a probabilidade a informações diferentes. Um valor de p, sozinho, não permite trocar uma pela outra.

Leituras que p não autoriza

Suponha que um artigo informe: p = .03.

O valor não diz que há “3% de chance de H₀ ser verdadeira”. Também não diz que há “97% de chance de H₁ ser verdadeira”: 1 − p não transforma p em probabilidade da hipótese alternativa.

Evite ainda: “The result happened only by chance.” O teste não identifica uma única explicação para o resultado. Um p pequeno indica que os dados observados seriam pouco compatíveis com a referência se H₀ e os pressupostos fossem adequados. Sozinho, ele não aponta qual hipótese, pressuposto ou aspecto do procedimento explica essa incompatibilidade.

Um estudo relata: “Under the null hypothesis and the stated assumptions, p = .02.”

Qual paráfrase é a mais fiel?

Julgue a afirmação:

“A small p-value tells us how large the difference between the groups is.”

Em um teste, o significance level — também escrito α (alpha) — é o limiar escolhido para aplicar uma regra de decisão. Ele faz parte do procedimento definido pelo estudo.

Já o p-value é obtido a partir dos dados pelo teste. Depois, o leitor compara p e α conforme a regra declarada. Em muitos relatos, a regra é: p < α → statistically significant.

Leia a regra e o limiar do próprio estudo; eles não são fornecidos automaticamente pelo valor de p.

Use a classificação somente quando a regra e o limiar estiverem disponíveis no trecho.

Um artigo informa: “We used α = .05. The comparison yielded p = .04.” Complete a classificação em inglês segundo a regra p < α: The result was ____.

Uma decisão do teste é uma conclusão procedimental, ligada à hipótese de referência H₀ e à regra adotada no estudo.

• Reject the null hypothesis: o resultado atingiu o critério para rejeitar H₀.
• Fail to reject the null hypothesis: o resultado não atingiu esse critério.

Nenhuma das duas frases autoriza uma certeza absoluta sobre uma explicação científica. Elas relatam o que a regra de decisão permite fazer com H₀ naquele procedimento.

Ao corrigir uma conclusão, não troque apenas palavras fortes por expressões vagas. Reconstrua a frase a partir do que o trecho realmente informa:

1. Preserve a hipótese de referência, o valor de p e o limiar, se forem fornecidos.
2. Escolha o foco: explique p condicionalmente quando o erro for probabilístico; descreva a decisão quando o texto comparar p e α.
3. Delimite a conclusão: fail to reject H₀ não demonstra que não houve efeito.

Não acrescente causa, tamanho de efeito, qualidade do estudo ou uma hipótese que o excerto não declarou.

Leia o excerto fictício:

“The null hypothesis stated that the two teaching formats had the same mean score. The analysis yielded p = .03; α = .05.”

A frase abaixo inverte a probabilidade:

“There is a 3% chance that the null hypothesis is true.”

Monte uma substituição que preserve a condição under the null hypothesis e inclua resultados at least as extreme.

Quando o excerto traz uma regra de decisão, nomeie-a com precisão:

• p < α → “The result was statistically significant at α = ...” e “the null hypothesis was rejected according to the decision rule.”
• p ≥ α → “The result was not statistically significant at α = ...” e “the study failed to reject the null hypothesis.”

A segunda linha não autoriza escrever there was no effect, the groups were equal ou H₀ is true. Essas afirmações vão além do resultado informado.

Use este roteiro ao ler cada excerto:

1. Referência testada: qual é a null hypothesis (H₀)?
2. Direção: a comparação é one-sided ou two-sided?
3. Condições relatadas: o que o método declara? O que permanece desconhecido?
4. p e α: qual valor foi obtido e qual limiar foi declarado?
5. Decisão: pela regra informada, H₀ é rejeitada ou não rejeitada?
6. Limite: qual afirmação de certeza, causa ou ausência de efeito não é autorizada?

O roteiro separa leitura fiel do texto de suposições que ele não permite fazer.

Miniestudo A — método e resultado

The preregistered one-sided null hypothesis (H₀) stated that the new feedback activity would not increase mean quiz scores. Students completed the quiz independently. Using α = .05, the analysis returned p = .03. The result was statistically significant.

A referência é “sem aumento da média”. Como p < α, o procedimento leva à rejeição de H₀. A expressão statistically significant descreve essa classificação segundo a regra declarada; não prova, por si só, uma explicação definitiva.

Miniestudo B — método e resultado

The two-sided null hypothesis (H₀) stated that the two study schedules had the same mean retention score. The analysis assumed independent observations. With α = .05, p = .12; the result was not statistically significant.

Aqui H₀ é “mesma média”, e a alternativa admite diferença em qualquer direção. Como p > α, a decisão é fail to reject H₀. Isso não demonstra que os horários sejam iguais nem que não exista efeito.