Como interpretar erros e limites de um modelo

Em uma avaliação, há acerto quando a previsão do modelo concorda com o rótulo de referência. Há erro quando elas discordam. O rótulo de referência é a resposta considerada correta para aquele exemplo.

A tabela reúne a avaliação do Modelo B na Loja Ipê. Em cada linha, os Acertos e os Erros somam o total de Exemplos. No Teste, 90 acertos + 10 erros = 100 exemplos.

Generalização é a capacidade de o modelo funcionar em exemplos novos, que não foram usados no treinamento. Por isso, o resultado no Teste ajuda a observar como o modelo se saiu em exemplos separados.

Para comparar treino e teste, observe a mesma tarefa, o mesmo critério de acerto e contextos comparáveis. Aqui, os dois modelos classificam mensagens da Loja Ipê como Entrega ou Troca.

Os exemplos de teste foram separados do treino. Tanto treino quanto teste são mensagens do canal Site, em português e sem abreviações. Assim, a diferença entre os resultados ajuda a observar como cada modelo vai além dos exemplos usados para aprender.

As barras usam a mesma escala: isso torna visível que a distância entre treino e teste é muito maior no Modelo A.

Há sobreajuste (overfitting) quando o modelo se adapta demais aos exemplos de treino e tem mais dificuldade para generalizar para exemplos novos comparáveis.

O Modelo A acertou 98 em 100 (98%) no treino, mas 70 em 100 (70%) no teste: a diferença é grande. Esse padrão é um sinal de possível sobreajuste.

O Modelo B teve resultados próximos: 92 em 100 (92%) no treino e 90 em 100 (90%) no teste. Isso não prova que ele seja adequado para qualquer situação; apenas não mostra o mesmo sinal forte nessa comparação.

Uma avaliação depende dos registros e do rótulo de referência usados na comparação. Antes de explicar um resultado, vale inspecionar a tabela: pode haver informação ausente, um registro repetido ou uma referência que não combina com a mensagem.

Na tabela, a 2ª linha foi usada no Treino e a 3ª no Teste. Compare-as com atenção.

Um dado ausente pode retirar uma informação relevante para aprender ou avaliar. Uma duplicação acidental do mesmo registro pode dar peso excessivo àquele caso. Se o mesmo registro aparece no Treino e no Teste, o resultado do Teste pode parecer mais otimista, pois esse caso já estava presente no Treino.

Um rótulo de referência incorreto também importa: ele pode ensinar uma associação errada e pode transformar uma previsão adequada em um erro apenas na contagem da avaliação.

Representatividade é a presença, nos dados avaliados, dos tipos de situação relevantes para o uso pretendido.

Uma base pode ter registros corretos e ainda representar apenas parte do uso real. Na Loja Ipê, o Modelo B foi avaliado no canal Site, com mensagens em português sem abreviações. Esse resultado sustenta uma conclusão sobre mensagens novas com essas características — não sobre qualquer forma de contato.

No teste do Modelo B, com 100 mensagens do canal Site, houve 90 acertos e 10 erros. A taxa geral de acerto é um resumo de todas as categorias juntas: 90 em 100 (90%).

Esse resumo mostra o desempenho observado no conjunto inteiro, mas ainda não informa se Entrega e Troca tiveram o mesmo resultado.

Ao separar o teste pelo Rótulo de referência, aparece uma diferença que os 90% gerais escondem.

Entrega teve 76 acertos em 80 exemplos: 76 em 80 (95%). Troca teve 14 acertos em 20 exemplos: 14 em 20 (70%). As taxas permitem comparar categorias mesmo quando seus totais são diferentes.

Um parecer crítico não tenta explicar tudo de uma vez. Organize a leitura em três partes:

1. Resultado observado: o que as contagens e taxas mostram diretamente.
2. Limitação ou possível explicação: um sinal que merece atenção, sem tratá-lo como causa comprovada.
3. O que falta verificar: situações ou dados para os quais ainda não há evidência.

Assim, um resultado alto no Teste pode sustentar uma conclusão sobre aqueles exemplos avaliados, mas não sobre qualquer mensagem que a Loja Ipê venha a receber.

Os dois modelos foram avaliados nos mesmos exemplos de Teste, separados do Treino. Isso permite comparar seus resultados nessas condições. O Modelo A tem uma diferença grande entre Treino e Teste: é um sinal de possível sobreajuste, mas a tabela não revela sozinha a causa. O Modelo B teve o melhor resultado observado no Teste; ainda assim, essa conclusão vale para a tarefa e o contexto avaliados.