Como comparar respostas de IA com critérios de qualidade

Uma resposta de IA não é melhor apenas porque parece segura, é longa ou usa palavras sofisticadas. Para compará-la de modo justo, use uma referência comum: o que o pedido exige e quais dados foram disponibilizados.

Duas respostas só podem ser comparadas diretamente quando respondem ao mesmo pedido e têm acesso ao mesmo contexto. A pergunta inicial é: o que a resposta precisa entregar de forma observável?

Considere estes registros do caso, todos fictícios. Eles são o contexto disponível para responder ao pedido da Biblioteca Horizonte.

Ao comparar uma resposta, comece perguntando: que função este trecho cumpre?

• Alegação factual: afirmação que pode ser verificada em registros, fontes ou observações. Ela não vira fato só por ser verificável: pode estar correta, errada ou ainda sem confirmação.
• Inferência: conclusão construída a partir de informações disponíveis. Pode ser bem ou mal sustentada.
• Opinião: julgamento de valor, preferência ou avaliação.

Esses rótulos classificam o tipo de afirmação; eles ainda não decidem se a resposta inteira é boa ou pode ser usada.

Uma mesma frase pode misturar categorias. Separe-a em partes antes de classificá-la.

Considere: “E2 registra que 18 de 30 adultos preferem sábado; por isso, recomendo esse horário; acho essa opção mais agradável.”

O primeiro trecho faz uma afirmação verificável sobre E2. O segundo chega a uma conclusão a partir do dado disponível. O terceiro avalia a opção segundo um julgamento pessoal.

Essa separação evita dois erros comuns: tratar toda recomendação como mera opinião ou tratar uma afirmação verificável como algo automaticamente comprovado.

Associe cada trecho à categoria que descreve sua função.

Correção é verificar se uma afirmação é compatível com os registros do caso — e se respeita o que eles ainda não permitem concluir. Uma resposta pode soar segura e, mesmo assim, alterar um número ou extrapolar os dados.

Para cada trecho, pergunte: qual registro do caso se relaciona a ele? O registro o sustenta, o contradiz ou não permite confirmá-lo?

Use estes três rótulos para registrar a relação de uma afirmação com os registros do caso:

• Sustentada: o registro fornece base direta para o trecho.
• Contradita: o trecho entra em conflito com o que o registro informa.
• Não confirmada: os registros não bastam para afirmar nem para negar o trecho.

“Não confirmada” não quer dizer “falsa”. Significa que seria preciso outra evidência para apresentá-la como certeza.

Relacione cada afirmação ao registro do caso e ao resultado adequado. Considere apenas os dados fictícios E1 a E4.

Uma resposta é relevante quando cada trecho ajuda a cumprir o pedido no contexto disponível. Não basta estar correto: pergunte se o trecho contribui para recomendar um horário, justificar com os dados, indicar uma limitação ou propor divulgação compatível.

Não use tamanho como medida. Uma frase curta pode ser relevante; uma frase correta pode ser dispensável se não ajuda nenhum requisito.

Completude é a cobertura dos requisitos necessários. Uma resposta não fica completa por ser longa nem por trazer muitos dados corretos.

Faça um mapa simples: para cada requisito, localize um trecho que o atende. Se você não encontra esse trecho, registre uma omissão. Um mesmo trecho pode atender mais de um requisito, mas informação extra não substitui um requisito ausente.

Leia a resposta abaixo como um texto avaliado no caso fictício da Biblioteca Horizonte.

A recomendação e sua justificativa usam E2 corretamente. A divulgação presencial atende ao requisito de propor uma forma compatível, e a informação sobre inscrições pode complementar essa proposta.

Já “A oficina terá 20 vagas” é correta segundo E1, mas não ajuda a escolher o horário, justificar a escolha, expor uma limitação nem definir a divulgação: é um detalhe dispensável neste pedido.

Falta uma limitação da escolha. Por exemplo, E2 mostra preferências de 30 adultos, mas não permite concluir que o mesmo resultado vale para todo o público; E3 também não informa se a internet instável se concentra em quem prefere um horário.

Viés não é uma suposição sobre a intenção de quem escreveu. É um problema observável no efeito da resposta: ela pode atribuir capacidades a um grupo, apresentar uma escolha como inevitável ou deixar de fora uma perspectiva que mudaria a análise.

Observe os registros do caso, que são dados fictícios do exercício: E2 registra preferências de horário; E3 registra internet instável para parte das pessoas, mas não informa idade nem relaciona a instabilidade a um horário. Portanto, uma afirmação sobre idade e habilidade tecnológica não pode ser tratada como explicação dada pelos registros.

Um mesmo trecho pode ter mais de um problema. Alterar um número prejudica a correção; usar essa alteração para retratar um grupo de modo indevido também pode indicar viés.

Uma recomendação pode ser sustentada sem apagar quem ficou em minoria. E2 permite preferir sábado com base em 18 de 30, mas não permite dizer que terça-feira é irrelevante: 12 de 30 manifestaram essa preferência.

Também evite apresentar uma única forma de acesso como suficiente para todas as pessoas. E3 torna relevante não depender apenas da internet; E4 oferece inscrições presencialmente ou por telefone. Uma divulgação presencial é compatível com esse contexto.

Isso não exige um equilíbrio artificial: os dados não obrigam a recomendar terça-feira. Exigem apenas que a conclusão represente o que os registros mostram e seus limites.

Uma rubrica torna a comparação repetível: as duas respostas passam pelos mesmos quatro critérios, nesta ordem: correção, relevância, completude e viés.

Use 0 = não atende, 1 = atende parcialmente e 2 = atende. O número registra o que foi observado em um critério específico; não é uma nota total. Uma pontuação alta em relevância, por exemplo, não compensa uma contradição em correção.

Aplique a rubrica ao mesmo pedido e aos mesmos registros do caso, todos fictícios. A resposta precisava: recomendar um horário, justificar com os dados disponíveis, indicar uma limitação da escolha e propor uma forma de divulgação compatível com as condições do público.

Comece pela correção: localize um trecho, confronte-o com E1 a E4 e só então atribua o nível.

Mantenha os critérios separados. Uma informação pode ser correta e ainda não ajudar a cumprir o pedido; nesse caso, ela afeta a relevância, não a correção. Do mesmo modo, uma omissão pode afetar a completude mesmo quando os trechos presentes são corretos.

Depois de aplicar a rubrica, o encaminhamento responde a uma pergunta prática: esta resposta está pronta para a finalidade prevista?

Não basta escolher a melhor entre duas respostas. Uma resposta pode ser preferível à outra e ainda precisar de ajuste antes do uso. Decida pela gravidade do problema, pelo conteúdo que permanece aproveitável e pela possibilidade de corrigir sem reconstruir a base da resposta.

Avalie respostas específicas, não um modelo em geral: comparar duas respostas não permite concluir qual sistema é melhor em todas as tarefas.

Use a rubrica para localizar o problema e, então, definir o encaminhamento. A decisão não é uma soma de pontos: uma contradição central ou um estereótipo que sustenta a conclusão pode pesar mais que aspectos adequados em outros critérios.

Associe cada situação ao encaminhamento mais adequado. Considere que os problemas descritos já foram confirmados na análise da rubrica.

Nesta aplicação final, compare as duas respostas pelo mesmo pedido, pelos mesmos registros do caso e pela mesma rubrica. Não escolha a que parece mais segura ou agradável: registre o que cada texto demonstra.

Siga este percurso: localize um trecho; confronte-o com os registros do caso; avalie, nesta ordem, correção, relevância, completude e viés; então defina o encaminhamento. Uma justificativa rastreável permite que outra pessoa revise seu julgamento.

Os registros abaixo são dados fictícios do exercício.

Pedido: recomende um dos horários da oficina, justifique com os dados disponíveis, indique uma limitação da escolha e proponha uma forma de divulgação compatível com as condições do público.