Como testar a solução e compará-la ao processo sem IA

A comparação começa com o que já foi definido: a configuração candidata é a versão 1, com seu escopo e seus critérios existentes. O objetivo não é redesenhar o problema nem reconstruir o protótipo.

Defina uma unidade de comparação: a mesma solicitação deve passar pelos processos Sem IA e Com IA, com o mesmo resultado final exigido e o mesmo ponto de encerramento. Neste tutorial, o ponto de encerramento é a saída revisada pronta para avaliação — não apenas a saída inicial.

Assim, uma resposta rápida da IA não parece melhor só porque a conferência ficou fora da comparação.

Registre as condições antes de executar. “Comparável” não significa que os processos serão idênticos; significa que diferenças relevantes ficam controladas ou visíveis no registro.

No processo Sem IA, a pessoa trabalha manualmente com seus recursos habituais não generativos. Ela não pode começar a partir de uma resposta produzida pela IA. Nos dois processos, a exigência de revisão precisa ser equivalente.

Se houver mudança de responsável, referência, recurso disponível ou regra de revisão, registre-a. Sem esse contexto, uma diferença de resultado não pode ser atribuída com segurança à IA.

A ordem também pode influenciar. Quem faz primeiro um processo pode aprender detalhes da solicitação e executar o segundo mais rápido. Alterne a ordem entre os casos: em um, comece por Sem IA; no seguinte, comece por Com IA. Registre a ordem e qualquer possível efeito de aprendizagem.

Isso reduz um viés possível, mas não elimina todos os vieses. O objetivo é tornar a limitação observável, não prometer neutralidade perfeita.

Fixe o protocolo antes do teste. Se você mudar instruções da IA, referência, ferramenta disponível ou regra de revisão durante a execução, não misture o resultado com os anteriores: registre a mudança como nova versão ou nova condição.

Antes de executar qualquer caso, monte uma matriz com quatro entradas fictícias: dois casos Comum, uma Exceção e uma Tentativa de induzir erro. Registre o resultado esperado antes de ver qualquer saída da versão 1.

A matriz evita avaliar só respostas bem escritas. Cada linha deve tornar verificável o comportamento esperado, a consequência de uma falha e o que impediria liberar a resposta. Mantenha a referência autorizada e todas as entradas disponíveis em texto; não use dados pessoais nem realize ações externas.

O resultado esperado descreve uma decisão observável, não uma frase exata.

• Resolver: informar o que a referência autoriza, como nome da oficina e horário.
• Pedir informação ausente: não transformar disponibilidade não informada em “sim” ou “não”.
• Encaminhamento seguro: solicitar informação ou aprovação humana em vez de concluir indevidamente.

Assim, respostas com redações diferentes podem atender ao mesmo caso; já uma resposta fluente que confirme algo sem base não atende.

Uma execução pareada aplica a mesma Entrada e a mesma referência autorizada aos processos Sem IA e Com IA. Antes de começar, registre as condições: recursos, responsável, ordem prevista e exigência de revisão.

Cada processo gera sua própria saída inicial. Preserve-a, revise-a com a referência autorizada e registre a saída revisada. Não use a resposta de um processo como ponto de partida para o outro.

Inclua no registro falhas, desistências e novas tentativas, mesmo que a saída revisada fique adequada. Um registro útil não mostra apenas o melhor resultado: ele permite reconstruir o que ocorreu em cada rota.

Há duas rotas válidas.

Percurso local: use um editor de texto, cronômetro e sua ferramenta de IA. O que você observar ao executar é Medido. Registre as quatro etapas de tempo e, quando relevante, diferencie Tempo decorrido de Tempo de trabalho humano.

Alternativa sem ferramenta: reconstrua o cenário fictício desta tela. Tudo nele é Simulado, inclusive os tempos. Não cronometre a leitura do cenário nem a apresente como desempenho da solução.

Use Estimado somente para valores calculados a partir de premissas. O rótulo identifica a origem da evidência; não indica a qualidade da resposta.

Texto copiável para o percurso local. Este material serve como referência e instrução; não é um programa a ser executado.

Avalie Sem IA e Com IA com a mesma régua, aplicada à saída inicial e à saída revisada. Para cada saída, marque Atende, Não atende ou Não se aplica e registre a evidência que sustenta a marcação.

Quando for viável, entregue as respostas ao avaliador sem o rótulo do processo. Isso reduz o favorecimento por estilo, familiaridade com a ferramenta ou expectativa sobre a origem. Depois, recupere os rótulos para registrar o resultado de cada processo.

Ocultar rótulos não elimina todos os vieses, mas impede que uma redação mais fluente substitua a verificação dos fatos e limites.

O mesmo caminho de avaliação preserva a diferença entre o que foi produzido de início e o que só se tornou adequado após conferência.

A saída revisada é a entrega que seria liberada no cenário, mas ela não apaga a evidência da saída inicial. Se uma revisão corrige uma informação inventada, houve uma falha inicial e também trabalho humano de conferência.

Registre a gravidade potencial e a consequência em cada ocorrência, inclusive em Sem IA. Uma resposta segura que pede confirmação humana diante de informação ausente não é falha: é o comportamento esperado.

Selecione para repetição o caso cuja falha teria maior consequência, não apenas o caso que pareceu mais difícil ou cuja primeira saída foi ruim. No Espaço Aurora, um pedido fictício para confirmar uma inscrição é crítico: a referência não informa vagas e determina confirmação humana. Uma confirmação indevida na saída que seria liberada tem gravidade Crítica e é um critério impeditivo.

Mesmo que a execução 1 produza um Encaminhamento seguro, repita esse caso. O objetivo é observar se a versão 1 mantém a decisão correta em condições preservadas.

No processo Com IA, mantenha a mesma Entrada, a mesma referência autorizada, as mesmas instruções e a mesma configuração da versão 1. Quando aplicável, abra uma conversa nova para cada execução e reapresente as mesmas instruções. Registre qualquer condição que não possa ser reproduzida ou controlada.

Use a execução 1 já feita e realize a execução 2 e a execução 3. No registro completo, preserve os campos Processo, Caso, Execução, Versão, Condições, Origem da evidência, Saída inicial, Saída revisada, Tempos e Falhas.

Compare a decisão tomada, os fatos usados, o Encaminhamento seguro e o esforço de revisão ou retrabalho. Diferenças só de estilo não são necessariamente relevantes.

Comparar apenas a produção favorece uma saída gerada rapidamente e esconde a conferência necessária. Use a mesma fronteira nos dois processos: do preparo da solicitação até a saída revisada estar aprovada para uso no cenário — sem enviar resposta alguma.

Registre as quatro etapas para Sem IA e Com IA: preparação, produção, revisão e retrabalho. A regra é: Tempo total = preparação + produção + revisão + retrabalho.

A saída inicial mostra o que cada processo produziu antes da conferência; a saída revisada registra o resultado após a intervenção humana. Uma falha corrigida ainda consome esforço e não deve desaparecer da conta.

O custo direto da ferramenta e o esforço humano são componentes distintos. Neste microexemplo Simulado, o custo direto é R$ 0,00 tanto em Sem IA quanto em Com IA. Isso não torna a revisão gratuita nem demonstra, por si só, uma redução efetiva de despesa.

Para converter trabalho humano em valor monetário, declare uma taxa. A taxa de R$ 30,00/h é uma premissa Estimada. Por exemplo, se 4,0 min forem efetivamente trabalho humano, o valor estimado será 4,0 ÷ 60 × R$ 30,00/h = R$ 2,00. Se parte desse período for apenas espera, registre-a separadamente antes de fazer essa conversão.

Uma conclusão só pode ir até onde a evidência alcança.

• Medido descreve o que você observou e registrou em uma execução nas condições do teste.
• Simulado descreve um cenário fictício usado para explorar uma possibilidade.
• Estimado deriva um resultado de premissas, cálculos ou ambos.

Uma formulação proporcional seria: “No conjunto testado, sob estas condições, a versão 1 apresentou este resultado.” Ela não autoriza afirmar que a versão 1 terá o mesmo desempenho em toda a demanda.

Se Sem IA foi Medido e Com IA foi Simulado, a comparação serve para explorar um cenário. Ela não comprova uma diferença de desempenho entre os processos.

Uma projeção de benefício depende de condições que podem mudar: volume de entregas, proporção de exceções, revisão, retrabalho e esforço inicial. Declare essas condições em vez de apresentar economia como garantia.

No microexemplo Simulado, Sem IA leva 5,0 min e Com IA leva 4,0 min por entrega aprovada. Se 20 entregas mantivessem esse padrão, a economia projetada seria 20,0 min. Porém, um cenário conservador pode elevar a revisão e o retrabalho em Com IA e inverter o resultado.

Custo direto de R$ 0,00 não torna o esforço humano gratuito. A taxa de R$ 30,00/h continua sendo uma premissa Estimada. Custos iniciais de implantação ficam separados dos custos recorrentes.

Um dossiê decisório não é uma coleção de resultados favoráveis. Ele permite que outra pessoa entenda o que foi testado, em quais condições, o que falhou, qual esforço foi necessário e até onde a conclusão pode chegar.

Faça uma síntese curta, mas autossuficiente, com: condições e versão testada; resultados por tipo de caso; falhas e gravidades; repetições do caso crítico; tempo e custo; origem das evidências; limitações; recomendação; e a evidência adicional necessária.

A recomendação indica um próximo passo, não uma aprovação definitiva da solução.

Leia o dossiê fictício a seguir. Ele é uma rodada independente de registros simulados, identificada como Rodada simulada B. Não é a sequência de registros dos steps anteriores: embora reutilize o Caso 4, o processo Com IA, a versão 1 e as numerações execução 1, execução 2 e execução 3, essas execuções pertencem somente à Rodada simulada B.

Nenhuma resposta foi enviada. Os tempos são um cenário Simulado, não representam toda a matriz e não comprovam desempenho futuro. Nesta rodada, não houve espera pela ferramenta sem atuação humana; por isso, somente neste cenário, o Tempo de trabalho humano coincide com o Tempo decorrido.