Como modelos de linguagem geram respostas

Um grande modelo de linguagem (LLM) é um modelo treinado com grandes volumes de texto para trabalhar com linguagem. Depois do treinamento, ele usa padrões aprendidos — como relações entre ideias, formas de escrever e combinações frequentes — para produzir uma resposta.

Ele não precisa encontrar uma resposta idêntica, já pronta, em um catálogo. Pode gerar uma nova formulação que combine com o material disponível e com o pedido recebido.

Vamos usar um caso fictício ao longo do tutorial.

Texto-base
O Clube de Leitura Aurora terá um encontro no sábado, às 15h, na Biblioteca do Bairro. A entrada é gratuita.

Instrução
Escreva um convite curto para o encontro.

A instrução orienta a tarefa, e o texto-base oferece as informações que devem aparecer no convite.

Um modelo de linguagem trabalha com tokens: unidades de texto usadas para processar uma mensagem e produzir uma resposta. Um token não é sinônimo de uma palavra.

Em uma segmentação ilustrativa, uma palavra pode aparecer inteira, como [Clube]; pode ser dividida, como [Lei] [tura]; e sinais como [,] também podem formar tokens. Um espaço pode vir junto de outro elemento, como em [ sábado].

O modelo de linguagem usa o texto disponível até aquele ponto para estimar quais tokens podem vir em seguida. Ele não precisa buscar uma frase inteira pronta: produz a resposta passo a passo, com base em padrões aprendidos.

Em cada passo, há possibilidades com chances diferentes. O modelo seleciona um próximo token, junta esse token ao texto já produzido e passa a considerar a sequência ampliada. Então o ciclo recomeça, até a resposta terminar.

Uma parte dessa construção poderia ser representada assim:

Segmentação ilustrativa
[Participe] [ do] [ encontro] [ do] [ Clube]

Depois de alguns tokens, podem existir várias continuações adequadas. Por exemplo, após [A] [ entrada] [ é], o modelo pode selecionar [ gratuita] ou selecionar [ sem] e continuar a frase de outra forma.

A seleção não precisa escolher sempre a possibilidade que parece mais provável. Por isso, a mesma instrução pode gerar respostas com formulações diferentes, sem que exista uma única continuação obrigatória.

A janela de contexto é a quantidade limitada de tokens com que o modelo de linguagem trabalha para produzir uma resposta. Ela reúne o material disponível naquele momento — e não apenas a mensagem que o usuário acabou de enviar.

Enquanto a resposta é produzida token por token, os tokens já gerados também passam a ocupar espaço. Por isso, a capacidade precisa comportar tanto os materiais de entrada quanto a resposta em geração.

No exemplo do Clube de Leitura Aurora, o modelo recebe materiais que cumprem papéis diferentes. O texto-base fornece os fatos a usar; a instrução indica a tarefa; e o histórico incluído pode trazer mensagens anteriores que foram efetivamente disponibilizadas para esta geração.

Também podem existir Instruções incluídas pelo sistema, mesmo que não apareçam como mensagens do usuário. Neste momento, o importante é reconhecer que elas podem fazer parte do texto disponível e ocupar espaço na janela de contexto.

Os limites podem variar conforme o modelo. Em vez de supor uma única capacidade, diferencie o que cabe na entrada, no contexto total e na saída. Esses limites não precisam ser iguais.

O que você vê não é necessariamente o que o modelo recebe

Em uma conversa longa, você pode rolar a tela e ler mensagens antigas. Porém, em uma geração específica, o modelo de linguagem trabalha apenas com o histórico incluído na sua janela de contexto.

Assim, duas coisas podem ser diferentes:

• Histórico visível: tudo o que continua aparecendo para você na conversa.
• Histórico incluído: os trechos que foram efetivamente enviados ao modelo naquela resposta.

Quando o volume cresce, mensagens antigas ou partes delas podem deixar de ser incluídas, mesmo que permaneçam visíveis na tela.

O que pode acontecer quando a conversa cresce

Para caber no limite, um sistema pode deixar de incluir mensagens ou trechos antigos. Dependendo do sistema, também pode reduzir parte do histórico a um resumo. Um resumo preserva algumas ideias, mas pode perder detalhes específicos.

Se uma informação necessária não está no histórico incluído nem em outro texto disponível, ela não pode orientar diretamente a resposta atual. Isso não significa que toda conversa longa falhará: depende do que foi incluído e do tamanho dos materiais.

Uma tarefa extensa pode pressionar a janela de contexto quando reúne muito texto-base, histórico e exigências em uma única instrução. Um pedido de resposta muito longa também ocupa espaço enquanto a resposta é produzida.

Esses elementos são sinais de risco, não uma prova de que haverá erro. A decisão de dividir depende do volume necessário para realizar aquela tarefa e do que precisa continuar disponível.

Dividir é uma decisão proporcional: uma pergunta simples não precisa virar várias etapas. Já uma tarefa que combina materiais extensos, histórico longo, muitas exigências e resposta longa pode se beneficiar de partes menores.

Isso reduz a quantidade de informação necessária em cada momento, mas não garante uma resposta correta. Se uma parte depende de um dado, esse dado essencial precisa estar disponível nela.

Uma alucinação é um conteúdo que parece adequado, mas é incorreto ou inventado. Um modelo de linguagem produz uma resposta ao prever continuações plausíveis; esse processo não é, por si só, uma conferência dos fatos.

Por isso, uma resposta pode ser fluente, bem organizada e escrita em tom confiante, mas ainda conter um detalhe falso. Isso pode acontecer inclusive quando o texto-base inteiro está disponível na janela de contexto.

Ao comparar uma resposta com o texto-base, há duas situações diferentes:

• Afirmação contradita: o texto-base informa uma coisa e a resposta afirma o oposto.
• Afirmação não sustentada: a resposta acrescenta um detalhe sobre o qual o texto-base não diz nada.

Essa comparação avalia a fidelidade da resposta ao material fornecido. Ela não comprova automaticamente que os fatos do texto-base são verdadeiros fora daquele material.

No caso do Clube de Leitura Aurora, o modelo de linguagem usa o texto disponível — como a instrução e o texto-base — para construir uma resposta. Ele não precisa retirar uma frase pronta de um catálogo: prevê um token, incorpora esse token ao texto e repete o processo.

Essa geração pode produzir uma formulação coerente com os fatos recebidos. Porém, coerência não transforma uma informação ausente em informação confirmada.

Há dois pontos diferentes a avaliar. Primeiro: quais informações estavam disponíveis ao modelo? Segundo: o que a resposta afirma?

No exemplo, o texto-base cabe integralmente no contexto. Ainda assim, a frase sobre vagas pode ser uma alucinação: é plausível, mas não é sustentada pelo texto-base. Portanto, ela não prova que houve perda de contexto.

Em uma conversa extensa, o histórico visível ao usuário pode não ser o histórico incluído. Muitos materiais, muitas mensagens e uma resposta longa aumentam a pressão sobre a janela de contexto. Dividir a tarefa pode reduzir esse volume, desde que os dados essenciais de cada parte continuem disponíveis. Isso reduz um risco; não garante uma resposta correta.