Uma aplicação consulta documentos internos, encontra trechos relacionados à pergunta e produz uma resposta convincente. O texto está bem escrito, mas isso não prova que esteja correto. A informação pode vir de um documento desatualizado, o trecho recuperado pode não sustentar a conclusão ou a resposta pode ignorar justamente a parte que o usuário perguntou.

Esse é um desafio típico de sistemas com Retrieval-Augmented Generation (RAG), ou geração aumentada por recuperação. Nessa arquitetura, a aplicação busca informações em uma base de documentos e fornece o contexto encontrado a um modelo de linguagem. Para testar a qualidade, não basta perguntar se a resposta “parece boa”. É preciso descobrir em qual etapa um erro surgiu.

Separe recuperação, fidelidade e utilidade

O trabalho RAGAs, publicado nos anais da EACL 2024, organiza a avaliação em dimensões diferentes. Três delas são especialmente úteis para uma aplicação empresarial:

• relevância do contexto: os trechos recuperados são focados e úteis para responder à pergunta?

• fidelidade: as afirmações da resposta são sustentadas pelos trechos apresentados ao modelo?

• relevância da resposta: o texto realmente atende ao que foi perguntado, sem desviar do assunto?

Essa separação evita correções no lugar errado. Se o documento correto não foi recuperado, trocar apenas o prompt pode não resolver. Se o contexto é adequado, mas a resposta acrescenta uma regra inexistente, o problema está na geração ou nas instruções. Se a resposta é fiel, porém incompleta, os critérios de cobertura precisam ser revistos.

Comece com casos reais e resultados esperados

Uma avaliação útil nasce do processo que a aplicação precisa apoiar. Reúna perguntas representativas, variações de linguagem, documentos autorizados e o comportamento esperado. O conjunto não deve conter apenas casos fáceis. Inclua situações em que:

• a resposta está claramente disponível em um único documento;

• a informação está dividida entre dois trechos;

• existem versões antigas e atuais do mesmo procedimento;

• a pergunta é ambígua e exige esclarecimento;

• a base não contém informação suficiente e a aplicação deve reconhecer o limite.

Para cada caso, registre quais fontes são aceitáveis, quais fatos precisam aparecer e quais afirmações seriam indevidas. Esse material funciona como uma referência de teste. Ele não precisa cobrir todas as perguntas possíveis, mas deve representar riscos e tarefas relevantes para o negócio.

Verifique cada afirmação contra a evidência

A pergunta central não é apenas “a resposta está certa?”, mas “o que, nos documentos recuperados, sustenta cada afirmação?”. Uma resposta pode coincidir com o conhecimento geral do modelo e ainda assim desrespeitar a política interna que deveria orientar o sistema.

O projeto de pesquisa do NIST sobre sondas de avaliação, iniciado em abril de 2026, explora justamente trilhas de auditoria que relacionam afirmações a documentos confiáveis. A proposta compara saídas com um corpus selecionado por pessoas e registra evidências de forma estruturada. Embora seja um trabalho em andamento, ele reforça uma prática valiosa: preservar a pergunta, os trechos recuperados, a resposta, as citações e o resultado da avaliação.

Na prática, uma rotina pode decompor a resposta em afirmações verificáveis e marcar cada uma como sustentada, contradita ou não coberta pelo contexto. Afirmações numéricas, prazos, condições e exceções merecem atenção especial, pois pequenos desvios podem alterar uma decisão empresarial.

Use automação como triagem, não como veredito absoluto

Ferramentas automáticas conseguem executar muitos testes e comparar versões da aplicação. Elas são úteis para detectar regressões quando se altera o modelo, a divisão dos documentos, o mecanismo de busca ou o prompt. Contudo, um avaliador baseado em outro modelo também pode errar, favorecer determinado estilo ou aceitar uma justificativa fraca.

Por isso, combine três camadas: verificações determinísticas, avaliação automática com critérios explícitos e revisão humana por amostragem. As verificações determinísticas podem confirmar se a fonte existe, se a versão está autorizada e se uma citação aponta para o trecho correto. A avaliação automática analisa relevância e fidelidade em escala. Especialistas revisam casos críticos, discordâncias e amostras periódicas.

Exemplo hipotético: assistente de procedimentos internos

Considere uma empresa que cria um assistente para orientar colaboradores sobre solicitações de compra. O corpus contém a política atual, um manual antigo e instruções específicas por unidade. A equipe prepara perguntas sobre limites de aprovação, documentos necessários e exceções.

Em um teste, o sistema encontra o manual antigo e responde com um limite que já não vale. A redação é clara, mas o contexto está incorreto. Em outro, recupera a política atual, porém omite uma exceção explícita: o contexto é relevante, mas a resposta é incompleta. Em um terceiro, a base não informa determinado prazo e o sistema inventa um número: há falha de fidelidade.

Os três resultados exigem ações diferentes: ajustar filtros e vigência documental, melhorar os critérios de cobertura e instruir a aplicação a reconhecer ausência de evidência. Um único índice de “qualidade” esconderia essas causas.

Leve a avaliação para o ciclo de desenvolvimento

O conjunto de testes deve acompanhar a aplicação. Antes de liberar uma mudança, compare a nova versão com a anterior, observe quais casos melhoraram ou pioraram e registre modelo, configuração, base documental e data. Em produção, monitore dúvidas sem resposta, fontes frequentemente usadas e sinais de insatisfação, respeitando acesso, privacidade e retenção de dados.

Também defina limites de aprovação. Aplicações que apoiam decisões financeiras, jurídicas ou de segurança exigem critérios e revisão mais rigorosos do que um recurso de consulta de baixo risco. A nota aceitável depende do impacto do erro, não de uma fórmula universal.

Confiabilidade vem de evidência repetível

Avaliar RAG é transformar impressões em testes que mostrem onde a aplicação acertou e por quê. Separar recuperação, fidelidade e relevância torna a evolução mais direcionada e cria uma trilha para investigar falhas.

A System4u atua em engenharia de IA, desenvolvimento de software, integrações e automação. Em um projeto sob contratação, esse tipo de avaliação pode ser incorporado à arquitetura e ao ciclo de entrega conforme o processo, os documentos e o risco de cada empresa. Conheça as soluções em system4u.com.br.