Data:
De:
Engenharia Codebunker
Para:
Quem coloca IA em produção
Classificação:
Pública

Assunto:

Avaliação é o contrato do sistema.

Como transformamos a pergunta vaga 'o agente está bom?' em um conjunto de medições que o cliente entende e que roda em produção.

Em software tradicional, o teste verifica se o código faz o que o programador quis. Em sistemas com modelos de linguagem, essa pergunta não basta: o mesmo código produz respostas diferentes, e boa parte do comportamento vem de dados e instruções, não de lógica explícita. A avaliação precisa dizer se o sistema faz o que o negócio precisa, com que frequência erra e que tipo de erro comete.

Comece pelos casos reais

Antes de escrever uma linha de prompt, reunimos exemplos do processo como ele acontece hoje: pedidos, documentos, conversas, exceções. Com os especialistas do cliente, marcamos o que seria uma resposta correta e, mais importante, o que seria uma resposta inaceitável. Esse conjunto vira a especificação. Ele diz mais sobre o sistema do que qualquer documento de requisitos.

Nem todo erro custa a mesma coisa

Um agente que classifica uma exceção financeira pode errar para o lado conservador, mandando para um humano algo que poderia resolver sozinho, ou para o lado perigoso, aprovando algo que precisava de revisão. Tratar os dois erros como iguais produz um sistema otimizado para a métrica errada. Definimos, com o cliente, o custo de cada tipo de erro e escolhemos os limites a partir daí.

Cuidado com o juiz

É tentador usar um modelo para avaliar outro modelo. Funciona para triagem, mas carrega os vieses do juiz, e quando juiz e sistema compartilham a mesma família de modelos, os erros tendem a se alinhar. Nossa pesquisa em codebunker.ai nasceu dessa inquietação: como triar conversas de agentes em volume com garantia estatística, sem colocar um modelo dentro do instrumento. O protocolo e o preprint estão públicos justamente para serem criticados.

A avaliação continua depois do go-live

  • Amostragem contínua de produção, revisada por pessoas, com a taxa de erro acompanhada ao longo do tempo.
  • Alertas quando a distribuição de entradas muda. O processo do cliente muda, e o sistema precisa perceber.
  • Toda troca de modelo, prompt ou ferramenta passa pelo mesmo conjunto de casos antes de chegar em produção.
  • Custo por decisão medido junto com a qualidade. Um sistema que acerta mais e custa o triplo pode ser a decisão errada.
Nota do campo

Quando o cliente consegue ler a avaliação e discordar dela, o sistema tem um contrato. Antes disso, tem uma esperança.