- Data:
- De:
- Engenharia Codebunker
- Para:
- Quem coloca IA em produção
- Classificação:
- Pública
Assunto:
Avaliação é o contrato do sistema.
Como transformamos a pergunta vaga 'o agente está bom?' em um conjunto de medições que o cliente entende e que roda em produção.
Em software tradicional, o teste verifica se o código faz o que o programador quis. Em sistemas com modelos de linguagem, essa pergunta não basta: o mesmo código produz respostas diferentes, e boa parte do comportamento vem de dados e instruções, não de lógica explícita. A avaliação precisa dizer se o sistema faz o que o negócio precisa, com que frequência erra e que tipo de erro comete.
Comece pelos casos reais
Antes de escrever uma linha de prompt, reunimos exemplos do processo como ele acontece hoje: pedidos, documentos, conversas, exceções. Com os especialistas do cliente, marcamos o que seria uma resposta correta e, mais importante, o que seria uma resposta inaceitável. Esse conjunto vira a especificação. Ele diz mais sobre o sistema do que qualquer documento de requisitos.
Nem todo erro custa a mesma coisa
Um agente que classifica uma exceção financeira pode errar para o lado conservador, mandando para um humano algo que poderia resolver sozinho, ou para o lado perigoso, aprovando algo que precisava de revisão. Tratar os dois erros como iguais produz um sistema otimizado para a métrica errada. Definimos, com o cliente, o custo de cada tipo de erro e escolhemos os limites a partir daí.
Cuidado com o juiz
É tentador usar um modelo para avaliar outro modelo. Funciona para triagem, mas carrega os vieses do juiz, e quando juiz e sistema compartilham a mesma família de modelos, os erros tendem a se alinhar. Nossa pesquisa em codebunker.ai nasceu dessa inquietação: como triar conversas de agentes em volume com garantia estatística, sem colocar um modelo dentro do instrumento. O protocolo e o preprint estão públicos justamente para serem criticados.
A avaliação continua depois do go-live
- Amostragem contínua de produção, revisada por pessoas, com a taxa de erro acompanhada ao longo do tempo.
- Alertas quando a distribuição de entradas muda. O processo do cliente muda, e o sistema precisa perceber.
- Toda troca de modelo, prompt ou ferramenta passa pelo mesmo conjunto de casos antes de chegar em produção.
- Custo por decisão medido junto com a qualidade. Um sistema que acerta mais e custa o triplo pode ser a decisão errada.
Nota do campoQuando o cliente consegue ler a avaliação e discordar dela, o sistema tem um contrato. Antes disso, tem uma esperança.