Data:
De:
Engenharia Codebunker
Para:
Quem coloca IA em produção
Classificação:
Pública

Assunto:

Agnóstico de modelo, na prática.

O melhor modelo para um job hoje pode ser outro amanhã. O que isso exige da arquitetura, e o que não exige.

Dizer que uma solução é agnóstica de modelo é fácil. Fazer isso ser verdade, sem transformar o sistema em um mínimo denominador comum que não aproveita nada de nenhum fornecedor, é um exercício de engenharia com escolhas concretas.

O que fica fixo e o que troca

  • Fica fixo: a definição das tarefas, os contratos de entrada e saída, as ferramentas que o agente pode chamar, as permissões e o conjunto de avaliação.
  • Troca: o modelo, o provedor, os parâmetros e, frequentemente, a redação do prompt. Tratamos prompts como artefatos versionados, com testes, e não como texto solto no código.
  • Fica fixo com cuidado: recursos específicos de um provedor são usados atrás de uma interface, com um comportamento alternativo documentado quando não existem no outro lado.

Troca de modelo é um deploy

Mudar de modelo muda o comportamento do sistema, mesmo que no código seja uma linha de configuração. Por isso passa pelo mesmo caminho de qualquer mudança: roda contra o conjunto de casos, compara qualidade, custo e latência, e só então chega em produção, de preferência em parte do tráfego primeiro. O sistema que não tem avaliação não consegue ser agnóstico, porque não consegue saber se a troca melhorou ou piorou.

Cada tarefa tem um orçamento

Cada tarefa tem um orçamento de custo e de latência, e ele vem do negócio. Uma classificação em lote pode usar um modelo pequeno e barato; uma análise de contrato com conflito pode justificar o modelo mais capaz. A arquitetura permite escolher por tarefa, e a avaliação diz se a escolha foi boa.

O que não prometemos

Não prometemos independência total. Há recursos de um provedor que valem a dependência por um tempo, e a decisão de aceitar essa dependência deve ser do cliente, por escrito, com o custo de sair estimado. Agnóstico, para nós, significa que a saída existe e é conhecida, mesmo que tenha um custo.

Nota do campo

O modelo é a parte do sistema que mais muda. Construímos como se ele fosse ser trocado, porque vai ser.