Colocar um agente especialista de IA em produção exige muito mais que assinar uma API de LLM. Você precisa de uma infraestrutura que sustenta latência baixa, custo previsível, segurança, observabilidade, evolução contínua, recuperação de falhas e governança. Em 2026, essa stack é razoavelmente estabilizada, mas as escolhas erradas custam meses de retrabalho e contas de cinco dígitos por mês desperdiçadas.
Este guia mostra a stack completa por camada, as decisões arquiteturais críticas, os custos típicos e as armadilhas que você só descobre quando o agente está bombando e algo quebra às 23h.
As 8 camadas da infra de um agente em produção
1. Modelo (LLM): API gerenciada (Anthropic, OpenAI, Google) ou modelo self-hosted (Llama, Mistral, Qwen). API gerenciada vence em time-to-market e qualidade média. Self-hosted vence em compliance estrito e custo a partir de volume muito alto.
2. Gateway / proxy de IA: camada que centraliza chamadas a LLMs. Resolve roteamento entre provedores, fallback automático, rate limit, cache de respostas, observabilidade e enforcement de política. LiteLLM, Helicone, OpenRouter e gateways próprios são opções comuns.
3. Harness e orquestração: framework que roda o loop do agente. Mastra, LangGraph, Claude Agent SDK, Vercel AI SDK, ou harness própria. Roda em compute serverless ou em container conforme o perfil de uso.
4. Servidor MCP e ferramentas: servidores MCP que expõem tools internas e externas ao agente. Geralmente vivem como microserviços ou módulos do mesmo deploy do agente.
5. RAG e vector DB: pipeline de ingestão (extração, chunking, embedding), vector DB (pgvector, Qdrant, Pinecone) e camada de retrieval com filtros e re-ranking.
6. Cache e mensageria: Redis (cache de respostas, rate limit, sessões), Postgres ou Kafka para fila de tarefas assíncronas e eventos.
7. Observabilidade e evals: trace de execução (LangSmith, Phoenix, Helicone), logs estruturados, métricas (Prometheus + Grafana), alertas (PagerDuty, Slack), datasets de avaliação rodando em CI.
8. Segurança e governança: secret manager (Vault, AWS Secrets), políticas de acesso, auditoria, isolamento por tenant, controle de blast radius nas ações.
Decisões críticas: serverless vs container vs bare-metal
Serverless (Vercel, Cloudflare Workers, Lambda) brilha para tráfego irregular e baixa latência de cold start. Limitação: timeouts curtos podem matar agentes com loops longos. Container em Kubernetes vence para tráfego sustentado, controle fino de recursos e integração com microserviços internos. Bare-metal ou GPU dedicada só faz sentido se você roda modelo próprio com volume alto e quer otimizar custo agressivamente.
Para a maioria dos agentes corporativos em 2026, a combinação que funciona é: Cloudflare Workers ou Vercel na borda para latência baixa, com workers em Kubernetes ou serverless de longa duração para passos pesados do loop.
Custo: como modelar e controlar
A conta de IA descontrola fácil. Modele custo em quatro frentes. 1. Tokens do LLM: entrada × saída × passos do loop × número de chamadas. 2. Embeddings: ingestão inicial + reindexação ocasional. 3. Vector DB: armazenamento + requisições. 4. Compute e bandwidth: harness, MCP, integrações.
Práticas para controlar. Cache em queries comuns reduz custo de LLM e latência. Modelo menor para tarefas leves (classificação, parsing) salva 5-10x. Limite de tokens por sessão previne loop selvagem caro. Quota por tenant ou por usuário evita que um único cliente consuma toda a margem. Dashboard de custo por feature mostra onde realmente está saindo dinheiro.
Latência: a métrica que faz produto bom virar produto ruim
Usuário tolera 1-2 segundos de espera. Acima de 5 segundos, o produto vira frustrante. Latência de agente vem de quatro fontes: chamada ao LLM (200ms a alguns segundos), chamadas de tools (rede e backend), retrieval (vector DB e re-ranker), overhead da harness.
Estratégias para reduzir. Streaming de resposta do LLM para o cliente, melhora a percepção mesmo sem reduzir tempo total. Tools em paralelo quando o agente decide chamar múltiplas. Cache de retrieval em queries repetidas. Edge deploy próximo do usuário. Pré-cálculo de respostas previsíveis (ex: saudação, FAQ frequente).
Segurança da infra: além do guardrail do agente
Quatro frentes críticas. 1. Segregação de credenciais: cada tool tem credencial própria, com escopo mínimo. Sem credencial "deus" exposta ao LLM. 2. Isolamento por tenant: dado e contexto de cliente A nunca vazam para sessão de cliente B; ACL no vector DB, no MCP e no log. 3. Auditoria imutável: log de execução em storage append-only, com retenção compatível com requisitos legais. 4. Pen test e red team periódicos focados em prompt injection, exfiltração de contexto e abuso de tools.
Observabilidade: trace, métrica, log e eval
Sem observabilidade decente, debug de agente é arqueologia. Mínimo viável. Trace: cada execução tem trace_id; cada passo do loop é um span com prompt, resposta, tool, latência e custo. Métricas: latência p50/p95/p99, custo por execução, taxa de erro, uso de fallback. Logs estruturados: JSON com correlation_id em todo o stack. Evals em CI: pipeline que roda dataset de avaliação a cada mudança de prompt/modelo/tool, com gate de qualidade automatizado.
Recuperação de falha e resiliência
Modelo cai. API rate-limita. Tool fora do ar. Vector DB lento. Tudo isso acontece. Fallback de modelo entre provedores. Retry com backoff em erros transientes. Circuit breaker em tools que repetidamente falham. Graceful degradation (responder sem RAG se vector DB cair, escalando para humano se necessário). Idempotência em ações com efeito colateral. Esses padrões transformam falhas pontuais em eventos invisíveis ao usuário.
Stack de referência para um agente corporativo
Combinação que funciona em 2026 para a maioria das empresas. LLM: Claude via API, com fallback para GPT em rate limit. Gateway: gateway próprio leve ou LiteLLM. Harness: Mastra ou Claude Agent SDK. MCP: servidores próprios para sistemas internos + um marketplace de servidores comunitários para integrações genéricas. RAG: pgvector ou Qdrant + Cohere Rerank. Cache e fila: Redis + BullMQ. Observabilidade: LangSmith ou Phoenix + Grafana + Loki. Deploy: Kubernetes ou serverless em Vercel/Cloudflare conforme caso.
Não é única, não é "a melhor", é uma combinação de escolhas defensáveis com boa documentação e ecossistema vivo. O importante é coerência interna: cada camada precisa conversar bem com as outras, com observabilidade que atravessa tudo.
O fator humano
Infra perfeita sem time não entrega. Agente em produção precisa de product owner que defende o caso de uso, engenheiro responsável que entende a stack e responde por incidentes, analista de qualidade que mantém os evals e monitora drift, e operação que faz triagem de incidentes e gera melhoria contínua. Sem esses papéis, a melhor infra do mundo apodrece em meses.
