A mesma inteligência artificial, sem trocar uma linha do modelo, tirou 30 pontos em um teste público e 95 pontos em outro rodado 12 dias depois. O que mudou não foi a IA. Foi o sistema construído em volta dela.
Este post explica por que jogar mais informação dentro da IA piora a resposta, o que acontece quando o material deixa de ser lido e passa a ser consultado, e o que isso significa para o custo e o prazo de quem contrata IA hoje.
1. Por que dar mais informação para a IA piora a resposta?
Existe um efeito medido e repetível: quanto mais texto você entrega de uma vez para um modelo de IA, pior ele responde. Um estudo de 2025 da Chroma submeteu 18 modelos de ponta ao mesmo exame e viu a precisão cair muito antes de a capacidade anunciada ser preenchida. Um sistema vendido como capaz de ler 200 mil palavras já começa a errar por volta de 50 mil.
Pense em um auditor competente que recebe 40 caixas de documentos de uma vez e tem uma tarde para responder. Ele não fica mais preciso porque recebeu mais papel. Ele fica mais lento, mistura processos e passa a chutar. A capacidade de armazenar não é a mesma coisa que capacidade de entender.
O limite anunciado no contrato é espaço de armazenamento, não garantia de compreensão. Isso derruba a prática mais comum nas empresas hoje, que é colar o manual inteiro, a base de conhecimento inteira e o histórico inteiro dentro da pergunta.
2. O que muda quando o material vira consulta em vez de leitura?
A abordagem que ganhou tração este ano inverte o fluxo. O documento, o histórico ou o sistema inteiro nunca entram na cabeça da IA. Eles ficam guardados de lado, e a IA recebe apenas o endereço, o nome da gaveta. A partir daí ela escreve pequenas instruções para consultar aquele material, recebe de volta só o pedaço relevante e decide o próximo passo.
É a diferença entre o auditor que lê as 40 caixas e o auditor que pergunta ao sistema contábil quais lançamentos passaram de determinado valor no último trimestre. O segundo nunca leu tudo, e é justamente por isso que acerta mais. Ele gasta atenção onde importa.
Quando a tarefa é grande, esse mesmo mecanismo permite abrir frentes paralelas. A IA principal encarrega três auxiliares de olhar três partes diferentes do problema, cada um com a própria memória limpa, e volta a juntar as conclusões depois. Em vez de um contexto entupido, você tem três contextos organizados.
O material deixa de ser algo em que a IA se afoga e passa a ser algo que ela consulta.
3. Quanto isso muda em acerto e em custo?
Os números publicados são desproporcionais ao tamanho da mudança. Em um teste com perguntas que só podem ser respondidas cruzando informação espalhada por um documento longo, um modelo pequeno operando por consulta superou um modelo grande que tinha lido cada palavra por mais de 34 pontos percentuais, com custo por pergunta praticamente igual.
Em volumes maiores a vantagem diminui, mas não desaparece, e a partir de certo ponto a versão que consulta fica também mais barata. Na comparação com as ferramentas de IA para desenvolvimento que as empresas realmente usam, as execuções por consulta custaram entre 11 centavos e 99 centavos de dólar por pergunta, contra algo entre 98 centavos e 6,75 dólares nas ferramentas tradicionais.
Para um diretor, a leitura é simples. Um modelo mais barato, bem montado, entrega mais que um modelo caro mal montado. A conta que a maioria das empresas está fazendo, escolher o modelo mais caro e ignorar a montagem, é a conta errada.
4. Por que o mesmo modelo tira 30 e depois 95?
Aqui está o dado que deveria incomodar. Existe um teste chamado ARC AGI-3, que coloca a IA em 25 jogos que ela nunca viu e mede com que eficiência ela descobre as regras e vence. Em julho, um modelo de ponta rodou nesse teste em transmissão pública e marcou 30,2%, o melhor resultado registrado até então, quase quatro vezes o recorde anterior.
Doze dias depois, uma empresa rodou exatamente o mesmo modelo, nos mesmos 25 jogos, com a mesma métrica, dentro do seu próprio sistema, e reportou 95,5%. A média de especialistas humanos é 95,4%. Sessenta e cinco pontos de diferença, e a única coisa diferente era o programa em volta.
Isso levanta uma pergunta desconfortável para qualquer comparativo de IA que você já leu: quando alguém diz que um modelo é melhor que outro, está medindo o modelo ou está medindo a engenharia de quem o embalou? Toda tabela de ranking é a soma de um modelo e de um sistema, e só um dos dois recebe nome.
5. Onde essa ideia não se aplica?
Ela não se aplica a coisa pequena. Se o seu documento tem 30 páginas e a pergunta é única, cole o texto e pronto. Montar uma estrutura de consulta para ler um PDF é o equivalente a contratar uma empreiteira para trocar uma lâmpada. Uma reprodução independente do estudo mostrou exatamente isso: um nível de consulta ajuda, dois níveis viram excesso de deliberação, e uma busca que levaria três segundos e meio virou quase seis minutos de trabalho.
Também vale separar a ideia do produto. A ferramenta que colocou esse conceito no mapa tem poucas semanas de vida, foi avaliada pelas próprias pessoas que a construíram e, segundo o próprio aviso na documentação, executa comandos na sua máquina sem isolamento de segurança. Em testes internos, o mecanismo de autoaperfeiçoamento encontrou um atalho para burlar a tarefa que tinha recebido, mesmo tendo sido instruído a não trapacear.
Adotar o raciocínio agora é seguro. Instalar a ferramenta da moda em produção não é.
6. O que perguntar para quem vende IA para a sua empresa?
Se um fornecedor apresenta a solução falando só do modelo que usa, ele está descrevendo metade do produto e provavelmente a metade que menos importa. As perguntas úteis são outras. O que acontece com a qualidade da resposta quando o volume de dados dobra? A IA lê tudo a cada pergunta ou consulta só o que precisa? Qual é o custo por pergunta hoje e qual será quando a base crescer cinco vezes?
Um fornecedor que responde essas três com número na mão está vendendo engenharia. Um que responde citando o nome do modelo está revendendo o trabalho de outra pessoa.
A conclusão que fica é mais ampla que qualquer lançamento. Nos últimos três anos, o setor inteiro se acostumou a atribuir todo o progresso ao modelo e nenhum à montagem em volta dele. Se essa montagem vale 65 pontos em um teste, boa parte do que chamamos de avanço da IA foi, na verdade, avanço de engenharia. E engenharia é exatamente o que a sua empresa pode contratar, medir e melhorar.