Sim, dá para ter uma IA do nível do ChatGPT rodando dentro do seu computador, sem internet, sem mensalidade e sem mandar um único dado da sua empresa para servidor de terceiro. O que quase ninguém te conta é que a escolha do modelo não é uma decisão de tecnologia, é uma conta de padaria: quanta memória a sua máquina tem. Errar essa conta é o motivo de tanta gente instalar uma IA local, ver o computador travar e concluir que "isso não funciona".
Este post entrega a regra de bolso para saber o que roda na sua máquina, o que esperar de cada tamanho de modelo (em tarefa de negócio, não em nota de benchmark), e quando a IA local compensa de verdade contra pagar API (o aluguel de IA por mensagem que ChatGPT, Claude e Gemini cobram).
A única conta que importa: memória
Um modelo de IA é um arquivo gigante que precisa caber inteiro na memória do computador enquanto trabalha. Pense num funcionário que só produz se todo o material dele estiver sobre a mesa: se a mesa é pequena, não adianta o funcionário ser brilhante, ele não tem onde trabalhar. A mesa é a memória da sua máquina (RAM, ou a memória da placa de vídeo, que é mais rápida).
O tamanho do modelo aparece no nome como um número seguido de B, de bilhões de parâmetros: 4B, 8B, 32B, 70B. A regra de bolso, já considerando a compressão que todo mundo usa hoje: um modelo comprimido ocupa mais ou menos 60 a 70 por cento do número em GB. Na prática:
- Modelo 4B: precisa de uns 3 GB livres.
- Modelo 8B: uns 5 a 6 GB livres.
- Modelo 14B: uns 9 a 10 GB.
- Modelo 32B: uns 20 GB.
- Modelo 70B: 40 GB ou mais. Aqui acabou o notebook, é território de estação de trabalho ou servidor.
Livres é a palavra importante. Se o notebook tem 8 GB de RAM, o sistema e o navegador já comem 4 ou 5. Sobra espaço para um modelo 4B, não para um 8B. Quando o modelo não cabe, o computador não avisa: ele começa a usar o disco como memória improvisada e a IA passa a responder uma palavra a cada dois segundos. É isso que trava a máquina de quem dimensiona errado.
Compressão (quantização): o que é e por que você deve querer
Todo modelo local que se instala hoje vem comprimido, o termo técnico é quantização. A analogia honesta é a foto do WhatsApp: quando você manda uma foto, o aplicativo comprime, a imagem perde um pouco de definição que ninguém percebe e passa a caber em qualquer celular. Com modelo de IA é igual: a versão comprimida padrão (chamada Q4 nos catálogos) entrega 95 por cento ou mais da qualidade ocupando metade da memória.
A decisão prática: um modelo maior comprimido quase sempre ganha de um modelo menor sem compressão. Entre rodar um 8B em qualidade máxima e um 14B comprimido na mesma memória, fique com o 14B. Ferramentas como Ollama e LM Studio (programas gratuitos que baixam e rodam o modelo em dois cliques, sem programação) já entregam a versão comprimida por padrão, então na prática você não precisa configurar nada, só precisa saber que é isso que está acontecendo.
O que roda na sua máquina, por faixa de hardware
Notebook comum de escritório (8 GB de RAM, sem placa de vídeo)
Roda modelos de 3 a 4 bilhões de parâmetros: Gemma 3 4B (do Google), Qwen3 4B ou Phi-4 mini (da Microsoft). Servem para resumir documento, classificar e-mail, rascunhar resposta padrão. Não espere análise sofisticada, espere um estagiário rápido e incansável.
Notebook bom ou desktop (16 GB de RAM)
A faixa dos 7 a 9 bilhões: Llama 3.1 8B (da Meta), Qwen3 8B. É o primeiro degrau em que a IA local vira ferramenta de trabalho séria: atendimento interno, triagem de documento, primeira versão de proposta. A velocidade sem placa de vídeo é de leitura confortável, umas 5 a 10 palavras por segundo.
Desktop com placa de vídeo gamer (8 a 12 GB de memória de vídeo)
Uma RTX 3060 ou 4060 Ti, placa que muita empresa já tem parada em máquina de designer ou de filho de sócio, muda o jogo: os mesmos modelos 8B respondem quase instantaneamente (30 a 60 palavras por segundo), e uma placa de 12 GB roda um 14B como o Qwen3 14B ou o Phi-4, que já sustenta análise de contrato e redação com contexto.
Mac com chip M (16 a 32 GB)
Os Macs de chip M são o atalho silencioso dessa história: a memória deles é unificada (serve ao processador e ao gráfico ao mesmo tempo), então um MacBook de 32 GB roda um 32B comprimido, como o Qwen3 32B, coisa que num PC exigiria placa de vídeo de 20 GB. Se sua equipe já usa Mac, você talvez já tenha o hardware.
Estação de trabalho ou servidor (24 GB+ de memória de vídeo)
Uma RTX 3090 ou 4090 (24 GB) roda modelos 32B com folga e velocidade alta. Duas placas, ou uma placa profissional, colocam os 70B na mesa: Llama 3.3 70B e as versões destiladas do DeepSeek R1, que raciocinam em nível comparável ao ChatGPT pago em boa parte das tarefas de escritório. É esse o hardware que faz sentido quando a IA vai atender a operação inteira, não uma pessoa.
O que esperar de cada tamanho (em tarefa, não em benchmark)
Esquece nota de teste, o que importa é o que o modelo aguenta na sua rotina:
- 3 a 4B: resumo, classificação, extração de dado simples de documento. Errará em raciocínio de vários passos. Use como filtro e triagem, com revisão humana.
- 7 a 9B: conversa consistente, resposta a cliente sobre base de conhecimento da empresa, rascunho de texto comercial. O melhor custo-benefício para começar.
- 14 a 32B: análise de contrato, relatório com números, redação que vai para cliente com pouca revisão. Aqui a IA local deixa de ser experiência e vira substituta de assinatura de API em muita tarefa.
- 70B+: o teto do que roda dentro de casa hoje sem virar projeto de infraestrutura. Para a maioria das tarefas de negócio, a diferença para o ChatGPT pago é pequena. A diferença de privacidade é total.
Local ou API: a conta de negócio
IA por API é aluguel: você paga por mensagem, para sempre, e cada documento da sua empresa viaja para o servidor do fornecedor. IA local é compra: o custo é o hardware (que muitas vezes você já tem) e a energia, e o dado não sai da sua rede.
A regra de decisão que usamos: API ganha quando o volume é baixo, a tarefa exige o topo absoluto de inteligência e o dado não é sensível. Local ganha quando há volume alto e repetitivo (triagem, classificação, atendimento interno), quando o dado é de cliente, financeiro ou jurídico, ou quando o setor tem regra de compliance (as normas que dizem onde o dado pode ou não pode estar). E não é um ou outro: a arquitetura mais comum que montamos é a IA local resolvendo 80 por cento do volume barato e sensível, e a API entrando só nos 20 por cento que exigem o modelo de ponta.
A pergunta certa não é "qual o melhor modelo"
É "qual o menor modelo que resolve a minha tarefa". Modelo menor é mais rápido, mais barato de rodar e cabe em máquina que você já tem. Quem começa pelo 70B porque é "o melhor" gasta em hardware antes de saber se a tarefa precisava de tudo aquilo. Quem começa pelo 8B numa máquina existente descobre em uma semana, gastando zero, se IA local resolve o problema. Aí sim decide se escala.
Teste com um caso real da sua operação: pegue 20 documentos ou 20 atendimentos reais, rode no modelo que cabe na sua máquina de hoje e compare com o que sua equipe produz. O resultado desse teste vale mais que qualquer tabela de benchmark, porque é a sua tarefa, no seu dado, no seu hardware.
