Sí, puedes tener una IA del nivel de ChatGPT corriendo dentro de tu propia computadora, sin internet, sin mensualidad y sin enviar un solo dato de tu empresa al servidor de un tercero. Lo que casi nadie te cuenta es que la elección del modelo no es una decisión de tecnología, es una cuenta de servilleta: cuánta memoria tiene tu máquina. Equivocarse en esa cuenta es la razón por la que tanta gente instala una IA local, ve la computadora congelarse y concluye que "esto no funciona".
Este post te entrega la regla práctica para saber qué corre en tu máquina, qué esperar de cada tamaño de modelo (en tareas de negocio, no en notas de benchmark) y cuándo la IA local realmente conviene frente a pagar una API (el alquiler de IA por mensaje que cobran ChatGPT, Claude y Gemini).
La única cuenta que importa: la memoria
Un modelo de IA es un archivo gigante que necesita caber entero en la memoria de la computadora mientras trabaja. Piensa en un empleado que solo produce si todo su material está sobre el escritorio: si el escritorio es pequeño, no importa lo brillante que sea el empleado, no tiene dónde trabajar. El escritorio es la memoria de tu máquina (la RAM, o la memoria de la tarjeta de video, que es más rápida).
El tamaño del modelo aparece en el nombre como un número seguido de una B, de miles de millones de parámetros: 4B, 8B, 32B, 70B. La regla práctica, ya considerando la compresión que todo el mundo usa hoy: un modelo comprimido ocupa más o menos del 60 al 70 por ciento de ese número en GB. En la práctica:
- Modelo 4B: necesita unos 3 GB libres.
- Modelo 8B: unos 5 a 6 GB libres.
- Modelo 14B: unos 9 a 10 GB.
- Modelo 32B: unos 20 GB.
- Modelo 70B: 40 GB o más. Aquí se acabó la laptop, es territorio de estación de trabajo o servidor.
Libres es la palabra importante. Si la laptop tiene 8 GB de RAM, el sistema y el navegador ya se comen 4 o 5. Queda espacio para un modelo 4B, no para un 8B. Cuando el modelo no cabe, la computadora no avisa: empieza a usar el disco como memoria improvisada y la IA pasa a responder una palabra cada dos segundos. Eso es lo que congela la máquina de quien dimensiona mal.
Compresión (cuantización): qué es y por qué te conviene
Todo modelo local que se instala hoy viene comprimido; el término técnico es cuantización. La analogía honesta es la foto de WhatsApp: cuando envías una foto, la aplicación la comprime, la imagen pierde un poco de definición que nadie nota y pasa a caber en cualquier celular. Con los modelos de IA es igual: la versión comprimida estándar (llamada Q4 en los catálogos) entrega el 95 por ciento o más de la calidad ocupando la mitad de la memoria.
La decisión práctica: un modelo más grande comprimido casi siempre le gana a un modelo más pequeño sin compresión. Entre correr un 8B en calidad máxima y un 14B comprimido en la misma memoria, quédate con el 14B. Herramientas como Ollama y LM Studio (programas gratuitos que descargan y ejecutan el modelo en dos clics, sin programar) ya entregan la versión comprimida por defecto, así que en la práctica no necesitas configurar nada, solo saber que eso es lo que está pasando.
Qué corre en tu máquina, por nivel de hardware
Laptop común de oficina (8 GB de RAM, sin tarjeta de video)
Corre modelos de 3 a 4 mil millones de parámetros: Gemma 3 4B (de Google), Qwen3 4B o Phi-4 mini (de Microsoft). Sirven para resumir documentos, clasificar correos, redactar respuestas estándar. No esperes análisis sofisticado, espera un pasante rápido e incansable.
Laptop buena o desktop (16 GB de RAM)
La franja de 7 a 9 mil millones: Llama 3.1 8B (de Meta), Qwen3 8B. Es el primer escalón donde la IA local se vuelve una herramienta de trabajo seria: atención interna, clasificación de documentos, primera versión de una propuesta. La velocidad sin tarjeta de video es de lectura cómoda, unas 5 a 10 palabras por segundo.
Desktop con tarjeta de video gamer (8 a 12 GB de memoria de video)
Una RTX 3060 o 4060 Ti, una tarjeta que muchas empresas ya tienen parada en la máquina de un diseñador (o en la PC del hijo de un socio), cambia el juego: los mismos modelos 8B responden casi al instante (30 a 60 palabras por segundo), y una tarjeta de 12 GB corre un 14B como Qwen3 14B o Phi-4, que ya sostiene análisis de contratos y redacción con contexto.
Mac con chip M (16 a 32 GB)
Las Mac con chip M son el atajo silencioso de esta historia: su memoria es unificada (sirve al procesador y al gráfico al mismo tiempo), así que una MacBook de 32 GB corre un 32B comprimido, como el Qwen3 32B, algo que en una PC exigiría una tarjeta de video de 20 GB. Si tu equipo ya usa Mac, quizás ya tienes el hardware.
Estación de trabajo o servidor (24 GB+ de memoria de video)
Una RTX 3090 o 4090 (24 GB) corre modelos 32B con holgura y a alta velocidad. Dos tarjetas, o una tarjeta profesional, ponen los 70B sobre la mesa: Llama 3.3 70B y las versiones destiladas de DeepSeek R1, que razonan a un nivel comparable al ChatGPT de pago en buena parte de las tareas de oficina. Ese es el hardware que tiene sentido cuando la IA va a atender a toda la operación, no a una persona.
Qué esperar de cada tamaño (en tareas, no en benchmarks)
Olvídate de las notas de pruebas, lo que importa es lo que el modelo aguanta en tu rutina:
- 3 a 4B: resumen, clasificación, extracción de datos simples de documentos. Fallará en razonamientos de varios pasos. Úsalo como filtro y triaje, con revisión humana.
- 7 a 9B: conversación consistente, respuestas a clientes sobre la base de conocimiento de la empresa, borradores de texto comercial. El mejor costo-beneficio para empezar.
- 14 a 32B: análisis de contratos, reportes con números, redacción que va al cliente con poca revisión. Aquí la IA local deja de ser un experimento y sustituye la suscripción de API en muchas tareas.
- 70B+: el techo de lo que corre dentro de casa hoy sin convertirse en un proyecto de infraestructura. Para la mayoría de las tareas de negocio, la diferencia con el ChatGPT de pago es pequeña. La diferencia de privacidad es total.
Local o API: la cuenta de negocio
La IA por API es alquiler: pagas por mensaje, para siempre, y cada documento de tu empresa viaja al servidor del proveedor. La IA local es compra: el costo es el hardware (que muchas veces ya tienes) y la energía, y el dato no sale de tu red.
La regla de decisión que usamos: la API gana cuando el volumen es bajo, la tarea exige el tope absoluto de inteligencia y el dato no es sensible. Lo local gana cuando hay volumen alto y repetitivo (triaje, clasificación, atención interna), cuando el dato es de clientes, financiero o jurídico, o cuando el sector tiene reglas de compliance (las normas que dicen dónde puede o no puede estar el dato). Y no es uno u otro: la arquitectura más común que montamos es la IA local resolviendo el 80 por ciento del volumen barato y sensible, y la API entrando solo en el 20 por ciento que exige el modelo de punta.
La pregunta correcta no es "cuál es el mejor modelo"
Es "cuál es el modelo más pequeño que resuelve mi tarea". Un modelo más pequeño es más rápido, más barato de correr y cabe en una máquina que ya tienes. Quien empieza por el 70B porque es "el mejor" gasta en hardware antes de saber si la tarea necesitaba todo eso. Quien empieza por el 8B en una máquina existente descubre en una semana, gastando cero, si la IA local resuelve el problema. Recién ahí decide si escala.
Prueba con un caso real de tu operación: toma 20 documentos o 20 atenciones reales, córrelos en el modelo que cabe en tu máquina de hoy y compara con lo que produce tu equipo. El resultado de esa prueba vale más que cualquier tabla de benchmark, porque es tu tarea, con tus datos, en tu hardware.
