Blog

Los mejores LLM pequeños para ejecutar en local: una guía completa

Markdown

Los mejores LLM pequeños para ejecutar en local en 2026 —Qwen3, Gemma 3, Llama 3.2 y Phi-4-mini—, además de la RAM que necesitas y cómo ejecutarlos con Ollama.

Los modelos de lenguaje pequeños se han convertido discretamente en una de las herramientas más útiles que un desarrollador puede tener en su propio equipo. Ya no necesitas un rack de GPU ni una factura de la nube para que un modelo capaz responda preguntas, redacte código y resuma documentos completamente sin conexión.

La situación ha cambiado mucho desde los primeros días de los pesos abiertos de LLaMA, Alpaca y GPT-J originales. En 2026, un modelo de 4.000 millones de parámetros en un portátil puede hacer trabajos que antes requerían otro diez veces mayor. Esta guía presenta los mejores LLM pequeños que puedes ejecutar en local hoy, el hardware que necesitan y las formas más sencillas de ponerlos en marcha.

Respuesta rápida. Los mejores LLM pequeños para ejecutar en local en 2026 son Qwen3 (1.7B–14B), Google Gemma 3 (1B–12B), Meta Llama 3.2 (1B/3B) y Microsoft Phi-4-mini (3.8B). Qwen3 es la opción predeterminada más segura y versátil. Ejecútalos con Ollama o LM Studio; la mayoría solo necesita entre 8 y 16 GB de RAM.

¿Qué se considera un LLM pequeño en 2026?

Un LLM pequeño (a veces llamado modelo de lenguaje pequeño o SLM) es un modelo compacto que puedes ejecutar en hardware de consumo, en vez de en un clúster de GPU en la nube. No hay un límite oficial, pero, en la práctica, los modelos pequeños actuales comparten tres características:

  • Aproximadamente de 0.5B a 14B de parámetros: lo bastante pequeños como para que una versión cuantizada quepa en la memoria de un portátil normal o de una GPU de gama media.
  • Funcionan bien después de una cuantización de 4 bits, que reduce el uso de memoria aproximadamente 4x con una pequeña pérdida de calidad.
  • Se distribuyen con pesos abiertos, así que puedes descargarlos, ejecutarlos y, a menudo, ajustarlos sin una clave de API.

El cambio clave desde 2023 es la calidad por parámetro. Un modelo moderno de 3–4B está ajustado para seguir instrucciones, es multilingüe y, a menudo, razona mejor que un modelo de 13B de hace dos años. Por eso, los antiguos modelos de referencia —LLaMA 7B sin ajustar, Alpaca, Vicuna, GPT-J, GPT-Neo y Falcon 7B— han dado paso a las familias que se describen a continuación.

¿Por qué ejecutar un LLM pequeño en local?

Ejecutar un modelo en tu propio equipo te ofrece varias ventajas que una API alojada no puede darte:

  • Privacidad. Las instrucciones y los datos nunca salen de tu dispositivo, algo importante para trabajar con código propietario o en ámbitos legales y médicos.
  • Coste. No hay facturación por token. Una vez descargado el modelo, la inferencia es gratuita.
  • Uso sin conexión. Funciona en un avión, en una red segura o en cualquier lugar sin internet fiable.
  • Latencia y control. No hay viajes de ida y vuelta por la red ni límites de solicitudes; además, puedes fijar una versión concreta para que el comportamiento no cambie sin que te des cuenta.
  • Personalización. Puedes ajustar el modelo o conectarlo a un sistema de recuperación de información para adaptarlo a tu propio ámbito.

¿Cuáles son los mejores LLM pequeños para ejecutar en local en 2026?

Estas son las familias de modelos que vale la pena descargar en 2026, agrupadas según quién las desarrolla y para qué destacan.

Qwen3: el modelo versátil de referencia

La familia Qwen3 de Alibaba se ha convertido discretamente en la respuesta a «¿qué debería ejecutar en local?» para la mayoría de los desarrolladores. Abarca una amplia gama de tamaños —0.6B, 1.7B, 4B, 8B y 14B en la variante densa—, todos bajo una permisiva licencia Apache 2.0 y sin restricciones comerciales.

  • Ideal para: chat general, ayuda con código, refactorización y trabajo multilingüe.
  • Punto óptimo: Qwen3 8B se considera ampliamente la mejor opción general para una GPU de 8 GB; Qwen3 4B es una buena alternativa para portátiles sin GPU.
  • Por qué destaca: gran calidad por parámetro, una licencia clara y una excelente compatibilidad con herramientas.

Google Gemma 3: potente y multimodal

Gemma 3 de Google está disponible en tamaños de 1B, 4B, 12B y 27B. Las variantes de 4B o más son multimodales (pueden leer imágenes) y admiten más de 140 idiomas, por lo que Gemma es una buena opción si necesitas visión o una amplia cobertura lingüística en el dispositivo.

  • Ideal para: entradas multimodales, tareas multilingües y uso general en un equipo con 16 GB (Gemma 3 12B).
  • Nota: Gemma se distribuye bajo la licencia propia de Google; consulta sus condiciones para uso comercial.

Meta Llama 3.2: una forma sencilla de empezar

Los modelos pequeños Llama de Meta —Llama 3.2 1B y 3B— son la forma más sencilla de empezar. Son diminutos, están bien documentados, cuentan con amplio soporte y sirven para tareas en el dispositivo, como resumir y mantener conversaciones sencillas.

  • Ideal para: tu primer modelo local, resúmenes y asistentes en el dispositivo.
  • Compromiso: las versiones 1B/3B están por detrás de Qwen3 y Phi-4 en razonamiento difícil, pero es complicado superarlas en velocidad y sencillez.

Microsoft Phi-4 y Phi-4-mini: gran capacidad de razonamiento para su tamaño

Los modelos Phi de Microsoft se entrenan intensivamente con datos seleccionados y sintéticos, lo que les permite rendir por encima de lo esperado para su tamaño en matemáticas, lógica y resolución estructurada de problemas. Phi-4 es un modelo de 14B que suele competir con modelos mucho mayores en tareas de razonamiento, mientras que Phi-4-mini (3.8B) quizá sea el mejor modelo pequeño de razonamiento que puedes ejecutar con hardware mínimo: unos 3 GB de VRAM con cuantización de 4 bits. Ambos se distribuyen bajo una permisiva licencia MIT.

  • Ideal para: matemáticas, lógica y razonamiento paso a paso con hardware modesto.

Mistral 7B: la opción madura y centrada en código

Mistral 7B sigue siendo un modelo de trabajo fiable, con uno de los mayores ecosistemas de ajustes e integraciones. Está bajo Apache 2.0, funciona cómodamente en una GPU de 8 GB y sigue siendo una opción popular para configuraciones locales centradas en código. Los modelos Ministral más pequeños de Mistral (3B y 8B) amplían la familia para el uso en dispositivos periféricos.

  • Ideal para: programación, un modelo general con buen soporte y ajustes sencillos.

Modelos destilados de DeepSeek-R1: para tareas con mucha lógica

DeepSeek publicó modelos de razonamiento destilados basados en Qwen y Llama (normalmente 7B, 8B y 14B). Estos acercan el razonamiento al estilo de cadena de pensamiento a tamaños que puedes ejecutar en local, y destacan en la resolución de problemas paso a paso. Tienen licencia MIT y están disponibles en Ollama.

  • Ideal para: razonamiento, matemáticas y problemas que se benefician de mostrar los pasos del pensamiento.

SmolLM2: cuando necesitas el modelo más pequeño posible

SmolLM2 de Hugging Face está disponible en tamaños de 135M, 360M y 1.7B. Son los modelos que debes elegir si tienes hardware muy limitado, quieres ejecutarlos en navegadores o usarlos en dispositivos periféricos. Pueden resumir y seguir instrucciones sencillas, pero no están diseñados para razonamientos complejos.

  • Ideal para: uso con muy poca RAM, sistemas integrados y dispositivos periféricos, y experimentación.

Tabla comparativa de LLM pequeños

Cifras aproximadas para versiones cuantizadas a 4 bits (Q4). El uso real de memoria varía según la longitud del contexto y el entorno de ejecución.

ModeloParámetrosRAM/VRAM aprox. (Q4)Ideal paraLicencia
Qwen3 1.7B1.7B~2 GBChat rápido en cualquier portátilApache 2.0
Qwen3 4B4B~3–4 GBChat equilibrado + programación ligeraApache 2.0
Qwen3 8B8B~6–8 GBMejor opción general en una GPU de 8 GBApache 2.0
Qwen3 14B14B~10–12 GBProgramación, refactorización y razonamientoApache 2.0
Gemma 3 4B4B~3–4 GBUso multimodal / más de 140 idiomasGemma
Gemma 3 12B12B~9–10 GBUso general sólido en un equipo con 16 GBGemma
Llama 3.2 3B3B~3 GBFácil para empezarLlama
Phi-4-mini3.8B~3 GBRazonamiento/matemáticas en hardware modestoMIT
Phi-414B~10–12 GBMatemáticas/lógica por encima de lo esperado para su tamañoMIT
Mistral 7B7B~5–6 GBEnfoque en código, ecosistema maduroApache 2.0
DeepSeek-R1 distill 8B8B~6–8 GBTareas con mucha lógica, razonamiento paso a pasoMIT
SmolLM2 1.7B1.7B~1.5 GBDispositivos periféricos / muy poca RAMApache 2.0

¿Cuánta RAM y qué hardware necesitas?

Una regla práctica: un modelo cuantizado a 4 bits necesita aproximadamente 0.6–0.75 GB de memoria por cada mil millones de parámetros, más un pequeño margen para el contexto. Así, un modelo de 7B necesita unos 5–6 GB y uno de 14B, unos 10–12 GB. Las opciones dependen de la memoria disponible:

TienesTamaño de modelo adecuadoBuenas opciones
8 GB de RAM, sin GPU1–4BQwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B
GPU de 8 GB (VRAM)7–8BQwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B
16 GB de RAM / VRAM12–14BGemma 3 12B, Qwen3 14B, Phi-4
GPU de 24 GB o más14–32BQwen3 32B, variantes más grandes de DeepSeek

Los Mac con Apple Silicon son un caso especial: la memoria unificada permite que la GPU utilice la mayor parte de la RAM del sistema, así que un MacBook con chip de la serie M y 16–32 GB puede ejecutar modelos que en un PC necesitarían una GPU dedicada.

Regla de oro: no empieces con el modelo más grande. Empieza con el mejor modelo que tu hardware pueda ejecutar cómodamente. Un modelo rápido de 4B es mejor que uno de 14B que recurre al almacenamiento como memoria y responde a un token por segundo.

¿Cómo se ejecuta un LLM pequeño en local?

No tienes que tocar Python para empezar. Tres herramientas cubren casi todos los casos de uso:

  • Ollama: la forma más sencilla. Instálalo y luego descarga y ejecuta un modelo con un único comando. Se encarga de las descargas y la cuantización, y ofrece una API compatible con OpenAI en localhost:11434.
  • LM Studio: una aplicación de escritorio pulida con interfaz de chat, explorador de modelos y descargas con un clic. Es la mejor opción si prefieres una interfaz gráfica.
  • llama.cpp: el motor subyacente en C/C++ que impulsa gran parte del ecosistema. Elígelo si quieres tener el máximo control o ejecutar archivos GGUF directamente en una CPU o en Apple Silicon.

Una primera ejecución con Ollama sería así:

# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b

# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b

Una vez que se está ejecutando un modelo, tanto Ollama como LM Studio ofrecen un endpoint compatible con OpenAI. Así puedes conectar herramientas y scripts existentes al modelo local con solo cambiar la URL base.

¿Cómo eliges el LLM pequeño adecuado?

Adapta el modelo al trabajo en vez de perseguir un puesto en una clasificación:

  • Chat general y tareas cotidianas: Qwen3 (4B u 8B), la opción predeterminada más segura.
  • Programación y refactorización: Qwen3 14B, Mistral o un modelo destilado de DeepSeek-R1 en una GPU de 12–16 GB.
  • Matemáticas, lógica y razonamiento con hardware modesto: Phi-4-mini y, después, Phi-4 si tienes 16 GB.
  • Imágenes o muchos idiomas: Gemma 3 4B o 12B.
  • Tamaño mínimo absoluto: Llama 3.2 1B, Gemma 3 1B o SmolLM2.

¿Cuáles son los límites de los LLM pequeños locales?

Los modelos pequeños son realmente útiles, pero conviene saber dónde se quedan cortos:

  • Menos conocimiento general. Saben menos que los modelos punteros en la nube y pueden equivocarse con mucha seguridad, así que verifica los datos cuando algo sea importante.
  • Peor rendimiento en razonamientos muy difíciles. Un modelo de 3B no igualará a un gran modelo alojado en problemas complejos de varios pasos.
  • Compromisos entre contexto y velocidad. Los contextos largos usan más memoria; en una CPU, los modelos grandes pueden ser lentos.
  • La calidad varía según la tarea. Un modelo excelente para chat puede ser mediocre para programar. Prueba un par antes de decidirte.

En muchos flujos de trabajo, la solución es la recuperación de información (RAG) o un ajuste rápido con tus propios datos. Ambas opciones son mucho más baratas en local de lo que parecen.

Preguntas frecuentes

¿Cuál es el mejor LLM pequeño para ejecutar en local en 2026?

Para la mayoría, Qwen3 8B es la mejor opción general en una GPU de 8 GB, y Qwen3 4B o Llama 3.2 3B funcionan bien en portátiles sin GPU. Elige el modelo más grande que tu hardware pueda ejecutar cómodamente, en vez del más grande que exista.

¿Cuál es el LLM más pequeño que se puede ejecutar en local?

Modelos como SmolLM2 (135M–1.7B), Llama 3.2 1B, Gemma 3 1B y Qwen3 0.6B funcionan en casi cualquier portátil moderno, a menudo con menos de 2 GB de RAM si están cuantizados a 4 bits. Pueden resumir y mantener conversaciones sencillas, pero son débiles en razonamientos complejos.

¿Cuánta RAM necesito para ejecutar un LLM pequeño en local?

Un modelo de 3–4B cuantizado a 4 bits necesita aproximadamente 3–4 GB de RAM o VRAM libre; uno de 7–8B necesita unos 6–8 GB, y uno de 12–14B requiere entre 10 y 16 GB. Tener 16 GB de RAM del sistema es una base cómoda para la mayoría de los modelos pequeños.

¿Cuál es la forma más sencilla de ejecutar un LLM pequeño en local?

Instala Ollama o LM Studio y luego descarga un modelo con un único comando (por ejemplo, ollama pull qwen3:8b). Ambos se encargan de las descargas y la cuantización, ofrecen una interfaz de chat local y exponen una API compatible con OpenAI para tus propias aplicaciones.

¿Puedo ejecutar un LLM pequeño sin GPU?

Sí. Con cuantización de 4 bits, los modelos de hasta aproximadamente 7–8B funcionan en una CPU moderna, y se ejecutan notablemente más rápido en los Mac con Apple Silicon gracias a la memoria unificada. La velocidad de generación de tokens será menor que con una GPU dedicada, pero resultan útiles para chats y borradores.

¿Son buenos para programar los LLM pequeños locales?

Pueden serlo. Qwen3 y los modelos destilados de DeepSeek-R1 destacan en código entre los modelos pequeños, y Mistral cuenta con un ecosistema maduro centrado en código. Para refactorizaciones más exigentes, un modelo de 14B en una GPU de 12–16 GB ofrece la mejor calidad que puedes conseguir en local.

En resumen

Los LLM pequeños locales han pasado de ser un experimento para aficionados a convertirse en una herramienta práctica para el día a día. Empieza con Qwen3 como opción equilibrada, elige Phi-4-mini cuando necesites capacidad de razonamiento con hardware ligero y opta por Gemma 3 si necesitas visión o muchos idiomas: puedes usar todos con Ollama o LM Studio en unos minutos. Para obtener ayuda con la documentación de Ailoot, consulta la documentación de Ailoot.