Blog

Modelos de lenguaje pequeños, explicados

Markdown

Qué hace que un modelo de lenguaje sea pequeño, qué significan los parámetros y los parámetros efectivos, por qué los modelos pequeños caben en los teléfonos y a qué renuncian en capacidad.

¿Qué es un modelo de lenguaje pequeño?

Un modelo de lenguaje pequeño (SLM) es un modelo de lenguaje lo bastante compacto como para ejecutarse en dispositivos cotidianos, como un teléfono o un portátil, en lugar de un centro de datos. No existe un límite acordado: los modelos con unos pocos miles de millones de parámetros o menos suelen llamarse pequeños, y un estudio de 2024 utiliza un intervalo de 100 millones a 5 mil millones.

Los modelos de lenguaje pequeños y grandes funcionan de la misma manera. Ambos son redes neuronales, casi siempre transformers, entrenadas para predecir el siguiente token de texto, y ambos se adaptan después del preentrenamiento para seguir instrucciones; el estudio mencionado cubre transformers solo de tipo decoder exactamente de esta clase. La diferencia es la escala. Un modelo del tamaño de un teléfono tiene unos pocos miles de millones de parámetros, mientras que los modelos de frontera en la nube son mucho mayores, por lo que un modelo pequeño contiene menos conocimiento y tiene menos capacidad de razonamiento (véase «¿En qué se quedan cortos los modelos pequeños?»). Los modelos pequeños son los que hacen práctica la IA en el dispositivo.

El tamaño no es el único factor que influye en la calidad. Por tanto, la calidad de un modelo pequeño depende tanto de su entrenamiento como de su tamaño. Puede aprender de un modelo más grande mediante destilación, en la que se entrena para igualar las salidas del modelo más grande, y se beneficia de datos cuidadosamente seleccionados: phi-1, un modelo de código de 1.3 mil millones de parámetros entrenado en gran medida con datos de «calidad de libro de texto», alcanzó un 50.6% de pass@1 en el benchmark de programación HumanEval.

¿Qué significan «parámetros» y «parámetros efectivos»?

Los parámetros son los números que un modelo aprende durante el entrenamiento, y su cantidad es la medida habitual de su tamaño: el «1.7B» de Qwen3 1.7B significa unos 1.7 mil millones. «Parámetros efectivos», la «E» de Gemma 4 E2B y E4B de Google, cuenta los parámetros con los que el modelo hace cálculos y excluye las grandes tablas de embeddings a las que solo accede mediante búsquedas.

La mayoría de los parámetros están en las matrices de pesos de las capas de atención y de propagación hacia delante de un transformer, por las que pasa cada token. Un bloque aparte, los embeddings, asigna a cada token del vocabulario un vector, y en un modelo pequeño puede representar una parte importante del total. La tabla de embeddings de Qwen3 1.7B tiene 151,936 filas (su vocabulario configurado, ampliado más allá de las 151,669 entradas del tokenizador) de 2,048 dimensiones, unos 311 millones de parámetros de embeddings, en consonancia con su ficha del modelo, que indica un total de 1.7 mil millones de parámetros y 1.4 mil millones fuera de los embeddings 7. Los estudios de escalado suelen contar solo los parámetros no relacionados con los embeddings.

La serie E de Gemma 4 lleva la idea más lejos. La ficha del modelo de Google explica que «La “E” de E2B y E4B significa parámetros “efectivos”»: los modelos usan Per-Layer Embeddings (PLE), que dan «a cada capa decoder su propio embedding pequeño para cada token», y «Estas tablas de embeddings son grandes, pero solo se usan para búsquedas rápidas, por lo que la cantidad de parámetros efectivos es mucho menor que el total» 8. La ficha indica que Gemma 4 E2B tiene 2.3 mil millones de parámetros efectivos y 5.1 mil millones con embeddings, y que E4B tiene 4.5 mil millones efectivos y 8 mil millones con embeddings.

Esta distinción importa en un teléfono porque las búsquedas necesitan memoria, pero poca capacidad de cálculo, y un entorno de ejecución puede dejar las tablas en el almacenamiento. «Efectivos» también es distinto de «activos»: Gemma 4 26B A4B es un modelo de mezcla de expertos con 25.2 mil millones de parámetros, de los cuales 3.8 mil millones están activos durante la inferencia 8.

¿Por qué caben los modelos pequeños en los teléfonos?

Los pesos de un modelo ocupan aproximadamente el número de parámetros multiplicado por los bits almacenados por parámetro y dividido entre ocho. Con 4 bits, 1.7 mil millones de parámetros necesitan unos 0.85 GB, lo que deja espacio para Android y otras aplicaciones en un teléfono con 4 GB de RAM.

La cantidad de parámetros y la precisión son los dos factores. La figura 1 desarrolla el cálculo para Qwen3 1.7B, desde coma flotante de 32 bits hasta un archivo de modelo de 4 bits.

  1. Almacenados como números de coma flotante de 32 bits, 1.7 mil millones de parámetros ocupan 6.8 GB.
  2. A 16 bits, ocupan 3.4 GB.
  3. A 8 bits, ocupan 1.7 GB. Cada reducción a la mitad de los bits por peso reduce a la mitad la memoria que necesitan los pesos.
  4. A 4 bits, unos 0.85 GB. Medio byte por peso es lo que hace práctico un modelo de este tamaño en un teléfono de 4 GB.
  5. Un archivo de modelo de 4 bits puede ser más grande que los pesos sin procesar. Las escalas de bloque y otros datos almacenados aumentan su tamaño.
Figura 1. Memoria necesaria para almacenar los pesos de Qwen3 1.7B en gigabytes decimales. Las barras azules se calculan como parámetros × bits ÷ 8 para 1.7 mil millones de parámetros y cuentan solo los pesos; un modelo en ejecución también necesita memoria para su caché de clave–valor y el entorno de ejecución. La barra naranja es el archivo del modelo descargado.
PrecisiónBits por parámetroMemoria aproximada de los pesos
coma flotante de 32 bits326.8 GB
coma flotante de 16 bits163.4 GB
entero de 8 bits81.7 GB
entero de 4 bits40.85 GB

Por eso, los modelos del tamaño de un teléfono combinan unos pocos miles de millones de parámetros con pesos de 4 bits o de precisión mixta; la cuantización reduce el almacenamiento que necesitan los pesos.

Los pesos no constituyen toda la memoria ocupada. Un modelo en ejecución también necesita memoria para su caché de clave–valor, que crece con la longitud de la ventana de contexto, y para el propio entorno de ejecución. La velocidad sigue el mismo cálculo: cada nuevo token requiere leer los pesos del modelo desde la memoria, así que menos pesos y más pequeños se traducen en respuestas más rápidas en el mismo teléfono.

¿Qué hacen bien los modelos pequeños?

Los modelos pequeños son buenos en tareas cuyo contenido necesario está en el prompt o forma parte del conocimiento común: reescribir, resumir, redactar, explicar y responder a partir de pasajes proporcionados. Como se ejecutan en el dispositivo, también pueden responder sin conexión de red y sin enviar el prompt a un servidor.

La ficha del modelo de Google describe la familia Gemma 4 como «muy adecuada para el razonamiento, los flujos de trabajo agénticos, la programación y la comprensión multimodal», y señala que E2B y E4B aceptan texto e imágenes y entradas de audio 8. Estas son descripciones y benchmarks de los propios desarrolladores; aún hace falta probar qué tal funciona una tarea concreta en un teléfono concreto.

Proporcionar el texto adecuado ayuda a compensar lo que un modelo pequeño no sabe. La generación aumentada por recuperación añade pasajes recuperados cuando se formula la pregunta, de modo que el modelo trabaja con fuentes en lugar de depender de la memoria. Los modelos pequeños también tienen un funcionamiento predecible: no hay un coste de servidor por pregunta, ni cola, ni dependencia de una conexión después de la descarga.

¿En qué se quedan cortos los modelos pequeños?

Los modelos pequeños contienen menos conocimiento, son menos capaces de razonar durante mucho tiempo o en varios pasos y manejan peor los contextos largos que los modelos más grandes; además, como todos los modelos de lenguaje, pueden afirmar cosas falsas con fluidez.

El patrón se observa dentro de una misma familia. En la ficha del modelo de Google, Gemma 4 E2B obtiene 60.0% en MMLU Pro, el benchmark de conocimiento y razonamiento, y E4B obtiene 69.4%, frente al 85.2% del modelo Gemma 4 de 31 mil millones de parámetros; en GPQA Diamond, un conjunto de preguntas científicas de nivel de posgrado, las puntuaciones son 43.4%, 58.6% y 84.3% 8. Estos son resultados de Google para sus modelos.

Los modelos pequeños también pueden quedarse atascados repitiéndose. La ficha del modelo de Qwen advierte que la decodificación greedy «puede provocar una degradación del rendimiento y repeticiones interminables» 7.

¿Por qué los modelos pequeños copian la forma de sus instrucciones?

Los modelos pequeños tienden a imitar la forma de un prompt además de seguir su contenido, por lo que un prompt de sistema largo y estructurado puede reaparecer como estructura en cada respuesta.

Un prompt que indicaba al modelo «empieza con la respuesta directa y luego añade detalles útiles» produjo respuestas con etiquetas en negrita que decían «Respuesta directa:» y «Detalles útiles:». La instrucción pretendía servir de orientación sobre el contenido; el modelo la trató como una plantilla.

¿Cómo funcionan los modos de razonamiento en los modelos pequeños?

Un modo de razonamiento hace que el modelo escriba los pasos intermedios de su razonamiento antes de la respuesta final, dedicando más tiempo y tokens para ofrecer resultados más cuidadosos en problemas de varios pasos. Qwen3 y Gemma 4 lo ofrecen como una opción dentro de un mismo modelo, en lugar de como un modelo de razonamiento aparte.

La idea procede del prompting de cadena de pensamiento. Los modelos pequeños más recientes se entrenan para razonar; en el caso de Qwen3, en parte aprenden de sus modelos más grandes.

La opción forma parte del prompt. Qwen3 1.7B razona de manera predeterminada y escribe su razonamiento dentro de un bloque <think>…</think>; los desarrolladores desactivan el razonamiento con el ajuste enable_thinking, y los usuarios pueden añadir /think o /no_think a un mensaje para cambiar de modo entre turnos 7. Gemma 4 activa el razonamiento cuando su prompt de sistema empieza con el token <|think|> 8.

Razonar consume tiempo y contexto, porque los tokens de razonamiento forman parte de la salida del modelo y comparten su ventana. El razonamiento aparece antes de la respuesta cuando el modelo está configurado para mostrarlo, pero el comportamiento depende del modelo y de la aplicación.

¿Cómo se comparan Qwen3 1.7B, Gemma 4 E2B y Gemma 4 E4B?

Los tres modelos difieren en tamaño, entradas y longitud de contexto. Qwen3 1.7B tiene 1.7 mil millones de parámetros y solo acepta texto; Google indica que Gemma 4 E2B y E4B tienen 2.3 y 4.5 mil millones de parámetros efectivos, respectivamente, y aceptan texto, imágenes y audio. Los tres se publican bajo Apache 2.0.

Qwen3 1.7BGemma 4 E2BGemma 4 E4B
DesarrolladorAlibaba (equipo Qwen)Google DeepMindGoogle DeepMind
Parámetros1.7B, de los cuales 1.4B están fuera de los embeddings2.3B efectivos, 5.1B con embeddings4.5B efectivos, 8B con embeddings
Capas283542
Longitud del contexto32,768 tokens128K tokens128K tokens
EntradaTextoTexto, imágenes, audioTexto, imágenes, audio
Modo de razonamientoSí, activado de forma predeterminadaSíSí
LicenciaApache 2.0Apache 2.0Apache 2.0

Tabla 1. Especificaciones publicadas en la ficha del modelo Qwen3-1.7B de Qwen y en la ficha del modelo Gemma 4 de Google, consultadas el 5 de octubre de 2026 7 8.

Referencias

  1. Qwen. «Qwen3-1.7B». Ficha y configuración del modelo, Hugging Face. Consultado el 5 de octubre de 2026. huggingface.co/Qwen/Qwen3-1.7B
  2. Google DeepMind. «Ficha del modelo Gemma 4». Google AI for Developers. Consultado el 5 de octubre de 2026. ai.google.dev/gemma/docs/core/model_card_4

Pon en práctica esta guía con Ailoot

Conecta modelos de IA a tus aplicaciones, agentes y automatizaciones mediante una sola API de Ailoot. Elige el modelo que mejor se adapte a tu tarea y sigue la documentación de Ailoot para empezar.