NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning es un modelo de lenguaje para razonamiento, conversación y flujos de trabajo especializados con agentes. Tiene 30B parámetros totales, de los cuales 3B están activos, y utiliza una arquitectura híbrida que intercala capas Mamba-2, de mezcla de expertos y de atención. Las capas de predicción de múltiples tokens añaden señales de entrenamiento para tokens futuros y permiten los procedimientos de generación optimizados del modelo. El modelo procesa texto y produce texto, incluidas explicaciones, código y respuestas basadas en el material proporcionado.

El fabricante describe aplicaciones en chatbots, generación aumentada por recuperación, seguimiento de instrucciones y agentes. Para responder a partir de una base de conocimientos, proporciona la pregunta y los pasajes pertinentes con etiquetas de fuente estables. Pide al modelo que responda a partir de esos pasajes, identifique cuál respalda cada afirmación importante e indique qué sigue sin conocerse. Por ejemplo: «Utiliza estos artículos de soporte para explicar la diferencia entre los dos métodos de instalación y devolver los requisitos previos, los pasos y las comprobaciones de cada uno». Mantén visible cualquier requisito previo que falte, en lugar de invitar al modelo a inventarlo.

Para trabajos de programación, proporciona el código pertinente, el comportamiento esperado y el fallo observado. Una solicitud práctica pide una revisión concreta y una explicación de los casos afectados. Si un agente conectado a herramientas ejecuta una comprobación, devuelve su resultado real antes de pedir el siguiente cambio. El entrenamiento del modelo incluye código, uso de herramientas en varios pasos y tareas de salida estructurada, pero el resultado terminado sigue teniendo que cumplir el requisito original. Solicita el código revisado, el motivo de cada cambio relevante y las observaciones necesarias para establecer que el problema está resuelto.

El fabricante documenta el razonamiento activado de forma predeterminada y un modo de respuesta directa con el razonamiento desactivado mediante la plantilla de chat. El modo de razonamiento es útil para una tarea con varias condiciones dependientes; una respuesta directa puede resultar adecuada para una transformación o extracción sencilla. El fabricante recomienda temperature 1.0 y top-p 0.95 en sus ejemplos de cliente. Trata estos valores como ajustes del procedimiento del fabricante y elige explícitamente la estructura de la respuesta final, como una explicación breve, una tabla comparativa o una respuesta seguida de las pruebas que la respaldan.

El modelo admite un contexto de hasta 1M tokens. Los procedimientos de despliegue BF16 publicados también distinguen esa capacidad del modelo de las configuraciones que utilizan una ventana de 256K por limitaciones de memoria. Prepara el material largo para la ventana de trabajo aplicable, manteniendo la estructura del documento y dejando espacio para la respuesta. Un contexto largo resulta más útil cuando la instrucción especifica la relación que se busca: contradicciones entre documentos, dependencias entre archivos de código fuente o las pruebas que respaldan una conclusión. No es un motivo para incluir historial ajeno a la tarea ni para suponer que una respuesta final puede ocupar toda la ventana.

El inglés y los lenguajes de programación son el foco principal, y también se enumeran español, francés, alemán, italiano y japonés. Indica el idioma de salida requerido y conserva los nombres, identificadores y términos citados de las fuentes cuando importe su escritura exacta. Para trabajar con documentos multilingües, especifica si hay que traducir, resumir o comparar los materiales; estas solicitudes producen resultados distintos. Pide que se señale la terminología incierta para que una traducción fluida no cambie silenciosamente un significado técnico.

NVIDIA publica una versión de referencia BF16 destinada principalmente a personalización e investigación a precisión completa, y una versión NVFP4 aparte con procedimientos de inferencia optimizados. Esta distinción importa al comparar las indicaciones de despliegue: una configuración de hardware o un resultado de rendimiento de una versión no describe automáticamente otra. El nombre del modelo identifica la familia Lightning, mientras que el checkpoint preciso y la configuración de servicio determinan el procedimiento. Mantén las capacidades del modelo separadas del rendimiento y de los supuestos de memoria propios de cada procedimiento.

Para trabajar con herramientas, proporciona descripciones claras de las funciones y devuelve el resultado real de cada paso ejecutado. Una operación propuesta solo se convierte en una prueba utilizable cuando la aplicación que la rodea la lleva a cabo y registra lo ocurrido. Pide que la respuesta final distinga las observaciones de las fuentes, las conclusiones derivadas y las comprobaciones pendientes. Cuando un cálculo, un comando o un pasaje recuperado entre en conflicto con el resultado previsto, utiliza ese conflicto para revisar la conclusión, en lugar de producir un resumen pulido de un supuesto sin verificar.