NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning è un modello linguistico per il ragionamento, la conversazione e flussi di lavoro specializzati con agenti. Ha 30B parametri totali con 3B attivi e usa un’architettura ibrida che alterna strati Mamba-2, mixture-of-experts e di attenzione. Gli strati Multi-Token Prediction aggiungono segnali di addestramento per i token futuri e supportano le procedure di generazione ottimizzate del modello. Il modello elabora testo e produce testo, comprese spiegazioni, codice e risposte fondate sul materiale fornito.

Il produttore descrive applicazioni in chatbot, generazione aumentata dal recupero di informazioni, esecuzione di istruzioni e agenti. Per una risposta da una base di conoscenza, fornisci la domanda e i passaggi pertinenti con etichette delle fonti stabili. Chiedi al modello di rispondere a partire da quei passaggi, identificare quale sostiene ogni affermazione importante e indicare che cosa rimane sconosciuto. Per esempio: «Usando questi articoli di assistenza, spiega la differenza fra i due metodi di installazione e restituisci prerequisiti, passaggi e verifiche per ciascuno». Mantieni visibile un prerequisito mancante anziché invitare il modello a inventarlo.

Per la programmazione, fornisci il codice pertinente, il comportamento atteso e l’errore osservato. Una richiesta pratica domanda una revisione mirata e una spiegazione dei casi interessati. Se un agente collegato a strumenti esegue una verifica, restituiscine l’output effettivo prima di chiedere la modifica successiva. L’addestramento del modello comprende codice, uso di strumenti in più passaggi e attività con output strutturato, ma l’artefatto completato deve comunque corrispondere al requisito originale. Richiedi il codice rivisto, il motivo di ogni modifica sostanziale e le osservazioni necessarie per stabilire che il problema sia risolto.

Il produttore documenta il ragionamento abilitato per impostazione predefinita e una modalità di risposta diretta con ragionamento disabilitato tramite il template di chat. La modalità di ragionamento è utile per un’attività con diverse condizioni dipendenti; una risposta diretta può adattarsi a una trasformazione o estrazione semplice. Il produttore raccomanda temperature 1.0 e top-p 0.95 nei propri esempi di client. Considerali impostazioni della procedura del produttore e scegli esplicitamente la struttura della risposta finale, per esempio una spiegazione concisa, una tabella di confronto o una risposta seguita dalle evidenze che la sostengono.

Il modello supporta un contesto fino a 1M di token. Le procedure di distribuzione BF16 pubblicate distinguono inoltre questa capacità del modello dalle configurazioni che usano una finestra di 256K in presenza di vincoli di memoria. Prepara il materiale lungo per la finestra di lavoro applicabile, preservando la struttura dei documenti e lasciando spazio alla risposta. Un contesto lungo è particolarmente utile quando il prompt specifica la relazione da individuare: contraddizioni fra documenti, dipendenze fra file sorgente o evidenze a sostegno di una conclusione. Non è un motivo per includere una cronologia non pertinente o presumere che una risposta finale possa occupare l’intera finestra.

L’inglese e i linguaggi di programmazione sono l’ambito principale, con spagnolo, francese, tedesco, italiano e giapponese anch’essi elencati. Specifica la lingua di output richiesta e conserva nomi, identificatori e termini citati dalle fonti quando la grafia conta. Per il lavoro su documenti multilingue, specifica se tradurre, riassumere o confrontare i materiali; queste richieste producono artefatti diversi. Chiedi di segnalare la terminologia incerta, affinché una traduzione scorrevole non modifichi silenziosamente un significato tecnico.

NVIDIA pubblica una versione di riferimento BF16 principalmente per la personalizzazione e la ricerca a piena precisione, e una versione NVFP4 separata con procedure di inferenza ottimizzate. Questa distinzione conta nel confronto delle indicazioni di distribuzione: una configurazione hardware o un risultato di throughput di una versione non descrive automaticamente un’altra. Il nome del modello identifica la famiglia Lightning, mentre il checkpoint esatto e la configurazione di erogazione determinano la procedura. Mantieni le capacità del modello separate dalle prestazioni e dalle ipotesi sulla memoria proprie di una specifica procedura.

Per il lavoro basato su strumenti, fornisci descrizioni chiare delle funzioni e restituisci il risultato effettivo di ogni passaggio eseguito. Un’operazione proposta diventa un’evidenza utilizzabile soltanto dopo che l’applicazione circostante l’ha eseguita e ha registrato che cosa è accaduto. Chiedi alla risposta finale di distinguere osservazioni dalle fonti, conclusioni derivate e verifiche incomplete. Quando un calcolo, un comando o un passaggio recuperato contraddice il risultato previsto, usa quel contrasto per rivedere la conclusione anziché produrre un riepilogo ben scritto di un’ipotesi non verificata.