NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning ist ein Sprachmodell für Schlussfolgerungen, Gespräche und spezialisierte Agentenworkflows. Es hat insgesamt 30B Parameter, davon 3B aktive, und verwendet eine hybride Architektur, die Mamba-2-, Mixture-of-Experts- und Aufmerksamkeitsschichten ineinander verschachtelt. Multi-Token-Prediction-Schichten ergänzen Trainingssignale für zukünftige Tokens und unterstützen die optimierten Generierungsverfahren des Modells. Das Modell verarbeitet Text und erzeugt Text, darunter Erklärungen, Code und Antworten auf Grundlage des bereitgestellten Materials.

Der Hersteller beschreibt Anwendungen in Chatbots, Retrieval-Augmented Generation, der Befolgung von Anweisungen und Agenten. Stellen Sie für eine Antwort aus einer Wissensbasis die Frage und die relevanten Passagen mit stabilen Quellenbezeichnungen bereit. Fordern Sie das Modell auf, anhand dieser Passagen zu antworten, für jede wichtige Aussage die stützende Passage zu nennen und anzugeben, was offenbleibt. Zum Beispiel: «Erklären Sie anhand dieser Supportartikel den Unterschied zwischen den beiden Installationsmethoden und geben Sie für jede die Voraussetzungen, Schritte und Prüfungen zurück.» Machen Sie eine fehlende Voraussetzung sichtbar, statt das Modell dazu einzuladen, sie zu erfinden.

Stellen Sie für Programmieraufgaben den relevanten Code, das erwartete Verhalten und den beobachteten Fehler bereit. Ein praktischer Auftrag verlangt eine gezielte Überarbeitung und eine Erklärung der betroffenen Fälle. Wenn ein Agent mit Tool-Anbindung eine Prüfung ausführt, geben Sie deren tatsächliche Ausgabe zurück, bevor Sie die nächste Änderung anfordern. Das Training des Modells umfasst Code, mehrstufige Tool-Nutzung und Aufgaben mit strukturierten Ausgaben; das fertige Artefakt muss dennoch die ursprüngliche Anforderung erfüllen. Fordern Sie den überarbeiteten Code, die Begründung jeder wesentlichen Änderung und die Beobachtungen an, die erforderlich sind, um die Behebung des Problems festzustellen.

Der Hersteller dokumentiert standardmässig aktiviertes Denken und einen Direktantwortmodus, in dem das Denken über die Chatvorlage deaktiviert wird. Der Analysemodus ist für Aufgaben mit mehreren voneinander abhängigen Bedingungen nützlich; eine direkte Antwort kann zu einer einfachen Umformung oder Extraktion passen. Der Hersteller empfiehlt in seinen Clientbeispielen temperature 1.0 und top-p 0.95. Behandeln Sie dies als Einstellungen des Herstellerverfahrens und wählen Sie die Struktur der endgültigen Antwort ausdrücklich, etwa eine knappe Erklärung, eine Vergleichstabelle oder eine Antwort mit anschliessenden Belegen.

Das Modell unterstützt einen Kontext von bis zu 1M Tokens. Die veröffentlichten BF16-Bereitstellungsverfahren unterscheiden diese Modellfähigkeit zudem von Konfigurationen, die bei begrenztem Speicher ein 256K-Fenster verwenden. Bereiten Sie langes Material für das jeweils verfügbare Arbeitsfenster auf, bewahren Sie die Dokumentstruktur und lassen Sie Platz für die Antwort. Ein langer Kontext ist besonders nützlich, wenn der Prompt den gesuchten Zusammenhang festlegt: Widersprüche zwischen Dokumenten, Abhängigkeiten zwischen Quelldateien oder Belege für eine Schlussfolgerung. Er ist kein Grund, sachfremden Verlauf aufzunehmen oder anzunehmen, die endgültige Antwort könne das gesamte Fenster belegen.

Englisch und Programmiersprachen bilden den Schwerpunkt; auch Spanisch, Französisch, Deutsch, Italienisch und Japanisch werden genannt. Geben Sie die geforderte Ausgabesprache an und bewahren Sie Namen, Kennungen und zitierte Quellbegriffe, wenn ihre Schreibweise entscheidend ist. Legen Sie bei mehrsprachiger Dokumentarbeit fest, ob die Materialien übersetzt, zusammengefasst oder verglichen werden sollen; diese Aufträge erzeugen unterschiedliche Artefakte. Fordern Sie die Kennzeichnung unsicherer Begriffe an, damit eine flüssige Übersetzung nicht unbemerkt eine technische Bedeutung verändert.

NVIDIA veröffentlicht eine BF16-Referenzversion vor allem für Anpassungen und Forschung mit voller numerischer Präzision sowie eine separate NVFP4-Version mit optimierten Inferenzverfahren. Diese Unterscheidung ist beim Vergleich von Bereitstellungshinweisen wichtig: Eine Hardwarekonfiguration oder ein Durchsatzergebnis aus einer Version beschreibt nicht automatisch eine andere. Der Modellname bezeichnet die Lightning-Familie, während der genaue Checkpoint und die Bereitstellungskonfiguration das Verfahren bestimmen. Trennen Sie Fähigkeiten auf Modellebene von verfahrensspezifischen Leistungs- und Speicherannahmen.

Stellen Sie für toolgestützte Arbeit klare Funktionsbeschreibungen bereit und geben Sie das tatsächliche Ergebnis jedes ausgeführten Schritts zurück. Eine vorgeschlagene Operation wird erst zu einem nutzbaren Beleg, nachdem die umgebende Anwendung sie ausgeführt und das Geschehen protokolliert hat. Fordern Sie in der endgültigen Antwort eine Unterscheidung zwischen Quellenbeobachtungen, abgeleiteten Schlussfolgerungen und noch offenen Prüfungen. Wenn eine Berechnung, ein Befehl oder eine abgerufene Passage dem geplanten Ergebnis widerspricht, nutzen Sie diesen Widerspruch zur Überarbeitung der Schlussfolgerung, statt eine ausgefeilte Zusammenfassung einer ungeprüften Annahme zu erzeugen.