NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning ist ein Sprachmodell für Reasoning, Konversation und spezialisierte Agenten-Workflows. Es hat insgesamt 30B Parameter, von denen 3B aktiv sind, und verwendet eine hybride Architektur mit abwechselnden Mamba-2-, Mixture-of-Experts- und Attention-Schichten. Multi-Token-Prediction-Schichten ergänzen Trainingssignale für zukünftige Token und unterstützen die optimierten Generierungsrezepte des Modells. Das Modell verarbeitet Text und erzeugt Text, darunter Erklärungen, Code und Antworten auf Grundlage bereitgestellten Materials.

Der Hersteller nennt Anwendungen in Chatbots, Retrieval-Augmented Generation, dem Befolgen von Anweisungen und Agenten. Stellen Sie für eine Antwort aus einer Wissensdatenbank die Frage und die relevanten Passagen mit stabilen Quellenkennzeichnungen bereit. Bitten Sie das Modell, anhand dieser Passagen zu antworten, die jeweilige Grundlage jeder wichtigen Aussage anzugeben und offene Punkte zu benennen. Zum Beispiel: „Erkläre anhand dieser Supportartikel den Unterschied zwischen den beiden Installationsmethoden und gib für jede die Voraussetzungen, Schritte und Prüfungen zurück.“ Lassen Sie eine fehlende Voraussetzung sichtbar, statt das Modell zu deren Erfindung einzuladen.

Stellen Sie für Programmieraufgaben den relevanten Code, das erwartete Verhalten und den beobachteten Fehler bereit. Eine praktische Anfrage verlangt eine gezielte Überarbeitung und eine Erklärung der betroffenen Fälle. Führt ein mit Werkzeugen verbundener Agent eine Prüfung aus, geben Sie deren tatsächliche Ausgabe zurück, bevor Sie die nächste Änderung anfordern. Das Training des Modells umfasst Code, mehrstufige Werkzeugnutzung und Aufgaben mit strukturierten Ausgaben; das fertige Artefakt muss dennoch der ursprünglichen Anforderung entsprechen. Fordern Sie den überarbeiteten Code, die Begründung jeder wesentlichen Änderung und die Beobachtungen an, die zur Feststellung der Problemlösung erforderlich sind.

Der Hersteller dokumentiert standardmäßig aktiviertes Thinking und einen Direktantwortmodus, in dem Thinking über das Chat-Template deaktiviert wird. Der Reasoning-Modus ist für Aufgaben mit mehreren voneinander abhängigen Bedingungen nützlich; eine direkte Antwort kann sich für unkomplizierte Umwandlungen oder Extraktionen eignen. Der Hersteller empfiehlt in seinen Client-Beispielen Temperature 1.0 und top-p 0.95. Behandeln Sie diese Werte als Einstellungen des Herstellerrezepts und legen Sie die Struktur der endgültigen Antwort ausdrücklich fest, etwa eine knappe Erklärung, eine Vergleichstabelle oder eine Antwort mit anschließenden Belegen.

Das Modell unterstützt einen Kontext von bis zu 1M Token. Die veröffentlichten BF16-Bereitstellungsrezepte unterscheiden diese Modellfähigkeit außerdem von Konfigurationen, die bei begrenztem Speicher ein Fenster von 256K nutzen. Bereiten Sie umfangreiches Material für das jeweils verfügbare Arbeitsfenster vor, erhalten Sie die Dokumentstruktur und lassen Sie Platz für die Antwort. Ein langer Kontext ist besonders nützlich, wenn der Prompt die gesuchte Beziehung vorgibt: Widersprüche zwischen Dokumenten, Abhängigkeiten zwischen Quelldateien oder die Belege für eine Schlussfolgerung. Er ist kein Grund, sachfremde Historie einzubeziehen oder anzunehmen, die endgültige Antwort könne das gesamte Fenster belegen.

Der Schwerpunkt liegt auf Englisch und Programmiersprachen; außerdem werden Spanisch, Französisch, Deutsch, Italienisch und Japanisch aufgeführt. Geben Sie die gewünschte Ausgabesprache an und erhalten Sie Namen, Kennungen und zitierte Quellbegriffe, wenn ihre Schreibweise wichtig ist. Legen Sie bei mehrsprachiger Dokumentenarbeit fest, ob das Material übersetzt, zusammengefasst oder verglichen werden soll; diese Anfragen erzeugen unterschiedliche Artefakte. Bitten Sie darum, unsichere Terminologie zu kennzeichnen, damit eine flüssige Übersetzung nicht unbemerkt eine technische Bedeutung verändert.

NVIDIA veröffentlicht eine BF16-Referenzausgabe vorwiegend für Anpassungen und Forschung mit voller Präzision sowie eine separate NVFP4-Ausgabe mit optimierten Inferenzrezepten. Diese Unterscheidung ist beim Vergleich von Bereitstellungshinweisen wichtig: Eine Hardwarekonfiguration oder ein Durchsatzergebnis einer Ausgabe beschreibt nicht automatisch eine andere. Der Modellname bezeichnet die Lightning-Familie, während der genaue Checkpoint und die Serving-Konfiguration das Rezept bestimmen. Halten Sie Modellfähigkeiten von rezeptabhängigen Leistungs- und Speicherannahmen getrennt.

Geben Sie für werkzeuggestützte Aufgaben klare Funktionsbeschreibungen vor und liefern Sie das tatsächliche Ergebnis jedes ausgeführten Schritts zurück. Eine vorgeschlagene Operation wird erst dann zu einem nutzbaren Beleg, wenn die umgebende Anwendung sie ausführt und den Ablauf protokolliert. Fordern Sie für die endgültige Antwort eine klare Unterscheidung zwischen Quellenbeobachtungen, abgeleiteten Schlussfolgerungen und noch ausstehenden Prüfungen an. Widerspricht eine Berechnung, ein Befehl oder eine abgerufene Passage dem geplanten Ergebnis, nutzen Sie diesen Widerspruch zur Überarbeitung der Schlussfolgerung, statt eine ungeprüfte Annahme als ausgefeilte Zusammenfassung auszugeben.