NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning ist ein Sprachmodell für logisches Schlussfolgern, Gespräche und spezialisierte Agentenabläufe. Es hat insgesamt 30B Parameter, von denen 3B aktiv sind, und nutzt eine hybride Architektur, die Mamba-2-, Mixture-of-Experts- und Attention-Schichten miteinander verschränkt. Multi-Token-Prediction-Schichten ergänzen Trainingssignale für zukünftige Tokens und unterstützen die optimierten Generierungsverfahren des Modells. Das Modell verarbeitet Text und erzeugt Text, darunter Erklärungen, Code und Antworten, die sich auf bereitgestelltes Material stützen.

Der Hersteller beschreibt Anwendungen in Chatbots, Retrieval-Augmented Generation, der Befolgung von Anweisungen und Agenten. Stellen Sie für eine Antwort aus einer Wissensdatenbank die Frage und die relevanten Passagen mit stabilen Quellenbezeichnungen bereit. Bitten Sie das Modell, anhand dieser Passagen zu antworten, für jede wichtige Aussage die stützende Passage anzugeben und offenzulegen, was unbekannt bleibt. Zum Beispiel: „Erkläre anhand dieser Supportartikel den Unterschied zwischen den beiden Installationsmethoden und liefere für jede die Voraussetzungen, Schritte und Prüfungen.“ Lassen Sie eine fehlende Voraussetzung sichtbar, statt das Modell zum Erfinden aufzufordern.

Stellen Sie für Programmieraufgaben den relevanten Code, das erwartete Verhalten und den beobachteten Fehler bereit. Eine zweckmäßige Anfrage verlangt eine gezielte Überarbeitung und eine Erklärung der betroffenen Fälle. Wenn ein mit Werkzeugen verbundener Agent eine Prüfung ausführt, geben Sie deren tatsächliche Ausgabe zurück, bevor Sie die nächste Änderung anfordern. Das Training des Modells umfasst Code, mehrstufige Werkzeugnutzung und Aufgaben mit strukturierter Ausgabe; das fertige Ergebnis muss dennoch die ursprüngliche Anforderung erfüllen. Fordern Sie den überarbeiteten Code, die Begründung jeder wesentlichen Änderung und die Beobachtungen an, mit denen sich die Behebung des Problems feststellen lässt.

Der Hersteller dokumentiert einen standardmäßig aktivierten Denkmodus sowie einen Modus für direkte Antworten, bei dem der Denkprozess über die Chatvorlage deaktiviert wird. Der Denkmodus ist für eine Aufgabe mit mehreren voneinander abhängigen Bedingungen hilfreich; eine direkte Antwort kann sich für einfache Umformungen oder Extraktionen eignen. In seinen Clientbeispielen empfiehlt der Hersteller temperature 1.0 und top-p 0.95. Behandeln Sie diese als Einstellungen des Herstellerverfahrens und wählen Sie die Struktur der endgültigen Antwort ausdrücklich, etwa eine knappe Erklärung, eine Vergleichstabelle oder eine Antwort mit anschließenden Belegen.

Das Modell unterstützt einen Kontext von bis zu 1M Tokens. Die veröffentlichten BF16-Bereitstellungsverfahren unterscheiden diese Modellfähigkeit außerdem von Konfigurationen, die bei begrenztem Arbeitsspeicher ein Fenster von 256K nutzen. Bereiten Sie umfangreiches Material für das jeweils geltende Arbeitsfenster vor, erhalten Sie die Dokumentstruktur und lassen Sie Raum für die Antwort. Langer Kontext ist besonders nützlich, wenn der Prompt die zu ermittelnde Beziehung benennt: Widersprüche zwischen Dokumenten, Abhängigkeiten zwischen Quelldateien oder Belege für eine Schlussfolgerung. Er ist kein Grund, sachfremden Verlauf aufzunehmen oder anzunehmen, eine endgültige Antwort könne das gesamte Fenster belegen.

Der Schwerpunkt liegt auf Englisch und Programmiersprachen; Spanisch, Französisch, Deutsch, Italienisch und Japanisch sind ebenfalls aufgeführt. Geben Sie die erforderliche Ausgabesprache an und erhalten Sie Namen, Kennungen und zitierte Quellenbegriffe, wenn deren Schreibweise entscheidend ist. Legen Sie bei mehrsprachiger Dokumentarbeit fest, ob die Materialien übersetzt, zusammengefasst oder verglichen werden sollen; diese Anfragen erzeugen unterschiedliche Ergebnisse. Lassen Sie unsichere Terminologie kennzeichnen, damit eine flüssige Übersetzung nicht unbemerkt eine technische Bedeutung verändert.

NVIDIA veröffentlicht eine BF16-Referenzversion vor allem für Anpassungen und Forschung mit voller Präzision sowie eine gesonderte NVFP4-Version mit optimierten Inferenzverfahren. Diese Unterscheidung ist beim Vergleich von Bereitstellungshinweisen wichtig: Eine Hardwarekonfiguration oder ein Durchsatzergebnis einer Version beschreibt nicht automatisch eine andere. Der Modellname bezeichnet die Lightning-Familie, während der genaue Checkpoint und die Bereitstellungskonfiguration das Verfahren bestimmen. Halten Sie Modellfähigkeiten von verfahrensspezifischen Annahmen zu Leistung und Speicher getrennt.

Stellen Sie für werkzeuggestützte Arbeit klare Funktionsbeschreibungen bereit und geben Sie das tatsächliche Ergebnis jedes ausgeführten Schritts zurück. Ein vorgeschlagener Vorgang wird erst dann zu einem nutzbaren Beleg, wenn die umgebende Anwendung ihn ausführt und festhält, was geschehen ist. Verlangen Sie, dass die endgültige Antwort zwischen Quellenbeobachtungen, abgeleiteten Schlussfolgerungen und offenen Prüfungen unterscheidet. Wenn eine Berechnung, ein Befehl oder eine abgerufene Passage dem geplanten Ergebnis widerspricht, nutzen Sie diesen Widerspruch zur Überarbeitung der Schlussfolgerung, statt eine unbestätigte Annahme in einer ausgefeilten Zusammenfassung darzustellen.