NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning er en sprogmodel til ræsonnement, samtale og specialiserede agentarbejdsgange. Den har 30B parametre i alt og 3B aktive og bruger en hybrid arkitektur, hvor Mamba-2-, mixture-of-experts- og attention-lag er flettet ind mellem hinanden. Multi-Token Prediction-lag tilføjer træningssignaler for fremtidige tokens og understøtter modellens optimerede genereringsopskrifter. Modellen behandler tekst og producerer tekst, herunder forklaringer, kode og svar underbygget af leveret materiale.

Producenten beskriver anvendelser inden for chatbots, retrieval-augmented generation, instruktionsfølgning og agenter. Til et svar fra en vidensbase skal du levere spørgsmålet og de relevante passager med stabile kildebetegnelser. Bed modellen om at svare ud fra disse passager, angive hvilken der understøtter hver vigtig påstand, og oplyse hvad der stadig er ukendt. Eksempelvis: “Brug disse supportartikler til at forklare forskellen mellem de to installationsmetoder, og returnér forudsætninger, trin og kontroller for hver.” Lad en manglende forudsætning forblive synlig frem for at opfordre modellen til at opfinde den.

Til programmeringsarbejde skal du levere den relevante kode, den forventede adfærd og den observerede fejl. En praktisk anmodning beder om en målrettet revision og en forklaring af de berørte tilfælde. Hvis en værktøjstilsluttet agent kører en kontrol, skal du returnere dens faktiske output, før du beder om næste ændring. Modellens træning omfatter kode, værktøjsbrug i flere trin og opgaver med struktureret output, men det færdige resultat skal stadig opfylde det oprindelige krav. Bed om den reviderede kode, årsagen til hver væsentlig ændring og de observationer, der er nødvendige for at fastslå, at problemet er løst.

Producenten dokumenterer, at tænkning er aktiveret som standard, og en direkte svartilstand, hvor tænkning deaktiveres gennem chatskabelonen. Ræsonnementstilstanden er nyttig til en opgave med flere indbyrdes afhængige betingelser; et direkte svar kan passe til en enkel omformning eller udtrækning. Producenten anbefaler temperature 1.0 og top-p 0.95 i sine klienteksempler. Betragt dem som indstillinger fra producentens opskrift, og vælg udtrykkeligt strukturen for det endelige svar, eksempelvis en kort forklaring, en sammenligningstabel eller et svar efterfulgt af underbyggende materiale.

Modellen understøtter en kontekst på op til 1M tokens. De offentliggjorte BF16-installationsopskrifter skelner også mellem denne modelegenskab og konfigurationer med et 256K-vindue under hukommelsesbegrænsninger. Klargør langt materiale til det relevante arbejdsvindue, bevar dokumentstrukturen, og efterlad plads til svaret. En lang kontekst er mest nyttig, når prompten angiver, hvilken sammenhæng der skal findes: modstrid mellem dokumenter, afhængigheder på tværs af kildefiler eller materialet, der understøtter en konklusion. Den er ikke en grund til at medtage uvedkommende historik eller antage, at et endeligt svar kan fylde hele vinduet.

Engelsk og programmeringssprog er hovedfokus, og spansk, fransk, tysk, italiensk og japansk er også angivet. Angiv det ønskede outputsprog, og bevar navne, identifikatorer og citerede kildeudtryk, når stavemåden er vigtig. Ved arbejde med flersprogede dokumenter skal du angive, om materialet skal oversættes, opsummeres eller sammenlignes; disse anmodninger giver forskellige resultater. Bed om, at usikker terminologi markeres, så en flydende oversættelse ikke umærkeligt ændrer en teknisk betydning.

NVIDIA offentliggør en BF16-referenceudgivelse primært til tilpasning og forskning i fuld præcision samt en separat NVFP4-udgivelse med optimerede inferensopskrifter. Denne forskel er vigtig ved sammenligning af installationsvejledning: en hardwarekonfiguration eller et gennemløbsresultat fra én udgivelse beskriver ikke automatisk en anden. Modelnavnet identificerer Lightning-familien, mens det præcise checkpoint og serveringskonfigurationen bestemmer opskriften. Hold egenskaber på modelniveau adskilt fra opskriftsafhængige antagelser om ydelse og hukommelse.

Til værktøjsbaseret arbejde skal du levere tydelige funktionsbeskrivelser og returnere det faktiske resultat af hvert udført trin. En foreslået handling bliver først til anvendeligt underbyggende materiale, når den omgivende applikation udfører den og registrerer, hvad der skete. Bed om, at det endelige svar skelner mellem observationer fra kilder, afledte konklusioner og uafsluttede kontroller. Når en beregning, kommando eller hentet passage strider mod det planlagte resultat, skal du bruge denne modstrid til at revidere konklusionen frem for at producere en poleret opsummering af en uverificeret antagelse.