NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning er en språkmodell for resonnering, samtaler og spesialiserte agentarbeidsflyter. Den har 30B totale parametere, hvorav 3B er aktive, og bruker en hybridarkitektur som veksler mellom Mamba-2-, ekspertblandings- og oppmerksomhetslag. Lag for prediksjon av flere tokener legger til treningssignaler for fremtidige tokener og støtter modellens optimaliserte genereringsoppskrifter. Modellen behandler tekst og produserer tekst, blant annet forklaringer, kode og svar forankret i vedlagt materiale.

Produsenten beskriver bruksområder innen chatboter, generering utvidet med informasjonsgjenfinning, instruksjonsfølging og agenter. For et svar fra en kunnskapsbase legger du ved spørsmålet og de relevante utdragene med stabile kildeetiketter. Be modellen svare ut fra disse utdragene, identifisere hvilket utdrag som støtter hver viktig påstand, og angi hva som fortsatt er ukjent. For eksempel: «Bruk disse supportartiklene til å forklare forskjellen mellom de to installasjonsmetodene, og returner forutsetningene, trinnene og kontrollene for hver.» Hold en manglende forutsetning synlig, fremfor å invitere modellen til å finne den på.

For kodearbeid legger du ved relevant kode, forventet atferd og observert feil. En praktisk forespørsel ber om en avgrenset revisjon og en forklaring av de berørte tilfellene. Hvis en verktøytilkoblet agent kjører en kontroll, returnerer du de faktiske utdataene før du ber om neste endring. Modellens trening omfatter kode, verktøybruk med flere trinn og oppgaver med strukturerte utdata, men det ferdige artefaktet må fortsatt samsvare med det opprinnelige kravet. Be om den reviderte koden, begrunnelsen for hver vesentlig endring og observasjonene som trengs for å fastslå at problemet er løst.

Produsenten dokumenterer at tenking er aktivert som standard, og en direktesvarmodus med tenking deaktivert gjennom chatmalen. Resonneringsmodus er nyttig for en oppgave med flere avhengige vilkår; et direkte svar kan passe for enkel transformasjon eller uttrekk. Produsenten anbefaler temperature 1.0 og top-p 0.95 i klienteksemplene. Behandle dette som innstillinger i produsentens oppskrift, og velg den endelige svarstrukturen uttrykkelig, for eksempel en kort forklaring, en sammenligningstabell eller et svar etterfulgt av støttende kildegrunnlag.

Modellen støtter en kontekst på opptil 1M tokener. De publiserte BF16-oppskriftene for utrulling skiller også denne modellfunksjonen fra konfigurasjoner som bruker et vindu på 256K på grunn av minnebegrensninger. Klargjør langt materiale for det aktuelle arbeidsvinduet, bevar dokumentstrukturen og la det være plass til svaret. En lang kontekst er mest nyttig når ledeteksten angir sammenhengen som skal finnes: motsigelser mellom dokumenter, avhengigheter på tvers av kildefiler eller kildegrunnlaget som støtter en konklusjon. Den er ikke en grunn til å ta med urelatert historikk eller anta at et endelig svar kan fylle hele vinduet.

Engelsk og programmeringsspråk er hovedfokuset, og spansk, fransk, tysk, italiensk og japansk er også oppført. Angi nødvendig svarspråk og behold navn, identifikatorer og siterte kildebegreper når skrivemåten er viktig. For flerspråklig dokumentarbeid angir du om materialet skal oversettes, oppsummeres eller sammenlignes; disse forespørslene produserer forskjellige artefakter. Be om at usikker terminologi markeres, slik at en flytende oversettelse ikke ubemerket endrer en teknisk betydning.

NVIDIA publiserer en BF16-referanseutgave primært for tilpasning og forskning med full presisjon, og en separat NVFP4-utgave med optimaliserte inferensoppskrifter. Dette skillet er viktig ved sammenligning av utrullingsveiledning: en maskinvarekonfigurasjon eller et gjennomstrømningsresultat fra én utgave beskriver ikke automatisk en annen. Modellnavnet identifiserer Lightning-familien, mens det nøyaktige kontrollpunktet og tjenestekonfigurasjonen bestemmer oppskriften. Hold funksjoner på modellnivå atskilt fra oppskriftsspesifikke forutsetninger om ytelse og minne.

For verktøybasert arbeid legger du ved tydelige funksjonsbeskrivelser og returnerer det faktiske resultatet av hvert utførte trinn. En foreslått operasjon blir brukbart kildegrunnlag først etter at den omkringliggende applikasjonen utfører den og registrerer hva som skjedde. Be det endelige svaret skille mellom kildeobservasjoner, avledede konklusjoner og ufullførte kontroller. Når en beregning, kommando eller et gjenfunnet utdrag strider mot det planlagte resultatet, bruker du konflikten til å revidere konklusjonen, fremfor å produsere et polert sammendrag av en ubekreftet antakelse.