NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning är en språkmodell för resonemang, samtal och specialiserade agentarbetsflöden. Den har totalt 30 miljarder parametrar, varav 3 miljarder är aktiva, och använder en hybridarkitektur som varvar Mamba-2-lager, mixture-of-experts-lager och uppmärksamhetslager. Lager för Multi-Token Prediction tillför träningssignaler för framtida token och stöder modellens optimerade genereringsförfaranden. Modellen bearbetar text och producerar text, bland annat förklaringar, kod och svar som bygger på tillhandahållet material.

Tillverkaren beskriver användningar inom chattbotar, retrieval-augmented generation, instruktionsföljning och agenter. För ett svar från en kunskapsbas ska du tillhandahålla frågan och de relevanta styckena med stabila källbeteckningar. Be modellen svara utifrån dessa stycken, ange vilket som stöder varje viktigt påstående och redovisa vad som fortfarande är okänt. Till exempel: ”Använd dessa supportartiklar för att förklara skillnaden mellan de två installationsmetoderna och returnera förutsättningar, steg och kontroller för var och en.” Låt en saknad förutsättning förbli synlig i stället för att uppmana modellen att hitta på den.

För kodarbete ska du tillhandahålla relevant kod, förväntat beteende och observerat fel. En praktisk begäran efterfrågar en avgränsad ändring och en förklaring av vilka fall som påverkas. Om en verktygsansluten agent kör en kontroll ska du returnera dess faktiska utdata innan du ber om nästa ändring. Modellens träning omfattar kod, verktygsanvändning i flera steg och uppgifter med strukturerade utdata, men den färdiga leveransen behöver fortfarande motsvara det ursprungliga kravet. Begär den ändrade koden, skälet till varje väsentlig ändring och de observationer som behövs för att fastställa att problemet är löst.

Tillverkaren dokumenterar tänkande som aktiverat som standard och ett läge för direkta svar där tänkandet inaktiveras via chattmallen. Resonemangsläget är användbart för en uppgift med flera beroende villkor; ett direkt svar kan passa enkel omvandling eller extrahering. Tillverkaren rekommenderar temperature 1,0 och top-p 0,95 i sina klientexempel. Behandla dem som inställningar i tillverkarens förfarande och välj slutresultatets struktur uttryckligen, till exempel en kort förklaring, en jämförelsetabell eller ett svar följt av underlaget som stöder det.

Modellen stöder en kontext på upp till en miljon token. De publicerade BF16-förfarandena för driftsättning skiljer också denna modellförmåga från konfigurationer som använder ett fönster på 256K token vid minnesbegränsningar. Förbered långt material för det arbetsfönster som gäller, bevara dokumentstrukturen och lämna utrymme för svaret. En lång kontext är mest användbar när prompten anger vilket samband som ska hittas: motsägelser mellan dokument, beroenden mellan källfiler eller underlag för en slutsats. Det är inte ett skäl att ta med ovidkommande historik eller anta att ett slutligt svar kan uppta hela fönstret.

Engelska och programmeringsspråk är huvudfokus, och även spanska, franska, tyska, italienska och japanska anges. Ange det önskade utdataspråket och behåll namn, identifierare och citerade källtermer när stavningen har betydelse. För flerspråkigt dokumentarbete ska du ange om materialet ska översättas, sammanfattas eller jämföras; dessa begäranden ger olika leveranser. Be om att osäker terminologi markeras så att en flytande översättning inte tyst ändrar en teknisk innebörd.

NVIDIA publicerar en BF16-referensutgåva främst för anpassning och forskning med full precision, och en separat NVFP4-utgåva med optimerade inferensförfaranden. Skillnaden är viktig när vägledning för driftsättning jämförs: en maskinvarukonfiguration eller ett genomströmningsresultat från en utgåva beskriver inte automatiskt en annan. Modellnamnet identifierar Lightning-familjen, medan den exakta checkpointen och serverkonfigurationen avgör förfarandet. Håll modellens förmågor åtskilda från antaganden om prestanda och minne som är specifika för ett visst förfarande.

För verktygsbaserat arbete ska du tillhandahålla tydliga funktionsbeskrivningar och returnera det faktiska resultatet från varje utfört steg. En föreslagen operation blir användbart underlag först efter att den omgivande applikationen har genomfört den och registrerat vad som hände. Be slutresultatet skilja mellan observationer från källor, härledda slutsatser och ofärdiga kontroller. När en beräkning, ett kommando eller ett hämtat stycke strider mot det planerade resultatet ska du använda den motsägelsen till att revidera slutsatsen i stället för att skapa en välformulerad sammanfattning av ett overifierat antagande.