NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning is een taalmodel voor redeneren, gesprekken en gespecialiseerde agentworkflows. Het heeft in totaal 30B parameters, waarvan 3B actief zijn, en gebruikt een hybride architectuur waarin Mamba-2-, mixture-of-experts- en attention-lagen elkaar afwisselen. Multi-Token Prediction-lagen voegen trainingssignalen voor toekomstige tokens toe en ondersteunen de geoptimaliseerde generatierecepten van het model. Het model verwerkt tekst en produceert tekst, waaronder uitleg, code en antwoorden die op aangeleverd materiaal zijn gebaseerd.

De fabrikant beschrijft toepassingen in chatbots, retrieval-augmented generation, het volgen van instructies en agents. Lever voor een antwoord uit een kennisbank de vraag en de relevante passages met stabiele bronlabels aan. Vraag het model om vanuit die passages te antwoorden, aan te geven welke passage elke belangrijke uitspraak onderbouwt en te benoemen wat onbekend blijft. Bijvoorbeeld: ‘Leg aan de hand van deze supportartikelen het verschil tussen de twee installatiemethoden uit en geef voor elke methode de voorwaarden, stappen en controles terug.’ Houd een ontbrekende voorwaarde zichtbaar in plaats van het model uit te nodigen deze te verzinnen.

Lever voor programmeerwerk de relevante code, het verwachte gedrag en de waargenomen fout aan. Een praktisch verzoek vraagt om een gerichte aanpassing en een uitleg van de betrokken gevallen. Als een agent met aangesloten tools een controle uitvoert, geef dan de daadwerkelijke uitvoer daarvan terug voordat je om de volgende wijziging vraagt. De modeltraining omvat code, toolgebruik met meerdere stappen en taken met gestructureerde uitvoer, maar het voltooide artefact moet nog steeds aansluiten op de oorspronkelijke eis. Vraag om de aangepaste code, de reden voor elke wezenlijke wijziging en de waarnemingen die nodig zijn om vast te stellen dat het probleem is opgelost.

De maker documenteert dat denken standaard is ingeschakeld en dat er een directe antwoordmodus is waarin denken via de chattemplate wordt uitgeschakeld. De redeneermodus is nuttig voor een taak met meerdere onderling afhankelijke voorwaarden; een direct antwoord kan passen bij eenvoudige omzetting of extractie. De fabrikant beveelt in de clientvoorbeelden temperature 1.0 en top-p 0.95 aan. Behandel die als receptinstellingen van de maker en kies de uiteindelijke antwoordstructuur expliciet, zoals een beknopte uitleg, een vergelijkingstabel of een antwoord gevolgd door de onderbouwing.

Het model ondersteunt een context tot 1M tokens. De gepubliceerde BF16-deploymentrecepten onderscheiden die modelmogelijkheid ook van configuraties die vanwege geheugenbeperkingen een venster van 256K gebruiken. Bereid lang materiaal voor op het toepasselijke werkvenster, behoud de documentstructuur en laat ruimte voor het antwoord. Een lange context is vooral nuttig wanneer de prompt aangeeft welke relatie moet worden gevonden: tegenstrijdigheden tussen documenten, afhankelijkheden tussen bronbestanden of de onderbouwing van een conclusie. Het is geen reden om ongerelateerde geschiedenis op te nemen of aan te nemen dat een definitief antwoord het hele venster kan vullen.

Engels en programmeertalen vormen de voornaamste focus; daarnaast worden Spaans, Frans, Duits, Italiaans en Japans genoemd. Geef de vereiste uitvoertaal aan en behoud namen, identifiers en geciteerde brontermen wanneer de schrijfwijze van belang is. Geef bij meertalig documentwerk aan of de materialen moeten worden vertaald, samengevat of vergeleken; deze verzoeken leveren verschillende artefacten op. Vraag om onzekere terminologie te markeren, zodat een vloeiende vertaling een technische betekenis niet ongemerkt verandert.

NVIDIA publiceert een BF16-referentierelease die hoofdzakelijk bedoeld is voor aanpassing en onderzoek met volledige precisie, en een afzonderlijke NVFP4-release met geoptimaliseerde inferentierecepten. Dit onderscheid is van belang bij het vergelijken van deploymentrichtlijnen: een hardwareconfiguratie of doorvoerresultaat van de ene release beschrijft niet automatisch de andere. De modelnaam identificeert de Lightning-familie, terwijl het precieze checkpoint en de servingconfiguratie het recept bepalen. Houd modelmogelijkheden gescheiden van receptgebonden aannamen over prestaties en geheugen.

Geef voor werk met tools duidelijke functiebeschrijvingen en retourneer het daadwerkelijke resultaat van elke uitgevoerde stap. Een voorgestelde bewerking wordt pas bruikbare onderbouwing nadat de omringende applicatie deze uitvoert en vastlegt wat er is gebeurd. Vraag om in het definitieve antwoord onderscheid te maken tussen bronwaarnemingen, afgeleide conclusies en nog niet voltooide controles. Als een berekening, opdracht of opgehaalde passage het geplande resultaat tegenspreekt, gebruik die tegenstrijdigheid dan om de conclusie te herzien, in plaats van een verzorgde samenvatting van een ongeverifieerde aanname te produceren.