NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning is een taalmodel voor redeneren, gesprekken en gespecialiseerde agentworkflows. Het telt 30B parameters in totaal, waarvan 3B actief, en gebruikt een hybride architectuur waarin Mamba-2-, mixture-of-experts- en attention-lagen elkaar afwisselen. Multi-Token Prediction-lagen voegen trainingssignalen voor toekomstige tokens toe en ondersteunen de geoptimaliseerde generatierecepten van het model. Het model verwerkt tekst en produceert tekst, waaronder uitleg, code en antwoorden die steunen op het aangeleverde materiaal.

De fabrikant beschrijft toepassingen in chatbots, retrieval-augmented generation, het volgen van instructies en agents. Geef voor een antwoord op basis van een kennisbank de vraag en de relevante tekstfragmenten met vaste bronlabels op. Vraag het model vanuit die fragmenten te antwoorden, aan te geven welk fragment elke belangrijke bewering ondersteunt en te vermelden wat onbekend blijft. Bijvoorbeeld: “Leg op basis van deze supportartikels het verschil tussen de twee installatiemethodes uit en geef voor elke methode de vereisten, stappen en controles terug.” Houd een ontbrekende vereiste zichtbaar in plaats van het model uit te nodigen die te verzinnen.

Lever voor programmeerwerk de relevante code, het verwachte gedrag en de waargenomen fout aan. Een praktisch verzoek vraagt om een gerichte revisie en een uitleg van de betrokken gevallen. Als een agent met tools een controle uitvoert, geef dan de werkelijke uitvoer terug voordat u om de volgende wijziging vraagt. De training van het model omvat code, toolgebruik in meerdere stappen en taken met gestructureerde uitvoer, maar het voltooide resultaat moet nog altijd aan de oorspronkelijke eis voldoen. Vraag om de herziene code, de reden voor elke wezenlijke wijziging en de waarnemingen die nodig zijn om vast te stellen dat het probleem opgelost is.

De maker documenteert dat denken standaard is ingeschakeld en dat een modus voor directe antwoorden het denken via het chatsjabloon uitschakelt. Een redeneermodus is nuttig voor een taak met meerdere onderling afhankelijke voorwaarden; een direct antwoord kan passen bij eenvoudige omzetting of extractie. De fabrikant beveelt in de clientvoorbeelden temperature 1.0 en top-p 0.95 aan. Behandel die als instellingen van het recept van de maker en kies de structuur van het eindantwoord expliciet, bijvoorbeeld een beknopte uitleg, een vergelijkingstabel of een antwoord met de bijbehorende onderbouwing.

Het model ondersteunt een context tot 1M tokens. De gepubliceerde BF16-deploymentrecepten onderscheiden die modelcapaciteit ook van configuraties met een venster van 256K bij geheugenbeperkingen. Bereid lang materiaal voor op het toepasselijke werkvenster, met behoud van de documentstructuur en voldoende ruimte voor het antwoord. Een lange context is het nuttigst wanneer de prompt aangeeft welk verband moet worden gevonden: tegenstrijdigheden tussen documenten, afhankelijkheden tussen bronbestanden of de onderbouwing van een conclusie. Het is geen reden om niet-relevante geschiedenis toe te voegen of te veronderstellen dat een eindantwoord het hele venster kan innemen.

Engels en programmeertalen krijgen de meeste aandacht; ook Spaans, Frans, Duits, Italiaans en Japans worden vermeld. Geef de vereiste uitvoertaal op en behoud namen, identificaties en geciteerde brontermen wanneer hun schrijfwijze van belang is. Geef bij meertalig documentwerk aan of het materiaal moet worden vertaald, samengevat of vergeleken; die verzoeken leveren verschillende resultaten op. Vraag om onzekere terminologie te markeren, zodat een vlotte vertaling niet ongemerkt een technische betekenis verandert.

NVIDIA publiceert een BF16-referentie-uitgave die vooral bedoeld is voor aanpassing en onderzoek op volledige precisie, en een afzonderlijke NVFP4-uitgave met geoptimaliseerde inferentierecepten. Dit onderscheid is van belang bij het vergelijken van deploymentrichtlijnen: een hardwareconfiguratie of doorvoerresultaat van de ene uitgave beschrijft niet automatisch de andere. De modelnaam identificeert de Lightning-familie, terwijl het exacte checkpoint en de servingconfiguratie het recept bepalen. Houd modelcapaciteiten gescheiden van prestaties en geheugenaannames die bij een specifiek recept horen.

Geef voor werk met tools duidelijke functiebeschrijvingen op en geef het werkelijke resultaat van elke uitgevoerde stap terug. Een voorgestelde bewerking wordt pas bruikbare onderbouwing nadat de omliggende applicatie ze heeft uitgevoerd en heeft vastgelegd wat er gebeurde. Vraag het eindantwoord onderscheid te maken tussen bronwaarnemingen, afgeleide conclusies en onafgewerkte controles. Wanneer een berekening, opdracht of opgehaald tekstfragment met het geplande resultaat botst, gebruik dat verschil dan om de conclusie te herzien in plaats van een verzorgde samenvatting van een ongeverifieerde aanname te produceren.