NVIDIA: Nemotron 3 Super (free)

NVIDIA Nemotron 3 Super er en generel model til ræsonnement og chat udviklet til samarbejdende agenter og arbejdsgange med stort volumen, herunder automatisering af IT-sager. Den har 120B parametre i alt og aktiverer 12B. Dens hybride arkitektur kombinerer Mamba-2-, attention- og Latent Mixture-of-Experts-lag. Multi-Token Prediction-lag tilføjer en mekanisme til at forudsige fremtidige tokens og understøtter NVIDIAs native opskrifter til spekulativ dekodning.

Modellen modtager tekst og returnerer tekst, herunder forklaringer, svarudkast, kode og anmodninger om værktøjskald i en passende værktøjstilsluttet applikation. De tilsigtede anvendelser omfatter agenter, chatbots, retrieval-augmented generation, kompleks instruktionsfølgning og ræsonnement med lang kontekst. En nyttig prompt definerer det ønskede resultat og de betingelser, der styrer det. Eksempelvis: “Klassificér denne hændelse ud fra den leverede politik, forklar prioriteten ud fra det underbyggende materiale, udarbejd et svar, og angiv de manglende oplysninger, der kræves, før en rettelse kan anbefales.”

Til behandling af IT-sager skal du levere sagens tekst, relevant historik, miljøoplysninger og gældende regler for videresendelse eller eskalation. Bed om separate felter til observerede symptomer, sandsynlige årsager, foreslåede kontroller og svaret til brugeren. Denne skelnen forhindrer, at en hypotese registreres som en bekræftet diagnose. Hvis et diagnostikværktøj kører, skal dets faktiske resultat føres ind i samtalen, før du beder om næste trin. En færdig sagsopsummering bør angive, hvad der blev observeret og løst, og hvilket spørgsmål der fortsat er åbent.

Til RAG og arbejde med vidensbaser skal du mærke de hentede passager og angive, om modellen kun skal svare ud fra dem. Bed om svaret med underbyggende kildereferencer og eventuel modstrid mellem materialerne. Et praktisk eksempel er: “Sammenlign disse afsnit fra driftsvejledningen, identificér de trin, der gælder for det angivne miljø, og returnér en ordnet procedure med en kontrol efter hvert vigtigt trin.” Bevar versioner og betingelser fra kilden; en tydelig procedure kan stadig være forkert, hvis den kombinerer instruktioner til uforenelige miljøer.

Til opgaver med samarbejdende agenter skal du give hvert trin et klart mål og bevare nyttige mellemresultater. Super er beregnet til at ræsonnere over værktøjsobservationer og opretholde en samtale i flere trin. Den omgivende applikation udfører værktøjerne og bevarer opgavens tilstand. Bed modellen om at forklare, hvad en ny observation ændrer, bevare tidligere fund, som stadig gælder, og skelne mellem en foreslået handling og et registreret resultat. Til programmering skal du levere de relevante filer og den forventede adfærd og derefter bede om revideret kode, en forklaring af ændringen og de tilfælde, der er nødvendige for at verificere den.

NVIDIA dokumenterer, at tænkning er aktiveret som standard, og en direkte svartilstand, hvor tænkning deaktiveres gennem chatskabelonen. Super har også en ræsonnementsindstilling med lav indsats, som bruger færre ræsonnementstokens end fuld tænkning og foreslås som udgangspunkt før eksplicit budgetjustering. Det er Supers indstilling; Ultras separate mulighed med mellemstor indsats bør ikke kopieres ind i den. Vælg formen på det endelige svar, og efterlad plads til dette svar efter ræsonnementet, især når et værktøjsresultat eller en kompleks kildesammenligning kræver en forklaring.

Modellen understøtter en kontekst på op til 1M tokens, mens producentens Hugging Face-konfiguration som standard bruger 256K, fordi længere kontekst kræver mere hukommelse. Ved lange input skal du arbejde inden for den relevante konfiguration, bevare dokumentgrænser og kildebetegnelser og reservere plads til svaret. Bed om den sammenhæng, der skal følges på tværs af materialet, frem for en retningsløs opsummering af det hele. Et maksimum på modelniveau er ikke et løfte om, at enhver serveringskonfiguration bruger samme vindue.

Producenten angiver engelsk, fransk, tysk, italiensk, japansk, spansk og kinesisk. Angiv det endelige sprog, og bevar samtidig kodeidentifikatorer og kildeudtryk, som skal forblive præcise. Til flersproget supportarbejde skal du bede modellen om at bevare den tekniske betydning og eskalationskriterierne, mens formuleringen tilpasses læseren. Gennemgå ukendt terminologi eller tvetydigt input frem for at behandle flydende sprog som bevis på, at fortolkningen er korrekt.

Et nyttigt slutprodukt er kompakt og kontrollerbart: svaret eller det reviderede materiale, de underbyggende observationer, antagelserne og det resterende arbejde. Ved genererede procedurer skal du undersøge kontrollerne mod det faktiske miljø. Ved kode skal du sammenholde foreslåede ændringer med observeret adfærd. Ved et kildebaseret svar skal du bekræfte, at den citerede passage understøtter udsagnet. Supers træning i ræsonnement og agenter hjælper med at organisere dette arbejde; det faktiske resultat fastslås af materialet og eksekveringsregistreringerne, som bruges til at undersøge det.