NVIDIA: Nemotron 3 Super (free)

NVIDIA Nemotron 3 Super je splošnonamenski model za sklepanje in klepet, zasnovan za sodelujoče agente ter poteke dela z velikim obsegom, vključno z avtomatizacijo zahtevkov IT. Ima 120B skupnih parametrov in jih aktivira 12B. Njegova hibridna arhitektura združuje plasti Mamba-2, pozornosti in latentne mešanice ekspertov. Plasti Multi-Token Prediction dodajajo mehanizem za napovedovanje prihodnjih žetonov in podpirajo NVIDIINE izvorne postopke špekulativnega dekodiranja.

Model sprejema besedilo in vrača besedilo, vključno z razlagami, osnutki odgovorov, kodo in zahtevami za klice orodij v ustrezni aplikaciji s povezanimi orodji. Med predvidene uporabe sodijo agenti, klepetalni boti, ustvarjanje s pridobivanjem dodatnih virov, sledenje kompleksnim navodilom in sklepanje z dolgim kontekstom. Uporaben poziv določi želeni izdelek in pogoje, ki zanj veljajo. Na primer: »Razvrstite ta incident po priloženih pravilih, na podlagi dokazov razložite prednostno stopnjo, pripravite odgovor in navedite manjkajoča dejstva, potrebna pred priporočilom popravka.«

Pri obdelavi zahtevkov IT posredujte besedilo zahtevka, ustrezno zgodovino, podrobnosti okolja in veljavna pravila usmerjanja ali eskalacije. Zahtevajte ločena polja za opažene simptome, verjetne vzroke, predlagana preverjanja in odgovor uporabniku. Ta razlika preprečuje, da bi se hipoteza zapisala kot potrjena diagnoza. Če se izvede diagnostično orodje, pred zahtevo za naslednji korak v pogovor vključite njegov dejanski rezultat. Povzetek zaključenega zahtevka naj pove, kaj je bilo opaženo in rešeno ter katero vprašanje ostaja odprto.

Pri RAG in delu z zbirko znanja označite pridobljene odlomke in navedite, ali naj model odgovarja samo na njihovi podlagi. Zahtevajte odgovor s podpornimi referencami virov ter morebitnimi nasprotji med gradivi. Praktičen primer je: »Primerjajte te razdelke operativnih navodil, opredelite korake, ki veljajo za navedeno okolje, in vrnite urejen postopek s preverjanjem po vsakem pomembnem koraku.« Ohranite različice in pogoje iz vira; tudi jasen postopek je lahko napačen, če združuje navodila za nezdružljiva okolja.

Pri nalogah sodelujočih agentov vsaki stopnji določite jasen cilj in ohranite uporabne vmesne rezultate. Super je namenjen sklepanju na podlagi opažanj orodij in vzdrževanju večstopenjskega pogovora. Povezana aplikacija izvaja orodja in ohranja stanje naloge. Model prosite, naj razloži, kaj novo opažanje spremeni, ohrani predhodne ugotovitve, ki še veljajo, in razlikuje med predlaganim dejanjem ter zabeleženim rezultatom. Pri programiranju priložite ustrezne datoteke in pričakovano vedenje ter nato zahtevajte spremenjeno kodo, razlago spremembe in primere, potrebne za njeno preverjanje.

NVIDIA dokumentira privzeto omogočeno razmišljanje in način neposrednega odgovora z razmišljanjem, izklopljenim prek predloge klepeta. Super ima tudi možnost sklepanja z nizko intenzivnostjo, ki uporablja manj žetonov sklepanja kot polno razmišljanje in je predlagana kot izhodišče pred izrecnim prilagajanjem proračuna. To je nastavitev Super; ločene možnosti srednje intenzivnosti iz Ultra ne prenašajte vanjo. Izberite obliko končnega odgovora in zanj pustite prostor po sklepanju, zlasti kadar rezultat orodja ali kompleksna primerjava virov potrebuje razlago.

Model podpira kontekst do 1M žetonov, proizvajalčeva konfiguracija Hugging Face pa je privzeto nastavljena na 256K, ker daljši kontekst zahteva več pomnilnika. Pri dolgih vhodih delajte znotraj ustrezne konfiguracije, ohranite meje dokumentov in oznake virov ter rezervirajte prostor za odgovor. Zahtevajte razmerje, ki mu je treba slediti skozi gradivo, namesto neusmerjenega povzetka vsega. Največja zmogljivost na ravni modela ni obljuba, da vsaka konfiguracija streženja uporablja isto okno.

Proizvajalec navaja angleščino, francoščino, nemščino, italijanščino, japonščino, španščino in kitajščino. Določite končni jezik in pri tem ohranite identifikatorje kode ter izvorne izraze, ki morajo ostati točni. Pri večjezični podpori prosite model, naj ohrani tehnični pomen in merila eskalacije, besedilo pa prilagodi bralcu. Neznano izrazje ali dvoumen vhod preglejte, namesto da bi tekočnost jezika obravnavali kot dokaz pravilne razlage.

Uporaben končni izdelek je kompakten in preverljiv: odgovor ali spremenjeni izdelek, opažanja, ki ga podpirajo, predpostavke in preostalo delo. Pri ustvarjenih postopkih preverjanja preglejte glede na dejansko okolje. Pri kodi primerjajte predlagane spremembe z opaženim vedenjem. Pri odgovoru na podlagi virov potrdite, da navedeni odlomek podpira trditev. Superovo sklepanje in agentsko učenje pomagata organizirati to delo; dejanski rezultat pa določajo gradivo in zapisi izvajanja, uporabljeni za njegov pregled.