NVIDIA: Nemotron 3 Super (free)

NVIDIA Nemotron 3 Super – bendrosios paskirties samprotavimo ir pokalbio modelis, sukurtas bendradarbiaujantiems agentams ir didelės apimties darbo eigoms, įskaitant IT užklausų automatizavimą. Jis iš viso turi 120B parametrų ir aktyvuoja 12B. Jo hibridinė architektūra sujungia Mamba-2, dėmesio ir Latent Mixture-of-Experts sluoksnius. Multi-Token Prediction sluoksniai prideda būsimų žetonų prognozavimo mechanizmą ir palaiko NVIDIA savuosius spekuliatyviojo dekodavimo metodus.

Modelis priima tekstą ir grąžina tekstą, įskaitant paaiškinimus, parengtus atsakymus, kodą ir įrankių iškvietimo užklausas tinkamoje su įrankiais sujungtoje programoje. Numatyti jo naudojimo būdai apima agentus, pokalbių robotus, paieška papildytą generavimą, sudėtingų instrukcijų vykdymą ir samprotavimą su ilgu kontekstu. Naudinga užklausa apibrėžia norimą rezultatą ir jį lemiančias sąlygas. Pavyzdžiui: „Suklasifikuok šį incidentą pagal pateiktą politiką, pagrįsk prioritetą įrodymais, parenk atsakymą ir išvardyk trūkstamus faktus, reikalingus prieš rekomenduojant pataisymą.“

IT užklausoms apdoroti pateikite užklausos tekstą, aktualią istoriją, aplinkos detales ir taikomas nukreipimo ar eskalavimo taisykles. Prašykite atskirų laukų stebėtiems požymiams, tikėtinoms priežastims, siūlomoms patikroms ir atsakymui naudotojui. Ši skirtis apsaugo nuo hipotezės įrašymo kaip patvirtintos diagnozės. Jei vykdomas diagnostikos įrankis, prieš prašydami kito žingsnio pateikite pokalbyje tikrąjį jo rezultatą. Užbaigtos užklausos santraukoje turėtų būti nurodyta, kas pastebėta ir išspręsta bei koks klausimas lieka atviras.

RAG ir žinių bazės darbui sužymėkite gautas ištraukas ir nurodykite, ar modelis turi atsakyti tik pagal jas. Prašykite atsakymo su pagrindžiančiomis šaltinių nuorodomis ir visais prieštaravimais tarp medžiagų. Praktinis pavyzdys: „Palygink šias veiksmų vadovo skiltis, nustatyk žingsnius, taikomus pateiktai aplinkai, ir grąžink nuoseklią procedūrą su patikra po kiekvieno svarbaus žingsnio.“ Išsaugokite šaltinio versijas ir sąlygas; aiški procedūra vis tiek gali būti klaidinga, jei sujungia nesuderinamoms aplinkoms skirtas instrukcijas.

Bendradarbiaujančių agentų užduotyse kiekvienam etapui suteikite aiškų tikslą ir išsaugokite naudingus tarpinius rezultatus. Super skirtas samprotauti apie įrankių stebėjimo rezultatus ir palaikyti kelių žingsnių pokalbį. Aplinkinė programa vykdo įrankius ir išlaiko užduoties būseną. Paprašykite modelio paaiškinti, ką pakeičia naujas stebėjimo rezultatas, išsaugoti tebegaliojančias ankstesnes išvadas ir atskirti siūlomą veiksmą nuo užfiksuoto rezultato. Programavimui pateikite aktualius failus ir tikėtiną veikimą, tada prašykite pataisyto kodo, pakeitimo paaiškinimo ir atvejų, reikalingų jam patikrinti.

NVIDIA dokumentuoja numatytąjį įjungtą samprotavimą ir tiesioginio atsakymo režimą, kuriame samprotavimas išjungiamas per pokalbio šabloną. Super taip pat turi mažų pastangų samprotavimo parinktį, naudojančią mažiau samprotavimo žetonų nei išsamus samprotavimas ir siūlomą kaip pradinis pasirinkimas prieš aiškiai derinant biudžetą. Tai Super nustatymas; į jį nereikėtų perkelti atskiros Ultra vidutinių pastangų parinkties. Pasirinkite galutinio atsakymo formą ir palikite jam vietos po samprotavimo, ypač kai įrankio rezultatą ar sudėtingą šaltinių palyginimą reikia paaiškinti.

Modelis palaiko iki 1M žetonų kontekstą, o gamintojo Hugging Face konfigūracija pagal numatytąsias nuostatas naudoja 256K, nes ilgesniam kontekstui reikia daugiau atminties. Ilgoms įvestims dirbkite pagal taikomą konfigūraciją, išlaikykite dokumentų ribas ir šaltinių žymas bei rezervuokite vietos atsakymui. Prašykite atsekti ryšį visoje medžiagoje, o ne pateikti nekryptingą visko santrauką. Modelio lygmens maksimumas nėra pažadas, kad kiekviena pateikimo konfigūracija naudoja tokį patį langą.

Gamintojas nurodo anglų, prancūzų, vokiečių, italų, japonų, ispanų ir kinų kalbas. Nurodykite galutinę kalbą, išlaikydami kodo identifikatorius ir šaltinių terminus, kurie turi likti tikslūs. Daugiakalbiam pagalbos darbui paprašykite modelio išsaugoti techninę prasmę ir eskalavimo kriterijus, kartu pritaikant formuluotę skaitytojui. Peržiūrėkite nepažįstamą terminiją ar neaiškią įvestį, užuot sklandumą laikę teisingo supratimo įrodymu.

Naudingas galutinis rezultatas yra glaustas ir patikrinamas: atsakymas ar pataisytas artefaktas, jį pagrindžiantys stebėjimo rezultatai, prielaidos ir likęs darbas. Sugeneruotų procedūrų patikras įvertinkite pagal tikrąją aplinką. Kodo atveju siūlomus pakeitimus palyginkite su pastebėtu veikimu. Šaltiniu pagrįstam atsakymui patvirtinkite, kad cituojama ištrauka pagrindžia teiginį. Super samprotavimo ir agentų mokymas padeda šį darbą susisteminti; tikrasis rezultatas nustatomas pagal medžiagą ir vykdymo įrašus, naudojamus jam patikrinti.