NVIDIA: Nemotron 3 Ultra (free)

NVIDIA Nemotron 3 Ultra – didelio masto samprotavimo ir orkestravimo modelis Nemotron 3 šeimoje. Jis skirtas sudėtingiems kelių žingsnių agentams, ilgo konteksto analizei ir samprotavimui apie kodą, matematiką bei mokslą. Modelis iš viso turi 550B parametrų, iš kurių 55B aktyvūs. Jis sujungia Mamba-2, dėmesio ir Latent Mixture-of-Experts sluoksnius, o Multi-Token Prediction sluoksniai palaiko jo generavimo architektūrą.

LatentMoE projektuoja informaciją į mažesnę latentinę reprezentaciją, skirtą ekspertams apdoroti. NVIDIA mokymo metodas sujungia išankstinį mokymą, prižiūrimą papildomą mokymą, skatinamąjį mokymą ir kelių sričių distiliavimą pagal vykdomą politiką. Praktinė šių etapų paskirtis – gerinti samprotavimą, instrukcijų vykdymą, įrankių naudojimą ir agentų veikimą kelių tipų užduotyse. Ultra pateikia tekstą: paaiškinimą, sprendimą, kodą, planą ar prašytos struktūros atsakymą. Pateikite medžiagą, kuria turi remtis atsakymas, ir sąlygas, pagal kurias nustatoma, ar rezultatas teisingas.

Matematiniam ar moksliniam samprotavimui įtraukite visą sąlygą, žinomas reikšmes, vienetus ir leidžiamas prielaidas. Naudinga užklausa: „Išvesk rezultatą iš šių sąlygų, kiekviename etape įvardyk prielaidas, patikrink dimensijas ir paaiškink, koks stebėjimas paneigtų išvadą.“ Po sprendimo paaiškinimo prašykite trumpo galutinio rezultato. Jei naudojami eksperimentiniai duomenys, atskirkite tai, kas išmatuota, nuo to, kas apskaičiuota, ir prašykite išlaikyti aiškų neapibrėžtumą ar trūkstamą informaciją, užuot juos paslėpę užtikrintame atsakyme.

Kodo ir agentų darbo eigoms pateikite tikslą, aktualius failus tekstu ir tikrąsias ankstesnių žingsnių išvestis. Ultra skirtas užduotims su keliais tarpusavyje priklausomais sprendimais, todėl naudingas aiškus atlikto darbo ir likusių klausimų įrašas. Pavyzdžiui: „Patikrink šį migracijos pasiūlymą pagal schemą ir nepavykusias patikras. Nustatyk priklausomybę, kuri trukdo užbaigti darbą, pasiūlyk tikslinį pataisymą ir pateik tikėtiną kitos patikros rezultatą.“ Su įrankiais sujungta programa tuomet gali atlikti siūlomą žingsnį ir grąžinti įrodymus kitam sprendimui.

Gamintojas palaiko samprotavimo įjungimą arba išjungimą per pokalbio šabloną. Pagal numatytąsias nuostatas samprotavimas įjungtas: pateikiama samprotavimo seka, o po jos – atsakymas. Ultra kortelėje taip pat dokumentuotas vidutinių pastangų samprotavimo režimas, naudojantis mažiau samprotavimo žetonų nei išsamus samprotavimas. Tai Ultra būdinga parinktis; jos nereikėtų painioti su Super dokumentuotu mažų pastangų nustatymu. Nustatykite norimą galutinį rezultatą ir palikite jam vietos po samprotavimo. Neužbaigta seka nepakeičia užbaigto atsakymo į pirminį klausimą.

Ultra palaiko iki 1M žetonų kontekstą. Dideliam dokumentų ar šaltinio failų rinkiniui sužymėkite skiltis ir tiksliai pasakykite modeliui, ką reikia palyginti, atsekti ar suderinti. Išlaikykite šaltinių tvarką, kai svarbi chronologija ar priklausomybė. Naudingas ilgo dokumento analizės rezultatas apima išvadą, ją pagrindžiančią ištrauką ir jos reikšmę klausimui. Pasirinkite aktualią medžiagą ir rezervuokite vietos išvesčiai; konteksto langas apibūdina darbinę seką, o ne atskirą garantuotą galutinio atsakymo ilgį.

Gamintojas nurodo anglų, prancūzų, ispanų, italų, vokiečių, japonų, hindi, korėjiečių, Brazilijos portugalų ir kinų kalbas. Nurodykite išvesties kalbą ir išsaugokite techninius identifikatorius ar šaltinių citatas ten, kur svarbi tiksli formuluotė. Daugiakalbėje analizėje kiekvienam dokumentui taikykite tuos pačius kriterijus ir prašykite paaiškinti terminijos ar prielaidų skirtumus. Vien sklandumo nepakanka įrodyti, kad du skirtingai suformuluoti reikalavimai reiškia tą patį.

NVIDIA pateikia aiškius įrankių iškvietimo su samprotavimu pavyzdžius. Apibrėžkite kiekvienos funkcijos paskirtį, argumentus ir tikėtiną rezultatą, tada grąžinkite modeliui tikrąją jos išvestį. Programa atlieka operaciją; modelis samprotauja apie grąžintą stebėjimo rezultatą. Ilgą agento darbo eigą lengviau patikrinti, kai siūlomi veiksmai, atliktų veiksmų rezultatai ir neišspręstos patikros yra aiškiai atskirti. Galutinei ataskaitai prašykite atsakymo, jį pagrindžiančių įrodymų, prielaidų ir visų likusių užduoties punktų. Skaičiavimus tikrinkite pagal pirminius vienetus, kodo pakeitimus – pagal stebėtas patikras, o faktinius teiginius – pagal pateiktus šaltinius.